OPTIMIZAR TRANSFERENCIA RED

luciano · Post by **luciano** » 24 Feb 2013 16:31

Hola colegas:

Quisiera ver si me pueden orientar con la configuración de red de N4F para optimizar las tasas de transferencias de datos de la red de área local LAN.

Este es mi escenario:
SmartSwitch CISCO SLM2008 con JumboFrames Activado y Gigabit Full Duplex

Las placas de red Gigabit que estoy utilizando son las siguientes:
HP NC112T PCIe Gigabit Server Adapter (JumboFrames:9k max) con chipset Intel 82574L
Los Patch Cord utilizados son CAT6 marca Furukawa de 1mt de longitud

Datos de configuración de N4F 9.1.0.1 - Sandstorm (revision 636)
Configuración de la placa de red em0:

Code: Select all

ifconfig em0
   em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 9000
	options=4019b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,VLAN_HWTSO>
	ether 2c:27:d7:14:43:57
	inet 192.168.80.19 netmask 0xffffff00 broadcast 192.168.80.255
	nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
	media: Ethernet 1000baseT <full-duplex>
	status: active

Y para hacer las pruebas de velocidad de la red, ejecuto iperf como servidor y demonio en N4F:

Code: Select all

iperf -s -D
------------------------------------------------------------
Server listening on TCP port 5001

CP window size:  256 KByte (default)
------------------------------------------------------------
Running Iperf Server as a daemon
The Iperf daemon process ID : 2836

Del lado del cliente tengo un Ubuntu 12.04 con una placa de red PCI Linksys de 1Gbps con chip RTL8169S-32
En este equipo corro iperf y obtengo los siguientes resultados:

Code: Select all

iperf -c 192.168.80.19 -P 1 -i 1 -p 5001 -f M -t 10
------------------------------------------------------------
Client connecting to 192.168.80.19, TCP port 5001
TCP window size: 0.02 MByte (default)
------------------------------------------------------------
[  3] local 192.168.80.23 port 40572 connected with 192.168.80.19 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec  33.9 MBytes  33.9 MBytes/sec
[  3]  1.0- 2.0 sec  33.8 MBytes  33.8 MBytes/sec
[  3]  2.0- 3.0 sec  33.2 MBytes  33.2 MBytes/sec
[  3]  3.0- 4.0 sec  33.8 MBytes  33.8 MBytes/sec
[  3]  4.0- 5.0 sec  33.5 MBytes  33.5 MBytes/sec
[  3]  5.0- 6.0 sec  33.6 MBytes  33.6 MBytes/sec
[  3]  6.0- 7.0 sec  33.4 MBytes  33.4 MBytes/sec
[  3]  7.0- 8.0 sec  33.5 MBytes  33.5 MBytes/sec
[  3]  8.0- 9.0 sec  33.5 MBytes  33.5 MBytes/sec
[  3]  9.0-10.0 sec  33.5 MBytes  33.5 MBytes/sec
[  3]  0.0-10.0 sec   336 MBytes  33.5 MBytes/sec

Reemplazo la nic por otra HP NC112T idéntica a la que tiene N4F:

Code: Select all

ifconfig eth2
eth2      Link encap:Ethernet  dirección HW 2c:27:d7:14:44:b7  
          Direc. inet:192.168.80.29  Difus.:192.168.80.255  Másc:255.255.255.0
          Dirección inet6: fe80::2e27:d7ff:fe14:44b7/64 Alcance:Enlace
          ACTIVO DIFUSIÓN FUNCIONANDO MULTICAST  MTU:1500  Métrica:1
          Paquetes RX:667 errores:0 perdidos:0 overruns:0 frame:0
          Paquetes TX:363 errores:0 perdidos:0 overruns:0 carrier:0
          colisiones:0 long.colaTX:1000 
          Bytes RX:430904 (430.9 KB)  TX bytes:49243 (49.2 KB)
          Interrupción:19 Memoria:dffe0000-e0000000

Se observa que el MTU esta por defecto en 1500
Con esta configuración obtengo los siguientes resultados

Code: Select all

iperf -c 192.168.80.19 -P 1 -i 1 -p 5001 -f M -t 10
------------------------------------------------------------
Client connecting to 192.168.80.19, TCP port 5001
TCP window size: 0.02 MByte (default)
------------------------------------------------------------
[  3] local 192.168.80.29 port 56662 connected with 192.168.80.19 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec   113 MBytes   113 MBytes/sec
[  3]  1.0- 2.0 sec   112 MBytes   112 MBytes/sec
[  3]  2.0- 3.0 sec   112 MBytes   112 MBytes/sec
[  3]  3.0- 4.0 sec   112 MBytes   112 MBytes/sec
[  3]  4.0- 5.0 sec   112 MBytes   112 MBytes/sec
[  3]  5.0- 6.0 sec   112 MBytes   112 MBytes/sec
[  3]  6.0- 7.0 sec   112 MBytes   112 MBytes/sec
[  3]  7.0- 8.0 sec   112 MBytes   112 MBytes/sec
[  3]  8.0- 9.0 sec   112 MBytes   112 MBytes/sec
[  3]  9.0-10.0 sec   112 MBytes   112 MBytes/sec
[  3]  0.0-10.0 sec  1122 MBytes   112 MBytes/sec

Cambio el MTU a 9000 que es el máximo soportado por esta la placa de red HP NC112T

Code: Select all

sudo ifcongif eth2 mtu 9000

Y verifico el resultado:

Code: Select all

 ifconfig eth2
eth2      Link encap:Ethernet  dirección HW 2c:27:d7:14:44:b7  
          Direc. inet:192.168.80.29  Difus.:192.168.80.255  Másc:255.255.255.0
          Dirección inet6: fe80::2e27:d7ff:fe14:44b7/64 Alcance:Enlace
          ACTIVO DIFUSIÓN FUNCIONANDO MULTICAST  MTU:9000  Métrica:1
          Paquetes RX:3890032 errores:0 perdidos:0 overruns:0 frame:0
          Paquetes TX:1237308 errores:0 perdidos:0 overruns:0 carrier:0
          colisiones:0 long.colaTX:1000 
          Bytes RX:4561938819 (4.5 GB)  TX bytes:1267400053 (1.2 GB)
          Interrupción:19 Memoria:dffe0000-e0000000

Realizo nuevamente las pruebas con iperf y mejora levemente:

Code: Select all

iperf -c 192.168.80.19 -P 1 -i 1 -p 5001 -f M -t 10
------------------------------------------------------------
Client connecting to 192.168.80.19, TCP port 5001
TCP window size: 0.09 MByte (default)
------------------------------------------------------------
[  3] local 192.168.80.29 port 56666 connected with 192.168.80.19 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec   119 MBytes   119 MBytes/sec
[  3]  1.0- 2.0 sec   118 MBytes   118 MBytes/sec
[  3]  2.0- 3.0 sec   118 MBytes   118 MBytes/sec
[  3]  3.0- 4.0 sec   118 MBytes   118 MBytes/sec
[  3]  4.0- 5.0 sec   118 MBytes   118 MBytes/sec
[  3]  5.0- 6.0 sec   118 MBytes   118 MBytes/sec
[  3]  6.0- 7.0 sec   118 MBytes   118 MBytes/sec
[  3]  7.0- 8.0 sec   118 MBytes   118 MBytes/sec
[  3]  8.0- 9.0 sec   118 MBytes   118 MBytes/sec
[  3]  9.0-10.0 sec   117 MBytes   117 MBytes/sec
[  3]  0.0-10.0 sec  1177 MBytes   118 MBytes/sec

A pesar de estos aceptables valores, la tasa de lectura que obtengo desde N4F hacia UBUNTU son pobres para mi entender:
Copiando un archivo de 4GB desde NF4 hacia Ubuntu estos son los resultados..

Code: Select all

 zpool iostat ZFS2500GB 1 30
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
ZFS2500GB    559G  1.72T     12      7  1.59M   836K
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    256      0  31.7M      0
ZFS2500GB    559G  1.72T    315      0  39.2M      0
ZFS2500GB    559G  1.72T    450      0  55.8M      0
ZFS2500GB    559G  1.72T    114      0  14.2M      0
ZFS2500GB    559G  1.72T    390      0  48.4M      0
ZFS2500GB    559G  1.72T    261      0  32.4M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0
ZFS2500GB    559G  1.72T    255      0  31.7M      0

Y las tasas de escritura bajan a la mitad aproximadamente:
Copiando un archivo de 4GB desde UBUNTU hacia N4F

Code: Select all

zpool iostat ZFS2500GB 5 30
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
ZFS2500GB    560G  1.72T     21     10  2.61M  1.11M
ZFS2500GB    560G  1.72T      0    190      0  18.6M
ZFS2500GB    560G  1.72T      0    159      0  15.1M
ZFS2500GB    561G  1.72T      0    237      0  27.2M
ZFS2500GB    561G  1.72T      0     77      0  7.35M
ZFS2500GB    561G  1.72T      0    168      0  18.7M
ZFS2500GB    561G  1.72T      0    129      0  13.6M
ZFS2500GB    561G  1.72T      0    185      0  18.1M
ZFS2500GB    561G  1.72T      0    157      0  17.1M
ZFS2500GB    561G  1.72T      0    172      0  19.2M
ZFS2500GB    561G  1.72T      0    172      0  19.2M
ZFS2500GB    561G  1.72T      0    168      0  18.5M
ZFS2500GB    561G  1.72T      0    179      0  19.7M
ZFS2500GB    561G  1.72T      0    134      0  14.4M
ZFS2500GB    561G  1.72T      0    169      0  18.8M
ZFS2500GB    562G  1.72T      0    144      0  15.7M

En un rato voy a colocar otra placa de red a N4F y configurarla en modo Link Aggregation (LACP) para ver si mejora.

De todas maneras aguardo sus comentarios.

Post by **raulfg3** » 24 Feb 2013 17:31

Te comento mi experiencia, tengo el mismo Switch CISCO que tu y el link agregation SOLO es util en entornos empresariales, donde varios PCs esten accediendo al mismo tiempo al servidor NO SIRVE para acelrar la copia de digamos una pelicula ISO al NAS desde tu PC (eso es por que SAMBA/SMB es monocore y copia los archivos de uno en uno, no en paralelo).

Para acelerar mi conexión SAMBA (puedes ver los resultados aqui): viewtopic.php?f=63&t=31

Yo lo que he acivado es:
en System|Advanced la opción Enable tuning of some kernel variables

y en SMB lo que ves:

smb1.jpg

SMB2.jpg

luciano · Post by **luciano** » 24 Feb 2013 20:12

Como siempre raulfg3, gracias por tu pronta respuesta:

Te comento que reemplace Ubuntu x Windows Seven para realizar las pruebas y estos son los resultados:

Con la placa de red HP NC112T PCIe Gigabit Server Adapter instalada en el equipo cliente:
Lectura desde N4F (CIFS/SMB) hacia el equipo cliente:

La gráfica de N4F:

Y la gráfica del equipo cliente sobre la nic gigabit:

Escritura desde el equipo cliente hacia N4F:
La gráfica de N4F:

Arranca muy bien pero cae rápidamente a los 30 segundos
Desde windows, se estabiliza en 16MB/s

Y por ultimo, la gráfica sobre la nic donde se ve mejor la evolución de la caída en la transferencia de datos

Esta es la configuración que estoy utilizando:
Activado: System|Advanced la opción Enable tuning of some kernel variables

Aquí pongo la configuración del servicio CIFS/SMB de N4F utilizado:

Y la configuración avanzada de Samba que estoy usando:

Alguna sugerencia sobre el pobre rendimiento "no sostenido" en la escritura hacia N4F?
Gracias.

Post by **raulfg3** » 24 Feb 2013 21:00

prueba a deshabilitar "Enable store DOS Atributes" y repite la prueba, despues quita "enable use send file" y lo mismo repite la prueba, dime si notas alguna diferencia o no.

Por ultimo ya que la lectura de datos del NAS es buena y solo pareces tener problemas de Escritura , prueba a doblar el buffer de recepción (receive Buffer), las pruebas con estos valores, siempre x2 o /2 no uses otros valores ( multiplos de 1024K por ejemplo).

Respecto al MTU , usa un valor identico en ambos extremos ( por ejemplo yo uso 6000, por que la interfaz realtek re 8111C es el maximo valor que soporta) y lo tengo así en ambos extremos.

luciano · Post by **luciano** » 26 Feb 2013 00:13

Bueno, gracias a raulfg3 he dado en el clavo con este tema de optimizar las transferencia de red desde y hacia N4F.

Tomen nota:

A todo lo comentado anteriormente, puedo decir que la configuración de N4F es óptima, la clave esta en la configuración del equipo cliente.
Hay que hacer dos modificaciones en las propiedades del adaptador de red gigabit que estemos usando:
* el Jumbo Frame (MTU) ajustarlo al máximo que soporte el chip de la nic
* ajustar la velocidad del enlace a 1000Gps FullDuplex

Modificación del MTU para Realtek

Modificación del MTU para Intel

Modificación de Velocidad de Enlace para Realtek

Modificación de Velocidad de Enlace para Intel

Nota: Para que los cambios se vean reflejados hay que reiniciar el equipo!

Pongo a continuación las capturas de la transferencias obtenidas desde y hacia N4F de un archivo de 4GB para los dos adaptadores que probé, Intel y Realtek:

Copiando el archivo del PC Cliente a N4F (nic Intel)

Copiando el archivo de N4F a PC Cliente (nic Intel)

Copiando el archivo del PC Cliente a N4F (nic Realtek)

Copiando el archivo de N4F a PC Cliente (nic Realtek)

Conclusiones:
Si estas pensando implementar N4F para un entorno empresarial la performance en la velocidad de transferencia en la red, desde y hacia N4F es un punto determinante a la hora de brindar una solución acorde a los requisitos.
Es recomendable la red sea Gigabit
Es recomendable que tanto el servidor como los clientes (todos) tengan placas Gigabit y así evitar cuellos de botella en clientes a 100Mbps.
Si vas a agregar placas de red Gigabit, no dejes de consultar en google el valor máximo de MTU soportado por la nic.
Asegúrate de que el Switch o SmartSwitch sea Gigabit y soporte Jumbo Frames, este aspecto es determinante para obtener altas tasas de transferencias.

Mas adelante seguiré investigando este fantástico appliance, de momento este es mi pequeño granito de arena a la comunidad en Español de N4F
Muchas gracias.

Post by **raulfg3** » 02 Dec 2013 14:40

Buenas.....

No se si podrias actualizar las imagenes de tu ultimo post, parece ser que se han borrado.

luciano · Post by **luciano** » 02 Dec 2013 21:42

Yo las veo bien y los enlaces están vivos.

Post by **raulfg3** » 02 Dec 2013 21:48

lo siento debe haber sido algun filtro en el trabajo, yo tambien veo las imagenes correctamente desde casa.

Siento las molestias.

luciano · Post by **luciano** » 02 Dec 2013 21:59

Ninguna molestia Raul. A sus órdenes.

Saludos

XigmaNAS

OPTIMIZAR TRANSFERENCIA RED

OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED

Re: OPTIMIZAR TRANSFERENCIA RED