Montar nuevo NAS para uso profesional

[atrapero]

Hola a todos. A ver si me podeis echar una mano.

Desde hace un par de años vengo siguiendo el desarrollo de FreeNAS y después de NAS4Free. Experimenté un poco con ellos con un viejo pc (Pentium 4 y dos discos) pero nunca le dí un gran uso.
Ahora mismo me estoy planteando seriamente el montaje de un NAS4Free en condiciones. Su uso sería básicamente para almacenamiento de BackUP. Trabajo en una Productora de TV y generamos muchísimos archivos de vídeo, los cuales tenemos repartidos por montones de discos de diferentes capacidades. A menudo necesitamos hacer copias de el nuevo material que nos llega y al mismo tiempo necesitamos acceder a estos contenidos desde varias estaciones de edición para recuperar algún archivo.
He estado leyendo mucho sobre los requisitos que hacen falta y más o menos los tengo claros, pero antes de nada, he querido montar un Nas de prueba con algunos componentes que tenía por la oficina.

La placa que he usado para las pruebas es una ASUS P5VD2-X con un Intel Core 2 a 1,86ghz y 1 giga de RAM.
Esta placa tiene 3 SATA internos y además he conectado una controladora SATA de 4 puertos por PCI.
He conectado 6 discos WD 250GB.
Como disco de inicio un pendrive de 1gb.

Los discos los he configurado en un único Vdev en RaidZ2. He hecho varias pruebas de rendimiento comiando archivos pequeños de 50 Mb a 100 Mb y las tasas de transferencia son muy pobres, en torno a los 25Mbs. Además, cuando trato de copiar archivos grandes (20gb o 30 gb) el NAS se reinicia y nunca llega a completar la copia.
Cuando creo dos Vdev de 3 discos cada uno la tasa de transferencia es incluso menor, pero sin enbargo sí llega a completar la copia de los archivos grandes.
La información que me sale de uso de las CPUs es de 50% a 60% las dos, y el uso de la memoria de un 30%.
Creo que los reinicios pueden ser debidos a la poca memoria que tengo instalada, aunque se recomienda 1 gb por Tera y eso es lo que hay montado, pero supongo que al ser 6 discos en RadZ2 necesita más cantidad. O quizás sea del Procesador?

¿La tasa de transferencia tan baja puede ser también debido a esto y a que parte de los discos están pinchados en una tarjeta PCI?

Esto sobre las pruebas que estoy haciendo con el PC que tenía por la ofi.

El que quiero montar (si consigo resolver estas dudas) tendría 6 discos de 4Tb WD RED sobre una controladora LSI Internal SAS 3081E-R.
La placa supongo que me valdrá la que tengo y 16 Gb de Ram.
Como disco de inicio uso un Pendrive de 1gb (el que estoy usando para las pruebas)
Son estos componentes adecuados para montar un NAS que ofrezca garantías y rendimiento?

Otra duda está entre montar RaidZ2 o Espejo. Quiero tener los datos seguros pero no perder mucha capacidad. ¿Qué seria mejor?
Por último no sé si crear DataSet y compartir con SAMBA o directamente compartir el POOL con Samba. No sé que ventajas tiene el DataSet.

[MoloMuy]

Vamos por partes

primero tienes que comprobar que el hardware sea compatible con FreeBSD

http://wiki.nas4free.org/doku.php?id=na ... s_hardware

Segundo y esto es experiencia mia propia olvídate de la LSI Internal SAS 3081E-R ya que esa controladora es SATA2 y además no soporta HDD´s de mas de 2 TB

por supuesto te recomiendo raidZ, por muchísimos motivos, por seguridad, por facilidad de administración, etc (eso si el raidZ requiere de mucha RAM aprox 1GB por cada TB de HDD) yo en el mio le monte el máximo de ram que se puede 32GB y va como un tiro

para compartir tienes que crear un dataset, lo compartes por samba y le das permisos a los usuarios

te recomiendo montar 2 vdev de 3 discos de 4TB (de este modo cuando quieras ampliar con añadir de 3 en e HDD podrias hacerlo y no supondrá tanta inversión)

la controladora que te recomiendo es la LSI SAS9211-8I en eBay la encuentras a muy bien de precio

los discos duros te recomiendo los Western Digital RED

espero haberte servido de ayuda

[atrapero]

Gracias por la pronta respuesta.
Los discos Red son los que tenía pensado, sobre la controladora iré a por la que me recomiendas.

Lo que no me queda claro es lo de crear un dataset. No sé qué ventajas ofrece frente a compartir directamente el pool por Samba.

Algo mejor debe ser, pero por las pruebas que he hecho, si creo un dataset y por alguna razón se destruye o lo borro accidentalmente los datos los pierdo, sin embargo si comparto por samba directamente el pool, da igual donde me lleve los discos que si recupero el pool, recupero toda la información que está en él.

Y lo que no entiendo es porqué se reinicia el Nas cuando creo el Vdev con los 6 discos, aunque creo que es muy buena idea la que sugieres de crear dos Vdev con tres discos cada uno. Así será más fácil la ampliación.

[MoloMuy]

Respuesta del Master raulf3 que me dio en su dia cuando yo estaba igual que tu

Cuando creas un pool NO PUEDES compartirlo por SAMBA, primero tienes que crear un Dataset, que es una carpeta que se crea dentro del pool y esa carpeta (ese dataset), SI puedes compartirlo por samba o por NFS.


PD: Compartir un Dataset tiene muchas ventajas, pero si no quisieras usarlas, tambien puedes crear una carpeta dentro del pool y compartir esa carpeta Ej: si tu pool se llama NOMBRE_ZPOOL, entonces en /mnt tendras: /mnt/NOMBRE_ZPOOL, si creas una carpeta (o un dataset) para compartir que se llame Video, te quedará /mn/NOMBRE_ZPOOL/Video y es eso lo que tienes que compartir por SMB

[raulfg3]

Los dataset tienen muchas ventajas, la mejor de ellas es que puedes limitar la cuota o comprimir solo ese dataset o hacer un backup con el comando zfsend y el comando zfsrecive y todo ello de forma dinamica y sin afectar a otros dataset.

En un entorno empresarial se usa para crear un dataset por usuario, de esa forma puedes limitar el espacio que puede usar el usuario, si se comprime, etc... y todo ello de forma dinamica, por ejemplo tienes un pool de 24TB y 24 usuarios si compartes el pool todos los usuarios tendra un limite de 24TB con lo que puedes tener un usuario que apenas consuma 10GB y otro 20TB , el de 20TB esta penalizando a los otros reduciendo el espacio que tienen libre "acaparando TB", con u Dataset puedes limitar inicialmente el espacio a cada usuario a 100GB y si necesitan mas de forma individual, lo puedes aumentar dinamicamente.

http://forums.freenas.org/threads/creat ... uide.2160/

http://wiki.nas4free.org/doku.php?id=zf ... []=dataset

http://wiki.nas4free.org/doku.php?id=do ... []=dataset

http://wiki.nas4free.org/doku.php?id=do ... []=dataset

no es la unica ventaja puedes hacer snapshot periodicos ( por ejemplo todos los dias)= del Dataset y estas copias virtuales NO OCUPAN espacio del pool (Una de las gracias de un sistema copy-on-write), tampien puedes montar un snapshot de un dataset para recuperar algun fichero borrado, etc...


En fin hay mucha información en internet de las bondades del sistema ZFS y los Dataset.

[atrapero]

Hola, gracias por toda la info. Me interesa que todos los usuarios accedan al mismo dataset. Podré tener más problemas al hacer un solo dataset?

Por otro lado, me estoy planteando la posiblidad de comprar una caja con 16 bahías hot swap, pero de momento no compraría 16 discos, solo 6. Qué sería mejor, ocupar los 16 slot con discos, 6 de 4 teras y el resto con discos de 250gb (que me sobran) creando un solo VD y cuando llegue el momento sustituir los de 250gb, ampliando el VD y con ello el pool o dejarlas vacías y cuando pueda los ocupo y creo otro VD y lo añado al POOL?

He estado haciendo pruebas con 6 discos de 250gb y si creo el Vd con los 6 en Zraid2 me queda aprox. 1 tb para el pool, si creo dos VD con 3 discos cada uno y luego creo un Pool con los dos me quedan solo 500gb. Pierdes capacidad al hacer dos Vd en lugar de uno solo total.

No se qué ocurrirá al usar más discos en lugar de los 3 que empleo ahora.

[raulfg3]

Hola, gracias por toda la info. Me interesa que todos los usuarios accedan al mismo dataset. Podré tener más problemas al hacer un solo dataset?

No, solo debes definir el grupo y añadir los usuarios a ese grupo y hacer que el dataset pertenezca al grupo elegido cuando lo creas, luego lo primero es crear el grupo en la web Gui, lo segundo es crear los usuarios en la webGUI y añadirlos al grupo y por ultimo crear el dataset y en la parte inferior donde te propone por defecto el usuario root y el grupo wheel usar el usario root y el grupo nuevo.

mas adelante puedes crear otros dataset que sean solo propiedad de un usuario en concreto si lo necesitas.

Por otro lado, me estoy planteando la posiblidad de comprar una caja con 16 bahías hot swap, pero de momento no compraría 16 discos, solo 6. Qué sería mejor, ocupar los 16 slot con discos, 6 de 4 teras y el resto con discos de 250gb (que me sobran) creando un solo VD y cuando llegue el momento sustituir los de 250gb, ampliando el VD y con ello el pool o dejarlas vacías y cuando pueda los ocupo y creo otro VD y lo añado al POOL?

He estado haciendo pruebas con 6 discos de 250gb y si creo el Vd con los 6 en Zraid2 me queda aprox. 1 tb para el pool, si creo dos VD con 3 discos cada uno y luego creo un Pool con los dos me quedan solo 500gb. Pierdes capacidad al hacer dos Vd en lugar de uno solo total.

No se qué ocurrirá al usar más discos en lugar de los 3 que empleo ahora

tienes que entender el concepto de raidZ2 ( que es como un raid6 que utiliza 2 discos de paridad) y logicamente los discos de paridad no valen para datos, luego no te quedan libres para trabajar con ellos.

Tambien tienes que entender que si mezclas en un vdev discos de distinto tamaño, ZFS utiliza en todos los discos el de menor tamaño, desperdiciando el resto, es decir si mezclas 2 discos de 2TB con solo 1 de 250GB en RaidZ2, solo tendras 250GB libres , desperdiciando 4,25TB de Disco.


Lee este magnifico Powerpoint que aclara bastantes conceptos de ZFS: http://forums.freenas.org/threads/slide ... oobs.7775/

y este sobre las ventajas de los espejos frente a otras soluciones: http://constantin.glez.de/blog/2010/01/ ... still-best

[atrapero]

Gracias. Había visto el powerpoint y se me habrá pasado por alto lo de que si mezclas discos de diferentes capacidades se queda con la más pequeña.

El sistema en espejo lo he estado pensando y sé que es la mejor solución pero no quiero perder tanto espacio.

Por otro lado, me ocurre una cosa muy extraña con la Red. tengo 8 pc con windows Xp y Seven, un Nas de Netgear (ReadyNAS) de 4 tb y unos cuantos discos compartidos. Todos los pcs de la red, así como los discos compartidos y el ReadyNas se ven perfectamente y todos tienen acceso a todo, pero cuando conecto el NAS4Free dejan de aparecer en la Red todos los PCs, los discos y lo único que continúa viendose es el ReadyNas. Si tengo los accesos directos de los discos y de los pcs sigo pudiendo acceder a ellos sin problema, pero no me aparecen en la Red. Si apago el Nas4Free todo vuelve a la normalidad.
He mirado la configuración del Nas4Free y tiene la Ip y todos los datos igual que los demás Pcs.
Qué puede estar pasando?

[raulfg3]

He mirado la configuración del Nas4Free y tiene la Ip y todos los datos igual que los demás Pcs.
Qué puede estar pasando?

que tienes activado el local master Browser en la configuración SAMBA y trata de tomar el control.

Deshabilitalo y veras que deja de producirse ese problema: http://wiki.nas4free.org/doku.php?id=do ... guide:cifs

PD: En una red windows (SAMBA) solo debe haber un Local Master Browser activo o tendras ese problema que describes.

[atrapero]

Muchas gracias! Solucionado.
Ahora estoy buscando una caja que sea fácilmente actualizable y de garantías. He pensado en esta:

http://www.alternate.es/Chenbro/RM31616 ... ct/977587/?

Creo que está bien, es un poco cara pero no he encontrado nada más interesante con 16 bahías. Alguna sugerencia?¿

Ah, y muchas gracias por vuestra fantástica ayuda.

[raulfg3]

que tal esta: http://www.silverstonetek.com/product.p ... 92&area=en
o esta:
http://www.sharkoon.com/?q=en/content/rebel12-economy

de todas formas depende del uso que le vayas a dar, la que has elegido es profesional para montar en un rack de 19".

Hecha un vistazo a la galeria, la mia es: viewtopic.php?f=63&t=31

Quizas MoloMuy se anime y publique fotos de la suya en la galeria.

[atrapero]

Ya ví tu post con las fotos. Tengo dos Rack y por eso la estoy buscando que sea enracable. De todas maneras estoy abierto a todo. He visto que existen backplane de 3 5 1/4 a 5 SATA que me parece muy interesante, pero salen por más de 100 euros, eso unido a la caja y a la fuente no se queda muy lejos del precio de la Chembro.
De todas maneras seguiré buscando y dándole vueltas al asunto.

[atrapero]

Bueno, vuelvo al ataque con mis dudas.
Tras mucho leer otros hilos y las recomendaciones de hardware, ahora mismo estoy en un callejón sin salida. Pensaba reutilizar la placa base que estoy ahora mismo usando para mis pruebas, la Asus P5VD2-X, con un micro Intel Core2 Duo a 1,86Mhz. Nada del otro mundo.
Después empaparme un poco de ZFS, he visto que es muy importante usar memoria ECC además de una placa que esté preparada para trabajar las 24h del día. Así que la descarto de momento.
He estado mirando placas (sobre todo las Asus) tipo servidor y tipo Workstation y el precio, sumado al nuevo micro y a la memoria RAM ecc (32gb) se me va muchísimo de lo que pensaba.
El NAS lo voy a usar para almacenamiento definitivo de material de vídeo. Se accederá casi a diario para almacenar nuevo material (20 o 30gb diarios), y de vez en cuando se reproducirá desde él el contenido de los vídeos o se extraerá a otros discos. Mi pregunta es ¿Es necesario que la memoria sea ECC si no va a tener un uso intensivo?
Gracias de nuevo

[MoloMuy]

no es necesario que la memoria sea ECC yo en mi caso tengo 32gb y me va muy bien

sobre la placa, cualquier placa base que sea compatible con FreeBSD te tiene que funcionar

lo bueno que tiene el ZFS es que no depende de hardware, de este modo el dia que te falle la placa pues la cambias y listo la RAID estará intacta

un saludo