[RESOLU]ZFS et 4Go de Rams

[lulu80]

bonjours,
avec nas4free aujourd'hui j'en suis à trois HDD WD cav de 1To + HDD 80 Go (disque système) et 4 Go de mémoire
ma question est puis je faire du ZFS ?? merci

[sleid]

Oui
Mais
Gardez à l'esprit les possibilités d'extension
Vous avez sur votre CM 6 ports sata dont un est utilisé par le disque système, il vous reste donc 5 ports libres pour le stockage.
Si vous créez un pool ZFS avec un vdev de 3 disques en raidZ1 les seules possibilités d'extension sont soit de remplacer un à un les 3 disques du vdev par 3 de capacité supérieure soit d'ajouter au pool un autre vdev en miroir (reste 2 ports sata) ce qui est possible mais déconseillé dans la pratique car il vaut mieux avoir des vdev identique d'un point de vu système soit 2 vdev en raidZ1 (6 ports sata) soit 2 vdev en mirroir (4ports sata).

[lulu80]

bonsoir ,
si j'ai bien compris , en gros il faut mieux partir avec le ZFS quand ont et sur du volume de stockage et il est certain que je vais en remettre c'est pour sa que j'ai choisi cette carte mère avec 6 ports SATA , mais bien sur pas dans l'immédiat , donc que me conseillé vous en attendent que les ports SATA soient occupé de HDD identique?

[lulu80]

re,
a mon avis que le raid 5 serait bien ,Mais peut ont aller après vers ZFS sans perdre ces donnée ??

[mtiburs]

Bonsoir,

Personnellement, j'ai sur mon plus vieux NAS de la maison, 3 disques de 2To. Ceci en stripping sur une carte mère D525 intel (toute petite carte fanless avec 4 Go de RAM), Il marche 24/7/365.
J'ai dû ajouter un 4ème disque et je n'avais pas assez de ports SATA, j'ai pris le risque de commander une carte PCI/4portsSATA à 13 euros directement en Chine, elle marche à merveille, j'en ai même acheter plusieurs autres. Ceci pour dire qu'on peut toujours rajouter des ports SATA sur une carte-mère même petite.
Dans, mon cas, l'ajout de la carte SATA m'a obligé de perdre une carte réseau (il n'y a qu'un slot PCI sur cette carte) et, pour m'en sortir (j'ai besoin de 2 réseaux différents), j'ai installé un adaptateur USB/RJ45 à moins de 20 euros en 100 (ça existe en 1000 aussi), c'est pas énorme, mais ça suffit pour mon usage.

En revanche, dans le cas d'un ajout de carte supplémentaire, on peut améliorer les choses sans ajouter une carte SATA en PCI (qui passe par le pont sud de la carte-mère comme les ports SATA de la carte mère d'ailleurs), mais en ajoutant une carte SAS et en mettant les disques SATA dessus (les données passeront cette fois par le pont nord de la carte mère (accès direct au processeur), on peut trouver des cartes SAS pas cher et très efficace (j'en ai trouvé à 10 euros pièce estampillé LSI en PCI 4x et d'autres aux environs de 100 euros en SAS2 avec 512Mo de RAM en PCI 8x).
Ceci pour dire que pour quelques dizaines d'euros on peut mettre ses disques de manières mieux structurés.

Je pense que dans votre cas, vous ne devez pas vous faire de soucis avec vos ports SATA, il existera toujours une solution peu onéreuse pour doubler ou tripler les possibilités.

Quel type de montage ZFS vous voudriez faire ?

[mtiburs]

Le raid5 est bien quand on a le matériel qui va avec (carte avec batterie intégré) et un onduleur !

ZFS est plus moderne et est insensible aux pertes de données (il a été fabriqué dans cette optique), de plus, malgré que normalement, il faille du disque SAS ou SSD et de la mémoire ECC, ZFS fonctionne parfaitement sur du matériel grand public.

De plus ZFS peut être optimisé par la suite, avec du cache ou du log pour en améliorer le fonctionnement, par exemple, sur un G630 avec 8Go de RAM et deux disques en mirroir, j'avais une limitation sur certains services.
J'ai ajouté une carte SAS avec deux disques SAS de 73 Go en mirroir/log et un SSD en cache, depuis, je n'ai plus de soucis de limitation, je n'ai pas changé de matériel et cela m'a coûté moins de 50 euros. (l'activité moyenne du processeur a fortement baissé)

ZFS est le système le plus solide et est très évolutif.

[sleid]

Pour l'instant la carte mère le limite pour 2 raisons:
Le chip lan Realtek est trop récent pour être supporté par Nas4free et on ne trouve pas de pilote compilé pour cette version.

En conséquence il utilise ou vas utiliser une carte réseau Intel qui va lui prendre LE seul port pciE de sa carte mère.
Reste un port pci (sans e) qui ne supportera au mieux qu'une carte avec 2 ports sata.

[mtiburs]

Reste un port pci (sans e) qui ne supportera au mieux qu'une carte avec 2 ports sata.

pourquoi une carte avec 2 ports sata ?, il y a des carte avec 4 ports
est-ce à cause du nombre de lignes PCI qui sera utilisé ?

mettre deux cartes réseau PCI séparés et une carte SAS avec 8 ports ne serait pas mieux ?
cela ferait 8 portsSATA + 6-1 ports = 13 ports SATA utilisables

[sleid]

Cette carte mère a 1 port pcie 16X + 1 port pcie 1x + 1 port pci.

Le bus PCI, dans sa version initiale, possède une largeur de 32 bits et est cadencé à 33 MHz ce qui lui permet d'offrir un débit théorique de 132 Mo/s en 32 bits. Sur les architectures 64 bits le bus fonctionne à 64 bits et propose un taux de transfert théorique de 264 Mo/s donc 4 ports sata pour 264Mo/s ça implique au mieux du sata 1 et encore.
Sur le manuel de cette carte mère la révision du bus pci n'est pas indiquée 1.0? 2.0? 2.1? 2.2? 2.3?

[mtiburs]

@sleid
Je me suis mal exprimé, je voulais dire une carte SAS 8 ports sur le PCI 16x (carte SAS en 4x ou 8x, le mieux serait une 4x afin de ne pas consommer les lignes PCI pour le reste de la machine)
Une carte SAS est un véritable système a part entière (processeur+RAM)
Cela peut être:
http://www.monsieurcyberman.com/fr/166- ... 03953.html
J'utilise ce genre de carte sur des vieilles carte mères en 775
Ce type de carte permet de moins solliciter le processeur et l'accès et direct au CPU par le PCI16x (par le pont nord)

@lulu80
Je comprends que la solution que j'émets avec une carte SAS(+SATA) fait peur, car on se dit que peut-être, on fait un achat qui ne marchera pas.

Serait-il possible de booter sur un Linux style knoppix ou autre ?

et de lancer lspci -v, lspci -vv et lspci -vvv
de façon à voir certaines informations concernant le bus PCI en question

quelle est le besoin en réseau ? une carte, deux ?
La carte a une carte intégré (100/1000) ?

[sleid]

La carte a une carte intégré (100/1000) ?

Oui un chipset realtek non supporté par freebsd

[mtiburs]

Je serais curieux de voir ce que c'est que ce chipset !

@lulu80
il faudrait faire un lspci, c'est possible

... je n'aime pas les truc qui résistent

[lulu80]

bonsoir a vous deux
Je viens de monter mes trois disques 1 To en raidz1 , j'avance complètement à l'aveuglette car il ni y a qu'environ trois mois que j'ai débuté
(avec l'aide de laster13 (que je Remercie) ) cette aventure avec nas4free , Je n'ai trouvé aucune procédure pour mettre en place le ZFS
donc je ne suis pas sûr qu'ils soient bien paramétrés.

@Mtiburs
Pour l'instant je tourne avec une carte TP-link modèle TG-3468 1000 Mbps, je suis toute a fait disposer à faire les essais demander "il faudrait faire un lspci"
mais là il faut me donner la marche à suivre .
j'avais posté sur le forum "PC astuces" dans la section "réseau" et "Linux" mais ils sont restés en échec , bien qu'ils sont persuader que c'était possible de compiler le noyau Nasfree avec les drivers correspondant à cette carte intégrée don "Sleid" parle .
Pour ce qui est des ports Sata j'ai encore 2 HDD à remettre(plus petit), mais cela en raid1 .(sa sera largement suffisant pour mon petit foyer )
Après ce qui serait intéressant c'est que je puisse mettre un ssd de 32 Go pour combler le manque de rams comme celui si http://www.memoryc.com/storage/solid-st ... msata.html
@Sleid
j'ai bien pris en compte l'Intérêt d'avoir une carte double , mais j'ai eu l'opportunité de celle ci rapidement

Là ou j'en suis a ce jour : je suis capable d'installer thebrig , serviio ,subsonic et owncloud . Inutile de vous dire que j'en ai baver pour les install
raté , j'ai pas conté mais encore là "laster13" était en soutiens
Pour moi maintenant sa serait bien que l'ont me donne une procédure ou des explications qui me permettrait de finaliser ce raidz1 et poursuivre mon aventure
car j'ai encore beaucoup de chose de prévue pour mon serveur tel que pour stocker des documents ,faire importer mes documents dans différents site ou j'ai un compte par exemple ?
sa c'est une autre étape ....voilà

[mtiburs]

Et bien pour moi, c'est un peu tout vu, j'utilise couramment ce type de carte réseau et je n'ai jamais eu de soucis avec, je préfère justement ce type de carte car je sais que ça marche toujours

[mtiburs]

Il y a sans doute quelque chose qui bloque ailleurs

[sleid]

"Je serais curieux de voir ce que c'est que ce chipset !"

Realtek RTL8111G

http://fr.driverscollection.com/?file_c ... f43ca3353f

[mtiburs]

J'ai cru lire que c'était une carte TP-link modèle TG-3468 1000 Mbps
ça me semblait étrange d'ailleurs de "butter" sur une carte de ce type.

Pour la TP8111G là effectivement, ... c'est pas top

... attendre ?
... mettre autre chose ?

Est-ce qu'il a été demandé sur le forum général si le drivers allait être fournit ?

[sleid]

La carte TP-link modèle TG-3468 1000 Mbps fonctionne, c'est celle qu'il a monté car le port Ethernet de la carte mère est équipé du chip realtek 8111G et ne peut fonctionner sous freebsd.
J'ai mis à tout hasard un lien vers un pilote (qui n'est pas de realtek) pour ce chip.
Après si quelqu'un à une freebsd 9.3 pour essayer de le compiler et après de l'appeler au démarrage de nas4free pourquoi pas.

[lulu80]

bonsoir,
@sleid
Comme je tourne en raidz1 maintenant , pourriez-vous m'expliquer à quoi correspondent les fonctions "jeux de donné" ; "volume" ; "outils" et "instantanés"
parce que là j'ai monté les raidz1 avec un tuto Youtube et en anglais (donc pour moi que du visuel, je ne comprends pas l'anglais) et je voudrais en savoir plus mais en français ,comme j'ai vue que vous étiez en raiz1 j'ai pensé que vous pourriez me renseigner .merci

[ernie]

Bonsoir

J ai des questions de novice, étant potentiellement intéressé pour passer au zfs
1) sur un disque zfs, est ce que je vois mes données comme sur un disque classique ?
2) si je n ai pas assez de ram pour le zfs, est ce que le swap peut solutionner le manque de ram ?
3) migrer d un raid 5 vers zfs : un copier coller suffit il en ayant fait une sauvegarde ? Notamment des jails avec des services (owncloud) ?

Ne connaissant pas le zfs, je me suis tourné vers le raid 5. Vu les échanges instructifs de ce post, il est encore temps de passé au zfs, mon nas étant presque vierge ( 1 journée pour un finch, jail et owncloud, mais maintenant je maîtrise donc 30 min suffiront)

Merci par avance

[mtiburs]

Bonsoir,

1)
Pour ZFS, on voit ses données comme sur un autre disques et la gestion est beaucoup plus simple, le concepteurs de ZFS ont fait en sorte que cela soit d'un simplicité enfantine !
exemple:
on prend ses disques, on va sur un Nas4Free, on démarre, on tape "zpool import" et ZFS dit ce qu'il voit, si on voit 3 pools et que l'on en veut qu'un, on tape "zpool import lepoolquejeveux", si on veut tout importer ce qu'il y a, on tape "zpool import -a" ... simple non ?
mais
on prend, ses disques, on va sur un Linux avec ZfsOnLinux (ZOL) et on peut faire pareil ! ... cool !
pire:
on mets ses disques sur un Nas4Free ou un Linux, on fait des cible ISCSI, ensuite on va sur un Linux ou un autre Nas4Free distant, on fait les target et on se connecte dessus ! allez, encore un peu, on s'y connecte depuis un Nas4Free virtualisé ... ça marche aussi !

En gros, à l'heure actuelle, on peut utiliser ses disques ZFS depuis FreeBSD, Nas4Free, Linux très facilement.

2)
Si vous n'avez pas assez de RAM pour ZFS, oui, cela peut être un problème (surtout sur les anciennes versions, c'est mieux géré depuis)
Ce qu'il faut comprendre, c'est que ZFS utilise un index (ARC) pour gérer ses données, si la données est immense (un fichier de machine virtuelle de 80Go par exemple), l'arbre peut être très grand et celui-ci ne peut pas être coupé ! car il ne peut être qu'en RAM.
Mais sinon,le mécanisme de ZFS est, on utilise la RAM selon trois modes (primarycache= none, metadata ou all), ces modes disent à ZFS comment gérer son cache en RAM: none, on n'a pas de cache, metadata pour les matadonnées et all pour tout mettre, mais attention ! all veut dire du cache + ARC, donc méfiance (all est le plus véloce)
Pour toute action ZFS va mettre aussi les données en cache disque si il en a un, c'est le Zcache: (secondarycache=none, metadata ou all), là c'est pareil, mais en gros, si on a un disque Zcache lent, il vaut mieux mettre secondary=none, si on a un disque rapide, mais, qu'on n'a pas un trop gros volume de données, on choisit metadata, si on veut tout mettre dessus on met all. Pour ma part, mon nas de 2 disques en mirroir à mi journée remplit totalement un SSD de 500Go !, j'ai donc mis metadata et le SSD est utilisé à 10Go maxi, les données étant lu sur le pool directement (j'ai metadata en primarycache et secondarycache)
il faut savoir qu'un Zcache doit être performant, car, ZFS prendra le pool directement si il arrive à mieux faire avec.
Pour mon N4F en prod, j'ai un SSD en Zcache et deux disques SAS/mirroir de 73Go en Zlog
Il faut quand même garder à l'esprit que ZFS est un système auto-réparant à chaud qui utilise une technique d'écriture par copie (COW), c'est super, mais c'est plus complexe qu'un FS normal, donc, il faut lui laisser le temps des fois de faire son travail, surtout effacer un gros fichier par exemple, car c'est un mécanisme de transaction comme une base donnée, l'avantage, il est insensible au coupure de courant lors d'écritures.

Mais, pour débuter, pas besoin de compliquer la chose, il faut monter son ou ses pool(s) et voir comment ça tourne, ensuite on améliore, c'est ça qui est génial avec ZFS, on peut re-travailler facilement la chose, par exemple, passer tous ses disques de SATA vers une carte SAS, on fait une réimportation des disques et Zou !
Il faut savoir qu'un Zcache en SATA/USB ne vaut rien du tout, il faut de la connection directe au plus près du CPU (c'est pour ça que j'aime les cartes SAS/SATA en PCIexpress car elle sont sur le pont nord qui est directement connecté au CPU, les cartes mère de dernières générations sont un peu différentes, le pont nord ayant été supprimé, mais la gestion du reste a été améliorée).

3)
Pour moi ZFS est un FS (système de fichier), donc un copier/coller, je "dirais" oui.
Pour les jails, owncloud, ... ce sont des services qui viennent pointer sur un FS, que ce soit de l'UFS ou du ZFS ... je "dirais" oui, mais je ne préfère ne pas me prononcer ne connaissant pas la configuration de ces services.

En tout cas, si vous avez une machine neuve, sans données, prenez le temps de lire et des tester par vous même ZFS en utilisant:
http://docs.oracle.com/cd/E19253-01/820-2315/
Vous comprendrez mieux ce système de fichier simple et solide (c'est la bible ZFS !)

Note (primarycache et secondarycache peuvent se visualiser en tapant en root: zfs get all monpool

[laster13]

Merci pour toutes ces informations. Très synthétique et du coup beaucoup mieux compréhensible pour tous ceux qui avaient dans ce domaine quelques lacunes et j'en fais parti!!