XigmaNAS

Bonjour,

J ai plusieurs questions liées à l approche a avoir avec 6 DD.
Je considère que
1) les 6 DD sont identiques et peut importe la connexion (partons sur du sata pour figer les idées)
2) chaque approche a ses avantages et inconvénients et mon échange est pour identifier ce que j ai loupé au niveau des conséquences

A) quelle organisation ?

Une première solution est de faire 3 mirror en zfs. Ainsi je mets mes photos sur le premier miroir, mes doc sur le 2 eme, etc
L avantage est une rapidité d accès mais un risque en cas de DD défectueux si il n est pas change rapidement.

Question: en zfs peut on faire un mirror d un mirror ?
Question 2 : en zfs avec un mirror, y a t il aussi la possibilité d avoir un 3 eme DD en spare ?
Ainsi on peut envisager de faire un mirror avec 2 DD et un 3 eme un spare en cas de panne d un des DD

Une autre solution est de faire un raidz1 avec 3 DD et un 2 eme raidz1 avec les 3 autres. Et on met les 2 grappes en mirror.
Un avantage est le mirror ce qui permet de gagner en rapidité.
Question 3 : est ce que le resilvering ou la reconstruction d une des grappes rend inaccessible le nas ? Ou la grappe non atteinte devient opérationnelle ?

Une 3 eme approche est un nas avec un raidz1 et un 2 eme nas avec un raidz1, ainsi un nas maître et en cas de panne on pointe sur le 2 eme.
Inconvénient : 2 fois le matériels.

Une 4 eme approche est un raidz2 avec 4 ou 5 DD et les restant en spare.
La recontruction Da la grappe affecte t elle l accès au nas ?

Vos compléments sont les bienvenus. Je souhaite que le nas reste accessible si la grappe est en reconstruction.

B) quel branchement ?
De plus concernant les connexions, sur les cartes mères nous avons généralement 2 puces qui gère les sata, genre Intel et Marvell.
Si la puce Intel gère 4 sata et la Marvell 2 autres sata, comment connecter les DD ?
La grappe 1 de 3 DD sur la même puce ?

Merci par avance

Un lien intéressant récapitulant les Performances
https://icesquare.com/wordpress/zfs-per ... s-striped/

Bonjour ernie,

A priori, ton lien n'est pas accessible.
Tu peux vérifier s'il te plait ?

Merci.
Cordialement.

velivole18 wrote:Bonjour ernie,

A priori, ton lien n'est pas accessible.
Tu peux vérifier s'il te plait ?

Merci.
Cordialement.

bonjour,
je vient de tester le lien de ernie et il fonctionne ,pour moi .
bonne journée

#zfs set compression=lz4 myzpool
Rien que cela rend le test bidon (ou du moins valable que pour la compression lz4)car les débits sont entièrement dépendants du processeur dans ce cas.

Question: en zfs peut on faire un mirror d un mirror ?
On peut faire un "mirror" de 2,3,4,5 etc disques, ce n'est pas un mirror de mirror mais un mirror de x disques ayant la capacité d'un disque. Cela se gère avec "attach" et "détach"

Question 2 : en zfs avec un mirror, y a t il aussi la possibilité d avoir un 3 eme DD en spare ? OUI
Ainsi on peut envisager de faire un mirror avec 2 DD et un 3 eme un spare en cas de panne d un des DD

Question 3 : est ce que le resilvering ou la reconstruction d une des grappes rend inaccessible le nas ? NON y compris pour une seule grappe
Ou la grappe non atteinte devient opérationnelle ? sans objet

Une 4 eme approche est un raidz2 avec 4 ou 5 DD et les restant en spare. raidz2 c'est 2n disques donc pas 5
La recontruction Da la grappe affecte t elle l accès au nas ? toujours non

Si la puce Intel gère 4 sata et la Marvell 2 autres sata, comment connecter les DD ? si vous créez 2 raidz1 à 3 disques il faut panacher les contrôleurs 2 Intel + 1 Marvell et 2 Intel + 1 Marvell dans ce cas si le Marvell devient hs vos grappes sont encore fonctionnelles en mode dégradé. Si c'est l'Intel là.....ça devient inaccessible.

Merci sleid.

Autre question
Si je fais une première grappe de 3 DD en raidz1, puis je mettre la 2ème grappe raid z1 en mirror plus tard dans un 2 eme temps ? C est à dire qu entre temps la première grappe aura des données dessus.

Concernant les disques spare, peuvent ils aussi être mis plus tard en place ?

Est ce qu DD spare s attache au pool (donc à l ensemble mirror des 2 grappes raidz1) ou seulement à une grappe ?
L idée est de mettre un DD en spare pour l ensemble des grappes.

Non je pense que l'on ne que peut faire que du stripe de raidz et donc ajouter au pool plus tard un autre vdev puis un autre etc.

Un spares s'attache au pool et peut remplacer n'importe quel disque pourvu qu'il soit de taille égale ou supérieur au disque à remplacer.
Attention aux disques de même capacité de marques différentes ils n'ont pas forcément la même taille.

ernie wrote:peut importe la connexion (partons sur du sata pour figer les idées)

On fige déjà les perf

ernie wrote:en zfs peut on faire un mirror d un mirror ?

Oui on peut, mais c'est inutile

ernie wrote:en zfs avec un mirror, y a t il aussi la possibilité d avoir un 3 eme DD en spare ?

J'aurais dis oui, mais Sleid a dit l'autre fois qu'il ne passait pas en secours automatiquement, donc, il faut faire un script (on fait un zpool status et on détermine si il faut lancer le secours)
Je vais essayer çà dans quelques temps.
On peut aussi mettre le 3ème disque en mirroir lors de modif ou après, ou faire une mise en mirroir et quand le pool est bon, par un script, il se détachera du mirroir, c'est une technique que j'utilise quelquefois (je sauvegarde un mirroir physique par un 3ème mirroir en iscsi sur une machine délocalisée, l'avantage c'est que cela ne dure pas longtemps, car ZFS fait son travail en partant de son "arbre" (ZFS a une structure atomique) et il connait tout de suite les changement à faire, contrairement à une recontruction sur un raid classique.

ernie wrote:Une autre solution est de faire un raidz1 avec 3 DD et un 2 eme raidz1 avec les 3 autres. Et on met les 2 grappes en mirror.
Un avantage est le mirror ce qui permet de gagner en rapidité.

On peut faire cela oui, mais c'est un peu dispendieux

ernie wrote:Question 3 : est ce que le resilvering ou la reconstruction d une des grappes rend inaccessible le nas ? Ou la grappe non atteinte devient opérationnelle ?

ZFS travaillera avec ce qu'il a, et tant que son système est bon, il travaillera même en pleine réargenture, çà n'a pas d'importance.
Par contre, comme il peut fournir des données et faire sa réargenture, il se mettra a faire plusieurs chose en même temps, et c'est là qu'on voit la différence avec les disques SATA (pire des SATA en USB! là c'est la cerise sur le gâteau !) ou SAS. C'est ce genre de chose qui pourra représenter une charge sur un système ZFS et avec des montage "léger", çà vire au cauchemar (j'ai connu des époque ou je coupais carrément le courant du nas car il était "partit" je ne sais oû).

ernie wrote:Une 3 eme approche est un nas avec un raidz1 et un 2 eme nas avec un raidz1, ainsi un nas maître et en cas de panne on pointe sur le 2 eme.
Inconvénient : 2 fois le matériels.

Voici mon avis: si on tient à ses données, "on ne met pas tous ses oeufs dans le même panier", même avec un FS de folie, on ne peut pas garantir une alimentation qui crâme tous les disques, ou le feu "électrique" dans un boitier (çà arrive) et tant que l'alim peut fournir "la sauce", elle continue, le vol, ou une catastrophe (incendie).
Pour ma part, je sauvegarde toutes mes MV tous les jours (150Go par jours), j'ai 2 nas identiques (en compression et déduplication) et je sauvegarde mes données sur chacun différemment (je ne fais pas de copie de l'un à l'autre, rien ne doit être altérant). Cela fait deux machines, oui, mais c'est des vieux machins ! mais je suis plus confiant avec deux entitées séparées et du coup, je peux utiliser du matériel de récup et pas cher (des alim de P4, carte en 775 ... bon, j'ai une carte SAS sur le PCI-express et un 15k7 en Zcache .
Les Nas sont délocalisés, car là aussi il ne faut pas avoir la sauvegarde au même endroit.
De plus avoir du super matos et bien, mais il devient vite "dépassé", peut-on faire comme les grosses boutiques qui "basardent" leurs matos tous les deux ans ? ... moins, je préfère le racheter à ce moment là, c'est bien moins cher et çà marche encore longtemps.

ernie wrote:Une 4 eme approche est un raidz2 avec 4 ou 5 DD et les restant en spare.
La recontruction Da la grappe affecte t elle l accès au nas ?

Comme dit précédemment, la reconstruction affectera les performance du nas que si l'ensemble disque n'est pas pas performant.

ernie wrote:B) quel branchement ?
De plus concernant les connexions, sur les cartes mères nous avons généralement 2 puces qui gère les sata, genre Intel et Marvell.
Si la puce Intel gère 4 sata et la Marvell 2 autres sata, comment connecter les DD ?
La grappe 1 de 3 DD sur la même puce ?

Dois-je dire ce que j'en pense ? Déjà le SATA est pourri, mais en plus ce n'est pas du tout du bon montage.
Le meilleur serait d'avoir 2 PCI-express avec un controlleur SAS sur chaque PCI-express, et chaque grappe sur chaque controlleur, comme çà si un "ensemble disque" tombe le reste est là. (et on peut utiliser 16 disques ! .. pour 50/60 euros et avoir ses SATA de libres pour y mettre un SSD ! là, çà cause dans l'poste ![/quote]
Si on veut de la perf à mort, on prend une carte avec 3 PCI-express et on place le Zcache ou le Zlog sur le 3ème controlleur

On peut aussi faire la chose suivante, un raidz1 avec 3 disques et -au cas oû- un autre raidz1de 3 disques qui n'est mis en route que pour faire du rsync. De cette façon, on a une sauvegarde qui n'est pas altérable (mauvaise manip de l'admin sur le pool en cours), soit le rsync est fait manuellement, ou alors automatiquement. cette deuxième branche de secours peut même être un peut plus grosse (ou posseder de la compression) pour faire du backup-rsync sur plusieurs jours.
Moi, perso, je ne peux pas avoir une seule machine avec tout dessus et n'avoir que çà, c'est inconcevable ... je suis peut-être parano, mais bon ... çà m'a toujours sauvé.

Voilà, mon avis ... çà vaut ce que çà vaut.