ZFS : Clarification

[daweed]

Bonjour,

je souhaites monter un Nas4free sur un serveur HP DL385 Gen 2. (Dual Quad Core Opteron / 16 Gb RAM)
Le serveur contient une carte RAID type HP Smart Array Controller. 4 disques de 1 To ont été agrégé en RAID 5 me donnant une grappe de 3 To nominale :

HDD Management
Device Device Model Size Serial Number Controller Controller Model Standby Filesystem Status Toolbox
da0 ST1000LM024 HN-M101MBB 146.77GB S2R8J9ED905621 ciss0 HP Smart Array P400 Always On EXT2/3/4 ONLINE
Edit Disk
da1 ST1000LM024 HN-M101MBB 3.00TB S2R8J9ED905644 ciss0 HP Smart Array P400 Always On ZFS Storage Pool ONLINE
Edit Disk
da2 PNY USB 2.0 FD 0.00 8.07GB 0000000029BF58E0 umass-sim0 EHCI (generic) USB 2.0 controller Always On UFS ONLINE
Edit Disk

J ai constitué un Pool ZFS avec (stripe puisque je n ai qu'un seul disque visible). Je ne vois pas trop l'interet de faire un Zpool de type raid "software" quand j ai un controlleur RAID materiel dans la bête.

Ce que je ne comprends c est comment je taille mes partitions dans ce foutus pool ...

Je suis peut etre a coté de la philosophie, mais ce que je souhaite faire c est un peu comme avec LVM (vus que ce n est pas dispo sur nas4free ... je me demande pourquoi d ailleur ), pouvoir tailler mes partitions (ou volumes ou dataset, la doc n est pas vraiment riche d explication sur les "bonnes pratiques a suivre et encore moins clair sur le sujet ZFS ...) et les redimensionner a souhait.

Si, comme je commence a le supputer il n est pas possible de diviser ce (ou que ce n est pas dans la philo ZFS) je regarderais pour me diriger vers d autre solutions de stockage.

J ai donc un Virtual Device (Stripe)
Name Type Description
ZPDATA01 stripe ZPDATA01

Un Pool constitué du Device ZPDATA01
ZPDATA01 2.72T 368K 2.72T 0% 0% 1.00x ONLINE -

Et maintenant je seche.

Je dois construire un certains nombre de partage, un peu comme a la sauce LVM
Photos
Videos
Musiques

... Etc

Et à partir du pool 2.72T ZPDATA01 (outch ... 300 G perdus lors du formatage ZFS) je voudrais créer mes différents FS ayant chacun un point de montage, mais la je me perds entre les Volumes et les DataSets ...., quelles sont les bonnes pratiques ?

D'avance merci

Daweed

[mtiburs]

Bonjour,

Le serveur contient une carte RAID type HP Smart Array Controller. 4 disques de 1 To ont été agrégé en RAID 5.
J ai constitué un Pool ZFS avec (stripe puisque je n ai qu'un seul disque visible).
Je ne vois pas trop l'interet de faire un Zpool de type raid "software" quand j ai un controlleur RAID materiel dans la bête.

Il ne faut pas faire ce genre de chose !
Le raid5 matériel n'est jamais qu'un raid5 logiciel au sein d'une carte fille (firmware).
Raid5 (ou autre) ont été conçu à une époque et demande des configurations strictes et sécurisées (il faut absolument une carte avec une batterie pour le WriteHole:
http://raid-recovery-guide.com/raid5-write-hole.aspx
http://www.tomshardware.co.uk/answers/i ... -raid.html
Un système raid5 doit être un serveur (conception), et, avoir toute la chaine en mémoire ECC (de la tête au pieds ... enfin pluôt du processeur à l'électronique du disques durs.

ZFS est un système "moderne" ayant été conçu pour gérer des tailles gigantesque.
ZFS est un système de fichiers 128 bits, ce qui signifie que ses capacités de stockage sont 264 fois celles des systèmes de fichiers 64 bits actuels. D'un point de vue plus pratique que théorique, les limitations de ZFS sont tellement grandes qu'elles ne pourront jamais être atteintes.
https://fr.wikipedia.org/wiki/ZFS

ZFS de par sa conception, est un système fonctionnant par transactions: on fait des copies, on vérifie que c'est bon, et on valide (par un seul bit ! difficile de faire moins
Dans une utilisation, non-pro, on peut monter un système ZFS scabreux et lui faire des misères, il fera ce qu'il faut comme il "peut" à "sa vitesse" et fera en sorte d'avoir un résultat bon.
Dans un système pro, il faut de la mémoire ECC (et processeur également) ... et c'est tout !

ZFS a été conçu avec une technologie COW (CopyOnWrite) et consomme un peu plus de "terrain" (sur le disque à cause de ses copies) qu'un FS traditionnel. La seule différence avec un FS traditionnel, c'est que vous pouvez lui faire les pire misères au pires moments ... çà redémarre sans broncher.
Il y a un certains nombres d'années que j'utilise ZFS en privé et en pro (avec du matos de seconde main grand-public), je n'ai jamais mis de batteries dans mes 3 onduleurs ! (ils sont rangés)
Pourquoi ? parce que quand je l'ai mis en place, j'ai fais des tests:
- lancer une dizaine de copie de fichiers en même temps et en coupant l'alim ... redémarrage: rien: aucune erreur
- débrancher un câble sata lors du même genre d'écritures simultanées: le pb est géré, tout simplement

ZFS, tout comme BTRF sont pour moi deux FS "modernes" avec une sécurité maximale.

Donc, TOUS devices physiques doit être gérés uniquement par ZFS !
Une exception cependant, si on veut booster à mort son ZFS avec un cache (Zcache), il est possible d'utiliser le raid 0 matériel de la carte pour le device virtuel qui sera dédié au cache.
Pourquoi? Parce qu'en strippant, on aura un cache plus facilement utilisé par ZFS; mettre un disque dur avec un débit de 130Mo/s risque d'être complétement boudé pas ZFS, si les donnée sont avec un débit de 140Mo/s, le cache perdra même du temps a se peupler pour rien.
Alors qu'en raid0 matériel, on peut fournir un cache à 260Mo/s et là, ZFS sera content.
Attention, il y a des réserves dans ce que j'écris, car la vitesse de rotation joue et le cache interne du disque joue ainsi que le type de données)
Mais pour avoir une idée, un montage courant que je fais régulièrement, c'est 2 disques en miroir ZFS avec un cache de 4 disques en raido0 matos (15000tr/min en SAS)

Donc, à part du tunning sur le Zcache (ou Zlog) pour se faire une "machine de guerre", ZFS doit gérer SEUL ses devices.


Pour le reste, il me semble que vous êtes curieux et que vous voulez "comprendre".
Je vous conseille donc la chose suivante:
- Ne pas mettre vos données immédiatement (prendre le temps de faire des tests)
- Lire cette doc (les grandes ligne sont applicables: http://docs.oracle.com/cd/E26919_01/htm ... index.html
- faites vos contructions et "comprenez" le système
par exemple, même avec votre config actuelle, vous pouvez immédiatement vous lancer dans des configurations sans risque avec des fichiers)
- en créeant des fichiers avec dd de toutes petites tailles
- en utilisant ces fichiers comme des devices
dd if=/dev/zero of=/mnt/disk1 bs=1M count=100M
zpool create monpool /mnt/disk1
et voilà votre pool de crée ! quand vous avez fini: zpool destroy monpool

Chose à savoir:
ZFS est un FS de type "bloc", il demande une grosse réflexion lors du choix de départ, car on ne peut pas modifier les choses facilement:
- on ne peut pas enlever un disque sur du "stripping"
- on ne peut pas réduire ou changer le type d'un raidz (on peut l'augmenter en changeant les disques ou en strippant avec un autre raidZ)
En revanche:
- on peut ajouter un disque en miroir et l'enlever "à chaud"
- on peut ajouter et enlever des disques de cache ou de log
Un FS comme BTRFS, lui, permet tout, on peut passer d'un raid0 avec des méta-données et raid1 à un pool en raid2, en rajoutant des disques durs et enlever des disques à chaud, mais:
le raid1 n'est que sur le "fichier" (pas sur les blocs, c'est à dire que sur un pool de 3 disques, le fichier sera peut-être sur le disque 1 et la copie sur le disque 2 ou 3), en fait c'est une sorte de jbod sans les inconvénients propre au jbod.
la notion de raid5 ou 6 n'existe pas
Le travail de remise en état est plus long

ZFS n'a pas de système de réparation ! on voit la là fiablité pour un système de taille gigantesque, car il a été pensé depuis le début pour être fiable à fond (on peut même le régler pour être parano au prix de performance altérée)

LVM est un système très bien pensé, mais quand on a goûté à ZFS ou BTRFS ... on voit les choses différement

Pour vos datasets, il n'y a rien de plus facile:
Voici un exemple:
* en ligne de commande
zfs create monpool/Photos
zfs create monpool/Videos
zfs create monpool/Musiques
un coup de synchro dans le webgui pour que çà soit en phase
* ou par le webgui en suivant les menus

Voilà, je n'ai pas eu une approche très webgui, peut-être un peu trop "ligne de commande" et doc, désolé.

Mais sachez qu'une fois ZFS compris, ce sera sans doute votre FS préféré
Pour ma part, j'utilise ZFS et BTRFS, car chacun a ses avantages, mais ZFS est vraiment top coté sécurité et performnces en utilisant le cache qui peut être d'une performance extrème avec le SSD (ou avec des disques SAS).
ZFS peut être un très gros système mais il peut être aussi ... tout petit ! (Raspberry PI 2B)

Nas4Free, permet de profiter de ce super FS avec une légerté et facilement (la plupart des gens on même tendance à l'oublier !).
Votre matériel sera souvent utilisé jusqu'à sa mort.

Pour finir, si vous avez utlisez LVM et que Linux vous plaît, essayez BTRFS !
Mais, si vous voulez un serveur léger, Nas4Free est parfait (j'avoue ne pas être au top de l'actualité sur les dernière versions, et, quelquefois le webgui peut paraitre "étrange", mais c'est un NAS qui évolue sans cesse).
On trouve de la doc en français facilement (ligne de commande), on peut reconnaitre qu'un mode d'emploi pour le webgui "à jour" serait bien, mais il faut avoir le temps.

Voilà, j'espère que mes explications seront suffisantes.

[ernie]

Hello

Bienvenu sur le forum.

Ici tu auras certains éclaircissement:
viewtopic.php?f=94&t=7391&p=45121&hilit=tiroir#p45121

A la lectrure de ta demande, je pense que ce que tu cherches est de créer des datasets. C'est un système FS présent sous ton pool et il a tous les paramètres du pool par défaut. Cependant tu peux en changer certains (voir la fenetre de création du dataset via le webgui).

De mon côté c'est ce que je fais:
- un dataset admin
- un autre photo
- un autre musique
- ....

et ensuite j'utilise aussi des répertoires pour mieux organiser les données.

Attention: comment souhaites tu partager par la suite les données ? NFS ? Samba ?

Sous NFS cela marche et il y a une logique à respecter lors de la création du partage nfs sous nas4free. Samba, je sais pas et cela peut se complexifier par rapport aux droits du fs ou des répertoires (vu sur le forum UK). Mais si tu maitrises Samba cela le fera.

A+

PS: mtiburs m'a devancé et très détaillé... pas mieux

[daweed]

Bonsoir,

Merci pour toute vos réponses ... je commence a voir la lumière

La carte raid HP Smart Array Controller P400 possède sa propre batterie.

Il s agit bien d un serveur (HP DL385 Gen 2 [ acheté chez un broker anglais pour moins de 250 € sans disque mais avec tiroir])

Si je comprends bien, vous me conseiller de ne pas créer de grappe RAID directement via les utilitaires de la carte avant boot de l'OS, de mettre les disque en raid 0 (je n ai pas le choix, la cages des 8 HDD sont connecté sur la carte raid) , de les formaté ZFS (si j ai bien compris il deviennent des virtual devices), puis de les agréger en raidZx.

Pas de problème pour le shell, la console ne m effraie pas (DBA au sein du département IT de ma société).

Concernant les partages, je n ai pas encore complètement décidé, Samba si je peux connecter le NAS4FREE proprement a mon contrôlleur de domaine pour l authentification et NFS pour les 3 postes linux de la maison.

Cette machine n'a pour but que d'héberger des fichiers multimédia afin de servir les FreeBox player de la maison pour la lecture des différents média. (fonction déjà activé sur un autre nas4free,( 5x 500Go agrégé en RAID 5 Logiciel via Nas4free dont je ne me souvient plus de la version et le volume raid a été formaté UFS)

Quand au Rpi, je connais bien, j ai conçus (Hardware et Software) une interface pour simulateur de vol afin de pouvoir créer son propre cockpit

http://wiki.flightgear.org/FG_interface


En tous cas Merci pour toutes ces explications .... il n y a plus qu'a | pas de soucis pour les données, en ce moment je test un peu toutes les solution OpenSource dans le domaine. Le serveur peut "perdre" ses données et être reformaté dans l heure ;p , pas de soucis pour le moment.

[sleid]

(si j ai bien compris il deviennent des virtual devices), puis de les agréger en raidZx.

Non les vdev ce sont des combinaisons de disques en raidz X x dépendant du nombre de disques dans le vdev, si l'on a un ou plusieurs vdev il(s) devient(nent) membre du pool.

[mtiburs]

Si je comprends bien, vous me conseiller de ne pas créer de grappe RAID directement via les utilitaires de la carte avant boot de l'OS, de mettre les disque en raid 0 (je n ai pas le choix, la cages des 8 HDD sont connecté sur la carte raid) , de les formaté ZFS (si j ai bien compris il deviennent des virtual devices), puis de les agréger en raidZx.

C'est exactement ce que je fais avec mes nas avec des disques SAS
- je prends chaque disque qui est déclaré en raid0 (on ne peut faire autrement, et puis de toute façon, un raid0 ... sur un seul disque ... c'est pas dangereux )
- je fais un import des disques avec le webgui
puis
- soit je fais un zpool create ... puis quand tout est finis une synchro sur le webgui
- soit j'essaie de le faire au webgui directement (je le fais de plus en plus souvent)
Le seul hic, c'est que quand j'ai une mauvaise connexion sur un disque car j'utilise des câble chinois à 13e d'1M de long avec des Molex très mal montés (maintenant, je suis passé à la pince coupante et au "bon vieux" sucres) et les affectations SAS sont un peu chamboulées, je ne comprends pas toujours tout et en plus çà change au gré des vents et des marées
... un jour, je poserai la question en détail sur le forum
Bref, de toute façon, quand tous les disques sont là et présent (c'est çà l'essentiel), ZFS retrouve ses "petits" même si les disques sont tous mélangés et même si la config des disques en toute en rouge ! (un simple efface/import et c'est tout nickel). C'est çà qui est bien avec ZFS, c'est qu'il est moderne est rend les chose facile: par exemple (je prend exprès un cas complexe): imaginons que j'ai un chipsets HS, il est tout a fait possible de mettre physiquement le disque sur un autre NAS, de le mettre en iscsi, de le récupérer sur le NAS local et de démarrer le pool, on peut même copier tous les disques du pool dans des fichiers sur un autre NAS (pour récupérer physiquement les disques), faire un partage NFS, faire le montage sur le NAS et faire des liens symbolique pour que tout les fichiers semblent être au même endroit dans un répertoire, et zou ! le pool reprend vie.

Pas de problème pour le shell, la console ne m effraie pas (DBA au sein du département IT de ma société).

Alors, n'hésitez pas à utliser ZFS par la console
Mettez vous bien en tête que le webgui permet d'accéder à la configuration ZFS et de la modifier, mais ZFS peut très bien fonctionner avec une config ZFS webgui complétement "dans les choux", voir même absente ! (la synchro permet de se rmettre en phase, il faut un peu de "tenue" quand même).
Les commandes directes sont du style:
zpool iostat -v
zpool status -v
...



Quand au Rpi, je connais bien, j ai conçus (Hardware et Software) une interface pour simulateur de vol afin de pouvoir créer son propre cockpit
http://wiki.flightgear.org/FG_interface[/quote]
Sympa comme projet

[daweed]

Salut, encore merci pour tous ces retour

C est exactement ce que j ai fait, "raid0" pour chaque disque (bon moi j ai mis des SATA dans la bête les SAS n'étaient pas dans mes moyens, mais la cage de DD (8 emplacements) peuvent recevoir du SAS....)

Pour 4 disques 1 To en RaidZ1 je tombe a 3,6 To utilisable.

Comme indiqué j ai créé des Dataset et c est bonheur,

Une fois encore merci pour les infos

Une petite dernière pour la route. Demain je rajouter 2 disque supplémentaire.
Est ce que je peux agrandir mon virtual device avec, ou je dois en créer un nouveau ?

Et pour le pool dans ce cas ça se passe comment ??

[mtiburs]

Bonsoir,

Je vous conseille donc la chose suivante:
- Ne pas mettre vos données immédiatement (prendre le temps de faire des tests)
- Lire cette doc (les grandes ligne sont applicables: http://docs.oracle.com/cd/E26919_01/htm ... index.html
- faites vos contructions et "comprenez" le système

Les deux dernières phrases étaient très importantes

Donc pour:
Est ce que je peux agrandir mon virtual device avec, ou je dois en créer un nouveau ?
Et pour le pool dans ce cas ça se passe comment ??

Et bien si on prend l'idée de lire la doc:
Exemple 4-2 Ajout de disques à une configuration RAID-Z
De la même façon, vous pouvez ajouter des disques supplémentaires à une configuration RAID-Z. L'exemple suivant illustre la conversion d'un pool de stockage avec un périphérique RAID–Z composé de trois disques en pool de stockage avec deux périphériques RAID-Z composés de trois disques chacun.
http://docs.oracle.com/cd/E26919_01/htm ... html#gazgw

# zpool status rzpool
pool: rzpool
state: ONLINE
scrub: none requested
config:
NAME STATE READ WRITE CKSUM
rzpool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
c1t2d0 ONLINE 0 0 0
c1t3d0 ONLINE 0 0 0
c1t4d0 ONLINE 0 0 0
errors: No known data errors

# zpool add rzpool raidz c2t2d0 c2t3d0 c2t4d0
# zpool status rzpool
pool: rzpool
state: ONLINE
scrub: none requested
config:
NAME STATE READ WRITE CKSUM
rzpool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
c1t0d0 ONLINE 0 0 0
c1t2d0 ONLINE 0 0 0
c1t3d0 ONLINE 0 0 0
raidz1-1 ONLINE 0 0 0
c2t2d0 ONLINE 0 0 0
c2t3d0 ONLINE 0 0 0
c2t4d0 ONLINE 0 0 0
errors: No known data errors

On voit qu'en fait, on a à faire à un entrelacement des raidz (l'entrelacement n'est pas dangereux puisqu'il est conçu à base de raidz
Donc, la réponse est, on ne peut plus toucher le nombre de disque (tranches de raidz) une fois le raidz fait.

Je l'avais indiqué l'autre fois:
Chose à savoir:
ZFS est un FS de type "bloc", il demande une grosse réflexion lors du choix de départ, car on ne peut pas modifier les choses facilement:
- on ne peut pas enlever un disque sur du "stripping"
- on ne peut pas réduire ou changer le type d'un raidz (on peut l'augmenter en changeant les disques ou en strippant avec un autre raidZ)

Si on veut rester dans le même raidz (c'est à dire même nombre de tranche), il faut juste passer l'autoexpand à on (commande ZFS) et ensuite mettre des disques plus gros (il y a eu un post sur le sujet une fois, mais je ne le retrouve pas)

Faites vos montages avec des fichiers (100Mo), vous verrez comment çà marche !
- çà prend pas de place
- çà va vite
- on peut tout casser
- on voit 'directement' ce qui se passe

[sleid]

Remarque:

RAID-Z1 doit avoir 3, 5 ou 9 disques dans chaque vdev.
RAID-Z2 doit avoir 4, 6 ou 10 disques dans chaque vdev.
RAID-Z3 doit avoir 5, 7 ou 11 disques dans chaque vdev.

"Si on veut rester dans le même raidz (c'est à dire même nombre de tranche), il faut juste passer l'autoexpand à on (commande ZFS) et ensuite mettre des disques plus gros (il y a eu un post sur le sujet une fois, mais je ne le retrouve pas)"

Ou en cas d'oubli de passer autoexpand à on, faire un online -e sur chaque disque du vdev.