Petit retour d'expérience sur Nas4free/Linux+ZFS

[mtiburs]

Petit retour d'expérience sur Nas4free&Linux+ZFS

Voici les différentes évolutions que j'ai faites dans mes installations:

1) Linux/Debian-stable + données local et en NFS/Nas4Free+ZFS
Je n'en étais pas content car mon "tux" était physique, de plus, les données sont locales et sur un seul nas (donc du rsync de temps en temps, sur un nas identique)

2) Linux/Debian-stable/Virtualbox + NFS/Nas4Free+ZFS
Là, c'est mieux car je peux sauvegarder mon "tux" en NFS, mais toujours du rsync pour mes sauvegardes

3) Linux/Debian-stable/Virtualbox + NFS/Nas4Free+ZFS
C'est fois une petit innovation, je monte le NFS du Nas4Free sur ma Debian et j'utilise ma machine virtuelle directement stockée dans le NFS

3b) un cache NFS pour ma Debian (cachefilesd)
Là le fonctionnement est impeccable, un peu plus lent par le réseau lors du premier accès mais après le cache se fait en SAS ou mieux en RAMdisk (là çà cause !)
mais, le NFS est unique, d'oû encore des rsync

Là un évènement fait que je dois prendre le "taureau par les cornes", car il me faut rapidement une MV hyper-fiable car je suis "bordélique" et je vais avoir a mettre pleins de bazar rapidement et ne pas avoir le temps de ranger (je vais devoir utiliser ma MV comme stockage temporaire pendant un "certain temps", le plus court possible ... si possible, oui, je sais, je m'auto-excuse un peu ... ahhh la rigueur, soupir !)
Enfin, en gros, je veux utiliser mon système sans aucun pépins.

Suite a quelques déboire: matériels vieillissant et plantage en RAM, je réfléchis à un stockage plus fiable

4) Je transforme mes Nas4free en serveur iscsi, c'est à dire que mes deux NAs4Free en dualcore/775/4Go ne font plus "NAS", mais "SAN" (en fait il peuvent toujours faire NAS, mais volontairement je laisse au plus simple)
Je place sur chaque SAN(NAs4Free) un disque de 1To.
Je récupère mes disques en iscsi avec open-iscsi et ensuite je lance ZFS en mirroir avec les disques des SAN.
Sur ce pool, j'installe ma Debian (et d'autres MV).
J'y croyais pas trop car j'ai tout mis sur le même réseau (chose à ne pas faire) et j'ai aussi installer des pools différents dans d'autres cibles des SAN.
Ma MV est lancé sur mon pool (donc en Zmirroir-iscsi), j'ai 6 Zcache de 80Go en SSD pour tous les pools.

Et après plusieurs mois d'utilisation, j'en suis très content.
Ma MV ne présente pas de ralentissement visible malgré des compressions et déduplication en parallèles sur les autres pools (pour rappel: chaque pool possède son Zcache en SSD), bon, ceci avec un bi-xéon (16 cores réels ... çà aide un peu !)

En gros, cela donne:
Nas6:
1 To iscsi (miroir1)
2 To iscsi
Nas7:
1 To iscsi (miroir2)
2 To iscsi
Linux/Debian-stable/ZFsonLinux/Vbox:
1 To constitué du Nas6+Nas7 en miroir
500Go de SSD partitionné en 6 parties
2x 40Go en miroir pour l'OS (SATA)

J'ai même profité d'un fichier de 1To sur un disque de 2To d'un serveur de MV pour le mettre en cible iscsi faite avec une MV Nas4Free (donc un Nas4Free virtualisé) sur un Q9650/12M en 775
Ce qui au final me donne un miroir d'1To (3 disques iscsi de 1To).
Pour info: Nas4Free fonctionne merveilleusement bien sur une machine apte à la virtu (aucune différence visible avec le vrai, car un processeur qui est "câblé pour" exécutera Nas4Free directement en fait, vbox surveille juste si les instructions sont a "empacter" ou pas)
Je trouve cela simple au final, car sur mon linux, ZFS monte le 3ème miroir, si, il est dispo (je le mets en service qu'une fois par semaine comme sauvegarde
A terme, un Nas4free (Nas5) sera un miroir des autres.

L'avantage, c'est que je peux faire des montages de ce type:
sur un Linux 1 (Nas=San dans mon cas):
Nas5+Nas6+Nas7: poolx 1To (MV-A)
Nas5+Nas6+Nas7: pooly 2To (MV-B)
Nas5+Nas6+Nas7: poolz 2To (MV-C)
ou si je veux plus de puissance:
Nas5+Nas6+Nas7: poolx 1To sur un Linux 1 (MV-A)
Nas5+Nas6+Nas7: pooly 2To sur un Linux 2 (MV-B)
Nas5+Nas6+Nas7: poolz 2To sur un Linux 3 (MV-C)
De plus, mon Linux1 peut être un dualcore, un i5 comme un bi-Xéon (çà n'a aucune importance car la MV se trouve en fait dans les SAN)
On "pourrait" même imaginer faire tourner une MV sur un des Nas, soit:
Nas5+Nas6+Nas7: poolz 2To sur une MV-C qui tourne dans une jail du Nas6 (pas encore testé mais je pense que c'est possible)

Les sauvegardes par instantanés sont immédiates.
c'est hyper solides (ZFS)
si un nas tombe pas de soucis (même deux au pire)
si un nas et défaillant, pas de soucis au lancement des MV (car Vbox, LVM ou mdadm peuvent gérer de l'iscsi, mais la gestion en cas de défaillance est capricieuse)
et c'est surtout rapide (dû au Zcache de l'hôte)

le SAN peut-être un Nas4free ou un Linux/iscsi-target (ou autre), mais par expérience, je trouve le Nas4Free plus fiable dans le temps (je ne sais pas comme l'expliquer), il est aussi plus siple a configurer et il peut marcher en embarqué, ce qui n'est pas négligeable)

Bref, ce n'est pas de la "haute-dispo" mais çà marche très bien (je sauvegarde 150Go/jour et j'utilise toujours ma MV comme une machine normale (par un Rapsberry ou des vieux P4 recyclé en RDP

Voilà, oû j'en suis (je ne suis pas un expert, j'essaie et je constate ... à mon niveau)
Je compte tester un jour XEN et Proxmox, mais ma dispo étant limité, ce sera pour plus tard.

J'aurais aimé faire de l'iscsi avec du bananaPi(1Go de RAM/rj45 en 1000) ou du RaspberryPi2, mais je n'y arrive pas pour l'instant. Le but serait de réduire la consommation des cible-iscsi. En même temps, je compte "pousser un peu" le stockage de chaque SAN et mettre un réseau correct (x iscsi séparés des données).

C'est un peu une alternative à HAST, mais je ne suis jamais arrivé a le faire fonctionner (et je ne vois pas beaucoup d'exemple des autres non plus sur le sujet) ,et, surtout, j'étais pressé par le temps.

Finalement ... des vieux PC en 775, des disques de 2To en SATA-pourris (le SATA l'est forcément), une bonne UC+SSD(ou SAS) et çà donne un engin de guerre efficace et "inaltérable".

[mtiburs]

Je complète ce post, pour dire que pour l'instant, je fonctionne comme cela:

- des serveurs de MV en Linux Debian/ZFS(ZOL) avec du Zcache local (SSD ou SAS: en fonction des écritures)
- des serveur iscsi en 775 sous Nas4Free.

Pour les performances, j'ai trouvé une astuces aujourd'hui pour utiliser des MV distantes en iscsi avec une très bonne vélocité: je force la lecture du pool en faisant un less fichierMV.vdi>>/dev/null, de cette façon, le cache se remplit très rapidement et ensuite tout marche en cache, et là c'est très rapide, utiliser l'iscsi à la vitesse du SSD, c'est intéressant (pour la lecture uniquement, pour l'écriture, je laisse en normal)
De cette façon, les lectures sont rare et il y a moins de débit sur l'iscsi (ce qui donne plus de débit pour l'écriture du coup !)

Pour moi, ce serait le "graal", il y a juste un mais, la version stable de LinuxDebian/Wheezy est passé en Jessie, donc avec systemd et je ne sais pas trop quoi en penser pour l'instant, car j'ai peu d'expérience avec systemd.