XigmaNAS

Bonjour,

Je suis en train de me faire un NAS (à base iscsi et virtuel) pour deux choses:

- tester les fonctionnalités iscsi et surtout la partie nas en virtualisation, voir aussi comment est géré une coupure sur les disques avec Nas4Free
- avoir une sauvegarde de mes données (lors de certaines manoeuvres sur mes Freenas en Nas4Free, j'ai 3 nas a faire de manière identique: un en Freenas 0.7.2 et deux autres en 8.x), après une longue réflexion je choisis de les passer (petit à petit) en Nas4Free (parce que je suis habitué à l'interface, sa solidité et aussi pour la philosophie de ce projet)
Pour information: il s'agit de 2 disques durs de 2 To montés sur une debian stable (Squeeze en net-install) avec le minimum, fonctionnannt en mode texte uniquement. Le Nas4Free fonctionnera en mode "headless" par Virtualbox (mise en route de la vm Nas4Free automatiquement quand mes disques seront démarrés)

Je viens d'être confronté à un premier soucis:
L'ordre des disques ne font que changer, le système dans /etc/fstab est déclaré sous forme d'UUID et il est parfois en sda ou en sdc (mon disque système est en IDE et les autres disques sont en SATA)
Je voulais les utiliser en mode bloc directement et j'ai informé le gestionnaire iscsi de debian par les dev directement, mais comme ceux-ci changent, mon Nas4Free n'est pas bien content !
Je vais utiliser alors la même technique de label ou d'UUID comme cela je ne serai plus tributaire de l'ordre des disques et je vais passer d'un mode bloc direct pour un mode bloc en fichier (les partitions seront montés cette fois par le système Debian).
Je suis actuellement en train de faire la manoeuvre est je me pose la question suivante:
1- Quel FS dois-je utiliser ? je suis partis sur de l'ext2 pour ne pas avoir de journalisation et être le plus direct possible, est-ce un bon choix ? (sachant que ce sera un ZFS derrière).
2- Est-ce qu'il y a une différence de performance ou autre entre un disque utilsé en mode bloc directement ou sur un fichier ?
Sinon, même si c'est un peu tard pour moi:
3- peut-on indiquer dans /etc/ietd/iet.conf un UUID ou LABEL de partition à la place de /dev/sdb ?
Lun 0 Path=/dev/sdb,Type=blockio

En fait, je venais de tester le fonctionnement en stripe de deux disques en ZFS et en virtuel (en mode bloc direct sur le disque, mais suite a une défaillance de ma carte mère je suis donc en train de recommencer, je sais que ça marche bien et j'ai pu déjà faire fonctionner cette structure, le but de tout cela serait d'avoir au final des disques en mirroir iscsi placé sur des machines différentes avec un Nas4Free en virtuel pour ne pas dépendre du matériel, de cette manière le système serait toujours utilisable.

Un autre question me vient alors:
4- est-il possible d'ajouter facilement un disque en mirroir avec Nas4Free avec l'interface web ? (ou faut-il jouer avec les commandes ZFS)

Cordialement.

en résumé, nous avons :
debian + 2DD en ext2 ou 3> Vbox avec 2 DD VDI correspondant aux 2 unités ext2>freenas avec les 2 VDI en ZFS mirroir> un volume partagé en ISCSI.
Et ton but serait d'avoir un système toujours utilisable?
Comment entends-tu disposer d'un système stable avec une gestion de tes données à 4 niveaux : EXT>VDI>ZFS>ISCSI soit 4 sources de défaillances potentielle?
Et je ne parle là que des systèmes de fichiers! Il y a aussi les différents systèmes dépendants les uns des autres plus la virtualisation de ta connexion RJ45 à laquelle il va falloir faire accepter les jeux de commandes ISCSI.
mtiburs nous ne sommes plus de véritables inconnus l'un pour l'autre n'est-ce pas?
J'ai été pris entre admiration et doutes en voyant l'exaltation que tu mets à défendre le ZFS sur les forums FreeNas mais là, les bras m'en tombent!
Pour te mettre sur la voie, si tu tiens à virtualiser un FreeNas ou Nas4Free il me semble que seule la paravirtualisation genre XEN pourrait te permettre une gestion directe des disques sans ce phénomène de poupées russes.
Mais les poupées russes bien que matérielles ne sont que des souvenirs.
Fais tes expériences et relates-nous tes résultats ce sera intéressant.

Salut loulnux !

Je suis content de te lire

En fait, il faut voir mon montage plus comme un moyen d'apprentissage, ce n'est pas une structure de production, cela me permet en fait:
1 - de comprendre la gestion de l'iscsi
2 - de me familiariser avec les différentes possibilités qu'offre Freenas et Nas4Free au niveau des mirroir et raidz, je suis presque ignare sur le sujet et je voudrais voir par moi-même les choses en "réel", avec évidement quelques essais grandeurs nature pour voir comme cela se passe et comment cela se gère.
3 - de tester une éventuelle possibilité de virtualiser le NAS de façon a avoir un temps d'arrêt minimum pour pouvoir retrouver un état de service (cas de panne du NAS)
4 - de voir, et, d'essayer de comprendre les différentes possibilités offertes (comment savoir si on sait pas

Actuellement, j'ai:
- un NAS de 2To appelé FR1 (2x2To en mirroir) en production
- un NAS de 4To appelé FR2 (2x2To en stripe) qui rsync le FR1 2 fois par jours et qui possède des données perso et upnp.
- un NAS de 4To appelé FR3 qui est une copie matériel de FR2 et qui se rsync selon mon humeur chaque week-end, en fait c'est un NAS qui est utilisé juste en RSYNC, il n'a aucun service et se trouve dans un local déporté.
- un serveur de MV (SMV1) Debian/squeeze avec Virtualbox (partie "secrétariat")
- un serveur de MV (SMV2) Deb/sq (partie "agents de maitrise")
- un serveur de MV (SMV3) Deb/sq de secours ou de test (j'aime bien faire des machines véloce avec le minimum requis)
- un switch en 1000
- un switch (secours du 1000) en 100
Voilà en gros ma structure (tout ça est très silencieux, FR2&3 sont avec CM passives) et les SMV sont avec des gros VTL silencieux.
Les MV sont lancé à la demande par une icône sur le poste client (une icône et un bouton d’arrêt sur un gnome zenéifié).
Je ne veux pas de virtualisation de type XEN car j'utilise Virtualbox (à cause des machines Windows), de plus XEN est très bien mais relativement complexe a mettre en œuvre et peu adapté à Windows, dans mon cas, j'installe Debian en mode texte + Vbox + un petit script et ça roule ! (Vbox en mode headless sur une debian en mode texte, c'est ... super)
J'ai testé aussi Proxmox mais c'est tout en anglais et je suis un peu perdu, mais c'est un beau projet.

Je voudrais gonfler les choses avec:
- un switch 1000 (iscsi) avec un réseau dédié
- "une idée en cours " je vais en parler plus loin (l'objet de ce post)

Ce que j'apprécie dans ma structure, c'est que tout est autonome et tout peut subir une panne (rien n'est bloquant), le temps de remise en état n'excède pas 10 à 15 min (par exemple importer une MV du NAS vers un SMV).
J'utilise certains NAS comme moyen de sauvegarde avec des modules RSYNC (FR3 en particulier)
Tout peux être upgrader facilement et indépendament.
FR1 est un Freenas 8.2
FR2 est un Freenas 0.7.2
FR3 est un Freenas 8.0
Je voudrais mettre mes 3 NAS dans le même jus et je ne sais pas quoi mettre dessus (Freenas ou Nas4Free).
Ma préférence irait à Nas4Free, mais je viens de constater des anomalies: perte de la config, impossibilté de valider un choix alors que sans raison apparente celui-ci "passera" par miracle (dans la partie ZFS).
Freenas me plais moins car j'ai subi beaucoup de déboires et de bugs au début (essuyage de plâtre), cela s'améliore avec le temps, je sais que la tâche est importante et c'est un gros "truc" maintenant, c'est un produit qui ne peut qu'évoluer.

L'inconvénient de ma structure est:
- Mise à jour des données pas assez rapide [duplication a essayer ? au lieu d'rsync]
- Difficultés de reporter les service de FR1 sur FR2 facilement et rapidement (chemin pour les lecteurs Windows, il y a 10 postes Windows virtualisés), c'est le gros problème [utilsation d'un fail-over ?]

Je ne veux pas de grosse machine unique avec un risque de panne, je préfère des petites unités autonomes ou du virtuel (ça ne peut subir qu'un pb réseau)
Je ne veux pas de switch manageable, il faut du simple, pas de config.

alors mon "idée en cours" ... c'est:
- bin ... j'en sais rien !!! LOL

Je teste actuellement un NAS en virtuel, l'avantage de cette solution, c'est qu'il n'y a plus de panne sur ce dernier, si il ne marche pas sur un SMV, il marchera sur un autre.
Comme je maitrise pas trop mal le virtuel, j'en viens a penser que je pourrais faire un NAS (ou des petits NAS (pro+perso) avec des fonctions précises lancés à la demande: par exemple lancé manuellement (par une icône ou par une page web)
L'iscsi pourrait être un stockage multiples accessible directement par le virtuel (vNAS/SMV-SAN)

Et des fois, je me dis que je pourrais me passer totalement de NAS, mais d'un autre coté, cela permet de cadrer ou clarifier les choses et d'avoir un seul fichier de config.

Voilà les données du zinzin, c'est un peu long, mais tu comprends mieux maintenant mes interrogations et mes essais.

Merci de m'avoir lu

Résultat de mes essais de ce jour:

Mise en place de deux disques iscsi sur une debian (disques SATA)
- les disques sont bien visibles de nas4free (appelé NS6)
- si je mets les disques sans config, ceux-ci sont ingérable car l'ordre sda/sdb/sdc change, ce problème ne se pose pas quand le système gère les disques en mode fileio car les partitions sont "mountée" par label ou UUID, mais faire des fichiers monstrueux me dérange un peu, surtout lorsque je fais l'essai de débrancher un disque car ce dernier sera contrôlé par le système, il faut donc désactivé le contrôle de ces disques au démarrage dans /etc/fstab.
- pas moyens de configurer les disques directement par label ou UUID dans la config iscs i(pas encore de réponse sur forum)
- déconnexion intempestive d'un ou des disques: les disques iscsi passent en "manquant" sur Nas4Free sans raison apparente.
- beaucoup d'erreur inconnue lors de l'accès SSH (lors de copie de fichier)
- beaucoup d'erreur inconnue sur un partage CIFS (lors de copie de fichier)
- arrêt momentané du transfert quand un des disques (en miroir) est débranché.

Après différents essais, j'ai essayer de contrôler deux petits disques iscsi (provenant de fichier venant d'un freenas 8.2 (FR1) et un autre venant d'un freenas 0.7.2 (FR2), j'ai essayé un montage en miroir, j'ai coupé l'alimentation d'un disque pendant un transfert, puis rebranché quand le transfert était terminé, j'ai pu ainsi suivre une réargenture complète, cela semble fonctionner correctement.

Finalement, j'ai installé Nas4Free 9.1 (toute fraîche) à la place de ma debian (devenu NS5) en ajoutant les deux disques et en configurant ceux-ci en cibles iscsi en mode bloc (config ultra simple).
J'ai reconfiguré, mon Nas4Free virtuel (NS6) et j'ai monté les deux disques provenant de NS5 (un P4 en lan=100Mbp)
et là, impeccable, j'ai pu faire mes essais de rupture d’alimentation sur un gros fichier en cours de copie, la copie continue comme si de rien était, ensuite la correction au niveau du mirroir s'opère et je retrouve l'état normal.

CONCLUSION: peut-être que les paramètres de mes disques iscsi sur debian n'étaient pas optimisés, mais l'utilisation de Nas4Free pour les disques et Nas4free pour la gestion du NAS et impeccable (j'ai visuellement l'impression d'être sur une machine local alors que le NAS est virtualisé et que les disques sont déportés, le Nas4Free coté disques iscsi a en fait, fonction de SAN.

Je vais approfondir mes essais de coupure de courant et de défaillance de disque (alim ou données) sur une structure en stripping (volontairement la plus dangereuse possible) pour appréhender les choses ... sinon c'est pas drôle

Dans mes essais, je me suis aperçu que ma config ZFS ne tenait pas, la création du périphérique virtuel fonctionne mais je ne peux valider la suite (erreur code 1), pourtant, cela a déjà fonctionné mais il semblerait que par moment, cette partie "dégage".
J'ai fais l'essai de repartir de zero, mais idem.
Quelquefois la config est prise malgré cette erreur de code 1 et le pool est vu et les datasets fonctionne, mais lorsque je sauvegarde ma config, lors du démarrage suivant, je ne retrouve plus la config (elle a carrément disparu (en fait juste la partie qui suit le périphérique virtuel).

Donc, pour l'instant, ça marcherait mais c'est pas fiable coté Nas4Free.
J'ai regardé est comparé les choses (fichiers XML) avec un montage identique, cela semble cohérent.

En fait, après avoir fait des essais de confirmations (pour avoir une démarche scientifique je me suis aperçu d'une chose, Nas4Free supporte mal les changement de configuration (du style on fait un stripe de 4To et ensuite on éfface tout pour en refaire un autre mais avec des noms différents).
Pire encore, si je restore un configuration, je reste bloqué a ce message d'erreur 1, même en faisant un rechargement des "réglages d'origine", je n'arrive toujours pas a installer ma configuration.
En revanche, si je fais cette configuration à la main sur un Nas4Free fraichement installé, cela fonctionne bien.
J'ai mis cela en évidence sur un PC physique et sur un PC virtuel.

CONCLUSION: on peut tout démonter une configuration avec l'interface web et la refaire mais il se peut que l'on ne puisse plus en ré-installer une par la suite, même en restaurant un fichier de config et même passant par des mise hors tension lorsque la config est éffacée (par exemple, enlever une structure ZFS, arrêter le PC, et ensuite en remettre une).
Je ne dis pas qu'un petit changement de configuration sera gênant mais il semblerait que des changements successifs provoquent une altération dans la gestion du système.
CONSEIL: quand on veut refaire une configuration nouvelle il faut impérativement repartir avec une configuration 'propre' et appliquer la nouvelle configuration.

jusqu'à maintenant, en Freenas 0.7.2 je me contentais de faire un "reset factory default" et je refaisais une config à mon goût directement.

QUESTION: est-ce que c'est pour cela que la configuration de Freenas n'est plus en XML ?

Après encore pleins d'essais, il s'avère que l'utilisation d'un Nas4Free virtuel déplacé sur un autre serveur de machine virtuelle (en faisant un exportation puis une importation) ne fonctionne pas, Nas4Free dit que le système a été utilisé la dernière fois par un autre système et il ne peut monté le pool. Je me demande comment peut-il voir cela, la machine est identique (c'est justement l'intérêt du virtuel) et j'ai vérifié que l'adresse MAC n'avait pas changée. JE ne vois pas la différence qu'il peut y avoir.
J'ai essayé de refaire la manœuvre, mais c'est pareil.
Par contre, la machine virtuelle de départ (celle d'origine) peut être redémarrée, cela fonctionne correctement.
C'est incompréhensible !

Voilà le résultat de mes essais:

A - L'utilisation des disques iscsi (target en linux ou Nas4free) fonctionne très bien, j'ai essayé en stripe et en miroir, j'ai arrêté mon serveur iscsi n'importe quand et la solidité de ZFS et toujours au rendez-vous.
J'ai eu des problème en Debian en déclarant l'UUID des disques car Nas4Free changeait l'UUID au formatage et du coup l'UUID que j'avais indiqué dans la partie iscsi n'était plus bonne, pour avoir un fonctionnement correcte. Pour éviter cela, j'indique l'ID du disque, par exemple:
Lun 0 Path=/dev/disk/by-id/scsi-SATA_ST2000DL003-9VT_5YD5CDTZ,Type=blockio
Avec ça, ça marche nickel !
De plus je voulais avoir une gestion en "mode bloc" complète.

Cependant, je me suis aperçu de certaines choses:

Si l'on bricole ou que l'on n'éteint pas son Nas4Free correctement, on peut se retrouver avec une ancienne configuration (par exemple: je sauvegarde ma VM, je rajoute des fichiers dans le pool et ensuite je restaure ma VM pour avoir un décalage volontaire entre ma VM et les disques). Heureusement le pool bloque et ne se laisse pas faire, mais les informations sont incohérentes (ZIL ?)
J'ai trouvé donc une solution toute simple pour palier a ce genre de chose: faire -au démarrage- un zpool export suivi d'un import, ceci oblige Nas4Free a relire le pool et a travailler avec une configuration exacte (je mets cela peut dans une commande "postinit")
Avec cette méthode, on a toujours un pool "à jour", et peut se contenter d'avoir une vm "neuve ou neutre" et de recharger simplement la configuration de Nas4Free (donc pas besoin de sauvegarder une VM complète)
Si l'on débranche un disque iscsi (ou les deux), le défaut n’apparaît pas tout de suite dans la gestion de Nas4Free, d'ailleurs j'ai pu relire et copier un fichier que je venait de mettre sur le pool qui se trouve dans les disques débranchés, il existe donc une certaines quantités de données en cache.
Donc, en cas de rupture d'une connexion sur un disque iscsi, je pense qu'il faut être vigilant et donc passer par un export/import du pool (uniquement en stripe), ou dans le cas d'une perte complète de la machine iscsi de faire un export et un import d'office.

B - on peut facilement "jouer" avec la configuration de Nas4Free, mais pour cela il faut "casser" ou plutôt omettre toute la gestion de ZFS avec l'interface web (ne pas l'indiquer du tout), c'est à dire qu'il faut:
* spécifier les disques a utiliser (dans gestion disques de l'interface web),
* gérer le(s) pool(s) et les datasets uniquement avec la ligne de commande
* configurer son Nas4Free normalement pour tout le reste des services (on peut toutefois accéder aux informations d'états du pools et des instantanés par l'interface web)
Personnellement, avec cette méthode on peut reprendre facilement une configuration existante, puisque qu'en fait, l'élément qui va lier la configuration des disques et celle des services sera le pool (d'oû la nécessité je pense de faire un export et un import). Le pool est en fait la "clef de voûte" du système.
Je me suis amusé a ajouter un miroir, puis supprimer un disque, le remettre (ré-argenture) et ensuite faire une scission de pool, puis ajouter un disque pour faire un stripe, renommer les pools et les datasets ... bref on peut faire pleins de choses intéressantes avec les commandes ZFS (et puis c'est pas un mal de les connaître
Par contre, j'ai pas trouvé comment supprimer un disque d'un stripe ;-(

Voilà, je me suis amusé a faire mes essais, ce fut très intéressant.

La suite pourrait être de "refaire" la configuration manquante (la partie ZFS de l'interface web) pour avoir une configuration complète, par exemple à partir d'un simple pool ZFS:
- ajouter les disques (par l'interface web)
- lire les informations correspondantes du pool et des devices (par les commandes zpool et zdb)
- écrire correctement les valeur dans la base de données XML
- restaurer cette base XML

Donc en gros, utiliser un Nas4Free en virtuel avec des disques iscsi (en SAN) ... c'est faisable et ça marche bien mais il faut faire très très attention.


Mon idée -à l'origine de ce post était de faire du miroir ou raidz (disques locaux et iscsi), d'avoir donc un Nas4Free physique et de pouvoir éventuellement lancer un NAs4Free virtuel en cas de panne "hardware" du NAS4Free physique en "s'appuyant" sur les miroir iscsi.
Cette solution permettrais d'avoir une interruption de disponibilité du NAS très faible: égale au temps de mise en route de la VM, on peut même faire en sorte que le Nas4Free physique ne puisse plus réutiliser le pool en cas de mise en route du N4F virtuel (en ne mettant pas l'option -f dans l'import du pool du N4F physique et en mettant l'option -a -f dans le N4F virtuel).
Ce qui veut dire qu'au terme de mes essais, on peut avoir un N4F "totalement indestructible", la défaillance peut avoir lieu sur les disques, sur le matériel ou encore sur la VM (qui est un simple fichier sauvegardable), ce n'est pas de la haute disponibilité mais c'est une possibilité pour avoir un NAS "re-disponible" en quelques minutes (voir automatiquement avec un WOL lancé par la machine gérant les disques iscsi et une demande d'arrêt du NAS physique en cas de retour avec l’adresse MAC).
Mon objectif est d'avoir un service NAS disponible en toutes circonstances, les performances ne sont pas prioritaire.
Rien n'est figé et ce n'est pas dit que je montrai cette structure, car j'ai aussi la possibilité de mettre les disques ailleurs (machine de secours avec disques extractibles) avec une clef usb de secours. J'ai aussi un NAS secondaire cloné qui pourrait posséder un script qui si besoin, transforme le NAS cloné en NAS principal (cela impose une reconfiguration fiable le jour venu et je perd dès lors la notion de clonage)
Ce sera la facilité et la sécurité de remise en route qui fera mon choix.

Les temps d'écriture ne sont pas terribles, mais j'ai essayé tout ceci avec des disques iscsi sur un Pentium4 (80Mb/s), je pense que le PC ne suivait pas trop car j'ai peu de différence en 100 ou en 1000.

En tout cas, je suis bien content de Nas4Free.

Finalement, j'ai mis un disque iscsi en miroir 'en tant que 3ème disque, je vais sans doute en mettre un 4ème", la ré-argenture marche super bien, et c'est une façon d'avoir une sorte de sauvegarde ou d'avoir mes disques utilisable en cas de besoin (si le nas flanche complétement)

J'ai toutefois un petit soucis, le disque est toujours "manquant" au démarrage de Nas4Free, dans la partie iscsi de "diagnotic", Nas4Free voit bien la target iscsi
Donc, pour l'instant, faute de solution, je supprime mon disque dans l'interface web puis le remet, en suite je fais un zpool online monpool /dev/da1 et le disque se réintègre dans le miroir avec une ré-argenture si nécessaire.

Comment faire pour qu'il retrouve le disque au démarrage ?

Je continue ce post pour dire que finalement, j'ai validé la gestion des disques iscsi sur mon NAS en production:
j'ai:
en mirroir (disque de 2 To)
2 disques locaux
2 disques iscsi sur 2 machines séparées (mes serveurs de machines virtuelles en Debian/Virtualbox), réargenté séparément si pas de défaut sur le pool (je compte faire une bascule auto toutes les heures)
1 disque iscsi sur un vieux PC en Debian (réargenté que le week-end, sorte de backup)

avantages:
- mise à jour hyper-rapide des disques iscsi (en sec ou qq minutes, ça dépend des blocs modifiés)
- peu de ressources prises sur les serveurs de machines virtuelles (juste le temps de la réargenture mais pas gourmand, j'ai un réseau dédié pour cela)
- possibilité de faire fonctionner le NAS en "virtuel", voir de faire de la haute-dispo avec Nas4Free sous Proxmox.
- très simple à mettre en place
inconvénients:
- coûteux en disques (10To pour en avoir que 2 !)

J'ai quand même rajouté un cache ZFS (ça se ressent)
La mémoire a dû être augmentée (16 Go) car j'ai eu des plantage avec 8 Go (malgré le peaufinage des réglages ZFS dans loader.conf)

Malgré cette situation qui me convient, je continuerai mes tests: haute-dispo ... quand j'aurai plus de temps !

Je continue ce post pour faire part de mes essais.

J'ai essayé HAST mais je n'ai pas réussi, manque d'info.
Je suis en essai avec proxmox mais c'est pas évident non plus.

Par contre, ne pouvant pas trop "toucher" mon NAS en production, je me suis acheté deux machines de test: carte mère Asrock 775 avec 8Go de DDR3 et core2duo E6300 à 15 euros ! c'est un processeur permettant de faire de la virtualisation (il est VT-d), il n'y a que 2 coeurs mais ça marche très bien.

J'ai acheté aussi des disques dur SATA à 5 euros pour faire mes montage.
J'ai fais le montage suivant:
- une carte CF avec Nas4free en embedded
- 2 disques ISCSI (donc déportés) en debian (j'utilise un réseau spếcifique pour cela)
- 2 disques SATA locaux pour le log
- 2 disques SATA locaux pour le cache
En gros, le "moteur ZFS" du NAS est local et les données sont déportées.
Il faut, pour faire cela, quand même mettre "un peu" les mains dans le "camboui":
- pour les disques iscsi, c'est hyper facile a mettre en place sur debian (quelques lignes seulement)
- pour le ZFS, je reste sur ma méthode, j'importe le ou les pool mais la config ZFS ne se trouve pas dans la configuration de Nas4free, je préfère la faire à la main en ZFS pur, de plus celà m'oblige a utiliser les commandes et je ne "perd pas la main".
- pour le reste (la configuration normale (cifs, ssh, ...)
J'ai résolu mon problème de montage des disques iscsi au démarrage de Nas4free, j'ai lu pas mal de trucs là-dessus et le pb semble toujours d'actualité, en fait, il faut faire (en postinit): /etc/rc.d/iscsi_initiator start
Si je fais cette commande à la main, ça marche, mais pour monter tout celà en automatique, c'est moins évident.
J'ai donc résolu ce problème en passant la CF en rw et en créant un répertoire dessus que j'ai appelé config-perso, dedans j'y ai mis deux script, un pour le démarrage et un pour l'arrêt.
Pour le démarrage, il y a ceci dans le script:
sleep 5;
/etc/rc.d/iscsi_initiator start &
sleep 15;
zpool import -a;
ce script lance l'initiator et là, miracle, les disques sont montés sans soucis, ensuite je lance un import du pool et tout est prêt !

Pour mes test, celà marche bien car les données sont bien avalées par le NAS, et celà dans une bonne régularité, ZFS s'occupe des ses disques de cache et de log puis gère les disques iscsi en conséquence. J'ai fais des copies de 5 à 15 Go et ça ne bronche pas, le débit est très régulier.
Lors de la lecture, c'est cool, car il n'y a aucun accès dans les disques iscsi, on voit bien le parcours des données dans la structure.
Bref, on peut se faire un NAS ultra-performant avec des disques pas chers en iscsi. C'est la mémoire qui est primordiale dans ce genre de structure, avec aussi le processeur.
Dans mon cas, les disques se trouve sur des serveurs de machines virtuelles (j'utilise le PC pour deux emplois différents, le risque est limité car les disques sont en miroirs).

Je complémente mes tests par un peu de dé-chantage

Ma dernière structure en mirroir (4x2To dont 2 disques locaux et 2 iscsi) marchait bien, mais c'est avéré inutilisable après une augmentation de mes données (avec 500Go ça allait, mais avec 1To (50%) la réargenture est devenue beaucoup trop longue (même avec du 1000)

Comme je ne peux pas faire n'importe quoi et que je suis en production, j'ai transformé mes deux disques iscsi hébergés sur Debian en ext4 avec du rsync, j'ai fais un répertoire de backup dédié ailleurs (comme ça tout fichier éffacé est sauvegardé).
Mes rsync se font à 81,5Mo/s contre ~16Mo/s en iscsi en mirroir zfs.

Je reprendrai mes essais plus tard, car je suis un peu têtu ... des fois (peut-être que mes réglages iscsi ne sont pas optimisés) coté debian, je sais que certaines personnes préfère la gestion iscsi en FreeBSD.