Disques qui passent en "Removed" Régulièrement

[mtiburs]

Bonsoir à tous,

J'avais cru comprendre:
- que le pool était sain
- que les disques ne pouvait plus être remplacer car non en nop, donc non géré par le webgui
- que tu voulais avoir un pool avec tous les disques en .nop (c'est à dire géré par le webgui)

Est-ce j'ai raté une marche ? c'est çà ?

[CorbeilleNews]

C'est bien ça mais comme vous dites qu'il vaut mieux avoir 80% d’utilisé seulement, je me demande si on ne peut pas passer la dessus ? 300 Go devrait aller ?

[mtiburs]

Je pense que ça peut passer.

Quel est ton délai ? ce week-end ?
J'aimerais faire la manœuvre de mon coté avant, et je peux le faire ce week-end

[CorbeilleNews]

Oui j'aimerais lancer cela ce week end mais pas avant demain soir de tout façon voir dimanche, merci d'avance pour le test

[CorbeilleNews]

Bonsoir,

Avez vous eu le temps d'essayer de faire l'essai de votre côté ?

Merci

[CorbeilleNews]

Bonsoir,

Désolé de vous relancer, je ne voudrais pas abuser de votre temps et je comprends que vous ayez d'autres choses à faire, mais avez vous pu tester de votre côté la manip que vous me proposiez de faire ?

Merci

[mtiburs]

Bonjour,

Désolé pour le retard mais je n'ai pas été informé d'un message (d'habitude, ça m'informe !!!)

Je n'ai pas fais l'essai voulu mais j'ai testé une autre façon, qui, pour moi est bonne.

J'avais un nas qui s'est mis a déconner, je suis repartis de zéro avec un clef neuve mais avec l'intention de mettre mes pools en .nop
Je suis content car je vais pouvoir remettre tous mes nas d'aplomb !
(Pour infos mon pool n'était pas démonté proprement, cas d'une clef qui lâche)

Donc, (exemple avec une embedded, pour une full-install, il faudra adapter):
- mettre une clef neuve (fraîchement installé)
- booter dessus
- aller dans "Disques|Gestion" et lui faire découvrir les disques
- aller dans ZFS puis configuration
- faire importer la config ZFS (un truc du genre)
- regarder si N4F a trouvé le pool
- aller dans synchroniser (laisser les choix par défaut)
- vérifier dans "Disques|ZFS|Pools|Gestion" si le pool est vu par le webgui

J'ai un autre nas et je vais essayer de faire la manip mais directement. Je dois quitter car ma MV est dépendante du nas, je compléterai le post après.

[mtiburs]

Voilà, j'ai fais la manip, en fait, c'est assez simple:

Il faut bien vérifier ce qu'il y a dans "courant" et "détecté", en fonction de ce qu'on y voit, on fait "synchroniser", là, de cette façon, le webgui se synchronisera sur la configuration du pool en cours.

Mon cas est toutefois légèrement différent du tiens, car mon pool était non vu par le webgui en totalité, donc la nouvelle config pouvait facilement se mettre en place (vu qu'il n'y en avait pas !)
Dans ton cas, il existe déjà une config, donc, il faudra bien voir ce qui est courant et ce qui est détecté.

Si il ne veut pas prendre la config, il sera peut-être nécessaire de cocher "Ecraser la configuration des disques [X] Ecraser les disques déjà configurés (affecte uniquement le système de fichier)."

[CorbeilleNews]

Je vais essayer de digérer vos explications mais je n'ai pas vos compétences alors je ne comprend pas tout

[mtiburs]

Bonjour,

question:
- avez accès à l'interface de N4F (clavier ) ?
- un accès par SSH ?

[CorbeilleNews]

Clavier

[mtiburs]

Bon alors, je pense que le plus simple est:
- d'aller dans le shell et de taper zpool export lepool (à condition qu'il soit sain: pas d'erreur)
- de vérifier que le pool n'est plus actif par zpool status

- aller dans "Disques|Gestion" et faire "effacer la config et importer les disques), je fais çà sur des disques en fonctionnement donc, c'est pas dangereux du tout, il n'est pas bête et garde ce qui est bon)
- aller dans ZFS puis configuration
- faire importer la config ZFS (un truc du genre)
- regarder si N4F a trouvé le pool (onglet détecté)
- aller dans synchroniser (laisser les choix par défaut) et lancer la synchro
- aller dans ZFS puis regarder si le pool est bien géré en totalité par le webgui

[mtiburs]

Bonjour à tous,

Pour information, quand on fait une synchronisation ZFS de la config détecté (c'est à dire qu'on met en accord la vraie config avec celle du webgui), il n'y a plus de .nop (qui apparaissent lors d'un zpool status)

par exemple:
nas6: ~ # zpool status
pool: n6d2000
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
n6d2000 ONLINE 0 0 0
ada2 ONLINE 0 0 0
cache
da3 ONLINE 0 0 0
da2 ONLINE 0 0 0
da0 ONLINE 0 0 0
errors: No known data errors
provient d'une config faite à la main qui a été synchronisée par le webgui ( Disques|ZFS|Configuration|Synchroniser )

Tout çà pour dire, qu'il n'y a plus de notion de nop et la config est utilisable en ligne de commande ou en webgui indifféremment.
Avec toutefois un bémol, toutes nouvelles commandes "à la main" provoqueront une désynchronisation du webgui, mais comme il est très facile de remettre les pendules à l'heure, ce n'est pas gênant

[sleid]

toutes nouvelles commandes " à la main" provoqueront une désynchronisation du webgui

même celles à partir du webgui, il y a toujours nécessité de synchronisation, d’où l'utilité de cette synchronisation.

[CorbeilleNews]

Qu'est ce qui dans la conception de NAS4Free justifie ce fonctionnement : n'y avait-il pas la possibilité que le WEBGUI ne soit que purement et simplement ce que le NAS est vraiment ?

Merci

[sleid]

Au niveau de la synchro des pools c'est surtout pour se rappeler de l'ancienne config au cas ou......Idem pour la gestion des disques, cela permet de voir ce qui se passe surtout si l'on ne note pas méthodiquement les n° de série de disque et leur emplacement physique....Bref le webgui présente l'avant et le courant et laisse faire l'utilisateur.

[mtiburs]

toutes nouvelles commandes " à la main" provoqueront une désynchronisation du webgui

même celles à partir du webgui, il y a toujours nécessité de synchronisation, d’où l'utilité de cette synchronisation.

là je ne savais pas !!!

Qu'est ce qui dans la conception de NAS4Free justifie ce fonctionnement : n'y avait-il pas la possibilité que le WEBGUI ne soit que purement et simplement ce que le NAS est vraiment ?

Je pense qu'il faut voir le webgui comme un "fronted", il est programmé pour faire certaines choses, il faut aussi prendre en compte que ZFS est apparu et a évolué, donc le fronted demande aussi un certain travail. J'ai connu ZFS a ses tous débuts et je me rappelle que c'était un vrai cirque au début rien que pour faire un dataset (çà n'existait pas dans le webgui), chaque version apportait une petite option qui était souvent fort attendue.
J'ai l'impression, qu'à un moment donné il a été choisi de faire un système de détection et de synchronisation au lieu d'imposer la config en cours, et, je pense que c'est mieux ainsi, c'est plus technique je le reconnais car cela impose une culture par rapport au pool. D'un autre coté, on peut mieux gérer les choses 'en cochant ou décochant).
Peut-être qu'un jour il y aura un menu qui informera de la désynchronisation des config et qu'il suffira de cliquer sur "Faire" il faut laisser le temps aux développeurs.

En tout cas, je me suis souvent demandé pourquoi il n'y avait pas ce genre de fonctionnalité et me disais que ce serait génial.


Moi, j'aimerais bien une fonction qui permette de gérer par le webgui les instantanés, par exemple les copier sur un autre nas (ZFS send/receive) avec pourquoi pas une sorte d'interface comme pour rsync.

Après, j'aurais d'autres envies, mais là c'est du coté des développeurs de ZFS et çà ne se situe plus au niveau de N4F, comme par exemple:
- ne pas remettre à zéro le Zcache lors d'un arrêt normal du nas
- pouvoir enlever un disque dans un entrelacement de disque (je crois que c'est à l'étude) essayer de faire la même chose que le LVM en Linux.

Mais au vu de l'évolution des choses, je trouve que c'est très bien, il y a eu un super boulot et nous avons beaucoup de chance de pouvoir utiliser gratuitement un système fiable et performant en pouvant utiliser le meilleur système de fichier au monde dessus.

[CorbeilleNews]

Bon ça y est je me suis lancé : j'ai fais la manip que vous m'avez conseillé sur le NAS martyr (un RAID-Z2 de 4 disques identiques) mais :

- aller dans ZFS puis regarder si le pool est bien géré en totalité par le webgui

Qu'entendez vous par là ?

J'ai ceci désormais sur le NAS martyr :

NAME STATE READ WRITE CKSUM
Pool0 ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ada0.nop ONLINE 0 0 0
ada1.nop ONLINE 0 0 0
ada2 ONLINE 0 0 0
ada3 ONLINE 0 0 0

errors: No known data errors

Les nop sont absents mais cela pose t-il un soucis pour remplacer un disque.

- regarder si N4F a trouvé le pool (onglet détecté)
- aller dans synchroniser (laisser les choix par défaut) et lancer la synchro

J'avais déjà l'état du NAS tel que je le donne plus haut entre ces deux étapes : quelle est l'utilité de la seconde étape ?

Je suis bien tenté d'essayer de faire un "replace" sur ce Pool pour voir si cela fonctionne bien et lancer la manip sur le gros NAS : j’attends votre aval ?

Merci

[mtiburs]

Etant donné que vous êtes dans les mêmes conditions que pour le gros nas, je pense qu’effectivement la manip peut être lancée sur celui de test, et, en fonction du résultat, faire la manip sur le gros.

Ce serait vraiment un comble que les choses se passent mal, on peut guère faire mieux.

[CorbeilleNews]

Justement ce sont les résultats de la manip du NAS de test, vous en pensez quoi ?

[mtiburs]

Et bien, ça ne me convient pas !

Perso avec mes déboires de pool qui a disparu, je ferais (à l'instant t) un export suivi d'un import en ligne de commande.
C'est pour moi, la solution la plus fiable et la plus simple

Donc, sur la console de votre clavier:
zpool export pool0
puis,
zpool import (pour voir ce qu'il va dire, il doit y avoir votre pool0)
et
zpool import pool0

ensuite un zpool status pour voir si les nop ont disparus.

J'aimerais que vos nop disparaissent

[mtiburs]

On fera une synchro qu'à partir du moment, ou il n'y a plus de nop

[CorbeilleNews]

Je viens de tester 2 fois la manip et j'ai toujours les .nop

Pour vérifier que je faisais bien l'export je faisais un zpool status juste après l'export et le pool n'était pas là.

Il est bien là après l'import mais toujours avec les .nop

Tout cela en ligne de commande avec un clavier sur le NAS on est bien d'accord ?

Je viens de m'apercevoir que je suis en 9.2.0.1 (972), une influence peu être ?

Merci

[sleid]

Et c'est normal, les .nop ne disparaissent après la manipulation zpool export zpool import sauf si entre les deux commandes:
1) on réinstalle Nas4free, on import le pool (console) et l'on refait une configuration nouvelle c.a.d ne pas importer l'ancienne configuration.
2) Idem 1 mais avec changement de carte mère et ou contrôleur.

Dans votre cas il faut exporter le pool puis pour chaque disque(un par un) entrez la commande gnop destroy ada0.nop, puis gnop destroy ada1.nop etc.
Après avoir traité tous les disques vous réimportez votre pool et là les .nop ne seront plus là

Note les .nop sont uniquement créés lorsque vous cochez l'option 4k dans la création des vdev. Les supprimer ne supprime pas l'alignement 4K créé.

[mtiburs]

Bonjour,

@sleid
Intéressant tout çà.
Je n'y avais pas vu dans la doc Oracle !

Par contre, dans un de mes posts précédents, j'avais évoqué de mettre une "clef neuve" de N4F et de faire l'import, ce qui correspond au 1).

@CorbeilleNews
Si vous avez encore votre petit na de test, ce serait intéressant de faire le gnop destroy dessus, maintenant, que vous savez faire l'import et l'export, c'est du gâteau !
Pour la version de N4F en 972, c'est très bien.

[sleid]

Dans la doc Oracle non puisque c'est une version de ZFS portée sous Freebsd qui génère ces .nop.

[CorbeilleNews]

Bon les .nop ont bien disparu avec le gnop destroy : on avance bien, merci beaucoup, cela me donne envie d'en apprendre plus sur ZFS car tout n'est pas aussi simple qu'il n'y parait ...

Bref de ce que j'ai compris je pourrais réinstaller NAS4Free sur une clé vierge et réimporter mon pool simplement avec zpool import Pool0 ?

Dois-je exporter (avec l'ancienne clé bien sûr) le pool avant ou pas ? Oui mais où exporte t-il le Pool car comment la nouvelle clé va t-elle reconnaitre le Pool créé précédemment avec l'ancienne clé ?

Pour le reste (partage et customisations diverses) je peux le faire avec le WEBGUI sans problème après ?

Puis-je être sûr qu'après avoir fait un destroy des nop puis réimporté mon pool sur le gros NAS, je vais pouvoir poursuivre les replace des disques suivants ?

Merci, j'ai hâte que tout cela se termine

Edit : Résultat après essai d'un replace dans le NAS de test :

cannot replace ada3.nop with ada3.nop: no such device in pool

Peut être dois-je synchroniser le pool avec le WEBGUI ?

Soit :

- aller dans "Disques|Gestion" et lui faire découvrir les disques
- aller dans ZFS puis configuration
- faire importer la config ZFS (un truc du genre) il y aura déjà une config : ce n'est pas gênant ?
- regarder si N4F a trouvé le pool
- aller dans synchroniser (laisser les choix par défaut)
- vérifier dans "Disques|ZFS|Pools|Gestion" si le pool est vu par le webgui

[mtiburs]

Bref de ce que j'ai compris je pourrais réinstaller NAS4Free sur une clé vierge et réimporter mon pool simplement avec zpool import Pool0 ?

oui

Dois-je exporter (avec l'ancienne clé bien sûr) le pool avant ou pas ? Oui mais où exporte t-il le Pool car comment la nouvelle clé va t-elle reconnaitre le Pool créé précédemment avec l'ancienne clé ?

C'est l'interêt de ZFS, la facilité d'import et d'export !

oui, il faut exporter le pool avant, car cela va le libérer
si il n'est pas exporté, ce n'est pas grave, mais ZFS va se plaindre en disant en gros "Je ne veux pas importer 'çà' car c'est utilisé ailleurs !", dans ce cas, il faut rajouter l'option -f (force) ... qui lui dira "Je sais ce que je fais, vas-y importe !"
soit: zpool import -f pool0
on peut aussi faire plus radical si on est sûr qu'il n'y a pas plein de pool avec l'option -a (import automatique)
soit pool -f -a (il trouvera le pool tout seul)

Pour le reste (partage et customisations diverses) je peux le faire avec le WEBGUI sans problème après ?

oui

Puis-je être sûr qu'après avoir fait un destroy des nop puis réimporté mon pool sur le gros NAS, je vais pouvoir poursuivre les replace des disques suivants ?

normalement oui (mais j'ai déjà lu la suite !)
en fait, çà marchera en ligne de commande, avec le webgui ... oui mais à condition que la synchro soit bonne, sinon refus

Merci, j'ai hâte que tout cela se termine

Meuh non, au contraire, faut manipuler !

Edit : Résultat après essai d'un replace dans le NAS de test :

cannot replace ada3.nop with ada3.nop: no such device in pool

Peut être dois-je synchroniser le pool avec le WEBGUI ?

Soit :

- aller dans "Disques|Gestion" et lui faire découvrir les disques
- aller dans ZFS puis configuration
- faire importer la config ZFS (un truc du genre) il y aura déjà une config : ce n'est pas gênant ?
- regarder si N4F a trouvé le pool
- aller dans synchroniser (laisser les choix par défaut)
- vérifier dans "Disques|ZFS|Pools|Gestion" si le pool est vu par le webgui

oui, mais avec une clef neuve ... donc il n'y aura pas de config qui gènera

[sleid]

"cannot replace ada3.nop with ada3.nop: no such device in pool"

Si les .nop ont été enlevés par gnop pourquoi utiliser un nom de disque faux ????

Ensuite comment peut on avoir replace ada3 par ada3?
Soit on a un port sata de libre et cela devient replace ada3 adaX
Soit on a aucun port de libre et il faut mettre ada3 offline il deviendra alors quelque chose comme 10722503524616512853 et après avoir physiquement remplacé le disque il faudra faire un replace 10722503524616512853 ada3.

[mtiburs]

Bonjour,

@sleid
Le nom du disque est faux à cause du webgui qui est désynchronisé, non ?

@Corbeillenews
Comment vous changiez les disques avant ? (je voudrais savoir si vous êtes dans les même conditions que quand vous changiez vos disques, même manip ? en comprenant bien que dans le cas présent on a un webgui qui n'est pas à jour)

@aux deux
Je pense que le mieux serait de faire la manipulation de sleid (en ligne de commande) sur le nas de test:
- faire zpool offline ada3
- faire un zpool status et bien noter le No qui a été affecté au disque comme 10722503524616512853)
- taper replace 10722503524616512853 ada3
- (faire un zpool online ada3) ?
- vérifier avec un zpool status

répéter l'opération jusqu'au dernier et on fera la synchro du webgui après.