Disques qui passent en "Removed" Régulièrement

[dhenin]

ffmpeg -i fichier.m2ts -acodec libfaac -vcodec libx264 fichier.mp4

je coupe avec mpegstreamclip

[mtiburs]

Sinon, que donne un: sysctl -a | grep vm.kmem_size_max ?

vm.kmem_size_max: 329853485875

Je trouve cette valeur un peu forte !
Je ne pense pas que cela vienne de çà, mais ça fait une limite à 314Go de RAM ... sur une machine qui en fait 6

Bon, un de mes nas fait 4Go et j'ai la même valeur.
C'est une valeur que je modifiais a une époque car quand je copiais un gros fichier, çà me faisais "rebooter" mon nas, depuis çà ne le fais plus (peut-être parce qu'en j'en copie plus !), mais c'est tout de même une limite de RAM un peu haute


Perso, je la mettrais à 6Go.
Mais on va déjà suivre les copies en USB ... c'est bientôt bon ?

[CorbeilleNews]

Je n'ai pas compris tes calculs

[mtiburs]

329853485875 / 1024 / 1024 = 314,57 Go !

si je fais (sur mon nas) qui a 4Go de mémoire):
nas6: ~ # sysctl -a | grep "hw.physmem"
hw.physmem: 3977064448 (soit moins de 4Go)
et si je fais:
nas6: ~ # sysctl -a | grep "vm.kmem_size"
vm.kmem_size_scale: 2
vm.kmem_size_max: 329853485875 (soit plus de 314Go)
vm.kmem_size_min: 0
vm.kmem_size: 1917440000 (soit moins de 2Go)

Je ne sais pas si ton problème vient de là, mais le "garde-fou" de la mémoire maximum utilisé par ZFS ne joue pas son rôle, cela provient d'un auto-tuning qui se passe mal.
En tout cas, je ne vois pas comment on pourrait mettre une limite supérieur à la taille de la mémoire

A une époque je refaisais systématiquement les réglages, mais je ne le fais plus ... visiblement, je devrais pourtant !

mon nas fonctionne mais je vais en régler un et je mettrai comment on fait.

[CorbeilleNews]

Je ne comprend pas les infos que tes lignes de commande donne ou permettent de modifier Quand on connait ça parait logique mais je découvre alors, si tu pouvais m'expliquer en vulgarisant un peu je suis preneur

Pour info, le scrub avec 4 des disques en USB semble bien se passer (il m'a réparé pour le moment un peu plus de 33 Mo sur l'ada8 et 269 Go au sur le Pool complet mais je pense que ce n'est pas grand chose car je n'ai pas modifié les données pendant l'apparition des disques removed...)

Le Srub en est à presque 75% et devrait se terminer demain après midi, et oui c'est long en USB mais vaut mieux ça que de tout perdre au prochain resilvering en ayant juste voulu gagner 2-3 jours.

Je pense que je vais faire les prochains resilvering en laissant tous les disques du Pool branchés (tout en laissant les 4 en USB ou ils sont) et re-remplir au fur et à mesure les racks S-ATA. Cela devrait aussi sensiblement augmenter le vitesse du resilvering.

Merci

[mtiburs]

En gros , ce sont des valeurs du système, elles permettent de dire à ZFS "il ne faudra pas dépasser telle valeur"
par exemple la valeur système "hw.physmem" a la valeur 3977064448, ce qui veut dire que le système sait qu'il a 4Go de mémoire physique (disons une valeur très précise en octets)

donc, je voulais dire qu'une valeur qui dit au système "la limite maxi de la mémoire sera de 314Go" me semble un peu aberrante par rapport à une valeur de mémoire physique de 4Go ! non ?
De plus, c'est un sujet qui ressort sur certains messages au niveau de ZFS, mais c'est tout écrit en anglais et ce n'est pas ma tasse de 'tea'
J'en ai vu même qui se plaignaient d'avoir 314Go de RAM alors que la carte mère en possède 512 et il voulait savoir comment on faisait pour augmenter cette limitation.

Mais, dans ton cas, laissons les choses se faire comme çà, on verra ce que çà donne.

[CorbeilleNews]

Après de nombreuses heures : résultat du scrub :

state: ONLINE (DEMI OUF)
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://illumos.org/msg/ZFS-8000-9P
scan: scrub repaired 724G in 69h38m with 0 errors on Wed Oct 8 21:01:28 2014

sur ada8 j'ai juste cksum à 90,7 Mo

Je ne suis pas sûr de bien comprendre : y avait-il ou y a t-il ENCORE des erreurs ou alors est-ce corrigé ?

Pourquoi parler de 724 Go avec 0 erreurs ?

A quoi correspondent ces 90,7 Mo et ces 724 Go si il y avait 0 erreur(s) ?

One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors

Qu'est ce que cela veut dire ? Je ne suis pas sûr de comprendre toutes les nuances possibles, je ne voudrais pas que quelque chose m'échappe ! C'est le moment de reprendre le contrôle et d'aller dans la bonne voie

[mtiburs]

Bonsoir,

Les 724Go sont les données balayées (volume) par ZFS par le scrub (et ceci durant 69h et 38min)
Le 90,7Mo est la taille des données avec des cheksum défectueux, çà n'est pas les données qui sont défectueuses, c'est les checksum du raidz qui ne sont pas cohérents.

Je ne connais pas trop l'anglais mais la traduction dit:
Un ou plusieurs dispositifs a rencontrés une erreur irrécupérable.
Une tentative a été faite pour corriger l'erreur.
Les applications ne sont pas affectées.
Action: Déterminer si l'appareil doit être remplacé, et effacer les erreurs

Le message "action" est toujours très important sur ZFS car il dit ce qu'il faut faire, et dans le cas présent, il laisse le choix à la personne de changer le disque et d'effacer les erreurs.

Visiblement, il y a une discordance entre les blocs du disque ada8 et le checksum ZFS (le pool)

Que donne un Zpool clear ?

Dans votre cas, ZFS et son raidz a bien joué son rôle, sinon 90,6 Mo d'erreurs !

[CorbeilleNews]

Que donne un Zpool clear ?

Je ne sais pas si je dois m'attendre à quelque chose et où (je l'ai fait dans le WEBGUI et je n'ai rien eu d'autre que $ Zpool clear) mais avant j'ai redémarrer et réimporté les disques et toutes les colonnes de chaque disque sont à zéro dans le statut du Pool : read write checksum et tous sont Online comme le Pool. J'ai juste les 4 disques mis en USB qui ont perdu leur extension .nop

Peut être que c'était ce que vous essayiez de me faire faire avec la commande Zpool clear mais qu'elle se fait naturellement quand on redémarre ?

N'aurai-je pas du redémarrer et voir si Zpool clear fonctionnait bien ? A quoi sert exactement cette commande ?

Dans la ligne, ne faut-il pas mettre quelques part le nom du Pool ?

J'en ai profité pour remettre les 4 disques à leur emplacement et je cherche la meilleure stratégie de resilvering pour continuer les remplacements des disques : source ou destination en USB ? J'ai envie de dire source et destination en SATA ?

Merci.

[mtiburs]

Que donne un Zpool clear ?
Je ne sais pas si je dois m'attendre à quelque chose et où (je l'ai fait dans le WEBGUI et je n'ai rien eu d'autre que $ Zpool clear) mais avant j'ai redémarrer et réimporté les disques et toutes les colonnes de chaque disque sont à zéro dans le statut du Pool : read write checksum et tous sont Online comme le Pool. J'ai juste les 4 disques mis en USB qui ont perdu leur extension .nop

Il faudra regarder si tes disques sont vu par le webgui, il est possible que le fait de les importer les aie dissocié de la gestion du webgui, c'est pas grave du tout, mais ça peut être déroutant.
Donc, regarde si tu retrouve "tes petits" dans le webgui.
Il vaut mieux faire le zpool clear en console (ssh ou mode console sur le nas directement)

Peut être que c'était ce que vous essayiez de me faire faire avec la commande Zpool clear mais qu'elle se fait naturellement quand on redémarre ?
N'aurai-je pas du redémarrer et voir si Zpool clear fonctionnait bien ? A quoi sert exactement cette commande ?
Dans la ligne, ne faut-il pas mettre quelques part le nom du Pool ?

Oui il faut le nom du pool à la suite, je pensais que sans le nom, il prenait le pool actif

Cette commande, sert à dire à ZFS "efface tous les messages d'erreurs / défauts", un peu comme la valise dans les garages sur les autos, on met tout à zéro. ça permet de voir si ça passe effectivement à zéro et ça permettra de ne pas être pollué par les anciens messages d'erreurs.

J'en ai profité pour remettre les 4 disques à leur emplacement et je cherche la meilleure stratégie de resilvering pour continuer les remplacements des disques : source ou destination en USB ? J'ai envie de dire source et destination en SATA ?

Là j'ai rien compris pour la source et la destination, vous voulez dire quel est le meilleur emplacement des disques pour faire la manœuvre de remplacement du disque ?
En fait, je suis dans le doute, car (même si j'aime pas l'USB), force est de constater que le scrub s'est bien déroulé et qu'en sata, çà n'allait pas (j'ai bien suivi ou je me trompe ?)

[mtiburs]

Il me semble que comme vous êtes en raidz, ZFS a détecté des erreurs de checksum et a viré le disque défaillant (remove du ada8). c'est çà?

Est-ce qu'il ne serait pas judicieux de mettre un disque de secours en attente, de cette façon, ZFS "resilvera" et intégrera le disque de secours dans le pool, comme çà, en gros, le disque incriminé est "éjecté" du pool et tout se fait automatiquement.

Par exemple, si ada9 etait un disque de secours, il aurait pris la place de ada8.

Que donne un zpool status -v ?


A savoir! pour le diagnostique, il y a un fichier dans /var/log/system.log qui peut donner des indices sur les erreurs système.

[CorbeilleNews]

Les disques ont perdus leur extensions .nop au moment ou ils ont étés mis en USB : ils sont passés de adax.nop à dax. Je ne m'en suis véritablement aperçu (avec les copies d'écrans) qu'après import en SATA. Sinon ils sont tous bien là.

Il n'y a pas un moyen de remettre tout cela proprement même avec un fichier de sauvegarde ? Est ce que je risque de perdre des fichiers (de log ou de traçabilité de l'histoire du NAS par exemple) en restaurant un fichier de sauvegarde. Pour les données contenues dans les disques je ne crains pas grand chose normalement en restaurant une sauvegarde ? Ce n'est qu'une sauvegarde de configuration du NAS, des disques et de la constitution du pool ainsi que des partages ?

zpool clear n'affiche rien d'autre que $ zpool clear que je mette ou non le nom du pool après la ligne : c'est normal ?

Là j'ai rien compris pour la source et la destination, vous voulez dire quel est le meilleur emplacement des disques pour faire la manœuvre de remplacement du disque ?
En fait, je suis dans le doute, car (même si j'aime pas l'USB), force est de constater que le scrub s'est bien déroulé et qu'en sata, çà n'allait pas (j'ai bien suivi ou je me trompe ?)

Vous avez bien compris

Il me semble que comme vous êtes en raidz, ZFS a détecté des erreurs de checksum et a viré le disque défaillant (remove du ada8). c'est çà?

C'est pendant le resilvering d'ada8 que les disques (3 autres que ada8) sont passés en removed : j'ai donc remis l'ancien ada8 celui ci il me semblait plus fiable car à mon avis contenait plus d'informations que le nouveau en cours de resilvering que je qualifierais de "bancal" du fait de l'absence de 3 autres disques.

Est-ce qu'il ne serait pas judicieux de mettre un disque de secours en attente, de cette façon, ZFS "resilvera" et intégrera le disque de secours dans le pool, comme çà, en gros, le disque incriminé est "éjecté" du pool et tout se fait automatiquement.

L'idée me parait bonne mais le soucis est que pour le moment je dois remplacer tous les disques. Et si le disque de secours se met en route au moment ou je suis en plein resilvering, pas sûr que d'autres disques ne vont pas tomber peu de temps après s'ils ne sont pas déjà tombés en même temps que le premier ... En effet je n'ai jamais pu savoir si les disques tombaient en même temps ou si cela de faisait en cascade et avec quel période entre deux disques !

Que donne un zpool status -v ?

scrub repaired 724G in 69h38m with 0 errors

A savoir! pour le diagnostique, il y a un fichier dans /var/log/system.log qui peut donner des indices sur les erreurs système.

Ne risque t-il pas d'être restauré si je restaure une sauvegarde (pour réparer le problème des extensions .nop des disques)

Je suis en train de tester le remplacement d'un disque SATA par un autre plus gros branché en USB mais quand je fais replace ada9 par le disque en USB (da1), il m'est impossible de trouver le disque USB que j'ai pourtant ajouté dans la gestion des disques en unformated, puis que j'ai formaté en ZFS sans conserver le MBR. Bref exactement la même méthode que quand je remplaçait un disque mais en retirant l'ancien : remplacer ada8 par ada8 se lançait très bien mais là ce serait plutôt ada9 par da1 et impossible de trouver da1 ...

Une idée de plus ;p

[mtiburs]

zpool clear n'affiche rien d'autre que $ zpool clear que je mette ou non le nom du pool après la ligne : c'est normal ?

pour le zpool clear, la sortie est brève, c'est normal, en fait ça jour sur les erreurs dans le zpool status.


Il y a qu'en même quelque chose que je ne comprends pas

C'est pendant le resilvering d'ada8 que les disques (3 autres que ada8) sont passés en removed

Ill y a eu combien de disques simultanément en removed ? sur un total de combien ?


Pour le zpool status -v , je voudrais la structure complète, comme ceci:
nas2: ~ # zpool status -v
pool: nas2
state: ONLINE
scan: scrub canceled on Thu Oct 9 01:30:09 2014
config:
NAME STATE READ WRITE CKSUM
nas2 ONLINE 0 0 0
ada0 ONLINE 0 0 0
ada1 ONLINE 0 0 0
ada3 ONLINE 0 0 0
errors: No known data errors

A savoir! pour le diagnostique, il y a un fichier dans /var/log/system.log qui peut donner des indices sur les erreurs système.

Pour /var/log/system.log, c'est un fichier dynamique, il est neuf a chaque redémarrage.

Je suis en train de tester le remplacement d'un disque SATA par un autre plus gros branché en USB mais quand je fais replace ada9 par le disque en USB (da1), il m'est impossible de trouver le disque USB que j'ai pourtant ajouté dans la gestion des disques en unformated, puis que j'ai formaté en ZFS sans conserver le MBR. Bref exactement la même méthode que quand je remplaçait un disque mais en retirant l'ancien : remplacer ada8 par ada8 se lançait très bien mais là ce serait plutôt ada9 par da1 et impossible de trouver da1

Je suis embistrouillé moi aussi avec ce genre de chose, sur un nas, j'ai 3 disques dans gestion/disques et je ne peux en formater que 2 ! et rien ne change, même après un reboot, y'à des mystère des fois !

[sleid]

"Ne risque t-il pas d'être restauré si je restaure une sauvegarde (pour réparer le problème des extensions .nop des disques)"
La disparition du .nop n'est pas gênante bien au contraire, puisque lorsque l'on construit un pool ZFS on s'efforce après de supprimer le passage par geom.

viewtopic.php?f=66&t=6684

Par exemple:
Nas4Free ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ada0 ONLINE 0 0 0
ada2 ONLINE 0 0 0
ada4 ONLINE 0 0 0
raidz1-1 ONLINE 0 0 0
ada1 ONLINE 0 0 0
ada3 ONLINE 0 0 0
ada5 ONLINE 0 0 0

[CorbeilleNews]

Bon je me relance dans la poursuite du resilvering mais impossible de poursuivre le remplacement de disques sans l'extension .nop car j'ai le message suivant :

replace ada17.nop with ada17.nop: no such device in pool

Auparavant le resilvering débutait immédiatement.

Je suppose que c'est parce qu'il a perdu son extension .nop et donc qu'il n'est plus considéré dans le Pool ? Que dois-je faire ?

NAME STATE READ WRITE CKSUM
Pool0 ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ada0.nop ONLINE 0 0 0
ada1.nop ONLINE 0 0 0
ada2.nop ONLINE 0 0 0
ada3.nop ONLINE 0 0 0
ada6.nop ONLINE 0 0 0
ada7.nop ONLINE 0 0 0
ada8.nop ONLINE 0 0 0
ada9.nop ONLINE 0 0 0
ada10.nop ONLINE 0 0 0
ada11.nop ONLINE 0 0 0
ada12.nop ONLINE 0 0 0
ada13.nop ONLINE 0 0 0
ada14 ONLINE 0 0 0
ada15 ONLINE 0 0 0
ada16 ONLINE 0 0 0
ada17 ONLINE 0 0 0
ada5.nop ONLINE 0 0 0
ada4.nop ONLINE 0 0 0

errors: No known data errors

Merci

[mtiburs]

Je suppose que c'est parce qu'il a perdu son extension .nop et donc qu'il n'est plus considéré dans le Pool ? Que dois-je faire ?

Si vous exportez le pool (en ligne de commande) et ensuite vous l'importez par le webgui, ça marche ?
EDIT: j'ai changé les "on" en "vous" (dans la ligne ci-dessus).


Si ça ne marche pas, je peux essayer de faire la manip

[CorbeilleNews]

Si vous exportez le pool (en ligne de commande) et ensuite vous l'importez par le webgui, ça marche ?

Je ne sais pas comment faire ? En fait je ne connait pas la ligne de commande à taper ni comment récupérer l'export à partir du WEBGUI.

[mtiburs]

et bien je pensais à un import dans le menu "outils" de ZFS, mais j'ai dû rêver !

je ne sais pas quoi dire ... je préférerais faire la manœuvre avec des disques qui ne craignent rien

[CorbeilleNews]

Il n'est pas possible de supprimer le Pool et de le recréer tel qu'il était avant sa suppression ?

[mtiburs]

le supprimer totalement ? (supression des datas, on est bien d'accord ???)

si ça ne marche pas avec le webgui, alors, la ligne de commande (à la console de nas4free sur le nas physique ou par ssh), un simple zpool destroy mypool et çà suffit ! (çà va libérer tous les disques)

Ensuite on recrée le pool par le webgui

[CorbeilleNews]

Je ne sais pas si la suppression du Pool supprime juste les associations entre les disques ou si cela supprime aussi les données.

Si les deux étaient dissociables (je ne dis pas qu'ils le sont mais je demande) il suffirait de supprimer le Pool et le recréer et on retrouverait les données. Mais je me trompe peut être ?

[mtiburs]

J'avoue que je survole un peu coté webgui, je fais tout directement en ligne de commande car j'aime les choses qui obéissent ! ... et ... comme çà je n'ai pas de nop (ou c'est rare)

Non, je pense qu'en supprimant le pool, on supprime les données aussi.

On peut imaginer:
- un export en ligne de commande
- ensuite une remise à zéro du firmware
- importation du pool par le webgui (comme çà nas4free n'a pas de répères)

est-ce qu'il y a beaucoup de configuration a refaire ? ou cela peut-il être refait facilement ?

[CorbeilleNews]

Non rien que 1 ou 2 partages et une customisation qui se fait en 3 minutes !

Je suis preneur si vous me guidez et cela me permettra d'approfondir mes connaisances en ligne de commande : je découvre doucement le monde Linux depuis quelques mois !

[mtiburs]

Ah bin c'est cool çà, quoi comme distrib ?

Bon, tu as accès à la console de ton nas ?
Sinon, tu peux activer le SSH en spécifiant que le root peut se connecter (pour moi, c'est le mieux), car les nas n'ont jamais de clavier, ni d'écran !

tu te connectes en tapant: ssh root@addr-ip-de-ton-nas et tu seras en ligne direct avec lui.

là, tu peux taper zpool status, zfs list, zpool history et top pour voir les choses qui tournent (q pour quitter)

Ensuite tu peux essayer:
zpool export monpool (en mettant ton pool à la place de monpool)
là, tu n'auras plus ton pool actif !!!
et ensuite tu tapes zpool import (là il va scruter tous les disques connus pour voir ce qu'il peut monter) et "normalement", il va te mettre monpool
pour l'importer, tu fais zpool import monpool ou si tu veux qu'il importe tout ce qui peut zpool import -a

Note: si tu avais un pool non exporté (par exemple t'as piqué les disques du nas4free de ton voisin ), il refusera de l'importer, mais il te préconisera de mettre -f en argument, soit zpool import -f monpool

Dans le cas, ou le pool a un gros soucis, par exemple, il te manque un disque, et bien il te diras ce qu'il en pense (genre "il manque des périphérique, mais comme vous êtes en raidz, on peut le monter mais en mettant l'option "je sais plus" (oui, je sais plus, un -s je crois ou autre) ... de toute façon , il le dit

[mtiburs]

quand, tu seras prêt (que tu auras tester l'export et l'import)

On peut sauvegarder la clef de ton nas telle quelle:
- mettre la clef sur une machine linux
- taper ls -l /dev/disk/by-id
- regarder le dev correspondant à la clef (on va dire sdc, ne pas s'occuper des No après)
- taper dd if=/dev/sdc of=/endroit/tonfichier.img
et ta clef sera copié entièrement en format brut, comme çà tu peux la refaire en faisant:
- taper ls -l /dev/disk/by-id
- regarder le dev correspondant à la clef
- dd if=/endroit/tonfichier.img of=/dev/sdc

ensuite
(après redémarrage)
- tu feras un export de ton pool
- tu fais un systeme/réglage d'origine (donc ta config disparait)
- tu redémarres (ça doit le faire tout seul) et là tu essaie de retrouver ton pool

si jamais çà marchait pas, pas de panique !, tu active le SSH (avec le root) et tu tapes zpool import et ton pool sera là (mais sans les nop et sans certaines fonction du webgui)
de toute façon, tu l'import d'un pool est une choses très facile sur ZFS

[mtiburs]

Le fait que le pool ne soit pas géré par le webgui, n'est pas un pb en soi.

[sleid]

Avec un peu de retard.....
ZFS destroy ne détruit pas les données, ni le reste d'ailleurs, il permet juste de présenter une déstructuration permettant de faire toutes les opérations interdites (qui détruisent les données)tel que recréer le pool, les vdev, formater les disques, etc .

Immédiatement après un ZFS Destroy le pool apparait comme state:online(Destroy) ,un ZFS import -D rétablit le pool state:online

[mtiburs]

Ah voilà, c'est le -D que je cherchais ! (importation d'un pool détruit)

Effectivement, le zpool destroy n'a pas l'action de détruire les données et permet donc de faire des choses ... mais sans filet !
... donc a utiliser avec des pincettes !

Dans son cas, est-ce qu'il faut qu'il aille jusqu'à ce niveau ?

[sleid]

Non, je pense qu'il faut revenir à 80% en sauvegardant des fichiers et surveiller les smart puis relancer calmement les opérations de réparation.

[CorbeilleNews]

J'ai augmenté l'espace libre en vidant un peu le NAS mais y a t-il une solution plus simple que l'export, puis réinitialisation du NAS et finalement import ?

J'ai environ 300 Go de libre, on doit pouvoir commencer quand même : j'ai bien réussi à remplacer 8 disques avec 80 Go ça devrait le faire avec 300 Go ?

Je n'ai plus de place nulle part pour décharger plus de données du NAS, si je récupère au moins un des disques actuellement dans le NAS je vais pouvoir le vider un peu plus mais pour le moment je suis coincé.

Merci de votre aide

Ah bin c'est cool çà, quoi comme distrib ?

J'utilise Debian et Ubuntu (en attendant de résoudre certains problèmes sous Debian) mais j'utilise aussi Mac OS et Windows en virtualisation à cause de sociétés qui ne veulent pas développer sous linux : rrrrr!!!!