quelques soucis sur un nas (swap,dev, ..)

[mtiburs]

Bonjour,

Je viens d'avoir un comportement bizarre sur de mes nas

Nom d'hôte nas7.local
Version 9.2.0.1 - Shigawire (revision 972)
Date de construction Mon Apr 28 02:43:01 CEST 2014
Plateforme OS FreeBSD 9.2-RELEASE-p4 (kern.osreldate: 902001)
Plateforme x64-embedded sur Intel(R) Core(TM)2 CPU 6320 @ 1.86GHz
Système ASUSTeK Computer INC. P5Q SE
Le système BIOS American Megatrends Inc. version: 1002 03/20/2009

J'ai eu une perte d'accès, plus de webgui et plus de ssh, mais réponse au ping !
J'avais des messages d'erreurs comme ceux ci-dessous:
Oct 8 17:26:07 nas7 kernel: GEOM: da2: corrupt or invalid GPT detected.
Oct 8 17:26:07 nas7 kernel: GEOM: da2: GPT rejected -- may not be recoverable.
Oct 8 17:26:08 nas7 kernel: GEOM: da3: corrupt or invalid GPT detected.
Oct 8 17:26:08 nas7 kernel: GEOM: da3: GPT rejected -- may not be recoverable.
Oct 8 17:26:08 nas7 kernel: GEOM: da0: corrupt or invalid GPT detected.
Oct 8 17:26:08 nas7 kernel: GEOM: da0: GPT rejected -- may not be recoverable.
Oct 8 17:26:37 nas7 kernel: GEOM: da3: corrupt or invalid GPT detected.
Oct 8 17:26:37 nas7 kernel: GEOM: da3: GPT rejected -- may not be recoverable.
Oct 8 17:26:37 nas7 kernel: GEOM: da0: corrupt or invalid GPT detected.
Oct 8 17:26:37 nas7 kernel: GEOM: da0: GPT rejected -- may not be recoverable.
Oct 8 17:26:37 nas7 kernel: GEOM: da2: corrupt or invalid GPT detected.
Oct 8 17:26:37 nas7 kernel: GEOM: da2: GPT rejected -- may not be recoverable.
Oct 8 17:26:37 nas7 kernel: GEOM: da3: corrupt or invalid GPT detected.
Oct 8 17:26:37 nas7 kernel: GEOM: da3: GPT rejected -- may not be recoverable.
Oct 8 17:26:37 nas7 kernel: GEOM: da0: corrupt or invalid GPT detected.
Oct 8 17:26:37 nas7 kernel: GEOM: da0: GPT rejected -- may not be recoverable.
Il y' avait aussi un message par rapport au swap (que je n'ai pas eu l'idée de recopier), mais en gros, il n'avait pas pû utiliser son swap.
C'est un nas7 qui amasse environ 200 à 250Go par jours (déduplication de MV), sur deux mois de roulement.

J'ai dû arrêter mon PC par le bouton car il était comme planté.
Au démarrage, il est réapparu ce genre de message (par rapport au GEOM de da0, ...)
Puis il a démarré mais au bout d'un moment

Quand j'ai voulu accèder au contenu du pool, je ne retrouvais plus "mes petits", j'avais d'ailleurs un de mes datasets les plus important vide !
Dans ces coups de temps là, j'exporte et je réimporte le pool, ça a été bénéfique car tout est revenu dans l'ordre une fois fait, mon dataset contenait bien les répertoires et données.

Mais il y a des choses que je ne comprends pas:
- dans disques/gestion, j'ai da0, da1 ,da2 et da3 de dispo (da1 etant la clef embedded)
- dans disques outils/formater, je n'ai que da0 et da3 de dispo ... pas da2 ?!?
- dans ZFS/outils, je ne peux pas faire un cache add (aucun périphérique utilisable)

et, si je tape:
- zpool add n7d2000 cache /dev/da0 ... da0 devient bien un Zcache
- zpool add n7d2000 cache /dev/da2 ... da2 devient bien un Zcache
- zpool add n7d2000 cache /dev/da3 ... da3 devient bien un Zcache

J'ai démonté et enlevé les Zcaches, puis tout redémarré en ayant un pool simple (sans cache), le problème subsiste.
Je ne sais pas trop quoi en penser.

Après avoir remis mes caches à la main, j'ai:

nas7: ~ # zpool status
pool: n7d2000
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
n7d2000 ONLINE 0 0 0
ada0.nop ONLINE 0 0 0
cache
da0 ONLINE 0 0 0
da2 ONLINE 0 0 0
da3 ONLINE 0 0 0
errors: No known data errors

Et depuis tout marche bien:
Donc pour résumer:
1) problème de swap
2) problèmes sur tous les dev en DaX
3) pas de possibilité d'y gérer en webgui

4) Finalement tout marche, c'est bien ! ... mais que c'est t-il passé !

[sleid]

Problème de contrôleur disque et(ou) contact câble sata et(ou) bug mémoire (logiciel).
il n'y a pas un petit smart pour affiner tout cela ?

[mtiburs]

non, mais, je vais le mettre en place sur celui-là et d'autre nas d'ailleurs.

En écrivant "une possibilité", je viens de me rendre compte d'un truc, je n'ai pas de swap ! (peut-être que le message voulait dire "au secours, la mémoire et pleine et il n'y a pas de swap !!!"
C'est peut-être ça tout simplement le soucis ?

Le problème semble se passer après 15 jours de fonctionnement, soit après avoir passé "pas mal" de données (mon ratio de dédup étant presque à 11)
nas7: NAS7_systeme # zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
n7d2000 1.81T 533G 1.29T 28% 10.77x ONLINE -
nas7: NAS7_systeme # zfs list
NAME USED AVAIL REFER MOUNTPOINT
n7d2000 3.74T 1.21T 452K /n7d2000


Faut-il passer en full avec un swap au départ, ou rajouter un swap ? dans ce cas, est-ce possible ?
peut ajouter un swap sur N4F dans ce style ?:
dd if=/dev/zero of=/lieu/swapfile bs=1m count=4096
chmod 0600 /lieu/swapfile
swapfile=”/lieu/swapfile”
# mdconfig -a -t vnode -f /usr/swap0 -u 0 && swapon /dev/md0
ou en direct /etc/rc.d/addswap start
comme: https://www.freebsd.org/doc/handbook/ad ... space.html

[mtiburs]

Sinon, pour le pb des disques qui sont vu mais qu'on ne peut pas formater, il semblerait que ce soit un bug, car d'autres ont le même soucis par moment.

[mtiburs]

J'ai passé le primarycache du pool en metadata pour avoir moins passage de données en mémoire (il était en all)

... çà ne peut que faire du bien pour la RAM et ça ne ralentit pas beaucoup le débit.

[sleid]

C'est vrai que le dedup n'arrange pas les choses coté mémoire !!!

[mtiburs]

Pour info: je copie mes données du nas1 qui est en prod en double sur le nas6 et 7 par rsync (le nas6 et 7 sont deux nas sans liens et tous les deux en dédup)

Voici ce que j'ai sur le nas6 (qui tourne depuis plus de 23 jours):
last pid: 23184; load averages: 0.37, 0.25, 0.22 up 23+21:52:38 14:21:08
33 processes: 1 running, 32 sleeping
CPU: 0.6% user, 0.0% nice, 2.7% system, 0.8% interrupt, 95.9% idle
Mem: 3896K Active, 48M Inact, 3442M Wired, 11M Buf, 162M Free
ARC: 512M Total, 142K MFU, 320M MRU, 15M Anon, 198M Header, 2242K Other

et le 7 (20h de fonctionnement):
last pid: 4388; load averages: 0.31, 0.24, 0.11 up 0+20:47:16 14:37:43
33 processes: 1 running, 32 sleeping
CPU: 1.2% user, 0.0% nice, 10.0% system, 0.2% interrupt, 88.6% idle
Mem: 26M Active, 26M Inact, 1044M Wired, 9232K Buf, 2595M Free
ARC: 512M Total, 3526K MFU, 443M MRU, 15M Anon, 50M Header, 4759K Other

Je ne vois rien d'anormal, si ce n'est le header.
Le MFU est différent ... pas mal même (après, les données peuvent influencer les choses)
D'un autre coté, ce n'est pas facile car je viens d'avoir un rsync qui s'est finit et après en avoir relancé un autre, beaucoup de valeur ont changées

sinon, l'ARC est figé à 512M et si je regarde sa valeur, j'ai:
kstat.zfs.misc.arcstats.c_max: 536870912
Je me demande si il ne faudrait pas passer l'ARC un peu plus haut ?

[sleid]

Ah oui,ça fait un peu léger et heureusement que le bios est en 1002 car avant il y avait de sacrés problèmes avec l'ahci!!!
Le bios est en 1005 actuellement (et définitivement certainement)
http://dlcdnet.asus.com/pub/ASUS/mb/soc ... E-1005.zip
Et l'afudos qui va bien
http://dlcdnet.asus.com/pub/ASUS/mb/flash/Afudos238.zip

[mtiburs]

Merci sleid !

[velivole18]

Bonjour,

Au mois de juillet, j'ai eu un peu les mêmes soucis.
J'ai ajouté à mon NAS un disque SSD en swap zfs : Transcend TS32GSSD370 SSD interne 2,5 de 32 Go
Après quelques jours de fonctionnement, le NAS se bloque pour tout, sauf en ping.
J'ai refait l'expérience plusieurs fois, et à chaque fois la même chose, obligation de rebooter le NAS.
Depuis j'ai 2 disques qui m'ont lâché. Donc difficile de faire une analyse.
Ce qui est déroutant c'est qu'il n'y a plus d'accès possible au log et donc pas de trace.
Dès que j'ai remis mon NAS sur pied, je referai le test et vous tiens au courant.
Lors de mes prochains essais, je décrirai finement ma config et le comportement pour une analyse commune pertinente.
Merci à mtiburs d'avoir soumis le problème qui n'est peut-être pas isolé !

Cordialement.

[mtiburs]

Effectivement, je pense que le problème n'est pas isolé !

J'ai l'impression que c'est dans le cas du cache, moi de mon coté, je vais essayer de refaire marcher tout çà sans cache et voir si le problème revient.
Après, j'essaierai de remettre le cache et de changer la valeur de l'ARC maxi.

Ceci quand je toucherai un peu terre !

disque SSD en swap zfs

en cache ZFS ou en swap ?
(car pour moi, ce sont deux choses différentes, le swap étant une "décharge" de la mémoire système (déplacement de la mémoire physique vers le disque pour libérer de la mémoire physique), cela n'est pas en rapport avec ZFS.
Et le cache ZFS est une façon de mettre en cache les données qui transite du pool vers ZFS de façon a ne pas avoir a relire le pool a "tous bouts de champs", le cache pouvant être sous différents "profils" (secondarycache=all,metadata,none).
Je ne pense pas que les données en cache primaire (primarycache) peuvent subir le swap du système, je pense que ce sera plus de la mémoire physique "hors-cache", soit: le système, les fichiers ouverts, l'ARC sur des blocs utilisés (en cours d'utilisation) et d'autre choses.

[velivole18]

Bonsoir,

Oui pardon, je fais souvent l'inversion entre le terme de cache et de swap, même si effectivement je connais bien la différence entre les deux.
C'est plus un problème de début de vieillesse que d'incompréhension.
C'est comme parfois de faire une faute sur un mot la première fois qu'on l'écrit, et ensuite il est difficile de ne plus refaire la faute instinctivement.
C'est bien du cache dont je parlais. (j'ai aussi mis du swap sur mon NAS à l'installation, mais cela n'a rien à voir)
Merci mtiburs de la précision.
Nous referons les tests ensemble dès que mon serveur sera sur pieds.
Il nous faudra aussi régler ce problème de config que le serveur garde je ne sais où lorsque nous voudrons permuter entre une config avec le cache et sans cache.
Car je m'en suis vu pour supprimer de la config l'existence du cache. Et de souvenir (mois de juillet) je n'y suis pas arrivé, même après une ré-install complète du code du serveur.
Pour l'instant, voici bientôt 3 jours que le programme de mise à zéro de mon nouveau disque de 4To s'exécute. C'est long !!!!
Et dire que je dois faire la même chose pour le second disque ... Patience, patience.
Bonne soirée.

[mtiburs]

Attention ! la configuration du Zcache se fait au sein du pool: cela fait partie du pool, c'est "sa" config ! ... pas de la config de n4f qui est plus sur la config d'un éventuel pool (mais pas de la config du pool en lui même*) et des services associés au nas

Quand tu fais un export du pool, tu démontes le pool, mais si il avait un cache, ça restera inscrit dans ce dernier. C'est pour cela que quand on veut déplacer son pool et qu'on ne remonte pas leZcache, il faut bien penser a le "remover" AVANT de l'exporter

La force de ZFS et d'avoir une gestion très simple et de retrouver facilement les choses, donc, pour cela , il stocke sur le pool les infos de la configuration pool, on peut à tout moment, prendre les disques et les monter ailleurs, un autre ZFS saura retrouver la config.

*:Un bémol, la config du webgui contient aussi la config du pool, mais dans mon cas par exemple, je ne fais pas souvent de configuration ZFS par le webgui, je préfère la faire "à la main" et bien je n'ai aucune information concernant la config du pool dedans, c'est comme si il n'y en avait pas, pourtant, quand j'importe un pool , je retrouve bien mon cache associé au pool.

C'est donc normal que tu retrouve ton cache.
Pour cela il faut l'enlever par un zpool remove monpool /dev/machin

et vérifier par un zpool status que le cache n'y est plus

[mtiburs]

C'est plus un problème de début de vieillesse que d'incompréhension..

On ne di pas "vieillesse" ... c'est pas beau, mais vétusté !

[velivole18]

Bonsoir,

Merci mtiburs pour la réponse toujours très claire.
Cependant, il me semble avoir effectivement enlever le cache via le webgui par un remove dans le menu "outils" (en français).
Je connaissais cette manip et j'aime bien en général faire les choses dans l'ordre.
Je revérifierai cela dès que mon NAS sera sur pieds.
Peut-être y a t-il une différence de comportement entre le faire via webgui ou à la main ...
Je vous tiens au courant.
Cordialement.

[mtiburs]

J'ai toujours mes soucis de swap en fait, c'est là le problème (les défauts sur les da0/GPT ont disparus)

J'ai essayé ceci dans mon /cf/boot/loader.conf (rajouté ces deux lignes)
j'ai pris le
vfs.zfs.arc_max="1073741824" (d'origine il y avait 512M, j'ai mis 1Go)
vm.kmem_size_max="3870498816" (le vm.kmem_size * 2)

l'ARC est partit direct à 1Go (avant il était à 512M)

j'ai passé aussi le primarycache à none

Mes transferts fonctionnent de manière identique

donc ... à suivre