futur essai et sauvegarde

[hensop]

Bonjour tout le monde,

Après une mauvaise expérience sur FreeNAS, je me tourne maintenant vers nas4free et je me pose quelques questions car j'ai décidé de revoir quelques "détails".

Alors voilà, tout d'abord j'y connais pas grand chose en réseau, disons que je bricole à vue en fonction de ce que je lis ici où là.

A l'origine j'avais réalisé un système avec 2 x 1To en raid 1(logiciel) en ZFS. J'avais réussi à configurer le tout et commencer à transférer mes données, et tout allait bien. Et à un moment j'ai décidé de tester le système dans l'autre sens (c'est à dire récupérer mes fichiers), et là une partie de mes photos (5% à 10% environ) étaient corrompues. Quand je récupérais un de ces fichiers corrompus le système se bloquait et je devais à chaque fois redémarrer le serveur jusqu'au prochain blocage (avec perte de la photo bien sur...). Imaginez au bout de 80 redémarrage alors que j'en étais qu'à la moitié de ma récup... J'ai pas compris pourquoi sachant que j'avais testé mes disques et que les données envoyées étaient bonnes à l'origine. Et là je me suis aperçu que si, en plus, mon système tombait en panne ("les emmerdes, ça vole toujours en escadrilles") je ne pouvais rien récupérer, mon PC et mon portable étant sur linux et ne lisant pas le ZFS .

Donc, questions (enfin !!!...), sachant que je veux désormais éviter les "solutions raid":

1° - Si je configure nas4free avec un disque en ext4, est ce que, en cas de panne de mon système, je pourrai enlever ce disque, le mettre dans un boitier externe pour le lire sur un de mes ordis ?

2°- Est -il possible de faire une sauvegarde (via rsync par exemple ) du disque dur sur un disque externe via l'usb ou le firewire du serveur ?

Merci pour avoir lu jusqu'à la fin...

[velivole18]

Bonjour,

Je comprends que cette mauvaise expérience vous fasse réagir dans le sens que vous nous indiquez dans votre post.
Ceci dit, en repassant par de l'ext4 et en désirant éventuellement monter un jour vos disques de NAS sur vos PC client,
et surtout en ne voulant plus faire de raid, vous empruntez un chemin à l'inverse de toute logique et du raisonnable.

1 - ZFS est le système de fichiers le plus sûr qui existe
2 - quel que soit le SGF que vous utilisez, faire du raid renforce toujours la sécurité de vos données
3 - je ne détecte rien dans ce que vous nous dites qui établit une relation entre ZFS, le raid et les problèmes que vous avez
4 - se garder la possibilité de remonter les disques du NAS sur un poste cleint ne va pas faciliter la configuration et l'utilisation du NAS, en tout cas vous n'exploiterez pas toutes ses possibilités.

Votre 1ère décision de faire du ZFS avec du raid 1 était une très bonne décision ! (Enfin ce n'est que mon avis perso ...)

Ceci dit :
1 - Pourriez nous en dire un peu plus sur la configuration de votre PC (RAM en particulier) et la version de Nas4Free utilisée ?
2 - Êtes vous sûr de votre carte mère ou tout du moins de votre contrôleur d'I/O de vos disques (celui intégré sur la carte mère ou une carte rajoutée) ?
3 - Vos disques sont-ils tous du même type, de la même marque ?
4 - Quand vous dites que vous récupérez vos fichiers 1 à 1, comment les récupérez-vous ? En nfs, en FTP ?
5 - Même question pour le dépôt de ces fichiers à l'origine sur le NAS.
6 - Même si la question peut paraître stupide, mais sans vouloir vous offenser, les fichiers étaient-ils corrects à l'origine sur votre poste client ? Avez-vous une trace de ne serait-ce un seul fichier resté sur un poste client qui serait maintenant corrompu sur le NAS ?
7 - Vous est-il possible de renouveler l'expérience pour quelques fichiers en les envoyant sur votre NAS tout en surveillant ce qui ce passe, et en les reprenant du NAS sur votre poste client dans la foulée.
8 - Et enfin, vous voyez ces fichiers corrompus de votre poste client, mais rien ne dit qu'ils sont corrompus sur votre NAS. Peut-être est-ce votre poste client qui a un souci ? Pourriez-vous connecter un nouveau poste client tout propre puis refaire la d'envoi et du reprise de fichiers entre ce poste cleint et la NAS ?

Sinon, pour revenir à votre question initiale, sans être affirmatif à 100%, de l'ext4 sur FreeBSd ou sur un autre linux reste de l'ext4.
Donc je pense que sur le principe, un disque seul en ext4 sur Nas4Free, remonté ensuite sur une autre machine linux devrait fonctionner,
mais je laisse les autres participants de ce forum me dénoncer si je dis une bêtise.

Je pense que la communauté de ce forum va essayer de vous venir en aide, mais sans garantie sur le fait de retrouver toutes vos données (qui peut-être ne sont pas irrémédiablement perdues ! car à mon avis, zfs n'y est pour rien et il se peut que vos données soient encore viables sur le NAS).
Mais il faut effectivement trouver l'origine du problème.

Cordialement.

[sleid]

Bonjour,

"A l'origine j'avais réalisé un système avec 2 x 1To en raid 1(logiciel) en ZFS."
C'est meilleur choix pour 2 disques, toutefois il faut rajouter les snapshots et une sauvegarde avec Rsync sur un disque externe avec un format (ne pas utiliser NTFS) que vous pourrez éventuellement relire avec une autre machine.

"J'avais réussi à configurer le tout"
Aviez vous pensez à vous envoyer par mail un état de votre nas et donc du pool ZFS périodiquement ?

"et tout allait bien"
ça c'est moins certain, dans les informations du pool ZFS il devait bien apparaitre des erreurs, de même que dans les infos "smart"

"et là une partie de mes photos (5% à 10% environ) étaient corrompues"
C'est la que les infos ZFS étaient importantes, soit c'était des erreurs récupérables avec un " scrub " soit un disque était hs en lecture et il suffisait de le débrancher. (cas tragique : les 2 disques sont en panne simultanément, mais comme l'on a une sauvegarde externe, la tragédie est à prendre avec le sourire).

("les emmerdes, ça vole toujours en escadrilles") OUI
Surtout après 80 redémarrages qui ont fini de tuer un ou des disques. Un disque "testé" peut être hs 1 heure après !!

"Donc, questions (enfin !!!...), sachant que je veux désormais éviter les "solutions raid"
Donc raid matériel dépendant uniquement du contrôleur de disque..... quoique pour du miroir c'est pas trop grave.
Mais toutes les finesses de ZFS sont perdues dans ce cas et le changement de carte mère si simple sous ZFS peut devenir problématique.

"1° - Si je configure nas4free avec un disque en ext4, est ce que, en cas de panne de mon système, je pourrai enlever ce disque, le mettre dans un boitier externe pour le lire sur un de mes ordis ?
C'est ext2 mais attention au contrôleur raid

"2°- Est -il possible de faire une sauvegarde (via rsync par exemple ) du disque dur sur un disque externe via l'usb ou le firewire du serveur ?"
C'est pas une possibilité, c'est une nécessité qui bien entendu existe sous Nas4free.

velivole18 vous à apporté la même réponse avant moi.

Au fait "velivole" vol à voile ?

[velivole18]

Bonjour sleid,

Affirmatif pour le vol à voile, mais j'étais jeune à l'époque ...
Pour en revenir à Ext4 et Ext2, je en sais pas pourquoi hensop parle de Ext4, je n'ai effectivement pas fait attention aux possibilités qu'offrent Nas4Free en la matière, pardon. Mais sur le principe, si Nas4Free offrait Ext4, pour un simple disque, cela ne devrait pas poser de problème pour le monter ensuite sur un PC client en disque externe normalement, non ? Je demande bien pour un simple disque ou au pire un disque en raid 1, bien sûre.

Merci.

Cordialement

[sleid]

Malgré mes 61 ans je pilote encore....

[velivole18]

Bonjour,

Vous avez beaucoup beaucoup de chance de voler encore !

Pour hensop, juste un petit conseil : chaque nuit je m'envoie dans ma messagerie le log de Nas4Free vers 2h. du matin et je conserve ces logs en archive dans mon application de messagerie. Nas4free permet très facilement d'envoyer sur une adresse email le log, et ça ne coûte rien. Donc ne vous en privez pas !

Cordialement.

[hensop]

Bonjour et merci pour vos réponses. Désolé pour la réponse tardive mais j'étais en déplacement.

Tout d'abord mes soucis ont eu lieu avec Freenas. Mes questions étaient là pour un futur passage sur nas4free.

Mes réponses pour "velivole18":

Je remets pas en cause les avantages de ZFS mais, comme je l'ai expliqué, si ma carte mère meurt, je ne pourrai pas avoir d'accès aux fichiers tant que je n'aurai pas changé et reconfiguré une autre config. A ce propos, dans ce cas là, est ce que, lorsque je rajoute mes disques à une nouvelle config, ces nouveaux disques seront entièrement formatés ou est-ce qu'il suffira juste de brancher les anciens disques sur une nouvelle config pour avoir accès aux fichiers qui sont dessus ?

1 - Ma config. Si vous apercevez une incompatilité... n'hésitez pas...
-1 disque 1To samsung ST1000DM005 32mo
-1 disque 1To Hitachi Deskstar 7K1000.C 32mo
-os : freenas 8.3.1 pour l'instant (mais je vais changer, promis !!!) sur compact flash sur port ide
-carte mère msi-7184 (Northbridge: ATI RS482 - Southbridge: ATI SB400)
-ram 1 Go ddr
2 - Non... Comment la tester ?
3 - cf "ma config"
4 & 5 - CIFS
6 - Les fichiers étaient bons et oui j'ai des exemples et non je ne suis pas offensé
7 - Je souhaite d'abord finir ma "récupération" avant d'autres essais
8 - J'ai essayé avec mes deux postes pour le même résultat.

et pour "sleid" et "velivole18":
"chaque nuit je m'envoie dans ma messagerie le log de Nas4Free vers 2h": j'ai essayé avec freenas mais bon, je crois que là aussi, j'ai manqué quelque chose dans ma configuration...
C'est vrai aussi que j'aurai du configurer un snapshots dès le début et faire un copier/coller avec mes fichiers au lieu de couper/coller.... Je sais c'est con...

Pour info voilà ce que me mets le serveur lors d'un transfert de fichier de serveur à client lorsque cela se passe mal:

Enter an option from 1-11: vm-page-free: pindex (77760), [busy (1), VPO_BUSY(0), hold(0)
panic: vm_page_free: freeing busy page
cpuid = 1
KDB: enter: panic
[thread pid 2345 tid 100272]
Stopped at kdb_enter+0x3b: movq $0,0x777592(%rip)
db>

sachant que les chiffres que j'ai mis en rouge sont des chiffres qui changent en fonction du fichier et que, comme je ne sais pas quoi mettre après "db>", et que le serveur se bloque, j'éteins et je rallume...

Cordialement,
... et merci encore.

[sleid]

Bonjour,
"carte mère msi-7184 (Northbridge: ATI RS482 - Southbridge: ATI SB400)
-ram 1 Go ddr"
Cette carte supporte jusqu’à 4 giga de mémoire donc ne pas hésiter à récupérer 1 ou 3 barrettes de ddr de 1 giga.
ET surtout passer un memtest pendant plusieurs heures pour valider la mémoire.

Le lan est limité à 100 mbit/s donc ne pas espérer des transferts très rapides.

Vérifiez sur le site de msi s'il n'existe pas un bios plus récent.

Après cela le fonctionnement devrait être à peu près correct.

[hensop]

Bon, alors visiblement j'ai un disque dur qui est en mauvais état (Hitachi Deskstar 7K1000.C), il n'accuse pourtant que 2351 h de fonctionnement...
ATA error count = 15
Current Pending Sector Count = 14
Reallocation Event Count = 36

C'est bizarre quand même, j'envoie des données (saines, j'insiste) sur un système raid 1, et les fichiers sont en mauvais état sur les 2 disques. Ils devraient être en bon état sur au moins 1 des 2 , non ???

A croire que les fichiers sont copiés sur un disque, puis repris de ce disque pour être copiés sur l'autre. Pas terrible comme mode de fonctionnement...

Je m'en vais tester nas4free comme promis, avec un seul disque, sans utiliser "couper/coller"....et racheté un disque dur !!!

[sleid]

Bonjour,
"ATA error count = 15"
ça ressemble à un problème de contact: mauvais câble ou pb de connecteur.

[mtiburs]

Bon voilà, je viens de faire tout un topo et lors de la validation du message, tout est perdu !!!, c'est vraiment agaçant ce gestionnaire de forum, il peut pas détecter que l'on est en train de taper, je sais que je suis un peu "lent", mais bon !
Faut, dire que je suis un peu bête, je me "fais avoir" à chaque fois

Alors dans les grande lignes (je reprends mais en simplifié):

ZFS est le plus puissant et le plus solide de tous les FS.
La force de ZFS tient dans le traitement des données qui est "atomique", c'est à dire que tout le travail qui a été fait, sera validé au final, que par un bit !, ce bit est validé après les écritures différée des caches. tout problème qui survient avant, n'a aucune importance.

Lors de la contruction d'un nas et AVANT de mettre ses données dessus, je conseille à toute personne de lui faire des misère: débrancher un disque pour voir ce que ça fait et comment on va s'en sortir le jour venu. Si on ne s'en sort pas, il n'y a pas de raison de s'en sortir mieux avec un nas bien plein.

Pour information, une structure ZFS est très facilement déplaçable, elle peut-être déplacé d'un nas4free à un linux avec zfs-fuse (d'un sata à un disque externe en usb par exemple)

Pour votre cas présent, j'ai l'impression que vous avez eu des problèmes de corruptions de données dans chaque disque, c'est à dire que pour une raison X, le mirroir a fonctionné, mais à un moment donné, c'est le bon disque qui a eu un soucis et le "pas bon" qui a été le seul a fonctionner, ce qui a mis le brin dans chaque partie du raid, c'est pour cela qu'un disque de plus aurait pû être utile (car un disque en raid1 se retrouve bien tout seul en cas de perte de l'autre, on est d'accord ? ... chhhut ... mon nas pro n'a que 2 disques).

donc, je dirais qu'il faut faire 2 choses:

Etre sûr du câblage: brancher les disques sur d'autres sata et utiliser des câbles "bon".

Lancer la commande suivante: zpool status (dire ce que la commande donne)
Faire un scrub est discutable (si cela a été fait et que les données sont bien altérées des deux cotés, alors là ... bin, il fait ce qu'il peut avec ce qu'il a !)


En derniers recours, "spliter" le mirroir pour travailler séparément sur chaque disque, c'est à dire dissocier le mirroir pour n'avoir plus que 2 disques, ça se fait avec la commande "zpool split mypool mypool2", je sais pas si on peut la faire avec le webgui (j'y utilise pas ... le webgui pour le ZFS). De cette façon, on peut aller chercher les fichiers sur un disque et sur l'autre avec l'espoir que ceux si seront tantôt plutôt bon d'un coté que de l'autre... c'est pas gagné mais bon ... c'est mieux que rien