Pool zerschossen?

[trendco]

Hi,

ich habe die Tage ein wenig mit Nas4Free gespielt. Gestern abend hab ich ein paar Performance Tests gefahren und dabei ist mir die komplette Kiste abgetsürtzt. Nach einem Neustart kamen schon seltsame Meldungen beim hochfahren dass irgendwelche php Dateien nicht gefunden wurden etc. Das Webinterface konnte ich auch nicht mehr aufrufen. Ein "zpool status" in der Konsole Zeigte mir auch nix mehr an. Hab dann Nas4Free noch mal neu installiert und hab versucht den Pool über den Menüpunkt "Entdeckt" zu importieren, ging aber auch nicht, wurde gar nix gefunden. Dann wieder auf die Konsole und ein paar Dinge probiert die ich im Netz dazu gefunden hab:

nas4free:~# zpool status
no pools available

nas4free:~# zpool import
pool: raid1-pool
id: 17043871657167551118
state: FAULTED
status: The pool metadata is corrupted.
action: The pool cannot be imported due to damaged devices or data.
see: http://illumos.org/msg/ZFS-8000-72
config:

raid1-pool FAULTED corrupted data
mirror-0 ONLINE
ada1 ONLINE
ada2 ONLINE

nas4free:~# zpool import raid1-pool
cannot import 'raid1-pool': I/O error
Destroy and re-create the pool from
a backup source.

nas4free:~# zpool import -fF raid1-pool
cannot import 'raid1-pool': I/O error
Destroy and re-create the pool from
a backup source.

Da hing ausserdem noch eine SSD als ZIL & Cache im Pool, die aber beim "zpool import" (siehe Ausgabe oben) gar nicht mehr mit angezeigt wird!?

Irgendwie ist meine Gute Laune bzgl. dem "sicheren" ZFS gerade am Boden

Hat noch jemand eine Idee was ich versuchen könnte?


Alex

[shakky4711]

Hallo,

Gestern abend hab ich ein paar Performance Tests gefahren und dabei ist mir die komplette Kiste abgetsürtzt

Wenn ich eines bei IT gelernt habe, dann dass man mit Logik teilweise in der Sackgasse landet, will heißen dass Deine Tests damit vielleicht gar nichts zu tun haben.

Punkt 1, lasse einen langen SMART Test über alle Deine Datenträger laufen um erst mal sicher zu gehen dass sie gesund sind, mit einer verreckten Platte im Array kommst Du definitiv nicht weiter.
Dann Memtest86+ durchlaufen lassen, kann auch ein Grund sein für ein korruptes System oder Dateisysteme.

Da hing ausserdem noch eine SSD als ZIL & Cache...

Solche Extras habe ich hier nicht am Start, generell wird eigentlich immer empfohlen solche Sachen auf einer kompletten Platte laufen zu lassen, mit Partitionen kann klappen, verkompliziert die Sache aber. ZILs soll man auch immer als Mirror laufen lassen da hier ein Defekt böse Auswirkungen hat...

Wenn Du sicher bist dass die Hardware in Ordnung ist zerstöre den kaputten Pool und erstelle einen neuen, erst mal ohne separate Cache oder ZIL Laufwerke.
Dann Stück für Stück rantasten und testen.

Wenn ohnehin nichts mehr zu verderben ist kannst Du ja noch weiter spielen:

Code: Select all

Recovery actions are requested with the -F option to either 'zpool clear' or 'zpool import'. Recovery will result in some data loss, because it reverts the pool to an earlier state. A dry-run recovery check can be performed by adding the -n option, affirming if recovery is possible without actually reverting the pool to its earlier state.

Hier sind noch Seiten mit sehr nützlichen Infos:
http://www.solarisinternals.com/wiki/in ... ices_Guide
http://www.solarisinternals.com/wiki/in ... ning_Guide
http://docs.oracle.com/cd/E19253-01/819-5461/index.html
https://sites.google.com/site/eonstorage/zpool_notes

Irgendwie ist meine Gute Laune bzgl. dem "sicheren" ZFS gerade am Boden

Verstehe ich, aber bedenke dass auch ZFS nicht hexen kann und Du hier mit Sachen wie externen ZIL und Cache Laufwerken in fortschrittlichere Tuningbereiche vorgedrungen bist die der normale Heim-Anwender in aller Regel nicht benötigt und die eher die IT Cracks im Storage Bereich beschäftigt. Jede Sache hat zwei Seiten und auch immer einen Preis, genau wie der getunte Motor der mit jedem zusätlich herausgekitzelten PS ein wenig Lebensdauer einbüßt. Einen normalen 08/15 Pool ohne Spielerchen habe ich noch nie "gefaultet" bekommen, da müssen schon mehrere Sachen zusammen kommen wie zwei kaputte Platten in einem Mirror oder Kabel-Wackelkontakte an der Quellplatte bei einem Resilver, aber bei solchen Sachen geht jedes System in die Knie... Daher auch immer wieder der bestimmt schon tausendmal gelesene Satz "Raid ersetzt kein backup", aber da erzähle ich Dir sicher nichts Neues...

Gruß
Shakky

[trendco]

Hi Shakky,

ja, das mit der Logik ist manchmal so eine Sache in der IT Ich kann natürlich ein Hardwareproblem nie ausschliessen, allerdings lief die Hardware in anderen Umgebungen und Tests bisher ohne jeglichen Probleme. Ich werde das bei Gelegenheit aber trotzdem mal checken.

Das ZIL & Cache nicht zum Standard gehören ist mir klar und ich bin eigentlich auch eher immer für die einfacheren und schlichten Lösungen = weniger Fehlerquellen. Doch auf dem NAS sollen nachher u.a. VM's gehostet werden auf die per NFS zugegriffen wird und da macht ein ZIL eben schon Sinn. In meinen Tests war die Schreibrate bei NFS mit ZIL & Cache mehr als doppelt so hoch als ohne.

Was ZIL & Mirror angeht, da weiss ich langsam nicht mehr recht was ich glauben soll, da höhre/lese ich ständig was anderes. Aber so wie ich es verstanden hab, soll das seit Pool-V28 kein Problem mehr dastellen: viewtopic.php?f=66&t=2766&p=15307#p15307
Wie sich das im Endeffekt bei einem tatsächlichen Defekt der ZIL auswirkt, weiss ich aber immer noch nicht.

Bei meinem Problem ist mir aber noch etwas nicht ganz klar. Ich hatte ja Nas4Free auf einem USB Stick laufen. Um die Pool Performance zu testen, hatte ich dann einen DD Test gestartet ("nas4free:~# time dd if=/dev/zero of=/mnt/raid1-pool/PVE-Datastore/dd.tst bs=2048000 count=16301"), der dann aber irgendwann samt der kompletten Kiste eingefrohren ist. Nach dem Neustart lief ja aber auch Nas4Free nicht mehr richtig!? Da kamen beim hochfahren irgendwelche Meldungen das .PHP Dateien nicht gefunden wurden etc. Warum zebröselt mir da das Hostsystem, das ja bei dem Test gar nicht angesprochen wurde?


Gruß Alex

[shakky4711]

Hallo Alex,

Du hast noch nicht geschrieben was für eine NAS4Free Installation Du laufen hast.

Es gab im Forum schon oftmals Probleme mit billigen oder wackeligen USB-Sticks, wenn Du eine Embedded auf USB Stick laufen hast installiere mal per Live-CD auf einem anderen Stick, wenn möglich ein Markenstick von Kingston, Transcend oder Corsair.
Ist es eine Full auf einem USB-Stick lass es bleiben und nimm bitte eine kleine 2 1/2" Laptop Platte oder SSD ==> viewtopic.php?f=29&t=2959

Ist es eine Full auf Festplatte oder SSD kommen wir wieder zu meiner ersten Antwort auf Deinen Post, SMART-Test, Memtest86+ und Prüfung der SATA Stecker.

Oftmals basieren viele Probleme auf profanen Sachen, kaputter RAM, Überhitzung durch verdreckte oder zu langsam laufende Lüfter, Wackelkontakte durch billige SATA Kabel ohne Metall-Lasche und und und. Du suchst Dir den Wolf in vollkommen falschen Ecken wenn es in diesen elementaren Bereichen Probleme gibt. Wir hatten auf Arbeit mal einen Server der alle 3-4 Wochen abgeschmiert ist, was haben unsere Kollegen da wochenlang immer wieder in Richtung Windows, Treibern, Logfiles und den Anwendungen gesucht... und nichts gefunden.... Nachdem ein Ersatzserver lief haben sie dann in Ruhe in anderen Richtungen testen können, und siehe da, beim 15ten Memtest Lauf hat es einen defekten RAM Riegel angezeigt, nach dem Austausch lief die Kiste endlich wieder 24/7 brav durch.


OK, Deine Installation lief schon, ich möchte es trotzdem nur kurz ansprechen. Ich lese hier und auch in anderen Foren immer wieder was da für riesige Aktionen gestartet werden um mit irgendwelchen dubiosen Windows Programmen krampfhaft das img File auf einen Stick zu prügeln, da wird teilweise wochenlang rumprobiert und die Leute stolpern von einem Frusterlebnis zu nächsten... Ist alles Quatsch, zu einem ist das IMG File mit gz komprimiert, auch wenn es aus Gründen kompatibel zu bleiben immer noch die Endung img hat, das erkennen viele Programme nicht und das Ergebnis ist Schrott. Zweitens, alle Zusatzprogramme sind vollkommen überflüssig, einfach die Live-CD erstellen, davon booten und das Betriebssystem bequem auf einem Stick, SSD oder Festplatte installieren. Wenn das NAS kein optisches Laufwerk hat kann man das an jedem anderen Rechner machen. Drittens kann es nicht schaden das Zielmedium einmal vorher mit DBAN und der Methode zero auszunullen, das entfernt jeglichen Schott und alte Metadaten die sich mitunter negative auf eine Installation auswirken können, hatte ich auch schon mal bei einer zickenden Installation.


Gruß
Shakky

[trendco]

Hi Shakky,

bei mir läuft die aktuelle Version: "NAS4Free-x64-LiveCD-9.1.0.1.636.iso".

Es gibt erfreuliche Nachrichten: Nach dem ich heute Mittag alles mögliche an Parametern ohne Erfolg durhprobiert hatte, las ich irgendwo was von einem "-X" Parameter und der brachte doch dann unglaublicherweise auch meinen Pool wieder zurück - freu

Code: Select all

zpool import -mFX raid1-pool

Das lief dann eine ganze Weile und irgendwann war er da, zuerst noch degraded wegen fehlendem Cache & LOG Device, aber nach einem Scrub, der nicht mal einen Fehler zeigte und einem Reboot sah es zumindest mal so aus:

nas4free:~# zpool status
pool: raid1-pool
state: DEGRADED
status: One or more devices could not be used because the label is missing or
invalid. Sufficient replicas exist for the pool to continue
functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see: http://illumos.org/msg/ZFS-8000-4J
scan: scrub repaired 0 in 0h12m with 0 errors on Sat Mar 23 18:38:03 2013
config:

NAME STATE READ WRITE CKSUM
raid1-pool DEGRADED 0 0 0
mirror-0 ONLINE 0 0 0
ada1 ONLINE 0 0 0
ada2 ONLINE 0 0 0
logs
5405955815442179335 UNAVAIL 0 0 0 was /dev/ada0p1
cache
ada0p2 ONLINE 0 0 0

errors: No known data errors

Ich hab dann noch:

Code: Select all

zpool replace raid1-pool 5405955815442179335 ada0p1

ausgefgührt und nun schaut alles wieder ok aus, die knapp 100 GB Daten sind auch an Ort und Stelle. Ich weiss zwar nicht, ob die was abbekommen haben, aber wenn Scrub nix anzeigt, geh ich mal davon aus, dass es passt. Ausserdem war es ja nur Testdaten.

Weiss zufällig jemand, was ich mit diesem "-X" jetzt eigentlich genau gemacht habe?


Gruß Alex