NAS killt Prozesse /Out of SWAP space

[JAD]

Hi Leute,

hab gestern mal ein wenig weiter an meinem NAS gearbeitet. Irgendwann war plötzlich die SSH Verbindung wie auch die Verbindung zum Webinterface weg und ich musste direkt am NAS arbeiten.

Auf dem Display stand dann etwas davon das er Prozesse gekillt hat mit der Begründung "Out of SWAP space". Befehle wollte das Ding keine mehr annehmen. Also hab ich ein Reset gemacht und bin in folgenden Fehler gerannt: GEOM_NOP: Device adax.nop created. pid 1093 (zpool), uid 0, was killed: out of swap space Wieder ging hier nichts mehr!

Also hab ich mal meinen USB Stick auf dem das BS läuft mit einem frischen Image versehen. OK System startet wieder und ich muss es neu konfigurieren. Konfigurationssicherung eingespielt und versucht die Festplatten zu importieren. Leider werden die Festplatten nur eingebunden, das ZFS Pool wird nicht erkannt. Also zurück auf die Shell und zpool import ausgeführt.

Das System rödelt nun ca ne halbe Stunde und dann war auf einmal wieder die SSH Verbindung weg. Wieder mit dem gleichen Problem das die Prozesse gekillt werden / Out of SWAP space.

Jetzt habe ich auch nicht so ein kleines System, immerhin sind 12 GB RAM verbaut. Diesen hab ich auch einem Test unterzogen und dieser ist in Ordnung.

Ich bin irgendwie am Ende mit meinem Latein, was könnte ich noch versuchen???

Hab echt keine Lust meine knapp 8 TB an Daten in den digitalen Tod zu schicken...

Vielen Dank schon einmal,

Gruß

JAD

[Princo]

Als du die Funktionen deines NAS erkundetest, hast du doch sicherlich auch die "Dedup"-Funktion ausprobiert, ist das richtig?

Wenn die Antwort "Ja" lautet (und dazu gehört auch, wenn du sie nur mal "ganz kurz" eingeschaltet hattest), dann kannst du dein NAS erstmal ausschalten, bis du weitere Instruktionen erhältst.

[JAD]

Hi,

wieder Princo...

vielen Dank für die Antwort.

Ja ich habe Dedup eingeschaltet und das auch ganz bewusst.

Was meinst du genau mit ausschalten bis ich weitere Anweisungen erhalte??? Ich bin etwas überfragt was genau du meinst...

Gruß

JAD

[Princo]

Ja ich habe Dedup eingeschaltet und das auch ganz bewusst.
Was meinst du genau mit ausschalten bis ich weitere Anweisungen erhalte??? Ich bin etwas überfragt was genau du meinst...

Nun, ganz einfach:
Dein System startet nicht mehr richtig, und irgendwie kommst du nicht mehr an deine Daten ran.
Der Grund dafür liegt am eingeschalteten Dedup. Leider kann man Dedup nicht so einfach abschalten.

Du bist fälschlicherweise davon ausgegangen, daß deine 12GB RAM für Dedup ausreichen würden.
Diese Annahme war falsch. Laut diesem Artikel, bräuchte dein System ca. 161 GB RAM, um wieder zu starten, wenn du deine 8 TB Daten komplett auf Dedup gesetzt hast.

Verstehst du jetzt, was du für ein Problem hast?

Wenn du deine 8 TB Daten nicht verlieren möchtest, mußt du jetzt sehr planvoll vorgehen. Ich sehe da durchaus reale Chancen, aber dafür bräuchte ich ein paar weitere Angaben, damit man dir helfen kann.

Wenn dir die 8 TB Daten jedoch nicht so wichtig sind, dann kannst du den Pool auch einfach plattmachen, und neu einrichten.

Sag einfach Bescheid, für was du dich entschieden hast.

[JAD]

Hi Princo,

vielen Dank für die schnelle Antwort.

Ja jetzt verstehe ich was du meinst. Ich muss zu meiner Schande gestehen das ich die Warnung nicht richtg gelesen habe. Ich hatte nur im Hinterkopf ZFS und Dedup benötigt viel RAM. Das ich hiermit einen Kernel Panic oder ähnliches hervorrufen könnte kam mir ehrlich nicht in den Sinn. Eigentlich kenne ich mich mit Dedup recht gut aus, wir setzen das auf der Arbeit auch auf unseren Netapp Maschinen ein. Deshalb hab ich mir auch nichts dabei gedacht!

Naja wer den Schaden hat,... Selbst schuld nicht wahr!!!

Aber Glück im Unglück... Ich hatte kurz vorher eine größere Aufräumaktion gefahren und von meinen 8 TB hatte ich nur 4-5 TB benutzt. Außerdem hatte ich nicht auf allen Datasets Dedup aktiviert. Ich würde grob schätzen des es maximal 2 TB sind von denen wir hier reden.

Ich hab mich ein wenig in die Problematik eingelesen und bin auf die Faustformel gestossen das man 4-6 GB RAM pro TB Speicher für Dedub benötigt. Naja ist halt nur eine Faustformel.

Was die Daten angeht, es gibt ein paar GB die mir sehr wichtig sind, von daher wäre es cool wenn ich da wieder ran käme.

Ausgehend von dem was ich gelesen habe, würde ich jetzt auf die Einbindung einer SSD als L2ARC setzen um so meinen RAM zu erweitern. Würdest du dem Zustimmen oder verfolgst du eine andere Idee???

Nochmals vielen Dank für die Hilfe. Echt toll das es hier so kompetente Leute gibt...

Gruß

JAD

[Princo]

Ja, den Weg über eine SSD als L2ARC hatte ich im Sinn.
Allerdings nur, um das System überhaupt wieder zum Laufen zu bringen.
Wichtig!: Sollte dein System wieder hochfahren, dann darfst du keinesfalls anfangen dort aufzuräumen (z.B. Daten oder Snapshots löschen)! Das kann Tage dauern, wenn Dedup aktiv ist.
Danach würde ich die Daten per zfs send/receive über das Netzwerk auf ein Backup-System transferieren (ohne die Deduplikation mit zu übernehmen).
Dann den Pool platt machen, ihn ohne Dedup neu erstellen, und die Daten per zfs send/receive zurück übertragen.

Das ist der sichere Weg, um die Deduplikation wieder los zu werden.

[JAD]

OK,

also nochmal kurz zusammengefasst:

1: Betriebssystem auf dem USB Stick neu installieren (um überhaupt wieder mit dem System arbeiten zu können)
2: Eine SSD als Virtuelles Device mit der Funktion "Cache" einbinden
3: Die restlichen Platten importieren
4: Per "zfs import" den Pool wieder importieren
5: Dedup auf allen Datasets ausschalten
6: Die Daten welche wichtig sind auf ein seperates Laufwerk ziehen
7: Die ganze Kiste wieder ganz neu aufsetzen und Deduplication nie wieder anrühren...

Meintest du das in etwa so???

zfs send/recieve kenne ich leider noch gar nicht. Wie funktionieren diese Befehle? Kann ich da lokale Daten auch ins Netzwerk schicken (CIFS/NFS)???

Vielen Dank

JAD

[Princo]

Nein, bis auf Punkt 7 ist alles falsch.
Punkt 5 ist sogar richtig gefährlich.

Ich muß hier dazu ein paar Sachen ausprobieren. Dafür brauche ich etwas Zeit.

Fragen:
Hast du denn einen freien SATA-Anschluß auf deinem Mainboard?
Wenn ja, könntest du eine schnelle SSD mit 128 GB besorgen? (Von Einbauen ist noch nicht die Rede, s.u.!)
Als du deinen USB-Stick installiert hast, hast du da die reine Embedded-Installation, oder Embedded + Data + Swap genommen?

Wenn ich dir helfen soll, dann müsstest du dich exakt an meine Anweisungen halten. Ich muß darauf vertrauen können, daß du keine Schritte unternimmst, welche nicht zwischen uns abgesprochen sind. Ich habe das leider schon anders erlebt, und das könnte dann böse für deine Daten ausgehen. Daher frage ich dich, ob das für dich ein Problem darstellt?

[JAD]

Nö,

hab da keine Probleme mit mich an deine Anweisungen zu halten. Ich bin sogar froh das du dich so reinhängst!

Also zu deinen Fragen:

Ich hatte bereits eine 64 GB SSD als Cache eingebunden. Von daher ja ich habe noch einen SATA Anschluss frei und auch eine SSD habe ich, wenn auch keine 128GB (Würde hier auch eine normale HDD möglich sein?).
Den USB Stick hatte ich immer die Embedded Version und beim letzten mal hab ich einfach per DD Befehl auf den Stick gezogen. Somit sollte keine extra SWAP oder DATA Partition da sein.

Hast du sonst noch irgendwelche Fragen???

Gruß

JAD

[Princo]

Ich hatte bereits eine 64 GB SSD als Cache eingebunden. Von daher ja ich habe noch einen SATA Anschluss frei und auch eine SSD habe ich, wenn auch keine 128GB (Würde hier auch eine normale HDD möglich sein?)

Prima, dann kann es ja losgehen.
Da du "dd" erwähnt hast, scheinst du dich etwas mit Linux und Konsorten auszukennen, das ist jetzt auch sehr hilfreich
Mit einer normalen HDD geht es nicht. auch nicht mit einem USB-Stick. Es MUSS eine SSD sein.
Wir werden in mehreren Schritten vorgehen.
Der erste Schritt wird sein, daß wir das System überhaupt wieder stabil zum Laufen bringen.
"Stabil" bedeutet, das der Pool wieder funktioniert, und sein Status abgefragt werden kann.
"Stabil" bedeutet nicht, daß du sofort mit Freigaben o.ä. auf die Daten zugreifst.

Vorarbeiten (können an einem normalen Desktop-Rechner durchgeführt werden):
Nimm deine SSD.
Setze sie (an einem anderen Rechner) in den Werkszustand zurück. Du weiß, wie das geht?
Wenn nein, dann sag Bescheid.
Wenn ja, dann mache es.

Erstelle nun entweder eine CD mit dem NAS4Free ISO Image, oder einen USB-Stick mit dem Live-USB Image.
Instaliere nun, mit Hilfe der eben erstellten Medien, ein Embedded Image + DATA + SWAP auf der SSD.
Beim Installationsprozeß wirst du gefragt, ob du eine Swap Partition anlegen möchtest.
Das bestätigst du, und übernimmst im nachfolgenden Fenster den vorgeschlagenen Wert für Swap.
Dann wird die Installation auf der SSD durchgeführt.
Erklärung: Mit dem L2ARC können wir derzeit noch gar nichts anfangen, denn um das einzurichten müßte der Pool stabil laufen. Daher schaffen wir zuerst eine Umgebung, in der der Pool überhaupt erst aktiviert werden kann. Bei der Methode, die ich gerade beschreibe, kommen wir evtl. ohne L2ARC und sogar ohne externes Umkopieren aus.

Jetzt kannst du die SSD in dein NAS einbauen.
Den alten USB-Stick mit dem Embedded-Image entfernst du.
Stelle im BIOS ein, daß das System von der SSD startet.
Starte dein NAS von der SSD.
Konfiguriere die IP-Adresse, und logge dich auf dem Web-Interface ein.
Ermittle nun über Diagnostics|Information|Disks den Anschluß der SSD (adaX).
Trage den ermittelten Wert in System|Advanced|Swap als "Device" /dev/adaXs3 ein. Für X mußt du den soeben ermittelten Anschlußwert der SSD nehmen.
Starte dein NAS neu.
Auf der Status-Seite des NAS muß nach dem Neustart ein eigener Eintrag für "Swap usage" angezeigt werden. Bei "Total" sollte ein Wert über 60 GB stehen.

Wenn du diesen Punkt erreicht hast, dann sag Bescheid. Nicht am Disk-Management oder an der ZFS-Konfig rumspielen. Keine Dienste aktivieren. Nicht die alte Konfigurationsdatei einspielen. einfach nur Bescheid sagen (Das NAS kannst du natürlich erstmal runterfahren).

[JAD]

Hi,

ok kein Problem. Werd heute nach der Arbeit sofort loslegen.

Eine Frage vorab. Meinst du mit SSD in Werkszustand zurücksetzen die SSD ausnullen mit DD???

Vielen Dank

JAD

[Princo]

Eine Frage vorab. Meinst du mit SSD in Werkszustand zurücksetzen die SSD ausnullen mit DD???

Ich meinte eher das hier: http://wiki.ubuntuusers.de/SSD/Secure-Erase

[JAD]

Ah OK,

dann weiß ich wie es geht. PartedMagic CD hab ich hier sowieso rumliegen...

Werd dann allerdings erst morgen daran gehen können. Bin eben erst von der Arbeit gekommen und muss noch ein bisschen was erledigen.

Ich melde mich einfach wenn ich soweit bin...

Gruß

JAD

[Princo]

PartedMagic CD hab ich hier sowieso rumliegen...

Ja, die ist dafür perfekt geeignet.
Durch das Secure Erase wird eine optimale Ausgangssituation geschaffen. Es ist zwar nicht zwingend nötig, aber so können einige potentielle Fehlerquellen ausgeschlossen werden

[JAD]

Hi,

vielen Dank erst einmal fürs warten,... Ich bin dann endlich soweit!

Allerdings ein kleines Problem habe ich noch. Irgend etwas muss ich falsch gemacht haben. Die SWAP Partition ist nur knappe 8 GB groß...

Soll ich es noch einmal komplett probieren oder kann ich das zum Beispiel mit Parted MAgic reparieren???

Vielen Dank

JAD

PS: Ich konnte schon beim installieren von NAS4free über die Live Disk nur knappe 8 GB als SWAP eingeben. Scheint also schon vor der Installation was schief gelaufen zu sein...

[JAD]

Hi,

hab mir das gerade noch einmal in Parted Magic angesehen und scheinbar teilt er die SSD in eine kleine Partition ca 120MB für das OS und dann in eine für DATA welche knapp 56 GB groß ist und dann bleibt nur noch die mageren 8 GB für die SWAP Partition.

Ich hab dann noch einmal alles vo vorn gemacht und bin gerade soweit das ich NAS4free installieren und die Embedded Variante mit DATA und SWAP ausgewählt habe. Jetzt kann ich die Größe der SWAP Partition in MB bestimmen und er gibt mir hier 16118 MB vor. Sobald ich das abändere bekomme ich eine Fehlermeldung das die Partition nicht erstellt werden kann...

Wie soll ich nun am besten weiter vor gehen???

Vielen Dank

JAD

[Princo]

Nimm erst mal die Swap-Größe von 16118 MB.
Mach dann wie oben beschrieben weiter.

Edit: Frage: Hast du bei den Datasets, welche du auf Dedup gesetzt hast, Snapshots oder Clone angelegt?

[JAD]

Hi,

ich hab jetzt endlich nach vielem probieren eine SWAP Partition von 59,5 GB. Das war die maximale Größe die er nehmen wollte. Von daher sollte das jetzt passen.

Ich hatte damals zwar Snapshots angelegt aber eigentlich sollten alle Snapshots gelöscht worden sein. Das hatte ich noch kurz vor meinem Problem erledigt...

Gruß

JAD

[Princo]

Wenn der Swap in der GUI eingetragen ist, und auf der Status-Seite erscheint, kannst du die nächsten vorbereitenden Schritte vornehmen.

Aktiviere in Services|SSH den SSH-Dienst, Setze den Haken bei "Permit root login".
In System|Advanced nimmst du den Haken bei Tuning raus, und startest das NAS neu.
Prüfe, ob du dich per SSH auf dem NAS einloggen kannst.

Wenn das klappt, ist die Vorbereitung abgeschlossen, und du kannst den nächsten Schritt angehen.

Ich hatte damals zwar Snapshots angelegt aber eigentlich sollten alle Snapshots gelöscht worden sein. Das hatte ich noch kurz vor meinem Problem erledigt...

Da liegt wahrscheinlich der Grund für das Problem. Das Löschen von Snapshots auf einem Dedup-Dataset kann sehr lange dauern (durchaus mehrere Tage). Möglicherweise ist der Löschvorgang bei dir noch gar nicht richtig abgeschlossen, und das müssen wir jetzt nachholen.

Wenn dein NAS über Tastatur und Monitor verfügt, dann kannst du den nachfolgenden Befehl direkt an der Konsole in der Shell eingeben (hat den Grund, daß der Vorgang unabhängig von deinem PC laufen kann).

Rufe über Punkt 6. die Shell auf.
Gib dort diesen Befehl ein (US-Tastatur Belegung):

Code: Select all

zpool import -d /dev -a

Beobachte auf der Konsole am NAS, ob der Befehl ausgeführt wird (also der Prompt erscheint), oder ob Fehlermeldungen kommen.
Versuche, ob du über die Web-Gui erkennen kannst, ob das System irgendwelche Aktivitäten durchführt.
Achte dabei besonders auf diese beiden Stellen:
Disks|ZFS|Pools|Information
Disks|ZFS|Pools|I/O statistics
und ob evtl. auf der Hauptstatus-Seite erkennbar ist, ob der Swap genutzt wird.
Der Pool und die Datasets werden über die Config-Seiten noch nicht angezeigt, aber wir können seinen Status dennoch abfragen.
Lass das System längere Zeit laufen, und beobachte es nur über die Web-Gui.

Es gibt nun 3 Möglichkeiten, was passieren kann:
1. Möglichkeit:
Der zpool import Befehl auf der Konsole wird ausgeführt. Es kommen keine Fehler auf der Konsole, und in der Web-Gui bleibt alles ruhig.

2. Möglichkeit:
Der zpool import Befehl auf der Konsole wird ausgeführt. Es kommen keine Fehler auf der Konsole, aber über die Web-Gui und durch Plattengeräusche erkennst du, daß das System heftig arbeitet. Möglicherweise wird auch der Swap angesprochen, und seine Auslastung steigt.

3. Möglichkeit:
Der zpool Befehl auf der Konsole braucht sehr lange Zeit für die Ausführung, es kommen Fehlermeldungen auf der Konsole, und/oder die Web-Gui reagiert kaum oder gar nicht mehr.

Bei Möglichkeit 1 und 2 ist alles prima. Bei Punkt 3 hätten wir ein Problem.
Sollte Punkt 2 eintreten, dann gib dem System einfach Zeit, sich zu rappeln. Das kann durchaus ein paar Tage dauern.

Wenn Punkt 3 nicht eingetreten ist, und das System keine hohe Aktivität mehr zeigt, dann (aber nur dann) kannst du über Disks|ZFS|Configuration|Synchronize den Pool vollständig mit der Web-Gui synchronisieren. Dazu einfach auf den "Synchronize" Button klicken.

Dabei werden übrigens auch die Platten des Pools im Disk-Management eingetragen. Deswegen brauchen wir dort gar nicht rumfummeln.
Bei der Aktion ist es wichtig, abzuwarten, und nicht vorschnell zu agieren.
Wenn dieser Punkt erreicht ist, dann ist der Pool soweit in einem stabilen Zustand, daß wir uns an die Aufhebung der Dedup-Einstellung wagen können. Die nötigen Schritte werden wir dann extra durchgehen.
Auf die Daten sollte aber die ganze Zeit über nicht zugegriffen werden!

---

Edit 20.09.2013
Mach dann einen Reboot des NAS, und lass das System laufen.
Von besonderer Wichtigkeit ist die Anzeige des Swaps. Merke dir, auf welchen Wert der ggfs. ansteigt.
Wir brauchen jetzt ein paar Werte des Pools.
Gehe auf Disks|ZFS|Datasets|Information
Dort befinden sich zwei Tabellen.
Übertrage diese per Copy&Paste in zwei normale Textdateien.

Gehe dann auf Disks|ZFS|Configuration|Detected
Überprüfe die Spalte Dedup, und notiere dir alle Datasets, bei denen der Wert Dedup auf "on" steht.

Gehe dann auf Disks|ZFS|Snapshots|Snapshot
Stelle den Filter auf "All", und klicke auf "Apply".
Prüfe nun, ob Snapshots für auf Dedup gesetzte Datasets existieren. (Nicht löschen, nur prüfen!)
Schau sicherheitshalber auch bei Disks|ZFS|Snapshots|Clone vorbei. Das sollte eigentlich leer sein.

Rufe dann auf deinem NAS die Seite http://nas4free.local/status.php auf (das ist nicht die normale Status-Seite).
Speichere diese Seite ab.
Gehe auf System|Backup/Restore und lade die aktuelle Konfiguration herunter.

Nimm dir jetzt die vorhin per C&P abgespeicherte Tabelle "ZFS dataset information and status" vor.
Markiere dir die Dedup-Datasets mit einem Sternchen jeweils am Anfang der Zeile (nur als Merker).
Drucke dir diese Tabelle jetzt am Besten aus.
Auf dem Ausdruck notierst du dir jetzt mit "1 2 3 ..." die Reihenfolge der Dedup-Datasets nach dem Wert, der bei "Used" steht. Der kleinste Wert bekommt die 1, der nächstgrößere die 2, und so weiter. Wie gesagt: nur bei den Dedup-Datasets!
(Frag nicht, warum ich das so vorgebe. Das ist das Resultat eines langjährig trainierten Bauchgefühls.)

Dann nimmst du dir das Dataset mit der Nummer 1 auf der Liste vor.
Gehe in der Web-Gui auf Disks|ZFS|Datasets|Dataset und editiere das betreffende Dataset.
Mach den Haken bei "Canmount" weg. (Nichts an der Dedup-Einstellung ändern!).
Speichere mit "Save" ab.
Klicke dann auf "Apply", um die Änderung wirklich auszuführen.
Das kann eine Weile dauern. Lass das Browser-Fenster solange in Ruhe, und merke dir ungefähr die Zeit, die der Vorgang braucht.

Wenn der Vorgang problemlos durchgeführt wurde (hab dabei immer auch ein Auge auf die Konsole des NAS), dann kannst du den Vorgang mit den anderen Datasets nach der festgelegten Reihenfolge durchführen. Beobachte dabei, ob sich die Zeiten für den Vorgang verlängern, das würde mich interessieren.

Denn Zettel solltest du nicht wegwerfen, den brauchen wir später noch mal.

Wenn du damit fertig bist, dann kontrolliere auf Disks|ZFS|Configuration|Detected , ob bei allen Dedup-Datasets der Wert für Canmount auf "off" steht.

Wenn das alles in Ordnung ist, dann lade erneut die aktuelle Konfiguration bei System|Backup/Restore herunter.

Rufe jetzt deine Götter an, und bitte um Gelingen für die nachfolgenden Aktion. Keine Ahnung, ob das was bringt, aber sicher ist sicher

Lass dein NAS jetzt rebooten.

Wenn meine Strategie aufgeht, dann sollte das NAS jetzt problemlos starten und die Web-Gui sollte flüssig funktionieren. Die Dedup-Datasets sind nicht gemountet, und sollten daher das System nicht mehr beeinflussen.

---

Von Möglichkeit 3 will ich jetzt noch gar nicht reden. Da muß man einfach sehen, ob dieser Fall eintritt.

Grüße

[JAD]

Hi,

vielen Dank für die wie immer ausführliche Anleitung. Ich habe mich peinlich genau daran gehalten und habe nun folgendes Ergebnis:

1. Nach der Eingabe des Befehls direkt am NAS kam kein Prompt, die Eingabe ist einfach eine Zeile nach unten gesprungen
2. Die Festplatten arbeiten jetzt gerade wie wild
3. Die WebGUI ist träge wie sonst noch was. Ich kann mich gerade noch anmelden, das wars...
4. Direkt am NAS ist keine Eingabe möglich, siehe Punkt 1.
5. Eine Verbindung per SSH habe ich noch nicht probiert, dürfte aber auch scheitern. Siehe Punkt 3.

Du sagtest das könnte dauern? Ich denke mal wir reden hier von Tagen. Wie sehe ich ob alles geklappt hat, bzw. wie lange sollte ich am besten warten?

Vielen Dank

JAD

[JAD]

Kurzes Update...

Die Festplatten haben aufgehört zu rödeln und sind jetzt ganz still. Direkt auf der Konsole hat sich noch nichts verändert und das Webinterface ist immer noch nicht zu gebrauchen. Allerdings, wenn ich das richtig gesehen habe, steht bei der RAM Auslastung 100% SWAP ist immer noch auf null. Ist aber wie gesagt nicht wirklich zuverlässig zu bedienen und zu lesen.

Gruß

JAD

[Princo]

Solange auf der Konsole der zpool import Prozeß nicht abbricht, ist das erst mal ein gutes Zeichen.
Wie lange das noch dauern wird, steht in den Sternen.

Du kannst jetzt aber mal per ssh Zugriff auf das System machen. Dort gibst du dann

Code: Select all

swapinfo

ein. Kann eine Weile dauern, bis das Ergebnis kommt, aber nur so können wir derzeit prüfen, ob das System arbeitet.

[JAD]

Die Ausgabe von swapinfo bringt:

Code: Select all

nas4free: ~ # swapinfo
Device          1K-blocks     Used    Avail Capacity
/dev/ada0s3      61946640    34832 61911808     0%

Gruß

JAD

[Princo]

Wiederhole das bitte. Es geht jetzt darum, ob sich der Wert von "Used" nach oben oder unten verändert.

[JAD]

Habs vorhin und jetzt gerade noch einmal mehrmals wiederholt.

Es scheint als würde der Wert kontinuirlich steigen.

Code: Select all

nas4free: ~ # swapinfo
Device          1K-blocks     Used    Avail Capacity
/dev/ada0s3      61946640    45592 61901048     0%

Gruß

JAD

[Princo]

Es scheint als würde der Wert kontinuirlich steigen.

Das sieht gut aus.
Jetzt mußt du nur noch warten, bis auf der Kosole der Prompt # erscheint, darauf hoffen, daß keine Fehlermeldungen kommen, und der Pool erfolgreich importiert wird. Ich habe keine Ahnung, wie lange das noch dauert. Im schlimmsten Fall wird der Swap volllaufen, und der Pool kann nicht importiert werden. Solange wird man sich gedulden müssen.

Ich habe meine Anleitung unter viewtopic.php?f=29&t=5031&p=27472#p27472 in einem Punkt (der gestrichen wurde) verändert und um die nächsten Schritte ergänzt. Das erschien mir sinnvoller, als das hier mit rein zu packen.

In der Zwischenzeit könntest du mir vielleicht schildern, wie du die Dedup-Pools eingerichtet hast. Hast du dafür jeweils ein neues Dataset mit Dedup eingerichtet, und dann die Daten draufkopiert, oder waren die meisten Daten schon drauf, und du hast du die Datasets nachträglich auf Dedup gesetzt?

Was sind das für Daten in den Dedup-Datasets? Sind das viele kleine Dateien, oder sehr große Dateien? Oder sind die wild durcheinander gemischt?

Was brachte dich zu der Einschätzung, daß Dedup für deine Daten sinnvoll ist? Das ist eine Frage, die mich brennend interessiert. Ich habe selbst hier einige Szenarien am Start. bei denen ich Dedup als sinnvoll betrachten würde, aber sämtliche Tests bisher eher das Gegenteil bestätigen. Da jeder mit seinem System anders umgeht, würde mich deine Intention zu dem Thema sehr interessieren.

Was für ein System hängt eigentlich dahinter? Bis jetzt kenne ich nur die RAM-Größe. Es macht schon einen Unterschied, ob da ein i7 oder ein Atom-Zwerg am Schuften ist

[JAD]

Hi,

hab gerade noch einmal geschaut. SWAP läuft immer noch weiter nach oben... Also alles gut!

Zu deinen Fragen.

Ich hatte für die verschiedenen Datentypen jeweils ein Dataset angelegt, zum Beispiel für Bilder, Musik, DVDs, BluRays, ISOs, Dokumente, usw. Jedes der Datasets hatte ich entsprechend meinen Vorstellungen wie es am sinnvollsten ist konfiguriert. Ich hab es jetzt zwar nicht mehr ganz im Kopf aber es waren definitiv nicht alle Datasets mit Dedup eingerichtet. Mein Ansatz war die Dateien von denen ich vermutete das sie ein große Anzahl an gleichen Blöcken enthalten zu deduplizieren. Beispielsweise hatte ich meine NFS Share für meine VMs dedupliziert, BluRays hatte ich nicht eingerichtet, usw.

Die Deduplizierung habe ich erst später eingeschaltet als ein Großteil der Daten schon auf dem NAS waren. Damals war mir der Unterschied zwischen Inline und Outline Deduplizierung noch nicht so bewusst! Wie gesagt ich kenne Deduplizierung von unseren Netapp Filer auf der Arbeit und wollte das auch gerne für mich nutzen da es sich ja gerade für VMs und ähnliche recht gleiche Datenbestände sehr gut eignen müsste.

Ehrlich gesagt war ich aber nie ganz von der ZFS Deduplizierung überzeugt, ich hatte zum Beispiel bei den VMs gerade mal eine DedupRate von 1,3. Wenn man dann die Performance, bzw Hardwareanforderungen dagegen setzt lohnt sich das meiner Meinung nach nicht. Dann lieber in Festplatten investieren. Wenn ich das Recht sehe ist hier auch das größte Problem das Inline Dedupliziert wird. Das frißt Ressourcen und bringt keinen rechten Vorteil zu einer Deduplizerung welche nachträglich durchgeführt wird. Netapp macht dies zum Beispiel so...

Zu meinem System,... Es handelt sich hier um meinen alten Homeserver den ich mir mal vor 6 oder 7 Jahren zusammen gestellt habe. Wenn ich mich recht entsinne ist dort ein Intel Xeon X3350 mit 4 Kernen und 2,66 GHz auf einem Sockel 775 am werkeln. Hinzu kommen wie gesagt die 12 GB RAM und 5 * 2GB Samsung HDDs für das RAID-Z1 an einem Promise RAID-Controller und eine Samsung SSD830 als Lesecache (Jetzt OS, Data und SWAP). Angeschlossen ist das ganze über zwei getrunkte GB Leitungen. Eigentlich eine schöne Maschine, wenn auch schon etwas betagter. Aber sie hat mich nie im Stich gelassen. Die Festplatten von damals hab ich zwar ausgestauscht (waren 8 * 500GB) aber auch die laufen immer noch in diversen Rechnern...

Das war noch Qualität damals

Gruß

JAD

[JAD]

Hi,

kurzes Update...

Ich habe so ein bisschen das Gefühl das sich die SWAP Partition so bei 50 MB eingependelt hat.

Ist das normal oder müsste das immer weiter steigen???

Vielen Dank

JAD

[Princo]

Ist das normal oder müsste das immer weiter steigen???

Ich würde erwarten, daß er jetzt so langsam mal den Pool importiert bekommt, oder zumindest eine Fehlermeldung rauswirft.

Zusatzfrage: Hast du bei den betreffenden Dedup-Datasets auch noch zusätzlich eine Kompression eingestellt?

Bin am Überlegen, ob ich dein Problem bei mir einfach mal nachstelle.

[JAD]

Hi,

ich will es jetzt nicht beschören. Aber ich glaube ich hatte keine Kompression eingeschaltet...

Gruß

JAD