XigmaNAS

mahlzeit,

so, nun ist es so weit. Nachdem die Erpresservieren um sich greifen und auch sonst wohl kein Weg daran vorbei führt will ich mich nun doch endlich mal um Backups, und das auf ZFS heranwagen.
Ziel ist eine Backup-Tonne, die per rsync sich wenn sie eingeschaltet wird ihre Daten von anderen nas4free oder (per deltakopie) von windows Servern selbst holt. Das Anstossen der Backups soll also durch diese Backup-Tonne geschehen.
Wenn man dann Daten zurück haben will geht es dann nur über read-only-freigaben.

Gesagt, getan, und da fangen die Probleme an.

Voraussetzung ist folgende Hardware aus dem Fundus, die nicht hier diskutabel ist. Ich hab eben nix anderes da und es soll erstmal ein Test-Lab sein.

Mainboard: M3A78-CM (6x S-ATA!!!)
Prozeossor: AMD Athlon 64 LE-1640 (2,6GHz, Single Core)
RAM*: 4GB
Netzteil: BeQuiet ES-500W

Netzwerk**: 2x D-Link Netzwerkkarte für Link Aggregation (Gigabit), alles dann am CISCO Switch SG-200-18

USB: 8GB, USB 2.0 Stick
HDD1: WDC WD20EARS-00S8B1 (2TB)
HDD2***: ST2000DM001-1ER164 (2TB)
HDD3: WDC WD20EARX-00PASB0 (2TB)
HDD4: SAMSUNG HD204UI (2TB)

* KEIN ECC, hab ich dafür nicht zur Hand. Aber da noch RAM-Bänke frei sind könnte ggf noch zusätzlicher RAM im Fundus sein.
** Ggf. laufen ja mehrere Backups parallel
*** Nicht ganz schlüssig bin ich mir um die HDD2, da sie mit 7200 U/min dreht. Bei geplantem RAIDZ1 könnte da eine der vier platten ggf entbehrlich sein? was sagen die Spezis?


Gibt es da in dem Zusammenhang eine Berechnungsformel ähnlich wie bei normalen RAIDs welche Nettokapazität bei welchem ZFS-RAID mit welchen Einzelplattenkapazitäten sich ergibt?

Ich will also die Platten komplett alle per ZFS nutzen und als RAIDZ1 konfigurieren. So soll dann am ende ein Großes Volume „DASI“ entstehen.

Meine ersten Gehversuche ZFS einzurichten - sorry, ich doof - führten nicht weit.

Ich habe die einzelnen Platten so wie sie halt waren genommen, da reingeschaut und über das web-gui (Festplatten|Management|Festplatten Format) jeweils als „ZFS Storage Pool device“ formatiert.

aber wie das nun weiter geht weiss ich nicht.

Kann mir da einer eine Schritt-für-Schritt-Anleitung geben?

Entschuldigen möchte ich mich wenn ich gleich lesen darf, dass es derlei Anleitung bereits (in deutsch) leicht verständlich gibt.

Danke
Kreuzbeerger

Weiterführende Überlegungen:
Die DASI-Tonne wird morgens einfach eingeschaltet und holt sich per rsync selbstständig die aktuellen Backups von den Rechnern, die ebenfalls zufällig übers Netzwerk erreichbar sind.
Ist einer der Rechner aus, die in der Backupliste (rsync-Konfiguration) stehen braucht der auch kein Backup.
Nach ein paar Stunden (Erfahrungswerte) schaltet ein cron-job die Backup-Tonne aus.
SMB wird nur als read-only eingerichtet.

Hallo kreuzberger,

wirf mal einen Blick auf diesen Thread hier: viewtopic.php?f=29&t=8624

Dort geht es genau um diese Thematik.

Derzeit sind wir dabei, das Ganze in eine Art Step-by-Step-Anleitung zu packen. Allerdings ist so ein Projekt nicht ganz ohne, denn mangelnde Zeit, und äußere Einflüsse werfen einem ständig d*k Knüppel zwischen die Beine.

Daher findest du in dem verlinkten Thread keine fertige Anleitungen, aber evtl. findest du dort ein paar Anregungen.

Grüße
Princo

Moin Princo mein Held,

ggf hab ich mich missverständlich ausgedrückt? Ich habe kein Problem mit rsync und DeltaCopy. Ich habe ein Problem ZFS einzurichten.

Speziell stehe ich gerade vor der Stelle (wie schon diverse andere hier) "Festplatten|ZFS|Pools|Management" und habe da den berühmten Fehler 1 und weiss nicht weiter.
siehe: http://wiki.nas4free.org/doku.php?id=do ... zfs_volume
Hier und da liesst man dass die Platten zuvor "Ausgenullt" sein sollten.
Ich habe per SSH Konsolenzugriff und würde das ggf. gern darüber machen. Aber wie?
Da es zwar 4 x 2 TB Platten sind, jedoch aber unterschiedlicher Hersteller wird deren Kapazität nicht genau identisch sein. Auch da gibt es wohl Stolpersteine. Wie umgehe ich diesen?

Allgemeines:
Jaja, das Thema Anleitungen. Es ist in der Tat so, dass es an guten, deutschen Anleitungen für nas4free mangelt. Für einen Freund habe ich daher eine Anleitung angefangen zu schreiben zum Thema Erstinstallation. Ich werde das Ihm als PDF dann geben. Vielleicht sollten wir alle darüber mal nachdenken ob nicht Jeder von uns so nach und nach sich ein Thema nach dem Anderen vornimmt und Anleitungen schreibt und diese hier per Download zur Verfügung stellt.
Kreuzberger

mahlzeit,

ich nulle jetzt mal die Platten aus. Dazu hab ich in den Technischen infos nachgesehen wie groß der Plattenpuffer ist.
Somit kann ich für die erste Platte (WDC WD20EARS-00S8B1) angeben:

dd if=/dev/zero of=/dev/ada0 bs=64M

Da hat er erst mal ne Weile zu tun. Zu blöd, dass ich es nicht hin bekommen habe dass er mir irgendwie den Fortschritt anzeigt. Es soll aber irgendwie gehen.
Kreuzberger

Eine Anleitung ist hier im Forum, die enthält sogar den Befehl zum Ausnullen der Platten:
viewtopic.php?f=93&t=7041

Mahlzeit Mädels,

ich hab nun die Festplatten "ausgenullt". Das sah/sieht dann so aus:
Gibt es da Anmerkungen zu? Ist das etwas nicht so wie es üblicherweise sein sollte?

Danach werde ich gemäß Anleitung
http://wiki.nas4free.org/doku.php?id=do ... zfs_volume
weiter machen.


KREUZBERGER

ok ihr Helden, jetzt ist EURE stunde gekommen:

Mit dem Schritt "Festplatten|ZFS|Pools|Management" lege ich das Pool fest und bekomme diese Fehlermeldung "Fehler: Die Änderungen konnten nicht durchgeführt werden (Fehlercode 1)." damit nicht weg, obwohl ich nun stundenlang wie empfohlen alle vier Platten "ausgenullt" habe.
WATT NU????????

Kreuzberger

Ging es denn die 4 Festplatten per UFS als Einzelplatte zu mounten ?

Hi apollo567,

die Platten waren alle kurz zuvor im Betrieb.

Drei davon in genau diesem Rechner als UFS Platten. Eine weitere WD Platte, hier nun HDD0, kam aus einem Apple PowerPC G5 (10.5.8 Server), welche dann wohl HFS+ formatiert war.
Muss ich diese HDD0 vorher noch mal als UFS Formatieren, und dann anschliessend mit dem ZFS "drüberformatieren"?
Kreuzberger

Ich kann mich erinnern, dass ich am Anfang auch mal solche "Fehlercode 1"-Probleme beim Einlesen der Laufwerke und Erstellen eines ZFS-Pools hatte.

Ich habe dann die Platten über einen SATA-USB-Adapter an einen Windows-Rechner angeschlossen und die DATENTRÄGERVERWALTUNG gestartet ... danach bot Windows an, den MBR neu zu schreiben, was ich bestätigt habe. Das habe ich mit allen Platten gemacht und danach wieder in meinen Gen8 eingebaut ... und siehe da ... Platten wurden erkannt und ich konnte den Pool anlegen ohne Fehlermeldung.

Ob das der politisch korrekte Weg war oder ob es eher Zufall weiß ich natürlich nicht ... aber es funktionierte!

defcon999

hi defcon999,

danke für den Hinweis. Man müsste doch aber den MBR mit der Formatierung zb auf UFS hier im nas4free auch einfach neu schreiben lassen können. Das sollte ja der selbe Effekt sein. So fällt mir auf/ein, dass ggf die eine oder andere Platte derzeit MBR, die andere oder eine GPT Formatiert ist.
Ich Probiere das mal durch.........
Kreuzberger

OHNE ERFOLG

eigentlich solle ein einfaches reichen um die alte(n) Partitionstabelle(n) zu löschen, dann die Platte(n) in disk | management importieren oder hinzufügen, mit zfs formatieren und weitermachen

muss ich danach die platten erneut in "Festplatten|Management|Festplatten Format" als "ZFS Storage Pool Divice" formatieren?

Ja, natürlich, den Umweg über UFS kannst Du Dir aber sparen

es will nicht. es kommt immer Fehler 1

irgend was mache ich verkehrt.....

was kommt wenn Du eingibst?

Na das scheint korrekt zu funktionieren:

So, jetzt versuche ich mal, das Ganze etwas zu entwirren.

@kreuzberger
Du richtest dein System ja nach dieser Anleitung ein: http://wiki.nas4free.org/doku.php?id=do ... zfs_volume

Dort werden anfangs zwar auch die Schritte zur Einrichtung von ZFS beschrieben, aber es ist eher eine Anleitung um ein iSCSI Target zu erzeugen.

Möchtest du ein iSCSI Target erzeugen?

Dazu kommt, daß es sich um eine alte Anleitung (aus 2012) für eine alte NAS4Free Version handelt.

Die ist zwar immer noch richtig, aber es ist einfach der falsche Einstiegspunkt.

Der richtige Einstiegspunkt für die ZFS-Einrichtung ist in der aktuellen Dokumentation, und zwar hier: http://wiki.nas4free.org/doku.php?id=do ... _guide:zfs

Der Crowi hatte dir einen Link auf seine Anleitung geschickt.

Dort hatte er auch das Ausnullen beschrieben.

Das Ausnullen ist eigentlich nicht zwingend nötig, aber wenn man es macht, dann sollte man es schon richtig machen.

Der Crowi schreibt in seiner Anleitung (Punkt 6), daß er dafür eine extra Tool-CD benutzt.
Du hast jedoch das Ausnullen direkt im NAS4Free vorgenommen.

Da weder der Crowi, noch alle anderen wissen können, ob du auf deinen Platten bereits mal einen ZFS-Pool eingerichtet hast, der womöglich sogar noch aktiv ist, ist deine Vorgehensweise des Ausnullens direkt in NAS4Free nicht geschickt gewählt gewesen.

Denn was meinst du, wird bei einem Dateisystem wie ZFS (welches selbstheilend ist), geschehen, wenn du anfängst im aktiven Betrieb die Platten nacheinander auszunullen?

Rüschtisch, das System stellt ganz einfach wieder den alten Zustand her.

Das gilt zwar nur, wenn es schon ein funktionsfähiges ZFS-System auf den Platten gibt, aber das können wir ja nicht wissen.

Wo liegt jetzt das genaue Problem?

Das Problem besteht darin, daß du auf deinem USB-Stick eine "vergurkte" Konfiguration hast.

Die Detailerklärung ist leider etwas kompliziert: Auf dem USB-Stick gibt es zwei für die Konfiguration relevante technische Sachverhalte.
1. Die zentrale NAS4Free-Konfigurationsdatei, welche man sich über System|Backup/Restore herunterladen kann.
2. Eine Cache-Datei für die ZFS-Konfiguration.

Diese Cache-Datei spielt bei den neueren NAS4Free-Versionen eine wichtige Rolle, und zwar in der Beziehung, daß sie unter gewissen Umständen einen abweichenden Stand von der tatsächlichen Konfiguration bekommen kann.

Und dieser gewisse Umstand ist genau hier eingetreten.
Du hast in dem Web-GUI alle Datasets und Volumes gelöscht. Es wird dir dort nichts mehr angezeigt. Dein System ist leer.
Du hast sogar die Platten ausgenullt.
Die Cache-Datei hat davon aber nichts mitbekommen, und wenn du jetzt versuchst, einen neuen ZFS-Pool anzulegen, meutert die Cache-Datei rum (weil da noch ein alter Stand vorliegt), und du erhältst diese Fehlermeldung.

Lösung: ganz simpel: NAS4Free auf Werkseinstellung setzen.
Dann das NAS auf die IP-Adresse konfigurieren, und die Platten konfigurieren.
Dabei kannst du durchaus nach der Anleitung von Crowi vorgehen, mit einer einzigen Einschränkung:

Diese beiden Punkte solltest du nicht so ausführen:

7) NAS4Free installieren und optimal einrichten
...
- Disks|Management auf "Import Disks" drücken, kurz darauf sollten die Festplatten erscheinen
- Auf den Schraubenschlüssel links in der Liste drücken und jede Platte konfigurieren (z.B. Spindown festlegen und SMART aktivieren), anschliessend auf "Apply Changes" drücken.
...

Stattdessen solltest du so vorgehen, wie es im Abschnitt "Adding Discs to NAS4Free" in der dir bekannten Anleitung http://wiki.nas4free.org/doku.php?id=do ... zfs_volume beschrieben ist.

Es geht dabei wirklich nur um diese einzelne Sektion. Danach kannst du mit der Anleitung von Crowi weitermachen.

Es gibt natürlich auch noch andere Methoden, um das einzurichten, aber ich will hier nicht noch mehr Verwirrung stiften.

Du brauchst auch die Platten nicht mit UFS vorformatieren, und du brauchst auf keine MBRs von Windows schreiben lassen. Das bringt überhaupt nichts.

Noch eine Anmerkung: Ich hatte dir einen Thread verlinkt, in dem ich mich u.a. zum Thema File-by-File-Backup von Windows-Daten ausgelassen habe.
Dazu ein Hinweis: ich setze dafür die NAS4Free Version 9.3.0.2 ein, da die aktuellen N4F-Versionen einen schweren Konfigurationsfehler aufweisen, der das, was du vorhast, sehr effektiv behindert, (oder zumindest sehr kompliziert macht). Aber das nur am Rande.

Grüße
Princo

@Princo

Wieder was gelernt!!!

Auf meinem nicht-verhunztem frischen Gen8 hat allerdings mein toler Super-Trick "Windows-schreibt-den-MBR-neu" auch(!) funktioniert! Zumindest war dieses nervige "Fehlemeldung1"-Geraffel danach weg .... und ich konnte die Platten einbinden

Frohe Ostern!

defcon999

huhu Princo,

also ich will KEIN iSCSI einrichten. Ich will "nur" ein ZFS Volume aus 4x 2TB einrichten um darauf als Ziel Datensicherungen zu machen.

Auf den Platten waren zuvor 3x UFS Format und 1x Apple Format drauf. Also kein ZFS.

Ok, ich werde mal nas4free auf die "Werkseinstellungen" auf der Konsole zurücksetzen und dann die Anleitung "Crowis" durchführen. Ich hoffe dann klappt das.

Ich guck mal, dass ich dann die NAS4Free Version 9.3.0.2 oder zumindest ähnlich bei mir finde und dafür nehme.
Dann würde sich das mit den "Werkseistellunegn" eh erübrigen, da ich ja dann den USB Stick neu mache.

seufz.

kreuzberger

mist, ich habe die NAS4Free Version 9.3.0.2 nicht.

so, ok,

ich hab es erstmal mit dem aktuellen nas4free 10.2.0.2 Rev 2433 zum laufen gebracht. Also ZFS geht jetzt erst mal.
Danke für die Hilfe bis hier!

Die letzten Optimierungsschritte der Anleitung hab ich erstmal weggelassen. Unter SMB 2.0 schafft das System derweil ca. 40MB/s. Das ist nicht berauschend, liegt aber vermutlich daran, dass die D-Link Netzwerkkarten nur PCI, und NICHT PCI-Express sind und darüber hinaus das dann ja alles zwischen den Netzwerkkarten über die CPU geht. Die ist beim Kopieren auch zu gut 70% ausgelastet.

Ein NAS4Free Version 9.3.0.2 hab ich leider nicht mehr gefunden auf meinem Software-Archiven. Zu dumm, dass man auch keine älteren Systeme mehr herunterladen kann. Schade.

Schöne "RestOstern"
Kreuzberger