update notwendig?

[seller]

So habs probiert.
Ergebnis ist aber nicht das was ich sehen wollte...




im alten NAS:


bin ich zu doof, oder ist was falsch gelaufen?

gruß
Seller

[Princo]

Ja, da ist etwas falsch gelaufen. Das neue NAS ist noch leer.
Poste bitte vom alten NAS die Ausgabe der Sektion "ZFS Dataset Information & Status", welche du in Disks|ZFS|Datasets|Information findest.

Das sieht ungefähr so aus:

Code: Select all

NAME                       USED  AVAIL  REFER  MOUNTPOINT
Daten                     6.67T   353G   512K  /mnt/Daten
Daten/Ablage               425G   353G   425G  /mnt/Daten/Ablage
Daten/Audio                307G   353G   307G  /mnt/Daten/Audio
Daten/Backup               320G   353G   320G  /mnt/Daten/Backup
...

Grüße
Princo

[seller]

Hi Princo, shit happens,
hier die Infos:
neues NAS

altes NAS


gruß
Seller

[Princo]

Hhm, habe mir deine ganzen anderen Protokoll-Ausgaben angeschaut, und da ist wohl so einiger Quatsch passiert.

Altes NAS:
Zuerst mal zu den Snapshots, welche sich bereits auf dem alten System befinden:
Du hast da eine ganze Reihe von Auto-Snapshots aus dem Jahr 2013.
Einige dieser Snapshots sind mehrere hundert GB groß, d.h. darin befinden sich Dateien, welche aus dem "normalen" Dateisystem gelöscht wurden.
Brauchst du die Daten aus den alten Snapshots noch?
Egal wie die Antwort ausfällt: Bist du dir da sicher?
Diese Snapshots "könntest" du über das Web-GUI löschen (vorher Filter auf ALL stellen, und "Apply Filter" nicht vergessen).
Dabei kannst du auch den @now Snapshot überall löschen.

Auf dem neuen NAS:
Lösche dort den Pool NAS.
Lege dann den Pool NAS neu an.
Achte bitte auf Fehlermeldungen!
Danach machst du in Disks|ZFS|Configuration|Synchronize einen Klick auf den Synchronize-Button.
Es ist nicht nötig die Platten neu zu formatieren.
Das ist die schnellste Methode, das Nas für einen erneuten Versuch vorzubereiten.

###############

Ich kann dir gerne die einzelnen Schritte für den Abgleich zusammenstellen, denn es gibt ja ein paar Besonderheiten in deiner Konfiguration (z.B. alte ssh-Version im alten NAS).
Dafür bräuchte ich allerdings die IP-Adressen der NAS, damit nicht weitere Dumfug passiert. Keine Angst, diese Angabe ist unkritisch. Keiner kommt von außen auf dein NAS. Es sind rein interne IP-Adressen.

Grüße
Princo

[seller]

Hallo Princo,
ich habe schon mal die alten Snapshots gelöscht, wurden definitiv nicht gebraucht.
das waren alles nur Versuche in 2013 /2014 ohne "Nährwert"
Das mit dem neuen Nas werde ich heute noch machen... morgen wenig Zeit, bin dann erst mal bis Sonntag unterwegs....
ip adressen sind 192.168.178.24 altes NAS, 192.168.178.64 neues NAS.
Danke im Voraus.
Gruß
Seller

[seller]

Hi Princo, habe die Schritte

Auf dem neuen NAS:
Lösche dort den Pool NAS.
Lege dann den Pool NAS neu an.
Achte bitte auf Fehlermeldungen!
Danach machst du in Disks|ZFS|Configuration|Synchronize einen Klick auf den Synchronize-Button.
Es ist nicht nötig die Platten neu zu formatieren.
Das ist die schnellste Methode, das Nas für einen erneuten Versuch vorzubereiten.

erledigt, keine Fehlermeldung erhalten.

Gruß
Seller

[Princo]

Hallo seller,

Ich bräuchte noch eine Ausgabe vom neuen NAS:

In Disks|ZFS|Pools|Tools|Step 1 das Kommando "Display ZFS command history" (ist bereits vorausgewählt).
Dann NEXT.
Im nächsten Schritt den neu angelegten Pool auswählen.
NEXT
Vom dann angezeigten Output bräuchte ich die erste Zeile (die mit zpool create ... )

Grüße
Princo

[seller]

Hallo Princo,
hier die gewünschte Zeile:

Code: Select all

2016-12-14.20:54:47 zpool create -m /mnt/NAS NAS raidz1 /dev/ada0 /dev/ada1 /dev/ada2 /dev/ada3

Gruß
Seller

[seller]

habe mal zwischendurch gespielt, die Übertragung zum neuen Nas bricht ab mit nem pipe fehler...
Jemand ne Idee woran der Abruch liegt?

[Princo]

Ich sage heute abend etwas dazu. OK?
Grüße
Princo

[seller]

hi Princo,
nur keine Hektik, alles gut, hat alles keine Eile...
Gruß
Seller

[Princo]

Hallo seller,

Sorry für die Verspätung, aber mir sind hier ein paar Feiertage dazwischen gekommen

Ich habe das Szenario bei mir im kleinen Maße nachgestellt, und eigentlich sollte es funktionieren.

Das Einzige, was mir bei deinem Protokoll der Sendung vom 11.12.2016 aufgefallen ist, ist diese Zeile:

Code: Select all

WARNING: could not send NAS/rawimages@now: does not exist

Das deutet darauf hin, daß du während der Übertragung das Dataset "NAS/rawimages" gelöscht hast, und soetwas sollte man nicht machen

Du kannst während der Übertragung das NAS nutzen, aber du solltest währenddessen keine Datasets oder Snapshots löschen. Das gilt übrigens auch für die auto-Snapshots!
Nochmal: Achte darauf, daß während des Abgleichs keine Snapshots gelöscht werden!

Um möglichen weiteren Fehlern auf die Spur zu kommen, gehe ich schrittweise vor.

Auf dem alten NAS:
Lösche über das WebGUI überflüssige Snapshots (über Disks|ZFS|Snapshots|Snapshot, Filter auf "All" stellen und "Apply" nicht vergessen). Lösche bitte auch diese now-Snapshots.

Lasse dann auf dem alten NAS einen Scrub laufen:
In Disks|ZFS|Pools|Tools
Command: scrub
Option: Start
Pool: NAS
Auf "Send Command!" klicken.
In Disks|ZFS|Pools|Information kannst du den Fortschritt beobachten.

Notiere dir bitte die Zeit, die der Scrub-Lauf braucht!

Der Scrub-Lauf ist eigentlich nicht zwingend nötig für den Abgleich, aber da beim Abgleich eine Defragmentierung der Daten vorgenommen wird (auf dem Zielsystem), kann man später prima einen vorher/nachher Vergleich machen.

Als nächstes kümmern wir uns um den ssh-Zugriff auf die beiden NAS.
Du hattest ja das Problem, daß du beim Zugriff auf das alte NAS eine Fehlermeldung bekommen hast.
Das liegt daran, daß das alte NAS eine veraltete SSH-Version hat (logisch).
Daher mußt du beim Zugriff einen zusätzlichen Parameter angeben (siehe unten).
Du brauchst also keinen zweiten Rechner
Öffne auf deinem Rechner zwei Terminalfenster, und gib dort jeweils die nachfolgenden Befehle ein.

Zugriff auf altes NAS:

Code: Select all

ssh -oHostKeyAlgorithms=+ssh-dss root@192.168.178.24

Zugriff auf neues NAS:

Code: Select all

ssh root@192.168.178.64

Mit dem Kommando

Code: Select all

exit

kannst du die ssh-Sitzungen beenden.

Hat das geklappt?

Nur wenn das funktioniert solltest du weiter machen.

Wenn der Scrub-Lauf auf dem alten NAS abgeschlossen ist, fahre das alte NAS bitte herunter, denn für den nächsten Schritt ist es extrem wichtig, daß du die Befehle nicht auf dem falschen NAS ausführst.

Wir werden jetzt den Pool auf dem neuen NAS löschen, und neu anlegen.
Dabei werden wir aber einen zusätzlichen Parameter angeben, der dafür sorgt, daß der Pool mit der gleichen ZFS-Version wie beim alten NAS erstellt wird.
Eigentlich ist das nicht unbedingt nötig, denn man kann bei ZFS mit send/receive durchaus von neueren Pool-Versionen auf ältere übertragen (also downgraden), wenn man ein paar simple Dinge beachtet.

Wenn wir auf dem neuen NAS eine alte Pool-Version erstellen, und die Daten dorthin übertragen, dann hat das den simplen Grund, daß wir so die neuen Platten auch ins alte NAS hängen könnten.

Das wäre dann eine echte 1:1 Kopie.

Es gibt aber noch ein paar andere Möglichkeiten. Möglicherweise möchtest du ja auf dem neuen NAS die Datenkompression "lz4" ausprobieren. In diesem Fall würde man dann keine alte Pool-Version anlegen, sondern die aktuelle Pool-Version nehmen, und dort die lz4-Kompression einschalten. Das hätte den geschmeidigen Vorteil, daß die Daten bei der Übertragung gleich komprimiert abgespeichert werden (Win-Win-Situation, da nicht nur Backup, sondern auch Datenmigration). Allerdings muß man dafür vor der Übertragung noch etwas am alten Pool machen, damit das sauber funktioniert. Das wäre übrigens die Methode, die ich präferieren würde.
Sollte dich das interessieren, dann sag einfach Bescheid.

Ansonsten mache ich jetzt mit dem ursprünglichen Backup-Szenario weiter.

Wichtig!: Dein Rechner, der die ssh-Terminalfenster aufmacht, darf während der Übertragung nicht in den Schlafzustand gehen! Dieser Rechner zeigt dir zwar nur die Ausgaben während der Übertragung an (der echte Datentransfer findet nur zwischen den beiden NAS statt), aber wenn sich dieser Rechner abschaltet, werden auch die Terminal-Prozesse gekillt, und damit stoppt auch die Übertragung.
Bei den neuen NAS4Free-Versionen gibt es eine Methode, bei der dein Rechner nicht angeschaltet bleiben muß, aber deine alte NAS4Free-Version kann das nicht.

Verbinde dich per ssh (siehe oben) auf das neue NAS.

Lösche den Pool und lege ihn mit der alten ZFS-Version neu an:

Code: Select all

zpool destroy -f NAS
zpool create -m /mnt/NAS -o version=28 NAS raidz1 /dev/ada0 /dev/ada1 /dev/ada2 /dev/ada3

Mache jetzt einen in Disks|ZFS|Configuration|Synchronize einen Sync der Konfiguration.

Jetzt kannst du dein altes NAS wieder booten, und den Erstabgleich machen.

Verbinde dich per ssh auf das alte NAS, und gib dort die folgenden Befehle ein (nimm das aktuelle Tagesdatum):

Code: Select all

zfs snapshot -r NAS@2016-12-27
zfs list -t snapshot

Dir werden jetzt alle Snaphots angezeigt.
Probiere auch gleich diesen Befehl aus, der wird später noch sehr nützlich sein:

Code: Select all

zfs list -t snapshot -d 1

Dir werden jetzt nur noch die Snapshots angezeigt, die direkt auf dem Pool liegen. Das ist übersichtlicher.

Jetzt gib dies ein:

Code: Select all

zfs send -vnR NAS@2016-12-27

Dir wird jetzt die zu übertragende Datenmenge der einzelnen Datasets, und des gesamten Pools angezeigt. Übertragen wird aber noch nichts.

Verbinde dich jetzt per Web-GUI auf die beiden NAS, und lass dir die Übertragungsgraphen anzeigen. Es ist übrigens wichtig, daß auf dem neuen NAS das Monitoring AUSGESCHALTET ist ( in System > Advanced > Monitoring Setup ), denn das NAS kann die Monitor-Daten nirgendwo hinschreiben wenn die Übertragung läuft.

Anzeige:
Beim alten NAS: Status|Graph|System load
Beim neuen NAS: Status > Monitoring > System Load
So kannst du während der Übertragung sehen, wie schnell sie stattfindet. Im Idealfall sollten da Werte über 100 MB/s erreicht werden können, aber das hängt natürlich stark vom Fragmentierungsgrad der Daten ab.

Verbinde dich jetzt per ssh auf das neue NAS (im zweiten Terminalfenster).
Gib dort den Befehl

Code: Select all

nc -l 9000 | zfs receive -vF NAS

ein.

Das System wartet jetzt auf die Übertragung.

Wechsle jetzt in das Terminal-Fenster vom alten NAS:

Code: Select all

zfs send -vR NAS@2016-12-27 | nc -w 10 192.168.178.64 9000

Jetzt siehst du in beiden Terminal-Fenstern die Übertragungsmeldungen, und im Browser wird dir die Übertragungsrate angezeigt.

Die Übertragung wird jetzt ein paar Stunden laufen.
Während der Übertragung kannst du auf dem neuen NAS in Disks > ZFS > Datasets > Information sehen, welche Datasets bereits gefüllt wurden.
NACH der Übertragung kannst du auf dem neuen NAS in Disks > ZFS > Configuration > Synchronize einen Sync auslösen, damit dir dort die Datasets in der Konfiguration angezeigt werden.
Starte dann auf dem neuen NAS einen Scrub-Lauf.
Notiere dir die Zeit, die der Scrub-Lauf auf dem neuen NAS gebraucht hat, und vergleiche sie mit der Zeit vom alten NAS.
Poste bitte die beiden Werte, das interessiert mich.

##########
Das Wichtigste nochmal zusammengefasst:
Während der Übertragung dürfen sich die drei Rechner nicht abschalten.
Während der Übertragung dürfen keine Datasets oder Snapshots gelöscht werden. Solltest du z.B. die Tools von fritz oder Ähnliches laufen haben, so mußt du sie zwingend vorher deaktivieren.
Den Snapshot, der zur Übertragung angelegt wurde, solltest du auf beiden NASen nicht löschen. Den brauchst du für eventuelle spätere inkrementelle Abgleiche.

Noch etwas: Ich weiß ja nicht, was du so vorhast, und was du alles testen möchtest, aber aus meiner Erfahrung heraus, gibt es nur einen einzigen Grund, bei der alten Versiom 9.1.0.1 - Sandstorm (Revision 847) zu bleiben, und das ist der Einsatz des alten AFP-Protokolls, welches es nur noch in dieser alten Version gibt.
Lach nicht, aber genau dieses Szenario habe ich bei einem meiner Kunden.

Ansonsten würde ich dir empfehlen, deinen Dell Rechner durch einen weiteren HP Gen8 Microserver zu ersetzen. Da würde die günstigste Variante mit 4GB ECC-RAM reichen, um als Backup-Server zu arbeiten. Überleg dir das mal, denn dann hast du durchgehend ECC-RAM auf beiden Systemen.

Grüße
Princo

[seller]

Hallo Princo,
erstmal vielen Dank, auch hier war Feiertagsgewimmel mit Familie
Bei allem was so in der Welt und gerade auch bei Dir in Berlin passiert ist, ist man ja froh die Feiertage unbeschadet zu überstehen.
Ich werde das Schritt für Schritt durcharbeiten, würde Dir gerne folgen bei der Version der LZ4 Komprimierung.
Was die Fehlermeldung wegen eines fehlenden Snapshots betrifft, resultiert das Snapshot aus einem dataset welches nicht mehr existiert.
Wenn ich jetzt neue Snapshosts erstelle dürfte das ja nicht mehr dabei sein.
Den Abruchgrund "pipefehler" konnte ich auch lokalisieren, da hast Du vollkommen Recht, das war der Sleppmodus vom Mac, der das verursachte.

Deinen Vorschlag, mittelfristig den Dell-Rechner durch einen Microserver zu ersetzen, werde ich mit meiner Finanzverwaltung besprechen (Puh, Weihnachten war teuer...... )
Aber langfristig geht kein Weg dran vorbei....

So, melde mich sobald ich weitergekommen bin...

Viele Grüße und vielen Dank für die Ausarbeitung.
Seller

[seller]

Hallo Princo,
alte Snapshots alle gelöscht.
Scrub läuft, Zeit melde ich wenns vorüber ist, wird wohl ein paar Stündchen dauern...

Zugriff auf altes NAS:

Code: Select all
ssh -oHostKeyAlgorithms=+ssh-dss root@192.168.178.24

funktioniert nicht, aber der normale Zugriff funktioniert jetzt aus zwei Terminalfenstern auf die beiden NAS

Altes NAS:

Code: Select all

Last login: Wed Dec 28 15:51:34 on ttys000
xxxxxxxx-iMac:~ xxxxxxxx_xxxxx$ ssh -oHostKeyAlgorithms=+ssh-dss root@192.168.178.24
command-line line 0: Bad protocol 2 host key algorithms '+ssh-dss'.
xxxxxxxx-iMac:~ xxxxxxxx_xxxxx$ 
ssh root@192.168.178.24
root@192.168.178.24's password: 
Last login: Sat Dec 17 10:01:28 2016
Welcome to NAS4Free!
nas4free-2: ~ # 

Neues NAS:

Code: Select all

Last login: Sun Dec 18 18:37:11 on console
xxxxxxxx-iMac:~ xxxxxxxx_xxxxx$  ssh root@192.168.178.64
Password for root@nas4free-neu.local:
Last login: Wed Dec 28 14:56:57 2016
Welcome to NAS4Free!
nas4free-neu: ~# 

((xxxxxxxx-iMac:~ xxxxxxxx_xxxxx$ hier habe ich nur Klarnamen ausgexxxt))

Gruß
Seller

[seller]

Hi Princo,
scrub-Dauer 8/h 10 Minuten
gruß
Seller

[Princo]

Hallo Seller,

Wenn wir bei der Übertragung gleich die neue lz4-Kompression einschalten wollen, müssen wir am alten NAS ein paar Dinge gerade ziehen, damit das funktioniert (das hatte ich ja bereits erwähnt).

Damit wir nicht in diverse Fallen laufen, wäre es gut, wenn du noch die Ausgabe von Disks|ZFS|Datasets|Information vom alten NAS posten würdest.

Und zwar die beiden Sektionen
ZFS Dataset Information & Status
und
ZFS Dataset Properties

Jeweils in einem eigenen Code-Block.

Grüße
Princo

[seller]

Hallo Princo,
hier die gewünshten Infos:

Code: Select all

ZFS dataset information and status

NAME                   USED  AVAIL  REFER  MOUNTPOINT
NAS                   3.18T  2.02T   326K  /mnt/NAS
NAS/Big-Disk           639G  2.02T   639G  /mnt/NAS/Big-Disk
NAS/N4F-PLATZ-CHAYA   14.9G  2.02T  14.9G  /mnt/NAS/N4F-PLATZ-CHAYA
NAS/N4F-PLATZ-SIGGI   2.31T  2.02T  2.31T  /mnt/NAS/N4F-PLATZ-SIGGI
NAS/N4F_Platz_KLAUSI   243G  2.02T   243G  /mnt/NAS/N4F_Platz_KLAUSI
NAS/rawimages          221K  2.02T   221K  /mnt/NAS/rawimages

kleine Zwischenfrage wie lösche ich das NAS/rawimage?

Code: Select all

ZFS dataset properties

NAME                  PROPERTY              VALUE                      SOURCE
NAS                   type                  filesystem                 -
NAS                   creation              Tue Apr 23 17:26 2013      -
NAS                   used                  3.18T                      -
NAS                   available             2.02T                      -
NAS                   referenced            326K                       -
NAS                   compressratio         1.00x                      -
NAS                   mounted               yes                        -
NAS                   quota                 none                       default
NAS                   reservation           none                       default
NAS                   recordsize            128K                       default
NAS                   mountpoint            /mnt/NAS                   local
NAS                   sharenfs              off                        default
NAS                   checksum              on                         default
NAS                   compression           off                        default
NAS                   atime                 on                         default
NAS                   devices               on                         default
NAS                   exec                  on                         default
NAS                   setuid                on                         default
NAS                   readonly              off                        default
NAS                   jailed                off                        default
NAS                   snapdir               hidden                     default
NAS                   aclmode               discard                    default
NAS                   aclinherit            restricted                 default
NAS                   canmount              on                         default
NAS                   xattr                 off                        temporary
NAS                   copies                1                          default
NAS                   version               5                          -
NAS                   utf8only              off                        -
NAS                   normalization         none                       -
NAS                   casesensitivity       sensitive                  -
NAS                   vscan                 off                        default
NAS                   nbmand                off                        default
NAS                   sharesmb              off                        default
NAS                   refquota              none                       default
NAS                   refreservation        none                       default
NAS                   primarycache          all                        default
NAS                   secondarycache        all                        default
NAS                   usedbysnapshots       0                          -
NAS                   usedbydataset         326K                       -
NAS                   usedbychildren        3.18T                      -
NAS                   usedbyrefreservation  0                          -
NAS                   logbias               latency                    default
NAS                   dedup                 off                        default
NAS                   mlslabel                                         -
NAS                   sync                  standard                   default
NAS                   refcompressratio      1.00x                      -
NAS                   written               326K                       -
NAS/Big-Disk          type                  filesystem                 -
NAS/Big-Disk          creation              Thu Apr 25 17:56 2013      -
NAS/Big-Disk          used                  639G                       -
NAS/Big-Disk          available             2.02T                      -
NAS/Big-Disk          referenced            639G                       -
NAS/Big-Disk          compressratio         1.00x                      -
NAS/Big-Disk          mounted               yes                        -
NAS/Big-Disk          quota                 none                       local
NAS/Big-Disk          reservation           none                       local
NAS/Big-Disk          recordsize            128K                       default
NAS/Big-Disk          mountpoint            /mnt/NAS/Big-Disk          inherited from NAS
NAS/Big-Disk          sharenfs              off                        default
NAS/Big-Disk          checksum              on                         default
NAS/Big-Disk          compression           off                        local
NAS/Big-Disk          atime                 on                         local
NAS/Big-Disk          devices               on                         default
NAS/Big-Disk          exec                  on                         default
NAS/Big-Disk          setuid                on                         default
NAS/Big-Disk          readonly              off                        local
NAS/Big-Disk          jailed                off                        default
NAS/Big-Disk          snapdir               visible                    local
NAS/Big-Disk          aclmode               discard                    default
NAS/Big-Disk          aclinherit            restricted                 default
NAS/Big-Disk          canmount              on                         local
NAS/Big-Disk          xattr                 off                        temporary
NAS/Big-Disk          copies                1                          default
NAS/Big-Disk          version               5                          -
NAS/Big-Disk          utf8only              off                        -
NAS/Big-Disk          normalization         none                       -
NAS/Big-Disk          casesensitivity       sensitive                  -
NAS/Big-Disk          vscan                 off                        default
NAS/Big-Disk          nbmand                off                        default
NAS/Big-Disk          sharesmb              off                        default
NAS/Big-Disk          refquota              none                       default
NAS/Big-Disk          refreservation        none                       default
NAS/Big-Disk          primarycache          all                        default
NAS/Big-Disk          secondarycache        all                        default
NAS/Big-Disk          usedbysnapshots       0                          -
NAS/Big-Disk          usedbydataset         639G                       -
NAS/Big-Disk          usedbychildren        0                          -
NAS/Big-Disk          usedbyrefreservation  0                          -
NAS/Big-Disk          logbias               latency                    default
NAS/Big-Disk          dedup                 off                        local
NAS/Big-Disk          mlslabel                                         -
NAS/Big-Disk          sync                  standard                   local
NAS/Big-Disk          refcompressratio      1.00x                      -
NAS/Big-Disk          written               639G                       -
NAS/N4F-PLATZ-CHAYA   type                  filesystem                 -
NAS/N4F-PLATZ-CHAYA   creation              Sat Apr 27 11:17 2013      -
NAS/N4F-PLATZ-CHAYA   used                  14.9G                      -
NAS/N4F-PLATZ-CHAYA   available             2.02T                      -
NAS/N4F-PLATZ-CHAYA   referenced            14.9G                      -
NAS/N4F-PLATZ-CHAYA   compressratio         1.00x                      -
NAS/N4F-PLATZ-CHAYA   mounted               yes                        -
NAS/N4F-PLATZ-CHAYA   quota                 none                       default
NAS/N4F-PLATZ-CHAYA   reservation           none                       default
NAS/N4F-PLATZ-CHAYA   recordsize            128K                       default
NAS/N4F-PLATZ-CHAYA   mountpoint            /mnt/NAS/N4F-PLATZ-CHAYA   inherited from NAS
NAS/N4F-PLATZ-CHAYA   sharenfs              off                        default
NAS/N4F-PLATZ-CHAYA   checksum              on                         default
NAS/N4F-PLATZ-CHAYA   compression           off                        local
NAS/N4F-PLATZ-CHAYA   atime                 on                         local
NAS/N4F-PLATZ-CHAYA   devices               on                         default
NAS/N4F-PLATZ-CHAYA   exec                  on                         default
NAS/N4F-PLATZ-CHAYA   setuid                on                         default
NAS/N4F-PLATZ-CHAYA   readonly              off                        default
NAS/N4F-PLATZ-CHAYA   jailed                off                        default
NAS/N4F-PLATZ-CHAYA   snapdir               hidden                     default
NAS/N4F-PLATZ-CHAYA   aclmode               discard                    default
NAS/N4F-PLATZ-CHAYA   aclinherit            restricted                 default
NAS/N4F-PLATZ-CHAYA   canmount              on                         default
NAS/N4F-PLATZ-CHAYA   xattr                 off                        temporary
NAS/N4F-PLATZ-CHAYA   copies                1                          default
NAS/N4F-PLATZ-CHAYA   version               5                          -
NAS/N4F-PLATZ-CHAYA   utf8only              off                        -
NAS/N4F-PLATZ-CHAYA   normalization         none                       -
NAS/N4F-PLATZ-CHAYA   casesensitivity       sensitive                  -
NAS/N4F-PLATZ-CHAYA   vscan                 off                        default
NAS/N4F-PLATZ-CHAYA   nbmand                off                        default
NAS/N4F-PLATZ-CHAYA   sharesmb              off                        default
NAS/N4F-PLATZ-CHAYA   refquota              none                       default
NAS/N4F-PLATZ-CHAYA   refreservation        none                       default
NAS/N4F-PLATZ-CHAYA   primarycache          all                        default
NAS/N4F-PLATZ-CHAYA   secondarycache        all                        default
NAS/N4F-PLATZ-CHAYA   usedbysnapshots       0                          -
NAS/N4F-PLATZ-CHAYA   usedbydataset         14.9G                      -
NAS/N4F-PLATZ-CHAYA   usedbychildren        0                          -
NAS/N4F-PLATZ-CHAYA   usedbyrefreservation  0                          -
NAS/N4F-PLATZ-CHAYA   logbias               latency                    default
NAS/N4F-PLATZ-CHAYA   dedup                 off                        local
NAS/N4F-PLATZ-CHAYA   mlslabel                                         -
NAS/N4F-PLATZ-CHAYA   sync                  standard                   local
NAS/N4F-PLATZ-CHAYA   refcompressratio      1.00x                      -
NAS/N4F-PLATZ-CHAYA   written               14.9G                      -
NAS/N4F-PLATZ-SIGGI   type                  filesystem                 -
NAS/N4F-PLATZ-SIGGI   creation              Fri Apr 26 21:48 2013      -
NAS/N4F-PLATZ-SIGGI   used                  2.31T                      -
NAS/N4F-PLATZ-SIGGI   available             2.02T                      -
NAS/N4F-PLATZ-SIGGI   referenced            2.31T                      -
NAS/N4F-PLATZ-SIGGI   compressratio         1.00x                      -
NAS/N4F-PLATZ-SIGGI   mounted               yes                        -
NAS/N4F-PLATZ-SIGGI   quota                 none                       local
NAS/N4F-PLATZ-SIGGI   reservation           none                       local
NAS/N4F-PLATZ-SIGGI   recordsize            128K                       default
NAS/N4F-PLATZ-SIGGI   mountpoint            /mnt/NAS/N4F-PLATZ-SIGGI   inherited from NAS
NAS/N4F-PLATZ-SIGGI   sharenfs              off                        default
NAS/N4F-PLATZ-SIGGI   checksum              on                         default
NAS/N4F-PLATZ-SIGGI   compression           off                        local
NAS/N4F-PLATZ-SIGGI   atime                 on                         local
NAS/N4F-PLATZ-SIGGI   devices               on                         default
NAS/N4F-PLATZ-SIGGI   exec                  on                         default
NAS/N4F-PLATZ-SIGGI   setuid                on                         default
NAS/N4F-PLATZ-SIGGI   readonly              off                        local
NAS/N4F-PLATZ-SIGGI   jailed                off                        default
NAS/N4F-PLATZ-SIGGI   snapdir               hidden                     local
NAS/N4F-PLATZ-SIGGI   aclmode               discard                    default
NAS/N4F-PLATZ-SIGGI   aclinherit            restricted                 default
NAS/N4F-PLATZ-SIGGI   canmount              on                         local
NAS/N4F-PLATZ-SIGGI   xattr                 off                        temporary
NAS/N4F-PLATZ-SIGGI   copies                1                          default
NAS/N4F-PLATZ-SIGGI   version               5                          -
NAS/N4F-PLATZ-SIGGI   utf8only              off                        -
NAS/N4F-PLATZ-SIGGI   normalization         none                       -
NAS/N4F-PLATZ-SIGGI   casesensitivity       sensitive                  -
NAS/N4F-PLATZ-SIGGI   vscan                 off                        default
NAS/N4F-PLATZ-SIGGI   nbmand                off                        default
NAS/N4F-PLATZ-SIGGI   sharesmb              off                        default
NAS/N4F-PLATZ-SIGGI   refquota              none                       default
NAS/N4F-PLATZ-SIGGI   refreservation        none                       default
NAS/N4F-PLATZ-SIGGI   primarycache          all                        default
NAS/N4F-PLATZ-SIGGI   secondarycache        all                        default
NAS/N4F-PLATZ-SIGGI   usedbysnapshots       0                          -
NAS/N4F-PLATZ-SIGGI   usedbydataset         2.31T                      -
NAS/N4F-PLATZ-SIGGI   usedbychildren        0                          -
NAS/N4F-PLATZ-SIGGI   usedbyrefreservation  0                          -
NAS/N4F-PLATZ-SIGGI   logbias               latency                    default
NAS/N4F-PLATZ-SIGGI   dedup                 off                        local
NAS/N4F-PLATZ-SIGGI   mlslabel                                         -
NAS/N4F-PLATZ-SIGGI   sync                  standard                   local
NAS/N4F-PLATZ-SIGGI   refcompressratio      1.00x                      -
NAS/N4F-PLATZ-SIGGI   written               2.31T                      -
NAS/N4F_Platz_KLAUSI  type                  filesystem                 -
NAS/N4F_Platz_KLAUSI  creation              Thu Apr 25 20:00 2013      -
NAS/N4F_Platz_KLAUSI  used                  243G                       -
NAS/N4F_Platz_KLAUSI  available             2.02T                      -
NAS/N4F_Platz_KLAUSI  referenced            243G                       -
NAS/N4F_Platz_KLAUSI  compressratio         1.00x                      -
NAS/N4F_Platz_KLAUSI  mounted               yes                        -
NAS/N4F_Platz_KLAUSI  quota                 none                       local
NAS/N4F_Platz_KLAUSI  reservation           none                       local
NAS/N4F_Platz_KLAUSI  recordsize            128K                       default
NAS/N4F_Platz_KLAUSI  mountpoint            /mnt/NAS/N4F_Platz_KLAUSI  inherited from NAS
NAS/N4F_Platz_KLAUSI  sharenfs              off                        default
NAS/N4F_Platz_KLAUSI  checksum              on                         default
NAS/N4F_Platz_KLAUSI  compression           off                        local
NAS/N4F_Platz_KLAUSI  atime                 off                        local
NAS/N4F_Platz_KLAUSI  devices               on                         default
NAS/N4F_Platz_KLAUSI  exec                  on                         default
NAS/N4F_Platz_KLAUSI  setuid                on                         default
NAS/N4F_Platz_KLAUSI  readonly              off                        local
NAS/N4F_Platz_KLAUSI  jailed                off                        default
NAS/N4F_Platz_KLAUSI  snapdir               visible                    local
NAS/N4F_Platz_KLAUSI  aclmode               discard                    default
NAS/N4F_Platz_KLAUSI  aclinherit            restricted                 default
NAS/N4F_Platz_KLAUSI  canmount              on                         local
NAS/N4F_Platz_KLAUSI  xattr                 off                        temporary
NAS/N4F_Platz_KLAUSI  copies                1                          default
NAS/N4F_Platz_KLAUSI  version               5                          -
NAS/N4F_Platz_KLAUSI  utf8only              off                        -
NAS/N4F_Platz_KLAUSI  normalization         none                       -
NAS/N4F_Platz_KLAUSI  casesensitivity       sensitive                  -
NAS/N4F_Platz_KLAUSI  vscan                 off                        default
NAS/N4F_Platz_KLAUSI  nbmand                off                        default
NAS/N4F_Platz_KLAUSI  sharesmb              off                        default
NAS/N4F_Platz_KLAUSI  refquota              none                       default
NAS/N4F_Platz_KLAUSI  refreservation        none                       default
NAS/N4F_Platz_KLAUSI  primarycache          all                        default
NAS/N4F_Platz_KLAUSI  secondarycache        all                        default
NAS/N4F_Platz_KLAUSI  usedbysnapshots       0                          -
NAS/N4F_Platz_KLAUSI  usedbydataset         243G                       -
NAS/N4F_Platz_KLAUSI  usedbychildren        0                          -
NAS/N4F_Platz_KLAUSI  usedbyrefreservation  0                          -
NAS/N4F_Platz_KLAUSI  logbias               latency                    default
NAS/N4F_Platz_KLAUSI  dedup                 off                        local
NAS/N4F_Platz_KLAUSI  mlslabel                                         -
NAS/N4F_Platz_KLAUSI  sync                  standard                   local
NAS/N4F_Platz_KLAUSI  refcompressratio      1.00x                      -
NAS/N4F_Platz_KLAUSI  written               243G                       -
NAS/rawimages         type                  filesystem                 -
NAS/rawimages         creation              Thu Jan  2 10:09 2014      -
NAS/rawimages         used                  221K                       -
NAS/rawimages         available             2.02T                      -
NAS/rawimages         referenced            221K                       -
NAS/rawimages         compressratio         1.00x                      -
NAS/rawimages         mounted               yes                        -
NAS/rawimages         quota                 none                       local
NAS/rawimages         reservation           none                       local
NAS/rawimages         recordsize            128K                       default
NAS/rawimages         mountpoint            /mnt/NAS/rawimages         inherited from NAS
NAS/rawimages         sharenfs              off                        default
NAS/rawimages         checksum              on                         default
NAS/rawimages         compression           off                        local
NAS/rawimages         atime                 on                         local
NAS/rawimages         devices               on                         default
NAS/rawimages         exec                  on                         default
NAS/rawimages         setuid                on                         default
NAS/rawimages         readonly              off                        local
NAS/rawimages         jailed                off                        default
NAS/rawimages         snapdir               hidden                     local
NAS/rawimages         aclmode               discard                    default
NAS/rawimages         aclinherit            restricted                 default
NAS/rawimages         canmount              on                         local
NAS/rawimages         xattr                 off                        temporary
NAS/rawimages         copies                1                          default
NAS/rawimages         version               5                          -
NAS/rawimages         utf8only              off                        -
NAS/rawimages         normalization         none                       -
NAS/rawimages         casesensitivity       sensitive                  -
NAS/rawimages         vscan                 off                        default
NAS/rawimages         nbmand                off                        default
NAS/rawimages         sharesmb              off                        default
NAS/rawimages         refquota              none                       default
NAS/rawimages         refreservation        none                       default
NAS/rawimages         primarycache          all                        default
NAS/rawimages         secondarycache        all                        default
NAS/rawimages         usedbysnapshots       0                          -
NAS/rawimages         usedbydataset         221K                       -
NAS/rawimages         usedbychildren        0                          -
NAS/rawimages         usedbyrefreservation  0                          -
NAS/rawimages         logbias               latency                    default
NAS/rawimages         dedup                 off                        local
NAS/rawimages         mlslabel                                         -
NAS/rawimages         sync                  standard                   local
NAS/rawimages         refcompressratio      1.00x                      -
NAS/rawimages         written               221K                       -

Gruß
Seller

[Princo]

Hallo Seller,
Weiter unten findest du die einzelnen Schritte, damit die Daten auf dem neuen NAS bei der Übertragung gleich mit der lz4-Komprimierung abgespeichert werden.

Den Befehl zur Löschung von NAS/rawimages habe ich mit dazu geschrieben, obwohl man das auch über das Web-GUI durchführen könnte.

Der Befehl "zfs inherit -rS compression NAS" sorgt dafür, daß die Eigenschaft SOURCE beim Attribut compression von "local" auf "default" gesetzt wird.
Du "darfst" aber danach die Datasets erst mal nicht über das Web-GUI ändern, denn sonst setzt NAS4Free die Eigenschaft wieder auf "local".

Bei neuen NAS wird der Pool mit dem Parameter compression=lz4 eingerichtet, und das geht nur über die Kommandozeile.

Durch diesen "Trick" kann man seine Daten auf einen Schlag komprimieren lassen.

Noch ein paar generelle Anmerkungen zum Einsatz von Datenkompression auf Dateisystem-Ebene:
Normalerweise rate ich vor dem Einsatz grundsätzlich ab (und das ist unabhängig von NAS4Free).
Aber! Die lz4-Komprimierung bei ZFS recht brauchbar. Sie ist keine Performance-Bremse, und es kann sein, daß die Daten dadurch "etwas flotter" abgespeichert werden, weil weniger Schreiboperationen anfallen.
Allerdings wird es dadurch schwieriger, die reale Auslastung des Dateisystems zu erkennen.
Es spricht jedoch nichts dagegen, das einfach mal auszuprobieren.
Was man jedoch nicht machen sollte: Die Kompression einsetzen, um eigentlich notwendige Kapazitätserweiterungen aufzuschieben.

Hier jetzt die einzelnen Schrittte:

Auf dem alten NAS (per ssh-Sitzung):

Code: Select all

zfs destroy NAS/rawimages
zfs inherit -rS compression NAS

zfs snapshot -r NAS@2016-12-31

Jetzt kannst du auf dem alten NAS über das Web-GUI die ZFS-Konfig syncen.

Auf dem neuen NAS (per ssh-Sitzung):

Code: Select all

zpool destroy -f NAS
zpool create -m /mnt/NAS -O compression=lz4 NAS raidz1 /dev/ada0 /dev/ada1 /dev/ada2 /dev/ada3

Jetzt kannst du auf dem neuen NAS über das Web-GUI die ZFS-Konfig syncen.

Dann Empfang auf dem neuen NAS starten:

Code: Select all

nc -l 9000 | zfs receive -vF NAS

Dann auf dem alten NAS die Übertragung starten:

Code: Select all

zfs send -vR NAS@2016-12-31 | nc -w 10 192.168.178.64 9000

Nach der Übertragung kannst du auf dem neuen NAS über das Web-GUI wieder die ZFS-Konfig syncen.

Grüße
Princo

[seller]

Moin Princo,
die Übertragung läuft seit 9:50 Uhr, mit sehr hohen Übertragungsraten deutlich über 100 MB/s
Melde mich wieder wenn's durch ist.

Dir und allen anderen hier im Forum wünsche ich nen guten Rutsch ins neue Jahr.
Gruß
Seller

[Princo]

Wenn die Übertragung durch ist, dann kannst du auf dem neuen NAS einen Scrub-Lauf starten.
Bin gespannt auf das Ergebnis.

Guten Rutsch!
Princo

[seller]

Übertragung von 3.16TB ohne Fehler um 19:17:49 beendet.
Gruß
Seller

[seller]

neues NAS

Code: Select all

Disk space usage 	
NAS
56% of 7.25TB
Total: 7.25T | Alloc: 4.11T | Free: 3.14T | State: ONLINE

altes NAS

Code: Select all

Disk space usage 	
NAS
60% of 7.28TB
Total: 7.28T | Used: 3.18T | Free: 2.02T | State: ONLINE

Gruß
seller

[seller]

hi Princo,
das Ergebnis des SCRUB:

Code: Select all

pool: NAS
 state: ONLINE
  scan: scrub repaired 0 in 3h53m with 0 errors on Mon Jan  2 21:22:58 2017
config:

	NAME        STATE     READ WRITE CKSUM
	NAS         ONLINE       0     0     0
	  raidz1-0  ONLINE       0     0     0
	    ada0    ONLINE       0     0     0
	    ada1    ONLINE       0     0     0
	    ada2    ONLINE       0     0     0
	    ada3    ONLINE       0     0     0

errors: No known data errors

Sehr viel schneller als auf dem alten NAS, ist das nun wegen der LZ4 Komprimierung oder durch das defragmentieren oder dir neue HArdware?
Gibst Du mir noch ne Anleitung für das incrementelle Sichern?

Gruß
Seller

[Princo]

Hi seller,
Das sind ja recht beeindruckende Ergebnisse.

Ja, der erheblich schnellere Scrub-Lauf dürfte sowohl von der lz4-Komprimierung, als auch von der Defragmentierung her kommen. Durch die Komprimierung müssen ja weniger Daten durch den Controller geschleust werden, und die Dekomprimierung und Überprüfung erledigt der Prozessor mit links.

Richtig brauchbar werden die Ergebnisse aber erst, wenn du die Daten jetzt vom neuen wieder auf das alte NAS spielen würdest, und dann dort den Scrub-Lauf machst.

Aber da stellen sich gleich die nächsten Fragen: Wie wirst du mit dem alten NAS weiter verfahren?
Soll das alte NAS auf der alten N4F-Revision bleiben?
Soll das alte NAS durch das neue NAS getauscht werden?
Soll das alte NAS durch einen weiteren Gen8-Server ausgewechselt werden? (Meine Empfehlung)
Welches der beiden NAS hat jetzt den aktuelleren Datenbestand? Also mit welchem NAS hast du in der Zwischenzeit weiter gearbeitet?
In welchen Abständen soll später ein Backup vom Haupt-NAS auf das Backup-NAS gemacht werden (z.B. täglich oder wöchentlich)?
Soll das Backup automatisch stattfinden (wovon ich eher abraten würde)?
Möchtest du zukünftig Auto-Snapshots nutzen? (Meine Empfehlung)
Bonus-Frage: Ist geplant, daß sich das Backup-NAS an einem völlig anderen Ort befinden soll (Arbeit/zu Hause)?

Diese komischen Fragen stelle ich auch, weil ich davon ausgehe, daß wir die Daten nochmal komplett transferieren werden, um den Defragmentierungseffekt mitzunehmen.

Je nachdem, wie deine Antworten ausfallen, gäbe es nämlich ein paar zusätzliche Möglichkeiten.

Hier erst mal die Vorgehensweise nach einem erfolgreichen Erstabgleich, unter der Voraussetzung, daß beide NAS mit einer gleichen N4F-Version ausgestattet sind (du erkennst das Problem?):

Nach dem Erstabgleich hast du auf beiden NAS (ich nenne sie ab jetzt Haupt- und Backup-NAS) jeweils einen Pool mit einem rekursiven Snapshot (z.B. NAS@2016-12-27).

Das kannst du dir mit dem Befehl

Code: Select all

zfs list -t snapshot -d 1

jeweils anzeigen lassen.

Dann erstellst du auf dem Haupt-NAS einen weiteren rekursiven Snapshot, und läßt dir die Snapshots anzeigen:

Code: Select all

zfs snapshot -r NAS@2017-01-03
zfs list -t snapshot -d 1

Jetzt kannst du die Übertragung starten:

Code: Select all

zfs send -RI NAS@2016-12-27 NAS@2017-01-03 | ssh $IP-Backup "zfs receive -vF NAS"

Für $IP-Backup mußt du natürlich die IP-Adresse deines Backup-NAS einsetzen.
Das System fragt dich dann, ob du dich wirklich mit dem Backup-NAS verbinden möchtest (yes eingeben), und danach nach dem Paßwort.
Danach startet die Übertragung.

In diesem Fall benutzen wir für die Übertragung nicht netcat (nc), welches für den Erstabgleich zum Einsatz kam, sondern das ssh -Protokoll.
Der Befehl ähnelt dem, was der Andreas vor einigen Postings genannt hatte, der Unterschied ist jedoch, daß hier der ganze Pool rekursiv mit allen Datasets abgeglichen wird.

Warum nehmen wir jetzt ssh, und nicht netcat?
Weil es jetzt nicht mehr so sehr auf die Geschwindigkeit ankommt, da hier vergleichsweise wenige Daten übertragen werden. ssh ist durch die Verschlüsselung zwar sehr viel langsamer, aber bei den inkrementellen Abgleichen kommt es nicht so sehr darauf an, ob der Vorgang nun z.B. in drei (nc) oder in sieben (ssh) Minuten durchgeführt wird.
Der Vorteil von ssh wäre: etwas weniger Tipperei, kein zweites Terminal-Fenster nötig, und es ließe sich automatisieren (wovor ich allerdings abrate).

Und wenn es doch mit netcat gemacht werden soll?
Rekursiven Snapshot erstellen.
Dann auf dem Backup-NAS:

Code: Select all

nc -l 9000 | zfs receive -vF NAS

Dann auf dem Haupt-NAS:

Code: Select all

zfs send -RI NAS@2016-12-27 NAS@2017-01-03 | nc -w 10 $IP-Backup-NAS 9000

Bringt das gleiche Ergebnis.

Wenn der inkrementelle Abgleich erfolgreich durchgeführt wurde, befinden sich auf beiden NAS jeweils diese rekursiven Snapshots:
NAS@2016-12-27
NAS@2017-01-03

Rekursiv bedeutet, daß sich auch die entsprechenden Snapshots für die einzelnen Datasets dort befinden (verkürzte Darstellung):

Code: Select all

zfs list -t snapshot
NAS@2016-12-27
NAS@2017-01-03
NAS/Big-Disk@2016-12-27
NAS/Big-Disk@2017-01-03
NAS/N4F-PLATZ-CHAYA@2016-12-27
NAS/N4F-PLATZ-CHAYA@2017-01-03
NAS/N4F-PLATZ-SIGGI@2016-12-27
NAS/N4F-PLATZ-SIGGI@2017-01-03
NAS/N4F_Platz_KLAUSI@2016-12-27
NAS/N4F_Platz_KLAUSI@2017-01-03

Jetzt könnte man auf dem Haupt-NAS den alten rekursiven Snapshot löschen (muß man aber nicht):

Code: Select all

zfs destroy -r NAS@2016-12-27

Damit sind die beiden Pools auf dem Haupt-und den Backup-NAS über den gemeinsamen rekursiven Snapshot NAS@2017-01-03 quasi miteinander "verbunden".
Diese Verbindung ist wichtig. Die beiden NAS können durchaus über mehrere gemeinsame Snapshots "verbunden" sein (wenn man die alten nicht löscht), aber wenn man z.B. auf dem Haupt-NAS alle gemeinsamen Snapshots von NAS/N4F_Platz_KLAUSI löscht, dann klappt der inkrementelle Abgleich nicht mehr, und man muß einen erneuten Komplettabgleich des ganzen NAS machen.

Auf dem Backup-NAS brauchst du dich übrigens nicht um die Snapshots kümmern, denn das wird bereits durch den Abgleich erledigt.

So, jetzt hol dir mal eine schöne Tasse Kaffee, denn es geht weiter im Text

Warum empfehle ich, das Backup nicht automatisiert laufen zu lassen?:
Weil das Backup so wichtig ist.
Was ist, wenn du dir z.B. versehentlich ein Dataset auf dem Haupt-NAS löschst? Während du dann gerade dabei bist, dieses Dataset vom Backup-NAS zurück zu holen, springt auf einmal die automatische Backup-Routine an (weil du im Streß vergessen hast die Routine abzuschalten), und löscht dir dieses Dataset auch auf dem Backup-NAS. Das wäre dann maximal doof.
Ein anderer Grund: permanentes Training.
Wenn du genau aufgepasst hast (was bleibt dir auch anderes übrig ) wirst du bemerkt haben, daß die ganze Choose immer so funktioniert:

zfs snapshot -r Snapshot-Name
zfs send -R Snapshot-Name #für den Erstabgleich (zzgl. der Übertragungsparameter (ssh/nc))
zfs send -RI Snapshot1 Snapshot2 #für die inkrementellen Abgleiche (zzgl. der Übertragungsparameter (ssh/nc))

Und wenn du noch genauer hinschaust, wirst du erkennen, daß du dabei nicht nur permanent ein Backup (vom Haupt-NAS), sondern gleichzeitig ein Restore auf das Backup-NAS durchführst.
Das sind eigentlich keine getrennten Vorgänge. Du wirst immer die gleichen Tools benutzen. Sollten dir also unglücklicherweise mal das Haupt-NAS abrauchen, dann brauchst du nicht lange herumraten, wie du die Daten wieder vom Backup-NAS auf das Haupt-NAS bekommst. Es werden die gleichen Befehle sein, die du ständig benutzt (nur vom anderen Rechner aus, und mit anderen IP-Adressen).
Glaub mir, das ist ein riesiger Vorteil, und in einer Produktivumgebung senkt das extrem den Stresslevel.

Was es zu beachten gilt:
Die beschriebenen Schritte ermöglichen es dir, sehr schnell Backups durchzuführen. Sehr viel schneller und komfortabler, als es z.B. mit rsync möglich wäre.
Es gibt aber eine Sache, bei der du aufpassen mußt: Wenn du auf dem Haupt-NAS ein zusätzliches Dataset anlegst.
In diesem Fall mußt du direkt nach an dem Anlegen, und bevor du Daten dort drauf spielst, einen rekursiven Snapshot auf dem Haupt-NAS erzeugen. Das ist sehr wichtig! Sonst klappt das mit dem inkrementellen Abgleich später nicht so richtig. Das Blöde daran: es gibt keine Fehlermeldung, welche dich darauf hinweist.

Generell gilt: Wenn du dir unsicher bist: mach einen kompletten Neuabgleich vom Haupt-NAS auf das Backup-NAS (Pool löschen, neu einrichten , Datenerstabgleich)

Noch ein Goodie oben drauf: Du kannst auf dem Haupt-NAS tägliche Auto-Snapshots einrichten. Die Voraussetzung dafür ist, daß das Haupt-NAS zu bestimmten Zeiten in Betrieb ist (i.d.R. um 20 Uhr).
Du hättest dann tägliche Snapshots, auf die du zugreifen könntest, falls du mal Daten wieder herstellen möchtest (ich praktiziere das so).
Den Abgleich auf mein Backup-NAS muß ich dann nicht täglich machen, sondern nur alle paar Wochen, oder nach Bedarf. Dabei kann ich auch steuern, ob ich die ganzen Zwischenstände mit übertragen möchte, oder nicht:
zfs send -RI # mit Zwischenständen
zfs send -Ri # ohne Zwischenstände

Welches für dich die bessere Methode ist, mußt du natürlich selbst entscheiden.

Auf ein weiteres Killer-Feature möchte ich an dieser Stelle noch ergänzend hinweisen:
Man kann den Datenabgleich zwischen den beiden NAS nicht nur über das Netz (per netcat oder ssh) durchführen, sondern auch mit einer Transport-Festplatte.
Dazu müßte man allerdings eine weitere Festplatte per SATA/eSATA anschließen können, was du beim Gen8 und deiner Ausbaustufe nur mit einer zusätzlichen PCI-Karte durchführen könntest. Der Vorteil dabei wäre, daß du auch große Datenmengen zwischen zwei örtlich getrennten NAS transportieren könntest, ohne eine schnelle Internet-Verbindung zu haben.

Eine weitere Alternative wäre der Betrieb als HAST, wobei Haupt-NAS und Backup-NAS direkt im Failover-Betrieb miteinander gekoppelt sind, aber das würde dem Prinzip eines Backup-NAS widersprechen, und sei deshalb nur am Rande erwähnt.

Grüße
Princo

[seller]

Hallo Princo,
vielen Dank für die Ausführungen, perfekt wie immer und sehr gut verständlich!

Soll das alte NAS auf der alten N4F-Revision bleiben?

Nein

Soll das alte NAS durch das neue NAS getauscht werden?

Ja

Soll das alte NAS durch einen weiteren Gen8-Server ausgewechselt werden? (Meine Empfehlung)

Ja aber nicht jetzt, muss ein wenig warten....

Welches der beiden NAS hat jetzt den aktuelleren Datenbestand? Also mit welchem NAS hast du in der Zwischenzeit weiter gearbeitet?

Das alte Nas hat den aktuellen Datenbestand, es wurde auf dem alten NAS weitergearbeitet, dürfte aber wegen der Feiertage nicht allzuviel sein....

In welchen Abständen soll später ein Backup vom Haupt-NAS auf das Backup-NAS gemacht werden (z.B. täglich oder wöchentlich)?

Wöchentlich ist erst mal ausreichend, bei großen Projekten könnte ich ja zusätzliche Backups ausführen, bzw. erstmal zusätzliche Snapshots generieren

Soll das Backup automatisch stattfinden (wovon ich eher abraten würde)?

Nein, die Gründe hast Du sehr eindringlich erklärt und ich habs verstanden, kein automatische Backups

Möchtest du zukünftig Auto-Snapshots nutzen? (Meine Empfehlung)

Ja dafür gibt es doch Sh-Scripte und die Cron-Funktion des NAS4Free, liege ich richtig?

Bonus-Frage: Ist geplant, daß sich das Backup-NAS an einem völlig anderen Ort befinden soll (Arbeit/zu Hause)?

Nicht so direkt an einem anderen Ort, aber einem anderen Zimmer bzw. Brandschutzbereich, aber im gleichen Netzwerk, mit Kabel.

Ich hoffe es beantwortet Deine Fragen.
Gruß
Seller

[Princo]

Hi seller,

Vielen Dank für deine Antworten. Das erleichtert mir die nachfolgenden Ausführungen.

Es geht jetzt hauptsächlich um zwei Dinge:

1. Die endgültige Migration vom alten zum neuen NAS.
2. Die Durchführung von Backups (und wieso die nicht nur reiner Selbstzweck sind).

Die endgültige Migration vom alten zum neuen NAS:
Zuerst solltest du das neue NAS ungefähr so einrichten, wie das alte NAS.
Dabei solltest du aber noch die Finger von den Datasets lassen (bis du den finalen Datenabgleich vom alten auf das neue NAS gemacht hast).
Bei solch großen Sprüngen zwischen den N4F-Versionständen ziehe ich es vor, nicht einfach die alte Konfigurationsdatei auf das neue NAS zu überspielen.
Es ist nicht so, daß das nicht funktionieren würde, aber es hat sich in der Zwischenzeit so viel geändert, und da würdest du u.U. mit ungünstigen Werten weiter arbeiten.

#####
An dieser Stelle muß ich zwei grundlegende Themen einschieben:
1. Das Handling mit der Konfigurationsdatei:
Gewöhne dir an, vor und nach jeder Konfigurationsänderung ein Backup der Konfiguration herunter zu laden (System|Backup/Restore).
Ja, das ist doppelt gemoppelt, aber mach das einfach. Die Dateien sind so klein, die fallen nicht ins Gewicht.

2. Die Schlüsselkonfiguration deines ssh-Clients:
Ja, das bezieht sich nicht auf deine NAS, sondern auf den Rechner, von dem du dich aus per ssh mit deinen NASen verbindest.
Suche dort mal in deinem Home-Verzeichnis nach dem Unterverzeichnis ".ssh". Dafür mußt du bei deinem Dateimanager die Anzeige von versteckten Dateien/Verzeichnissen einschalten.
Hast du das Verzeichnis gefunden?
Ja? Dann benenne das mal um (oder lösche es).
Wozu? Als du dich das erste Mal per ssh mit deinen NAS verbunden hast, kam doch die Frage, ob du das wirklich tun möchtest. Diese Frage kam später dann nicht mehr, weil dein System sich den "Fingerabdruck" des/der NAS jeweils gemerkt hat.
Wir werden später Dinge mit den NAS anstellen, durch die sich der Fingerabdruck der NAS ändern wird, und dann kann es sein, daß du dich nicht mehr per ssh verbinden kannst.
Daher erwähne ich diese typische Falle lieber gleich. Das Löschen des .ssh-Verzeichnises bei dir, löst das Problem.
#####

Möglicherweise hast du ja bereits die alte Konfiguration auf das neue NAS gespielt, oder du hast zum Testen irgendwelche anderen Dinge auf dem neuen NAS ausprobiert.

Ich würde in diesem Fall das neue NAS für die echte Umstellung zuerst wieder auf die Werkseinstellungen setzen (dabei ändert sich übrigens der "Fingerabdruck" des NAS (siehe oben)).

Dann
- Auf der Konsole die IP-Adresse konfigurieren.
- per Web-GUI den SSH-Dienst einschalten.
- per Web-GUI einen Sync der ZFS-Konfiguration auslösen.
- System|General Setup und ggfs. System|Advanced Setup konfigurieren.

Dann
- Benötigte User und Gruppen anlegen (gleiche IDs wie beim alten NAS eintragen!).
- CIFS/SMB Dienst und die Shares einrichten (nach Möglichkeit Default-Werte nehmen). Dienst aber wieder deaktivieren.
- Weitere Dienste einrichten, aber deaktivieren (damit keiner versehentlich mit dem neuen NAS arbeitet).
- Installiere noch keine Extensions oder sonstigen Kram. Auch die neuen Monitoring-Funktionen sind erst mal tabu.

Natürlich kannst du die Dienste erst mal testen (mit aktiven Diensten), aber achte dabei darauf, daß das nicht mit dem alten NAS kollidiert (z.B. Hostname und NetBIOS name, oder auch Fuppes o.ä.).

Dann
- Führe den finalen inkrementellen Abgleich vom alten auf das neue NAS durch. Die ZFS-Versionen sind zwar unterschiedlich, aber das sollte noch klappen.
- Deaktiviere die Dienste auf dem alten NAS (bis auf ssh).
- Schalte das alte NAS ab.
- Aktiviere die Dienste auf dem neuen NAS, und ändere ggfs. die ganzen Namen auf dem neuen NAS (s.o.)

Dann
- Teste jetzt ein paar Tage, ob das neue NAS die gleiche Funktonalität wie das alte NAS hat. Lass in der Zeit nach Möglichkeit die Finger von neuen Funktionen (auch wenn es juckt).

Während dieser Zeit könntest du immer noch sehr leicht wieder auf das alte NAS zurück wechseln (was sicher nicht nötig wird).

#####
Die Durchführung von Backups (und wieso die nicht nur reiner Selbstzweck sind).
Auf dieses Thema, und wie man das alte NAS am Besten platt macht und neu konfiguriert, werden ich in einem extra Posting eingehen.

Aber in der Zwischenzeit kannst du auf dem neuen NAS nachdem du den finalen inkrementellen Datenabgleich vom alten NAS gemacht hast, einen Auto-Snapshot einrichten (bitte nicht vorher).

Dazu gehst du in Disks|ZFS|Snapshots|Auto Snapshot
Lege dort einen Auto Snapshot an:
Path: NAS
Recursive: Haken setzen
Schedule time: 20:00
Live time: 1 week

Das ergibt natürlich nur dann einen Sinn, wenn das NAS auch immer um 20 Uhr eingeschaltet ist.

###Bevor jetzt Kommentare kommen, daß es ja bestimmte Skripte gibt, welche das Snapshot-Management übernehmen können, und das die nicht an eine fixe Einschaltzeit gebunden sind: Ja, die sind mir bekannt. Allerdings ist dabei zusätzliche Konfigurationsarbeit nötig, und das würde den Rahmen hier sprengen. Hier kommt es darauf an, daß der seller das generelle Handling und den Nutzen der Auto-Snapshots in der Praxis kennenlernt. Zusätzliche Tools kann man später immer noch einsetzen.###

Dieser eine Auto-Snapshot Job ist übrigens ein sehr effektives und simples Mittel gegen die derzeit so beliebten Datei-Verschlüsselungs-Trojaner.

Später mehr.
Grüße
Princo

[seller]

Hi Princo, werde nun nachdem mein Dell irgendwie anfängt komich zu riechen, doch einen zweiten HP ordern, und einrichten.
Berufsbedingt verschiebt sich das ein wenig, sodass ich mich erstmal für kurze Zeit nicht melden werde.
Geht aber bald weiter.
Gruß
Seller

[XPUser]

Hi Princo,
Dein Vorschlag in diesem Beitrag kam für mich genau richtig, weil mir auch ein Neuaufsetzen der Server vorschwebte.
Gemäss Deinem Vorschlag:

"Der Grund, weshalb ich die pauschale Übernahme der Konfigurationsdatei der alten Version, nicht durchführe, liegt einfach darin, daß sich in der Zwischenzeit sehr viel an den Default-Werten geändert hat. Daher sollte man die Dienste auch nur mit den neuen Default-Werten einrichten.
Das gilt auch ganz besonders für alle Einstellungen aus dem Bereich System|Advanced Setup und den dortigen Unterpunkten.
Zusätzlich würde ich die Dienste so konfigurieren, daß sie auf den Namen des neuen NAS lauten (z.B. in Services|CIFS/SMB|Settings den "NetBIOS name" auf das neue NAS konfigurieren. Dito gilt das auch für die anderen Dienste, wo der Name des NAS eine Rolle spielt."

habe ich beide Server neu eingerichtet ohne irgendwelche der früheren Optimierungen.
Nun ist mir aber seitdem aufgefallen, dass bei Filmwiedergabe vom Server oft ruckeln und hängen auftreten.
Da ich das von früher überhaupt nicht kannte, ist evtl. eine der früheren Optimierungen doch noch wichtig bzw. sinnvoll???
MfG
XPUser

[Princo]

habe ich beide Server neu eingerichtet ohne irgendwelche der früheren Optimierungen.
Nun ist mir aber seitdem aufgefallen, dass bei Filmwiedergabe vom Server oft ruckeln und hängen auftreten.
Da ich das von früher überhaupt nicht kannte, ist evtl. eine der früheren Optimierungen doch noch wichtig bzw. sinnvoll???

Hallo XPUser,

Für das Ruckeln kann es leider sehr viele Ursachen geben.
Allerdings muß ich dich vorher noch auf eine wichtige Sache aufmerksam machen:
Laut deiner Signatur setzt du HP N54L Geräte ein.
Zu meinem eigenen Leidwesen funktioniert bei denen mit der Nas4Free Version 11 das Wake-On-LAN nicht mehr.
Bis zur Version 10 ging das noch, weil dort ein gepatchter Treiber für den N54L verwendet wurde.
Der Patch funktioniert jetzt nicht mehr, und daher kann der N54L bis auf Weiteres kein WOL ab der N4F-Version 11, und es steht in den Sternen, ob die Unterstützung für dieses Gerät jemals wieder kommen wird

Da du zwei dieser Geräte einsetzt, stellt sich die Frage, ob du das zweite Gerät als Backup-Server nutzt, und ob WOL für dich ein wichtiges Feature ist?

Zur Erläuterung: Ich nutze WOL, damit ich mein Haupt-NAS zu einen bestimmten Zeitpunkt aufwecken kann, um dann einen Auto-Snapshot machen zu lassen. WOL ist bei mir keine reine Komfortfunktion, sondern durchaus ein wichtiges und notwendiges Feature. Daher werde ich selbst vorerst bei der Version 10 bleiben. Es sei denn, ich finde eine NIC, bei der WOL auch mit der Version 11 geht. Mit dem Nachfolgemodell Gen8 gibt es das Problem übrigens nicht.

Da sich zwischen der 10er und der 11er Version ZFS-mäßig nichts geändert hat, wäre übrigens ein Downgrade auf die Version 10 bei dir technisch durchaus möglich.

Es ist wichtig, daß wir diesen Punkt vorher abklären, denn sonst wird das schwierig

Grüße
Princo

[XPUser]

Hi Princo,
WOL habe ich bisher noch nie benutzt, schalte meinen Server immer händisch ein.
Von daher habe ich auch mit der 11ver Version von N4F noch keine Probleme gehabt.
MfG XPUser