This is the old XigmaNAS forum in read only mode,
it will taken offline by the end of march 2021!



I like to aks Users and Admins to rewrite/take over important post from here into the new fresh main forum!
Its not possible for us to export from here and import it to the main forum!

wie Komplett neuer Datenabgleich

German community

Moderators: b0ssman, apollo567, Princo, crowi

Forum rules
Set-Up GuideFAQsForum Rules
Post Reply
XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

wie Komplett neuer Datenabgleich

Post by XPUser »

Hi Leute und frohe Weihnachten,
ich möchte so anfang, mitte Januar mal einen komplett neuen Datenabgleich machen.
Hintergrund ist die Tatsache das dass HauptNAS nach ca. 1 1/4 Jahr ziemlich träge geworden ist
(habe ich auch ordentlich aufgeräumt und bin damit noch nicht fertig).
Muss ich dafür auf dem BackupNAS erst alles löschen oder wie sieht die optimale Vorgehensweise aus?(möglichst ausführlich beschreiben).

Grüsse XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

User avatar
crowi
Forum Moderator
Forum Moderator
Posts: 1176
Joined: 21 Feb 2013 16:18
Location: Munich, Germany
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by crowi »

kommt darauf an wie Du Dir den Datenabgleich vorgestellt hast und über welche Datenmenge wir reden.
Und es spielt natürlich eine Rolle wie sicher Dein Backupsystem ist.
In Deiner Signatur steht nur 5x2TB gemischt, aber nicht wie die 5x2TB konfiguruert sind: JBOD, Stripe, SoftRAID, ZFS (RAIDZ1/-Z2, etc)
Ein paar mehr Infos wären schon wichtig
:?
NAS 1: Milchkuh: Asrock C2550D4I, Intel Avoton C2550 Quad-Core, 16GB DDR3 ECC, 5x3TB WD Red RaidZ1 +60 GB SSD for ZIL/L2ARC, APC-Back UPS 350 CS, NAS4Free 11.0.0.4.3460 embedded
NAS 2: Backup: HP N54L, 8 GB ECC RAM, 4x4 TB WD Red, RaidZ1, NAS4Free 11.0.0.4.3460 embedded
NAS 3: Office: HP N54L, 8 GB ECC RAM, 2x3 TB WD Red, ZFS Mirror, APC-Back UPS 350 CS NAS4Free 11.0.0.4.3460 embedded

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Hi crowi,
habe als erstes mal meine Signatur angepasst/vervollständigt.
Hatte die beiden HP N54L vor ca. 1 1/4 J neu angeschafft, beide komplett neu in N4F 9.1.847 eingerichted und anschliessend
den Datenbestand des Backupservers mit send/receive zum Hauptserver übertragen.
(Der Datenbestand stammt von meinem früheren NAS, das aber kein ECC-Ram unterstützte, daher die Neuanschaffung).
Deine Frage zur Datenmenge: im Web-GUI des Hauptservers wird mir Anfangs kurz aktuell 6,44TB als belegt und 4,1TB als frei angezeigt.
Nach ca.3-4 sekunden sind es dann auf einmal 8,06TB als belegt und 5,66TB als frei.
Dies kuriose verhalten habe ich erst seit ich auf Vers. 10.2 gewechselt bin. Unter 9.1 meine ich in erinnerung zu haben lag der Bestand
immer um die 6,6TB herum.
Da ich in den vergangenen Monaten viel gelöscht/umstrukturiert und mit neuen Daten gefüllt hatte wurden die Server immer träger
im Verrzeichnis-Aufbau. Der Datenbestand ist jetzt bestimmt ziemlich Fragmentiert, daher die Überlegung eines komplett neuen
Datenabgleichs den ich dann natürlich zweimal machen müsste.
MfG XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

User avatar
crowi
Forum Moderator
Forum Moderator
Posts: 1176
Joined: 21 Feb 2013 16:18
Location: Munich, Germany
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by crowi »

Der Datenbestand ist jetzt bestimmt ziemlich Fragmentiert,
Das zeigt Dir der Befehl

Code: Select all

zpool list
oder

Code: Select all

zpool list -v
an, wobei der "% Frag" Wert auch mit vorsicht zu geniessen ist.

Also wenn Du Dir 100% sicher bist, dass es nötig und dass Dein Backupserver hardwaremässig okay ist, kannst Du die Daten mit zfs send / receive oder rsync abgleichen.
Ich persönlich bevorzuge rsync mit dem '--delete' switch, andere verwenden zfs send/receive.
(Mein Datenbestand ändert sich aber auch nicht häufig in dem Sinn, dass Daten gelöscht werden. Das "Ausmisten" habe ich vorgenommen als ich von meinem Buffalo-NAS auf Nas4Free umgestiegen bin, seitdem sind sie gut strukturierz und es kommen höchstens neue Daten dazu.)

Dann kannst Du Dein Haptnas plattmachen und die Daten neu draufspielen.

Mir persönlich wäre das zu riskant und ich würde sicherheitshalber noch eine weitere Kopie der wichtigsten Daten anlegen. Aber in der Beziehung bin ich etwas paranoid, bzw habe schon zu viele plötzliche Plattenausfälle erlebt.
NAS 1: Milchkuh: Asrock C2550D4I, Intel Avoton C2550 Quad-Core, 16GB DDR3 ECC, 5x3TB WD Red RaidZ1 +60 GB SSD for ZIL/L2ARC, APC-Back UPS 350 CS, NAS4Free 11.0.0.4.3460 embedded
NAS 2: Backup: HP N54L, 8 GB ECC RAM, 4x4 TB WD Red, RaidZ1, NAS4Free 11.0.0.4.3460 embedded
NAS 3: Office: HP N54L, 8 GB ECC RAM, 2x3 TB WD Red, ZFS Mirror, APC-Back UPS 350 CS NAS4Free 11.0.0.4.3460 embedded

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Hi Crowi,
komischerweise zeigt mir der Befehl in der Spalte Frag gar nichts an.
Die Änderungen im Datenbestand kommen dadurch zustande weil ich sehr viel Video bearbeite, am Ende dann eine neue Datei habe,
dafür danach aber viel mehr Dateien gelöscht werden weil ich sie dann nicht mehr brauche.
Hingegen, würde ich meine eigenen Original Videos bearbeiten, würde ich die Originale niemals löschen.
Hatte mir diese Strategie zum Ende des Sommers ausgedacht um ordentlich mal Ballast abzuwerfen, bin damit aber noch einige Zeit beschäftigt.
Danach werden dann ca. 3000 Dias sowie einiges an Super 8 Filmen eingescannt und hoffe das mir der Speicherplatz ausreicht.
Festplatten sind mir im Server noch nicht kaputt gegangen aber trotzdem bin ich auch Paranoid in der Beziehung.
Aber andererseits sagt man hier: Et hät noh immer joot jejange.
In diesem Sinne
MfG XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Update,
habe mir jetzt 5x3TB WD Red gekauft um das BackupNAS zu aktualisieren.
Habe mir das so vorgestellt: die 5x3TB aus dem HauptNAS würde ich gerne ins BackupNAS einbauen (sind ca. 2 1/2 Jahre alt).
Die neuen dann ins HauptNAS weil ich dann etwaige Ausfälle bei den neuen Platten schnell bemerke. (Auch wegen der Garantie)
Ist diese vorgehensweise praktikabel und wie setze ich sie bestenfalls um.
Bessere Vorschläge sind wie immer willkommen.
Wie immer vielen Dank im voraus und einen guten Rutsch ins neue Jahr.
MfG XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

User avatar
Princo
Forum Moderator
Forum Moderator
Posts: 1080
Joined: 15 Jul 2012 01:21
Location: Berlin, Germany
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by Princo »

Hi XPUser,
hast du denn regelmäßig/vor kurzem einen Datenabgleich mittels zfs send/receive vom HauptNAS auf das BackupNAS durchgeführt?
Sind die beiden Pools noch mittels eines gemeinsamen Snapshots miteinander "verbunden"?
Was soll mit den "alten" 2TB-Platten aus dem Backup-NAS geschehen? Willst du sie aufheben, oder verkaufen?

Grüße
Princo
Meine Antworten beziehen sich immer auf die englischsprachige GUI. ECC-RAM ist Pflicht beim Einsatz von ZFS.

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Hi Princo,
da die beiden NAS noch bestehen, hatte ich geplant, unmittelbar bevor ich mich anfange mit der umrüstung
noch einen Abgleich zu machen.
Von den alten Platten wollte ich 1-2 Stück behalten und die anderen verkaufen.
viele Grüsse
XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

User avatar
Princo
Forum Moderator
Forum Moderator
Posts: 1080
Joined: 15 Jul 2012 01:21
Location: Berlin, Germany
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by Princo »

XPUser wrote:da die beiden NAS noch bestehen, hatte ich geplant, unmittelbar bevor ich mich anfange mit der umrüstung
noch einen Abgleich zu machen.
Kollege, du hast dir extra ein 2tes NAS als Backup angeschafft, und machst keine regelmäßigen Abgleiche?

Tsss, Tzss :o

Es muß ja nicht immer ein täglicher Abgleich sein, aber wöchentlich, oder zumindest monatlich wäre es schon angesagt.

Ich melde mich nochmal.

Grüße
Princo
Meine Antworten beziehen sich immer auf die englischsprachige GUI. ECC-RAM ist Pflicht beim Einsatz von ZFS.

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Hi Princo,
natürlich habe ich regelmäßige abgleiche gemacht, so in der Regel monatlich.
Bisher hatte sich mein Datenbestand ja auch nicht sonderlich geändert.
Aber in den letzten 2-3 Monaten habe ich endlich mit der Videobearbeitung angefangen und schon so einiges fertig.
Dadurch ist schon eine Menge gelöscht worden und entsprechend öfter habe ich aktuelle Datenabgleiche durchgeführt.
Beide NAS sind somit auf dem aktuellen Stand. Aber da ich natürlich in der zwischenzeit weitergearbeitet habe
wollte ich vor beginn der umrüstung zur Sicherheit noch einen neuen Abgleich machen.
Grüsse XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Hi Forum,
nachdem ich anfang der Woche wieder eine Menge löschen konnte habe ich gestern Abend mit Datum von gestern einen
neuen Abgleich gemacht. Danach am HauptNAS den dann vorletzten snapshot gelöscht.
Nach Mitternacht dann einen neuen snapshot erstellt und erneut einen Abgleich gemacht und anschliessend
den snapshot von gestern gelöscht. Dadurch dürfte ich zukünftig keine gelöschten Daten mehr in snapshots mitschleppen.
Danach dann auf beiden NAS scrub gestartet.
Als ich mir heute dann das ergebnis ansah: Das HauptNAS keine Fehler, das BackupNAS degraded, eine Platte ist während des scrub
ausgefallen. Habe dann beide heute Mittag runtegefahren. Eben habe ich das BackupNAS noch mal neu gestartet aber es bleibt
dabei eine Platte scheint definitiv den geist augegeben zu haben.
Werde jetzt gleich die Platten aus den Hauptserver in der gleichen Reihenfolge in das BackupNAS einbauen und die neuen Platten
in den Hauptserver. Könnte somit eigentlich mit dem Erstabgleich beginnen.
Wie gehe ich günstigstenfalls vor, was sollte ich beachten bzw gibt es noch vorabeiten in Nas4free??
Edit kurz nach mitternacht: neue Platten im Hauptserver und den Pool Daten neu erstellt. Datasets habe ich noch keine erstellt.
Ich meine mich zu erinnern die werden ja beim erstabgleich übernommen.
MfG XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

XPUser
experienced User
experienced User
Posts: 119
Joined: 04 Nov 2013 16:45
Location: Bei Köln
Status: Offline

Re: wie Komplett neuer Datenabgleich

Post by XPUser »

Hi Forum,
hatte mich noch mal in die Posts von Princo von vor 1 1/2 Jahren vertieft.
Daraufhin habe ich vom BauckupNAS, in dem ja nun die Platten des ehemaligen HauptNAS eingebaut sind,
einen Erstabgleich zum HauptNAS mit den neuen Platten gemacht.
Der anschließend scrub zeigte alles ok.
Beide Systeme mit gleichem Datenbestand.
Somit ist hier alles wieder im grünen Bereich und mein Problem gelöst.
Danke für eure Mithilfe.
MfG XPUser
NAS-A HP N54L 16GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded
NAS-B HP N54L 8GBECC-Ram 4x4TB WD-Red RaidZ1 XigmaNAS 12.1.0.4.7542 embedded

Post Reply

Return to “Deutsch”