Page 1 of 1
wie Komplett neuer Datenabgleich
Posted: 22 Dec 2015 04:01
by XPUser
Hi Leute und frohe Weihnachten,
ich möchte so anfang, mitte Januar mal einen komplett neuen Datenabgleich machen.
Hintergrund ist die Tatsache das dass HauptNAS nach ca. 1 1/4 Jahr ziemlich träge geworden ist
(habe ich auch ordentlich aufgeräumt und bin damit noch nicht fertig).
Muss ich dafür auf dem BackupNAS erst alles löschen oder wie sieht die optimale Vorgehensweise aus?(möglichst ausführlich beschreiben).
Grüsse XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 22 Dec 2015 13:28
by crowi
kommt darauf an wie Du Dir den Datenabgleich vorgestellt hast und über welche Datenmenge wir reden.
Und es spielt natürlich eine Rolle wie sicher Dein Backupsystem ist.
In Deiner Signatur steht nur 5x2TB gemischt, aber nicht wie die 5x2TB konfiguruert sind: JBOD, Stripe, SoftRAID, ZFS (RAIDZ1/-Z2, etc)
Ein paar mehr Infos wären schon wichtig

Re: wie Komplett neuer Datenabgleich
Posted: 22 Dec 2015 21:12
by XPUser
Hi crowi,
habe als erstes mal meine Signatur angepasst/vervollständigt.
Hatte die beiden HP N54L vor ca. 1 1/4 J neu angeschafft, beide komplett neu in N4F 9.1.847 eingerichted und anschliessend
den Datenbestand des Backupservers mit send/receive zum Hauptserver übertragen.
(Der Datenbestand stammt von meinem früheren NAS, das aber kein ECC-Ram unterstützte, daher die Neuanschaffung).
Deine Frage zur Datenmenge: im Web-GUI des Hauptservers wird mir Anfangs kurz aktuell 6,44TB als belegt und 4,1TB als frei angezeigt.
Nach ca.3-4 sekunden sind es dann auf einmal 8,06TB als belegt und 5,66TB als frei.
Dies kuriose verhalten habe ich erst seit ich auf Vers. 10.2 gewechselt bin. Unter 9.1 meine ich in erinnerung zu haben lag der Bestand
immer um die 6,6TB herum.
Da ich in den vergangenen Monaten viel gelöscht/umstrukturiert und mit neuen Daten gefüllt hatte wurden die Server immer träger
im Verrzeichnis-Aufbau. Der Datenbestand ist jetzt bestimmt ziemlich Fragmentiert, daher die Überlegung eines komplett neuen
Datenabgleichs den ich dann natürlich zweimal machen müsste.
MfG XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 22 Dec 2015 21:31
by crowi
Der Datenbestand ist jetzt bestimmt ziemlich Fragmentiert,
Das zeigt Dir der Befehl
oder
an, wobei der "% Frag" Wert auch mit vorsicht zu geniessen ist.
Also wenn Du Dir 100% sicher bist, dass es nötig und dass Dein Backupserver hardwaremässig okay ist, kannst Du die Daten mit zfs send / receive oder rsync abgleichen.
Ich persönlich bevorzuge rsync mit dem '--delete' switch, andere verwenden zfs send/receive.
(Mein Datenbestand ändert sich aber auch nicht häufig in dem Sinn, dass Daten gelöscht werden. Das "Ausmisten" habe ich vorgenommen als ich von meinem Buffalo-NAS auf Nas4Free umgestiegen bin, seitdem sind sie gut strukturierz und es kommen höchstens neue Daten dazu.)
Dann kannst Du Dein Haptnas plattmachen und die Daten neu draufspielen.
Mir persönlich wäre das zu riskant und ich würde sicherheitshalber noch eine weitere Kopie der wichtigsten Daten anlegen. Aber in der Beziehung bin ich etwas paranoid, bzw habe schon zu viele plötzliche Plattenausfälle erlebt.
Re: wie Komplett neuer Datenabgleich
Posted: 22 Dec 2015 22:42
by XPUser
Hi Crowi,
komischerweise zeigt mir der Befehl in der Spalte Frag gar nichts an.
Die Änderungen im Datenbestand kommen dadurch zustande weil ich sehr viel Video bearbeite, am Ende dann eine neue Datei habe,
dafür danach aber viel mehr Dateien gelöscht werden weil ich sie dann nicht mehr brauche.
Hingegen, würde ich meine eigenen Original Videos bearbeiten, würde ich die Originale niemals löschen.
Hatte mir diese Strategie zum Ende des Sommers ausgedacht um ordentlich mal Ballast abzuwerfen, bin damit aber noch einige Zeit beschäftigt.
Danach werden dann ca. 3000 Dias sowie einiges an Super 8 Filmen eingescannt und hoffe das mir der Speicherplatz ausreicht.
Festplatten sind mir im Server noch nicht kaputt gegangen aber trotzdem bin ich auch Paranoid in der Beziehung.
Aber andererseits sagt man hier: Et hät noh immer joot jejange.
In diesem Sinne
MfG XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 31 Dec 2015 19:49
by XPUser
Update,
habe mir jetzt 5x3TB WD Red gekauft um das BackupNAS zu aktualisieren.
Habe mir das so vorgestellt: die 5x3TB aus dem HauptNAS würde ich gerne ins BackupNAS einbauen (sind ca. 2 1/2 Jahre alt).
Die neuen dann ins HauptNAS weil ich dann etwaige Ausfälle bei den neuen Platten schnell bemerke. (Auch wegen der Garantie)
Ist diese vorgehensweise praktikabel und wie setze ich sie bestenfalls um.
Bessere Vorschläge sind wie immer willkommen.
Wie immer vielen Dank im voraus und einen guten Rutsch ins neue Jahr.
MfG XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 03 Jan 2016 04:25
by Princo
Hi XPUser,
hast du denn regelmäßig/vor kurzem einen Datenabgleich mittels zfs send/receive vom HauptNAS auf das BackupNAS durchgeführt?
Sind die beiden Pools noch mittels eines gemeinsamen Snapshots miteinander "verbunden"?
Was soll mit den "alten" 2TB-Platten aus dem Backup-NAS geschehen? Willst du sie aufheben, oder verkaufen?
Grüße
Princo
Re: wie Komplett neuer Datenabgleich
Posted: 03 Jan 2016 15:21
by XPUser
Hi Princo,
da die beiden NAS noch bestehen, hatte ich geplant, unmittelbar bevor ich mich anfange mit der umrüstung
noch einen Abgleich zu machen.
Von den alten Platten wollte ich 1-2 Stück behalten und die anderen verkaufen.
viele Grüsse
XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 06 Jan 2016 03:32
by Princo
XPUser wrote:da die beiden NAS noch bestehen, hatte ich geplant, unmittelbar bevor ich mich anfange mit der umrüstung
noch einen Abgleich zu machen.
Kollege, du hast dir extra ein 2tes NAS als Backup angeschafft, und machst keine regelmäßigen Abgleiche?
Tsss, Tzss
Es muß ja nicht immer ein täglicher Abgleich sein, aber wöchentlich, oder zumindest monatlich wäre es schon angesagt.
Ich melde mich nochmal.
Grüße
Princo
Re: wie Komplett neuer Datenabgleich
Posted: 06 Jan 2016 04:37
by XPUser
Hi Princo,
natürlich habe ich regelmäßige abgleiche gemacht, so in der Regel monatlich.
Bisher hatte sich mein Datenbestand ja auch nicht sonderlich geändert.
Aber in den letzten 2-3 Monaten habe ich endlich mit der Videobearbeitung angefangen und schon so einiges fertig.
Dadurch ist schon eine Menge gelöscht worden und entsprechend öfter habe ich aktuelle Datenabgleiche durchgeführt.
Beide NAS sind somit auf dem aktuellen Stand. Aber da ich natürlich in der zwischenzeit weitergearbeitet habe
wollte ich vor beginn der umrüstung zur Sicherheit noch einen neuen Abgleich machen.
Grüsse XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 07 Jan 2016 19:19
by XPUser
Hi Forum,
nachdem ich anfang der Woche wieder eine Menge löschen konnte habe ich gestern Abend mit Datum von gestern einen
neuen Abgleich gemacht. Danach am HauptNAS den dann vorletzten snapshot gelöscht.
Nach Mitternacht dann einen neuen snapshot erstellt und erneut einen Abgleich gemacht und anschliessend
den snapshot von gestern gelöscht. Dadurch dürfte ich zukünftig keine gelöschten Daten mehr in snapshots mitschleppen.
Danach dann auf beiden NAS scrub gestartet.
Als ich mir heute dann das ergebnis ansah: Das HauptNAS keine Fehler, das BackupNAS degraded, eine Platte ist während des scrub
ausgefallen. Habe dann beide heute Mittag runtegefahren. Eben habe ich das BackupNAS noch mal neu gestartet aber es bleibt
dabei eine Platte scheint definitiv den geist augegeben zu haben.
Werde jetzt gleich die Platten aus den Hauptserver in der gleichen Reihenfolge in das BackupNAS einbauen und die neuen Platten
in den Hauptserver. Könnte somit eigentlich mit dem Erstabgleich beginnen.
Wie gehe ich günstigstenfalls vor, was sollte ich beachten bzw gibt es noch vorabeiten in Nas4free??
Edit kurz nach mitternacht: neue Platten im Hauptserver und den Pool Daten neu erstellt. Datasets habe ich noch keine erstellt.
Ich meine mich zu erinnern die werden ja beim erstabgleich übernommen.
MfG XPUser
Re: wie Komplett neuer Datenabgleich
Posted: 10 Jan 2016 18:41
by XPUser
Hi Forum,
hatte mich noch mal in die Posts von Princo von vor 1 1/2 Jahren vertieft.
Daraufhin habe ich vom BauckupNAS, in dem ja nun die Platten des ehemaligen HauptNAS eingebaut sind,
einen Erstabgleich zum HauptNAS mit den neuen Platten gemacht.
Der anschließend scrub zeigte alles ok.
Beide Systeme mit gleichem Datenbestand.
Somit ist hier alles wieder im grünen Bereich und mein Problem gelöst.
Danke für eure Mithilfe.
MfG XPUser