This is the old XigmaNAS forum in read only mode,
it will taken offline by the end of march 2021!



I like to aks Users and Admins to rewrite/take over important post from here into the new fresh main forum!
Its not possible for us to export from here and import it to the main forum!

newbie BackupKontrolle auf Konsistenz

German community

Moderators: b0ssman, apollo567, Princo, crowi

Forum rules
Set-Up GuideFAQsForum Rules
Post Reply
fb1
NewUser
NewUser
Posts: 4
Joined: 02 Apr 2017 17:57
Location: Bremen, Germany
Status: Offline

newbie BackupKontrolle auf Konsistenz

Post by fb1 »

Hallo,
hoffe, dass das ganze nicht zu unübersichtlich ist!
Bin noob in in diesem ganzen postings.

Welche Software version und Hardware wird eingesetzt

Code: Select all

NAS4Free Version und Grundeinstellung:
NAS4Free: 11.0.0.4 (revision 3460)
Webzugriff: nur über igb0
Admin Name und password geändert.
Sprache: english (wegen Übersetzungen)

Motherboard:	ASRock C2750D4I 
CPU: Intel(R) Atom(TM) CPU C2750 @ 2.40GHz 
Speicher:	32Gig ECC
Netzwerkkarte: 2x Onboard (Die dritte nicht benutzt)
igb0:	https:// Festvergebene->IPv4:geänderter Port
igb1:	dhcp MAC IP gebunden im router

Pools Rechner: 
	 pool_archiv              
          mirror-0               
            gpt/disk55-W4J1VEZL  
            gpt/disk56-W4J1WV7G 

        pool_daten                  
          mirror-0              
            gpt/disk54-WMC1T1694670  
            gpt/disk61-WCC4N0659525  
          mirror-1                  
            gpt/disk52-WCAZA4879335  
            gpt/disk51-WCAZA1721488 

        pool_kodi                   
          gpt/disk53-S2H7J1BZC07113

NAS4Free läuft soweit. Von mir schon umgesetzt:

Code: Select all

- Umgang handling: zfs, pools, hdd tausch, stripe->mirror-> stripe->2fach Mirror -->Erledigt
- Zugriff SMB -> erldigt
- Zugriff SMB auf snaphots -> Erledigt
- Frits Skripts: Srub, Snaphot, Speicherauslastung 80% -> Erledigt (Danke fürs Script!)
- SMART mit Email -> Erledigt
- Email alert: temp, pool degradet... -> Erledigt
- WEB zugriff: anderer Port https, nur über feste IP zweite LAN anschluss -> Erledigt
- Differenzierter Userzugriff -> eventuell unglücklich aber erledigt
- Smartphone abgleich auf Server (Wlan)-> erledigt
============================================
Getroffene Entscheidung: 
Snapshot wird als nutzbarer pool/dataset auf Backup hdd gespielt.
Kann im Notfall die Platte(n) einfach umbauen, als pool_xy importieren und Weiterarbeiten

Benötige Entscheidungshilfe in der Hardwarumsetzung Backup:
- Habe 3pools: archiv, daten, archiv_film(Musik)
- Je pool eine Disk mit "ZFS Stripe"

Momentan: Backup über USB, Mittelfristig esata, oder doch gleich backup-Server?

Bei Entscheidung Backup Server:

Code: Select all

- Mit oder ohne extra offline Backup??
- Würde dann ein HP Microserver 40LN, oder so, in ein ServerDiskShelf einbauen. Oder über FC-Karte verbinden. 
- Gewähltes Shelf: NetApp DS14 MK2 AT Disk Shelf
- Je pool ein 2x2Mirror (s.o. pool_daten) bekomme damit weiniger probleme mit Speicherplatz, und es ist einfacher 
   hdd-speicher zu erweitern
- Ausfall sollte durch email rechtzeitig gemeldet werden. Und kann durch Anflanschen an Spiegel abgefangen werden.
- Eine pcie 8x karte kann lt. Meines wissens in ein 16x gesteckt werden und läuft. Brauche ich mir also keine Gedanken   
   machen.

Später noch zu Erledigen:
Test ob WLAN reicht, oder LAN gezogen werden muß
Backup Täglich -> Server läuft rund um die Uhr oder Zeitgesteuert
Backup Handisch ->
- funk/lan schaltbare Steckdose
- Server steht auf Strom an Rechner an
- Server fährt nach backup selbständig runter

Frage 1:
Was ist praktikabler, eine Offline Sicherung oder ein Backupserver? Backupserver mit oder ohne extra Offline Sich?
- Wenn ich mir jetzt ein 4-8Bay JBO USB Gehäuse kaufe Ähnlich "FANTEC QB-X8US3-6G". Dieses Gehäuse wo andes deponiere, und über "USB over LAN" anklemme: Prakitkabel oder nicht?

Frage 1.1:
- Einbau des "HP Microserver 40LN" in das "NetApp DS14 MK2 AT Disk Shelf": geht oder geht nicht?

Frage 1.2:
- Welche FC-Karten sind NAS4Free kompatible?

Frage 2:
NAS4Free Einstellungen in rsync local
- Archive an oder aus?
Um später mit: "cp -RvLpn /Pfad/der/Quelle/* /Pfad/des/Ziels/" einen pool wiederzuherstellen.
Quelle:http://blog.hani-ibrahim.de/rsync-backu ... ieren.html

Frage 3:
Abgleich von "pool_daten@snap2017_04_23" mit "pool_daten_bakDisk58/Snap/pool_daten@snap2017_04_23"
- send recv ist nach erstabgleich auch bei USB 2.0 zügig erledigt!
- Problem: eine Kontrolle auf Konsistenz (Ist auch alles so wie im Snapshot?), dauert mit Rsync über USB ewig.
- Gibt es eine Möglichkeit mit Rückmeldung ob IO oder nicht (Ähnlich FreeFileSync in Windos; Rsync in NAS4Free). Die ähnlich schnell wie send receive ist?

(Edit 2017.04.30: Versuch etwas mehr struktur reinzubekommen.)
Last edited by fb1 on 30 Apr 2017 09:42, edited 1 time in total.
11.0.0.4 - Sayyadina (revision 3460), ASRock C2750D4I, 32GB of ECC RAM
zfs-pools: 2x mirror with "raid" 10, 1x mirror with two times "raid" 10, 1x tripple mirror "raid" 10.
31TB usable size over LSI Controller and a External SAS Cable SFF-8088 to SFF-8088

kreuzberger
Advanced User
Advanced User
Posts: 395
Joined: 07 May 2015 18:52
Location: Berlin
Contact:
Status: Offline

Re: newbie BackupKontrolle auf Konsistenz

Post by kreuzberger »

äääähm, was?

fb1
NewUser
NewUser
Posts: 4
Joined: 02 Apr 2017 17:57
Location: Bremen, Germany
Status: Offline

Re: newbie BackupKontrolle auf Konsistenz

Post by fb1 »

Hallo,
wust ich's doch zu Unübersichtlich!
Und mal wieder ungenau ausgedrückt!
Ist und soll ein HomeServer bleiben.

Frage1:
Warum ist es so viel "schlauer" einen Backup-Server am laufen zu haben, anstatt das ganze mit USB-Platte zu händeln?
- die Meinungen gehen hier im Forum auseinander. Wenn ich das ganze so wie so von Hand anstoße und nicht "automatisiere" (Scripts) müsste USB doch Reichen?

Frage1.1
Kennt jemand das DiskShelf: NetApp DS14 MK2 AT?
Könnte ich dort das Motherboard vom HP Microserver NL40 unterbringen. Dann mit Sata Erweiterungskarte von den "Diskeinschüben" auf das Motherboard.
Zu ätsch klappt nicht ist mir das zu teuer.

Frage1.2
Wenn man in das DiskShelf: NetApp DS14 MK2 AT kein anderes Motherboard unterbringen kann:
Welche, von NAS4Free unterstützte, Anschlusskarte brauche in im HP Microserver NL40 um mich mit dem DiskShelf zu verbinden?

Frage2:
Wenn ich in der GUI mit rsync lokal arbeite, gibt es die Klickfunktion "Archiv".
- um den Pool/Dataset als "Spiegel" zu bekommen, muss das an oder off?

Frage3:
Snapshots send receive auf Backup-Pool USB platte klappt so weit. Es scheint auch keine Übertragungsfehler zu geben.
- Gibt es im zfs, zpool befehlssatz irgendein Befehl/Möglichkeit das zu vergleichen?
- mit diff Snapshot kann ich nur unterschiedliche Snapshots im gleichem Pool vergleichen. Würde gerne das gleiche Snapshot in Unterschiedlichen poolen vergleichen.
Erklärung:
- pool_daten@snap1 -> send... recv... -> pool_daten_bak1@snap1
Die beiden würde ich gerne, mit Rückmeldung abgleichen!

Trotzdem Danke schon mal!
11.0.0.4 - Sayyadina (revision 3460), ASRock C2750D4I, 32GB of ECC RAM
zfs-pools: 2x mirror with "raid" 10, 1x mirror with two times "raid" 10, 1x tripple mirror "raid" 10.
31TB usable size over LSI Controller and a External SAS Cable SFF-8088 to SFF-8088

kreuzberger
Advanced User
Advanced User
Posts: 395
Joined: 07 May 2015 18:52
Location: Berlin
Contact:
Status: Offline

Re: newbie BackupKontrolle auf Konsistenz

Post by kreuzberger »

Tach fb1,


zu 1.1:

Nas4Free kennt kein AutoMount wie bei Apple- oder Windows-Rechnern. Es gibt zwar Ansätze von Usern das mit einem Script doch zu machen, aber ich kenne keines, was verlässlich funktioniert. Immerhin müsste dann ja auch das FileSystem mit erkannt werden. Da Nas4Free erst einmal ein StorageSystem sein soll war diese Option nach wie vor nicht vorgesehen.
..... oder steckt man an eine USB Platte extern noch eine USB Platte?

zu 1.2:

Ich kenne mich (leider) mit NetAPP noch nicht aus. So weit ich weiss ist das ein Intelligentes StorageSystem. Warum die beiden Systeme nun miteinander direkt kommunizieren sollen ist mir nicht klar.
Nas4Free hat ja rsync. Was NetAPP auf der anderen Seite hat weiss ich nicht. Aber wenn du Daten dazwischen schaufeln willst sollte man doch einen weiteren Rechner nehmen, der für den Zweck die passende (Backup-)Software hat.
Der HP Microserver NL40 hat ja 1x 1GBit Netzwerk. Zwar kann man in die freien Slots zb. auch Lichtwelllenleiter einbauen. Aber ob der nicht wechselbare Prozessor dazu fett genug ist weiss ich nicht - ich bezweifle es aber. Ausprobieren! Intel sollte immer gehen.
Der HP Microserver Gen8 wäre da wesentlich besser geeignet, da man hier den Prozessor wechseln kann.

zu 2:

https://de.wikipedia.org/wiki/Archivbit


zu 3:

weiss ich nicht.



Kreuzberger

fb1
NewUser
NewUser
Posts: 4
Joined: 02 Apr 2017 17:57
Location: Bremen, Germany
Status: Offline

Re: newbie BackupKontrolle auf Konsistenz

Post by fb1 »

Hallo,
Danke für die Hilfestellung!

Fang ich hinten an.

zu 3:
Bis auf rsync hab ich da auch nichts gefunden. Und hatte gehofft das es ähnlich wie send receive eine "Speziallösung" gibt.
Dauert mit bei USB 2.0 nur zu lange.

zu 2:
Also => AN

zu 1.2:
So weit ich das verstanden habe:
Werden die disks im NetAPP vom "aufgeflanschten" Rechner. (Der mit der FC Karte verbunden wurde) als "interne-hdd" erkannt. Ob SCSI oder ADA oder ... stellt sich dann noch raus.
Gen8 habe ich mir schon angesehen. Aber benötige ich für einen reinen Backupserver so viel mehr Rechenleistung?
Man kann den HP Microserver NL40 nicht mit dem C2750 vergleichen, aber dort komme ich momentan auf max.30% Auslastung.

zu 1.1
Mit 3 Pools a ca. 4,5-5TB nutzbarem Platz komme ich bei einem Mirror auf mind. 6PLatten.
Wenn ich jetzt in sagen wir einem Jahr meinen "Altags-Server" eine hdd-Speicher Erweiterung zukommen lasse. Habe ich mind. pro Pool 2x5TB HDD über.
Um nicht plötzlich was weis ich an hdds kaufen zu müssen. Nur für eine Poolvergrößerung von sagen wir 3TB. Würde ich die beiden Überbleibenden hdds
im Backuprechner als Mirror+Mirror anflanschen. -> komme dann auf ca.12Platten.

HP Microsever NL40 haben zwischen 6 (mit balsteln) und Gen8 4bays.
Plan wäre dann NAS4Free als OS:
Das Original Motherboard aus NerAPP raus, und das von HP wieder rein. SATA Karte drauf und ich sollte auf 12-14 Mögliche SATA ports kommen. Ohne einen extra Rechner Physikalisch oben drauf zu stellen.
Habe dann ja noch zwei bays frei um bei degradiertem Pool eine hdd an den Spiegel dranzuhängen.

Wenn ich wieder zu unklar oder schwamig werde, Bitte nachhaken!
Habe versucht das Startposting etwas übersichtlicher zu machen.

Für die Zukunft wäre es besser eine Frage zu stellen? Und dafür dann aber 4-5Postings auf einmal?
Danke.
11.0.0.4 - Sayyadina (revision 3460), ASRock C2750D4I, 32GB of ECC RAM
zfs-pools: 2x mirror with "raid" 10, 1x mirror with two times "raid" 10, 1x tripple mirror "raid" 10.
31TB usable size over LSI Controller and a External SAS Cable SFF-8088 to SFF-8088

Post Reply

Return to “Deutsch”