Funktioniert unter einer Vollverschlüsselung "selfhealing"?

[raven2k3]

servus!

Ich hab mir gerade 6 3 TB Platten zugelegt und hab folgendes Szenario:

Alle Festplatten werden verschlüsselt und anschließend mit ZFS formatiert.
Ich hab mich für einen Raidz-1 Verbund entschieden da ich für den Fall der Fälle gern auf die Parität zurückgreifen will.
Der große Vorteil von Raidz-1, welches ja quasi mit Raid5 gleichzusetzen ist, dass eine Festplatte ohne Datenverlust ausfallen kann
und anschließend problemlos ersetzt werden kann.
Soviel zur Theorie, jedoch bin ich gerade über folgenden Artikel gestoßen :

http://www.zdnet.com/blog/storage/why-r ... n-2009/162

Hierbei wird die Problematik der "unrecoverable read error rate(URE)"geschild.
Aus dem Artikel geht folgendes hervor: Je größer das Speichermedium, je häufiger die Wahrscheinlichkeit von UREs.
Im Raid5 Szenario würde das folgendermaßen aussehen:
Fällt eine Festplatte aus kann diese durch die Parität, welche über die anderen Platten verteilt ist berechnet werden. Werden bei der Paritätsberechnung
jedoch Datenblöcke gebraucht die von einem URE betroffen sind kann es zu einem Totalausfall kommen -> Datensätze aller Festplatten gehen verloren.

Raidz-1 wirkt hierbei durch das Selfhealing entgegen, in dem jeder block auf seine Prüfsumme gecheckt wird und automatisch wiederhergestellt wird

Meine Frage ist nun: Funktioniert das auch bei einer Vollverschlüsselung?
Für mein Verständnis wird ja ein Layer gesetzt der verschlüsselt wird(pro Festplatte) und daruf dann erst das ZFS-Filesystem
Kommt es zu einem URE ist ja eigentlich der verschlüsselte Layer betroffen der nicht so einfach wiederhergestellt werden kann.. oder lieg ich da falsch?

Ich hoffe mir kann hier jemand eine Auskunft geben

lG
raven2k3

[Princo]

Nach meinem Verständnis funktioniert das Self-Healing bei verschlüsselten Systemen genauso wie bei unverschlüsselten.
Dem ZFS ist es nämlich ziemlich egal, ob Unstimmigkeiten der Prüfsummen durch eine kaputte Platte, oder einem beschädigten Verschlüsselungslayer hervorgerufen werden. Kaputt ist kaputt, und es kann entweder repariert werden, oder nicht.

Was den von dir erwähnten Artikel betrifft, so läßt sich dazu folgendes sagen: er beschreibt nichts anderes, als daß es bei extrem hohen Plattenkapazitäten eine ebenso stark erhöhte Anfälligkeit für unkorrigierbare Bitfehler auf den Platten gibt.

Das bezieht sich allerdings erst mal nur auf die in den Festplatten eingebaute Fehlerkorrektur. ZFS hat ja noch zusätzliche Korrekturmaßnahmen implementiert. Das Ganze wird besonders dann relevant, wenn dir bereits eine Platte ausgefallen ist.

Irgendwo hatte ich gelesen, daß man bei ZFS RaidZ-Verbünden pro drei Festplatten eine Paritätsplatte rechnet. Da du jedoch recht hohe Datendichten verwendest (und die auch noch voll verschlüsseln willst), würde ich eher zu einer RaidZ2 Konfiguration raten.

Ganz besonders gilt das für den Fall, daß du für dein NAS4Free kein Backup hast, was ich jedoch dringend empfehlen würde.

Grüße
Princo

[Eldor1]

Irgendwo hatte ich gelesen, daß man bei ZFS RaidZ-Verbünden pro drei Festplatten eine Paritätsplatte rechnet. Da du jedoch recht hohe Datendichten verwendest (und die auch noch voll verschlüsseln willst), würde ich eher zu einer RaidZ2 Konfiguration raten.

Hallo,

das würde bedeuten, man hat von 6 HDDs nur noch die Kapazität von 4 Platten. Da würde ich eher zwei Pools mit ZFS-Raid0 bauen. Wenn dann eine Platte ausfällt, hat man zwar einen Pool verloren, aber man hat noch ein Backup in Form des Ersatz-Pools. Wenn die defekte Platte ersetzt, und der Pool wiederhergestellt wurde, einfach ein Abgleich mit dem noch funktionsfähigen Pool.

Ist meiner Meinung nach die einfachere und kostengünstigere Variante. Alternativ kann man die Größe der Pools / Anzahl der HDDs variieren, wenn man nicht ALLES spiegeln will. Dazu vlt. noch ein HDD-Switch (Orico 6fach bei Amazon ca. 29€) , damit der Backup-Pool nur läuft, wenn man die Platten wirklich braucht und es sollte mit der Stromrechnung und auch der Laufzeit der Platten klappen.

Was meint Ihr dazu?

[Princo]

Was meint Ihr dazu?

Bei ZFS ist ein Backup auf dem gleichen System relativ sinnfrei.
Ein Backup macht man normalerweise aus zwei Gründen:
1. Man möchte sich gegen Datenverlust durch eigene Dusseligkeit (z.B. versehentliches Löschen)
oder
2. Hardwaredefekte (Plattenausfall, Schäden durch Überspannung, Überflutung, Feuer, etc.)
absichern.

Für Punkt 1 gibt es bei ZFS das Feature "Snapshot". Das funktioniert super, und fängt einen großen Teil der typischen Fehlgriffe ab.

Bei Punkt 2 wird es etwas kniffeliger. Hier muß man sich überlegen, bis zu welchem Grad der Absicherung man gehen möchte.
Ein möglicher Idealfall wäre ein komplett unabhängiges Ersatzsystem, welches man regelmäßig synchronisiert, und das sich an einem anderen Ort oder zumindest in einem anderen Brandabschnitt befindet. Das Ersatzsystem sollte in den Ruhezeiten komplett vom Netz getrennt sein, d.h. es dürfen keinerlei Kabel damit verbunden sein, also auch kein Netzwerk- oder Monitorkabel.

Da würde ich eher zwei Pools mit ZFS-Raid0 bauen. Wenn dann eine Platte ausfällt, hat man zwar einen Pool verloren, aber man hat noch ein Backup in Form des Ersatz-Pools. Wenn die defekte Platte ersetzt, und der Pool wiederhergestellt wurde, einfach ein Abgleich mit dem noch funktionsfähigen Pool.

Da hast du einen Denkfehler eingebaut:
Eine Platte fällt aus -> Dein erster Pool ist komplett weg, und auch alle Daten, die noch nicht im zweiten Pool gesynct wurden.
Dann fällt dir dummerweise noch eine Platte im zweiten Pool aus -> Alle deine Daten sind weg.

Beim von mir vorgeschlagenen RaidZ2 wären jetzt noch alle Daten da.

Es gibt da aber noch einen weiteren Schwachpunkt: Du erwähntest einen HDD-Switch, d.h. du möchtest die Platten in einem gemeinsamen Gehäuse halten. Der HDD-Switch trennt die Platten zwar vom Strom, aber über die SATA-Kabel sind sie immer noch mit dem System verbunden. Kurz gesagt: Bei einer heftigen Überspannung im Netz sind alle Platten futsch, und Überspannungen sind gar nicht mal so selten.

Ein weiterer Schwachpunkt ist die Wiederherstellungszeit. Fliegt dir nur eine Platte weg, dann mußt du das komplette Array neu bespielen. Das dauert bei diesen Plattengrößen und hohem Füllgrad ungefähr einen ganzen Tag. Der Tag ist dann auch nicht besonders angenehm, denn wenn dir dabei noch eine Platte wegfliegt, dann war es das, denn du hast keinerlei Redundanz mehr.

Da du offensichtlich ein Backup eingeplant hast, und daher die doppelte Festplattenanzahl beschafft hast, bietet sich eine viel bessere Vorgehensweise an:

Bau dir ein zusätzliches Backup-NAS auf.

Im Haupt-NAS und im Backup-NAS machst du jeweils ein RaidZ1 mit 3 Festplatten.
Ja, ich ignoriere erstmal deine Idee mit dem ZFS-Raid0, denn wenn du deine beiden NAS aufbaust, wird dir mindestens eine Festplatte in den ersten 14 Tagen um die Ohren fliegen (Erfahrungswert), und dann wirst du über das RaidZ1 sehr froh sein. Sollte dir das im Praxisbetrieb nicht zusagen (was ich nicht glaube), dann kannst du das später auch anders konfigurieren.

Ganz zufällig ist das übrigens genau die Art der Konfiguration, die ich selbst einsetze, und sie hat eine ganze Reihe weiterer Vorteile, die ich hier nur kurz anreiße: Vollwertiges Ersatzsystem, sehr hohe Variabilität, leichtes Erweitern der Plattenkapazität möglich, bestmögliche Absicherung gegen alle möglichen Widrigkeiten.

Grüße
Princo

[raven2k3]

Hmm interessante Vorschläge und danke für die Inputs!

Also nur nochmal zur Sicherheit und zum Verständnis zum eigentlichen Tehma - Vollverschlüsselung und Self-Healing:
1.) Jede Festplatte wird verschlüsselt
2.) Auf jeder Festplatte wird ZFS aufgesetzt
3.) Jede ZFS-Platte wird in einen Raird-Zx Pool eingebunden
und Self-Healing funktioniert trotdem?
Also wird wenn ein falscher/fehlerhafter, aber noch lesbarer Datensatz gefunden wird,
wird dieser demnach zuerst entschlüsselt und auf ZFS Ebene dann bereinigt?

Zur Konfiguration
Bei der Konfiguration eines Raid-Systems kommt es meiner Meinung nach schlussendlich auf das Einsatzszenario an.
Meine ursprüngliche Ausgangskonfiguration waren:
6 Festplatten mit ZFS-Raid-z1 (ala raid5)
N4F als VM auf meinem ESXI
RaidController durch passtrough durchgereicht, da ich nicht jede Festplatte einzeln durchreichen will und es theoretisch hotswapable bleibt,
was ich im Fall der Fälle vermutlich nie testen werde ^^

@ Eldor 1
Den Vorschlag einen Verbund mit Raid0 aufzubauen muss ich ebenfalls leider ablehnen.
Mein Ziel ist eine hohe Speicherkapazität mit einer möglichst guten Redundanz
Deine Variante, was einem Raid 01 gleichkommt wäre eher für Szenarien geeignet, die eine höhere Performanz erfordern wie zB Videobearbeitung,
da durch den Raid0 Verband eine höhere Geschwindigkeit erzielt werden kann und der Zweite Raid 0 Verband als Backup dient.
Wie Princo geschrieben hat, geht der gesamte Pool verloren wenn jeweils eine Festplatte pro Pool eingeht was dann von der Ausfallwahrscheinlichekeit wieder fast einem Raid6 gleichkommt
Genau anders herum verhält es sich mit Raid 10, was meiner Meinung nach die sinnvollere Variante wäre da die Ausfallsicherheit der einzelnen Clienten gegeben ist, jedoch die Performance geringer ist als bei Raid01
In beiden Fälle stünde mir jedoch nur die Hälfte er Kapazität zur Verfügung.

@Princo
1) Gegen den Datenverlust durch DAUs (Dümmst Anzunehmende User) ist noch kein wirksames Kraut gewachsen, da diese möglicherweise sogar das Snapshot löschen/überspielen ^^
Aber natürlich sind hier Snapshots eine gute Lösung und Backups der kritischen Daten (auf andere phsysische Datenquellen) pflicht
2). Hardwaredefekt

Ein unabhängiges Ersatzsystem ist zwar schön aber nur eher für Produktivumgebungen sinnvoll
Ein Überspannungsschutz ist sowieso pflicht daher finde ich HDD-Switches schon eine prima Sache, auch wenn ich bis vor diesem Beitrag noch nichts davon gewusst hatte.
Das Problem ist in meinem Falls, dass dies durch die Virtualisierung nicht realisierbar ist oder zumindest nicht automatisiert (Festplatte an-> eingebunden-> Netzwerk zugänglich).
Für Vorschläge wäre ich dankbar.

Nach langem Überlegen hab ich mich nun für diese Konfiguration entschieden:
ESXI (6 Core amd - aes-ni Unterstützung)
N4F als VM
IBM m1015 passthrough zur VM
Festplatte a 3 TB WD-AV-GP

- 8 Festplatten mit Raid-z2 und Vollverschlüsselt: Datenarchiv für Multimediacontent und den Daten die so anfallen
Kapazität: 18 von 24 TB (statt 12 in einem raid 10/raid 01)
Wenn 2 Festplatten eingehen ist das verkraftbar, gehen 3 ein, wäre das für mich mit einem lotto 6er gleichzusetzen (nur nicht ganz so erfreulich ^^), also hoffentlich vernachlässigbar.
Wobei ich mir da auch nicht ganz sicher bin, da durch die höhere Festplattenanzahl natürlich wiederum die Ausfallwahrscheinlichkeit erhöht XD

- 2 Festplatten mit Raid 1 (mirroring) unverschlüsselt: private und damit kritische Daten, da diese nicht mehr wiedererlangt werden können (Fotos, Dokumente)
um die Privatsphäre der privaten Dokumente auf dem unverschlüsselten ZFS System gewährleisten zu können wird Owncloud aufgesetzt und das Encryption Plugin benützt.
Regelmäßiges Backup des Raid 1 durch Rsync, sowie regelmäßige Snaphots sind geplant

Was hält ihr von dem Vorschlag?

Knackpunkt ist jedoch neben dem höheren Stromverbrauch (wird jetzt mal außer Acht gelassen) die Tatsache dass es sich jetzt nicht mehr mit einem einzigen Raid-Controller ausgeht,
daher wollte ich noch fragen ob Jemand einen ESXI tauglichen Controller kennt der nur 4 Ports hat und kostengünstig zu haben ist?

lg raven2k3

[Eldor1]

Hallo zusammen,

danke für das Feedback. Mein Vorschlag ist natürlich noch besser wenn man das ganze mit Z1-Raid macht, keine Frage. Die von Euch genannten Schwachstellen sind mir vollkommen bewusst.

Bei mir in der Praxis sieht es so aus:

* Pool1: 4x 2TB ZFS-Raid 5 (hab doch glatt den Namen vergessen dafür!)
* Pool2: 4xHDD insgesamt 4 Tb als ZFS-R0. (Historisch gewachsen)

Die Lösung mit zwei Maschinen ist sicherlich die Endlösung. Habe aber mangels Budget und fehlendes Wissen/Erfahrung mit Rsync den Plan fallen lassen und bin deswegen auf die Idee mit dem Schalter gekommen. Der Raid 5 ist hier nur das Backup. Ehrlicherweise muss ich aber zugeben, dass ich die wichtigen Daten auch noch auf einer USB-HDD zusätzlich gesichert habe. Die restlichen Daten sind Installations-Dateien, Treiber, Isos etc.etc. was man sich wieder neu besorgen kann.

Da sich meine Daten nicht soo schnell ändern ist auch das stellenweise Abgleichen kein Problem. Die einzige Schwachstelle ist aber in der Tat der fehlende Schutz vor Stromschwankungen / Blitzeinschlägen. Kann hier eine USV effektiv schützen oder ist das auch nur bedingt hilfreich? Wenn ja reicht hier auch eine kleine USV für ca. 50€? Mein Server ist nämlich nur ein paar Stunden am Tag an, wenn ich da bin und ihn auch tatsächlich nutzen möchte, also kein 24/7 Szenario.

Immer wieder interessant zu sehen, wie unterschiedlich doch die Anforderungen an ein Backup-System sind!

Bis denne!