Pool splitten

[Kentsfield79]

Hallo mal an alle.

Ich möchte gerne meinen Pool bestehen aus zwei Raidz1 splitten, so das dann zwei einzelne Pools vorhanden sind.
Natürlich ohne Datenverlust..
Die Lösungen die ich bis jetzt gefunden habe, gelten nur für mirrors.

Um das mal zu verdeutlichen:



raidz1-0 (gelb markiert) soll erhalten bleiben und raidz1-1 soll ein neuer Pool werden.
ZFS müsste nun die Daten auf raidz1-0 schaufeln und raidz1-1 müsste leer sein.

raidz1-0 ist groß genug, um alle Daten aufzunehmen.

[crowi]

Das geht nicht, die Daten befinden sich in einem gemeinsamen POOL den Du aus zwei Vdevs erstellt hast.

[Kentsfield79]

Also Daten auf einer zweiten Maschine zwischenspeichern, und dann Pools löschen und neu anlegen.

Ätzend...

[Joerg]

Ich mag die ganze zfs geschichte aus dem grund nicht, ohne ecc ram super empfindlich. Raid z1 gibt ja ein Raid 5 wieder, demnach kannst du nur den kompletten pool rüberziehen, und dann einen neuen erstellen.
Was mir immer wieder aufstößt, das zfs weder erweiterbar ist, noch kann man ihn verkleinern. Sehr unflexibel also.
Sicher sagen jetzt einige, es ist ausfallsicher ect. pp
Ich allerdings halte meine platten auf ufs, wenn ich etwas brauch, schaltet genau die platte mit den daten ein. "Thema Stromverbrauch"
Backups liegen alle auf externen usb platten.
Ich für meinen teil halte zfs für ungeeignet für den hausgebrauch, allerdings andere Raidsysteme auch

[Kentsfield79]

Also erweiterbar ist ZFS auf jeden Fall.
Ich habe am Anfang ein raidz1 erstellt und dann nach und nach eine Platte hinzugefügt.
Bis ich dann bei dem raidz1-0 war wie es jetzt zu sehen ist.
Dummerweise kam ich dann auf die Idee, ein zweites Raidz1 (2.5Zoll Platten) hinzuzufügen.

Die Performance ist extrem zurück gegangen.
Deswegen habe ich erst mal eine SSD als ZIL eingesetzt. Leider war das nicht so berauschend.

Da ich alle Platten verschlüsselt habe, war von Anfang an klar, das ich eine Xeon CPU nutzen will.
ECC-RAM ist nur der nächste logische Schnitt.

[Joerg]

Evt jetzt erweiterbar^^, zu meiner zeit war zfs recht zickich.
Def. ist bei zfs ecc Ram einzusetzen, Thema "kippende bits", ist irgendetwas mit deinem "normalem" Ram nicht ok, kann es durchaus passieren das du alle Daten verlierst. Genau das war auch ein nogo für mich.
zum anderen, 1gb ram per 1tb plattenspeicher netto + 1gb reserve.
Und was mir bissl stinkt, möcht ich einen film schauen, laufen alle platten im pool an
PS: ich mag ZFS net, und ein raid kommt mir net inne Tüte

[Kentsfield79]

ECC-RAM ist ja jetzt auch kein Beinbruch.
USB-Platten ohne ZFS und WD Red Platten kämen bei mir nicht in die Tüte.

Aber jeder wie er will!

Gut, hab noch ein paar Platten rausgekramt. Die teste ich jetzt mal durch und dann
baue ich ne kleine Box zum zwischenlagern.

Sind zur Zeit nur 8TB in großen Dateien, Da sollte das nicht zu lange dauern.

Macht Ihr sowas mit rsync oder mit zfs send?

[crowi]

Macht Ihr sowas mit rsync oder mit zfs send?

Ich nehme in der Regel rsync, Du kannst aber auch ZFS send benutzen,da musst Du nur aufpassen um nicht aus versehen einen falschen Snapshot löschen.

@Joerg: ZFS ist äusserst flexibel und sicher, Du hast Dich offenbar nicht tief genug eingearbeitet.
Zum Thema RAID kannst Du es halten wie Du möchtest, aber wenn Dir die Sicherheit nicht die paar watt mehr Wert ist, bleibe bei den Einzelplatten.
Backup auf USB ist fragwürdig. Ich weiss nicht wie lange Du das schon machst, aber USB Platten sind alles andere als sicher.

[Kentsfield79]

Backup auf USB ist fragwürdig. Ich weiss nicht wie lange Du das schon machst, aber USB Platten sind alles andere als sicher.

Hatte ich mir auch gerade gedacht! Wollte ich aber nicht ansprechen, da dies wieder unendliche Diskussionen anstößt.

[Joerg]

Puh, ihr bringt mich echt zum grübeln über eine backuplösung in Form eines 2. Baugleichen nas, was ich z.b. nur zum Abgleich hochfahren. Allerdings muß ich wohl auf zfs mangels unpassender Hardware verzichten, was aber einen ufs RAID 5 nicht ausschließt. Mal schlaulesen die Tage..

[crowi]

Ein HP N54L kostet momentan 199€, bei ebay ist er sogar manchmal noch günstiger zu haben. Er hat 4 Einschübe, ECC RAM, somit ZFS tauglich, ist äußerst flexibel und erweiterbar. Optimal für NAS4free und SOHO Einsatz.

[Joerg]

Die Hardware hab ich soweit ja schon, das 2. system allerdings nur mit einer 4tb und einer 2tb wd red. Zum rumtüfteln und ausprobieren.

Eine Verständniss frage zum Raid 5, die wd red haben ja einen 10^14 Rate für unkorrigierbare Lesefehler, was 12tb entspricht. Angenommen mein Raid 5 besteht nun aus 4 x 4tb platten, eine platte stirbt und ich tausche die aus, der pool regeneriert sich (nenn ich einfach mal so ). So sind doch Lesefehler vorprogramiert, ist der pool dann unbrauchbar inkl. verlust aller daten?

Für meine Backups hab ich derzeit eine usb3 docking Station, dort kann ich meine derzeit 3 wd green 4tb reinstecken, und nach dem abgleich wieder im schrank verstauen.

[Kentsfield79]

Wenn du ein normales Software oder HW Raid benutzt sind dort Read/Write Fehler möglich.
Denn beim Resilvering wird stupide ein Bit nach dem anderen auf der neuen Platte aufgebaut.
Den, das Dateisystem weiß nichts von dem Raid. Für das FS ist dies einfach ein Volumen und Ende.
Der HW Controller weiß auch nichts vom FS und somit kann er nur die Platte spiegeln bzw die Parity neu aufbauen.
Und dabei ist es egal wie voll die Platten sind. Es dauert genau so lange.

Bei ZFS ist das FS für das SW Raid zuständig und weiß also auch von den mehreren Platten, außerdem weiß es auch
wie voll die Platten sind und baut nur die belegten Daten auf.

Was die Lesefehler angeht, kann ZFS (nach meinem Verständnis) diese Fehler erkennen, da es im Gegensatz zu allen
anderen FS mit Prüfsummen arbeitet. Dadurch können diese Fehler erkannt und auch behoben werden.

Ich empfehle Dir mal ein paar nette Videos zu ZFS anzuschauen, denn dort erkennt man schnell die unglaublich vielen
Vorteile.

https://www.youtube.com/watch?v=2iCLaFaMzJw

https://www.youtube.com/watch?v=7LdYZWZelOo

https://www.youtube.com/watch?v=LJkf-1sFkoA

Viel Spaß damit!

[crowi]

So sind doch Lesefehler vorprogramiert, ist der pool dann unbrauchbar inkl. verlust aller daten?

Kommt darauf an wo der Fehler stattfindet, bei einer Datei kann diese unbrauchbar sein, in der Partitionstabelle ist es schwerwiegend.
Das ist auch ein Grund dafür, dass es nicht schadet ein Backup anzulegen

[Joerg]

Diese 3 Videos gehören def. hier in die Grundlagen^^, also in Crowi's stickie
Was mir fehlt, ich hab mir alle komplett angeschaut, ist warum ich Ecc ram verwenden sollte. Kurz im ersten bericht erwähnt, schade das wars
aber zfs, ich bin soweit überzeugt. Erweiterbarkeit, sofern n4f auf der freebsf ist, platte einstecken, kapazität verfügbar. Klar platten alle die selbe kapazität.
Ich als stromsparer würde mir eher 2 z1 erstellen mit je 4 platten, als ein raid z1 mit 8 platten^^

[crowi]

Was mir fehlt, ich hab mir alle komplett angeschaut, ist warum ich Ecc ram verwenden sollte.

Dann lies Dir mal das hier durch:
https://forums.freenas.org/index.php?th ... zfs.15449/

[Joerg]

Englisch und Anfang 50, ich kann altdeutsche, platt. Der Google translater über setzt leider auch mehr schlecht als recht. Mit den aus eurer Sicht " kleinen Problemen" kämpfe ich auch noch rum

[crowi]

nun da steht zusammengefasst:

ZFS ohne ECC = keine gute Idee

[Joerg]

okok^^, da ich erstmal nicht auf reine serverhardware gehen werde, ist für mich damit zfs erledigt, auch wenn es sich im Video super anhörte.
Soweit bin ich derzeit sowieso noch nicht, minidlna die eine baustelle, itunesserver läuft nun auf 9.3, wenn das alles läuft, Festplatten ordern. Aber über einen 12tb Pool mit Ufs werd ich nicht gehen, das war der grund für das Mainboard. 8 sata, sprich für die zukunft kann ich 2x 4x4 tb im raid 5 bauen, so war mein plan. Wären netto 24tb, was denk ich gut 5 jahre Langen müßte.. hoffe ich.

[Princo]

Hi Joerg,

Ich würde mir das an deiner Stelle nochmal genauer überlegen. Die Notwendigkeit von ECC-RAM bei ZFS hat ja bestimmte Gründe.
Der Hauptgrund dabei ist eine bestimmte Funktion (scrubbing), welche dafür sorgt, daß du auch mit "gammligen" Festplatten (also Drives, welche punktuell die Magnetisierung verlieren) deine Daten nicht verlierst. Das ist etwas anderes als der Totalausfall einer Platte, und sehr viel heimtückischer.

Dieses Feature hast du beim Einsatz von UFS nicht.

Du kannst dir ja gerne mal anschauen, welche RAM Art z.B. bei Synology eingesetzt wird, wenn es um größere Plattenkapazitäten geht: https://www.synology.com/en-us/products ... RAM_Module

Ja, das ist tatsächlich ECC-RAM, und dafür haben die auch triftige Gründe.

Bei diesen Größenordnungen ist nämlich die statistische Wahrscheinlichkeit, daß es durch Bitkipper im RAM zu schwerwiegenden Problemen kommt, ziemlich hoch, und das gilt überraschenderweise für sämtliche Systeme.

Wenn du dich also jetzt für den Einsatz von UFS entscheidest, weil du glaubst, daß du dabei um "teuren" ECC-RAM herumkommst, aber gleichzeitig ein NAS mit sehr hoher Kapazität aufbauen willst, dann ist das eine Milchmädchenrechnung.

Mein Tipp daher: Bau dir ein System aus Haupt- und Backup-NAS auf ECC-RAM-Basis auf, und setze ZFS als Dateisystem ein. Die Festplattenkapazität solltest du nach deinem aktuellen Bedarf dimensionieren. Sollte diese später erweitert werden müssen, ist es einfacher, wenn du dafür zwei Systeme zum Umkopieren zur Verfügung hast. Damit profitierst du vom späteren Preisverfall bei Festplatten, und kannst auch einfacher umsteigen. Und ein richtiges Backup hast du dadurch auch noch.

Grüße
Princo

[Joerg]

Aktuell benötige ich ca 8tb, zu dumm ist allerdings, Hardware wurde im Oktober gekauft. Zeitmangel, zu wenig gelesen. Heute würde ich 2 Dell t20 kaufen

[Princo]

Zum Dell T20 hatte ich vor einem halben Jahr etwas geschreiben: viewtopic.php?f=29&t=7063
Ich finde den nicht so prickelnd.
Der HP Proliant N54L finde ich besser, aber den gibt es wohl nur noch als Restbestand. Der Nachfolger finde ich nicht für besonders gelungen, aber immer noch besser als den Dell T20.
Nimm lieber einen HP Proliant.
Auf die aktuellen Preise habe ich jetzt nicht geschaut, aber mit einem HP fährst du besser, auch wenn er 100€ mehr kosten sollte.
Grüße
Princo

[crowi]

prich für die zukunft kann ich 2x 4x4 tb im raid 5 bauen

RAID 5, bzw alle RAID Systeme haben noch einen weiteren Nachteil: vor Allem bei hohen Festplattenkapazitäten dauert die Initialisierung ewig, da die Platten Bit für Bit über die ganze Größe 'formatiert`werden. Das gilt auch für die Datenwiederherstellung wenn mal eine Platte ausfällt. Das kann Tage dauern. Bei 5 x 3 TB Platten sind das schon über 24 Stunden. Das stresst die Platten vor Allem wenn sie schon älter sind und eine Platte ersetzt werden muss gibt es eine gewisse Wahrscheinlichkeit, dass eine weitere Platte ausfällt und die Daten futsch sind.

Bei ZFS dauert die Initialisierung ein paar Sekunden und es werden bei einem Ausfall nur die Daten wieder hergestellt, die auf der entsprechenden Platte waren, das geht ziemlich fix.

[Joerg]

Mal schauen was die zukunft bringt, evt schraub ich nochmal was neues, und die 2 rechner wandern in einen 19 zoll Rack, und damit auch in neue Harware. Aber zuerst muß ich mich noch weiter einarbeiten, und einiges erst verstehen lernen. Beispiel Minidlna..
Erst dann werd ich schauen, wie ich alles in den Keller verfrachte und verpacke.

[Kentsfield79]

Mini dlna funktioniert bei mir recht gut. Besser als fuppes. Abei ich brauche es auch nur für FLAC und MP3.

[Joerg]

So ihr Lieben mich habt ihr schon soweit, da ich eh einen 48 port switch brauche in Zukunft, hier mein Hardware Vorschlag:
1 x Supermicro 3HE Chassis 833T-653B
1 x Intel Xeon E5-2603V2
1 x 8 Port Hot Swap Backplane
1 x Supermicro Server Board X10SLM-F
1 x 16GB (2 x 8GB ECC Registered DDR3 )
1 x 2 x GBit LAN (on Board)
1 x Full Remote Management (KVM over LAN, IPMI 2.0)

Wenn mein Feldwebel nun noch ihre dusselichen Filme schauen kann, Blanco Scheck zum basteln.
zum einen soll erstmal 1 z1 Raid mit 4 x 4 tb platten laufen, da etwas platz ist, später evt nochmal das selbe zum nachrüsten. Sprich 2 getrennte 12tb große z1 Raids.
Backup über einen der vorhandenen kisten, ohne raid, sporadisch an, evt 1x die woche.
Meinungen, Ergänzungen?

[crowi]

Hallo Jörg,

den Xeon benötigst Du nicht unbedingt für ein NAS, hier reicht auch ein i3.
Wenn Du Dein RAIDZ Setup 100% richtig machen willst, nimm lieber 5 Platten dafür,
oder bau gleich ein RAIDZ2 mit 6 Platten http://www.zdnet.com/article/why-raid-5 ... g-in-2009/

Die optimale Plattenanzahl ist:
RAID-Z1 = 2^n + 1 Disks. d.h. 3,5 oder 9 Platten
RAIDZ2 4, 6, oder 10 Platten
http://www.solarisinternals.com/wiki/in ... mendations

[Joerg]

Alles klar also dann 5 platten. Dann muß ich mal schauen nach dem Gehäuse, ich wollte mir ja ein zweites z1 in reserve halten.
Bei dem angebot wäre der Xeon dabei, die Jungs bauen grad bei uns in der Firma die Anlage um. Für den Kampfpreis von knapp 820€ würden mir nun noch 2 plattenplätze fehlen.

[Kentsfield79]

Also für den Preis ist das echt eine Kampfansage. Da würde ich auch zuschlagen. Ok, die TDP ist etwas hoch.
Falls du noch AES Verschlüssung nutzen möchtest, hättest du auf jeden Fall genug Power dafür.

[Joerg]

bis auf das gehäuse, hab ich heute in der nachtschicht ein nettes Packet auf den tisch bekommen

Default bios, Intel Xeon E5-2603V2, 1x wd red 4tb, n4f 9.2 inkl. Stromspar Adaptiv 34W
Ist doch ganz ok , ich hätte mit mind. 50W gerechnet. Die tdp scheint also unsinn zu sein, nichtmal als richtwert nutzbar.
Notgedrungen schraub ich erstmal alles in das alte Fracal Gehäuse rein, bis ich was bezahlbares mit mind. 10bay finde, 600-800€ werde ich bestimmt nicht für ein gehäuse ausgeben..