HardwareRaid oder ZFS

[Mindheat]

Hallo zusammen,

ich plane eine neues Raid zu bauen, nur binn ich mir nach dem ganzen googeln und lesen nicht mehr sicher welchen weg ich einschlagen soll.

ZFS-Z1:
- 8GB ECC Ram (ist ECC Ram nötig? reichen 8GB?)
- Supermicro x10slm
- Intel d-Core 3GHz
- 4-6 WD-Red 24/7 sata3 2TB

HardwareRaid5:
- LSI MegaRAID SAS 9240-4i
- Gigabite Ga-G31m sm2l (vorhanden)
- Intel D-Core 2.6GHz (vorhanden)
- 2GB DDR2 RAm (vorhanden) (erweitern auf 4GB)
- 4 WD-Red 24/7 sata3 2TB
- Intel Gbit Nic

wenn ich das richtig verstanden hab brauche ich bei ZFS wegen der Fehlerkorrektur im Ram ECC Riegel und auch 1GB pro 1TB HD (pro nutzbarem TB oder pro TB im ZFSpool), wie sieht es mit HW-Raid aus?

würde da die 2Gb bzw ggf. 4GB RAm reichen, da ja der Controller alles rechnet, CPU müsste ja locker reichen.

Auf der einen Seite ist mir ZFS aufgrund der ServerHW sympatisch, das HW-Raid mag dafür meine Geldbörse lieber.

Danke

Gruss Mindheat

[apollo567]

Bei ZFS sind auch 16 GB nicht schädlich !
ECC - RAM ist für ZFS nicht zwingend nötig, aber reduziert natürlich Fehlerquellen.
Aber als Kompromiss für den Geldbeutel , Maximalausbau des vorhandenen Boards mit Speicher und dann ZFS nutzen. Hardware Raid Controller würde ich nur als 'große SATA Karte' benutzen.
Sofern der Controller nicht gerade anderweitig günstig zu bekommen ist => ebay
Ich habe dort recht günstig einen Dell Perc H 310 (= LSi 9240-8i OEM) bekommen. Würde auf jeden Fall dann aber gleich einen Controller mit 8x SATA kaufen.
Der Controller sollte vorab als JBOD konfiguriert sein. Solche günstigen Boards haben meist keinen Option ROM - Support (auch INT 19 genannt). Dann kommst du nicht ins Controller Bios des RAID Controllers und Hardware Raid kann man dann nicht konfigurieren.
Bei dem SuperMicro Board: Wenn es recht neu ist, den Support der entsprechenden Bausteine (z.B: NIC) unter FreeBSD 9.1 prüfen, sonst läuft es nicht bzw. du musst auf neuere Software Versionen warten.

[Mindheat]

hi Apollo

also seh ich das richtig das ohne ECC Ram sich nicht mein ZFS zerdonner kann, wenn da Fehler ins Ram geschriebe werden?

das würd dann eine günstige neunschaffung mit normalem PC board und massig RAM befürworten, da das alte max 4GB unterstützt.

damit würd sich supermicro auch vermeiden lassen und somit das Problem mit dem NIC der nicht unterstützt wird.

Warum denn kein Raid-Kontroller im Business Bereich wird der ja auch verwendet bzw. bei Kontroller def, einfach neuer rein und gut bzw auch beim Systemwechsel.

Von den Perc`s hab ich auch gelesen, sollten eigentlich reichen, nur das die quasi kein eigenes Bios haben wusste ich wiederum nicht, wenns kein HW-Raid sein muss gibts ja genügend günstige Sata kontroller.

Da stellts sich dann noch die Frage onboard Sata oder PCi-e Kontroller, bzw wäre das ZFS später mit Kontroller und weiteren 4 Platten erweiterbar? (klar das Daten runter und aufs neue 8 Platten ZFS wieder aufgespielt werden müssen)

Grüässli

Mindheat

[apollo567]

hi Apollo

also seh ich das richtig das ohne ECC Ram sich nicht mein ZFS zerdonner kann, wenn da Fehler ins Ram geschriebe werden?

Aus meiner Sicht ist das richtig. Wenn du in meiner Signatur schaust, ich betreibe das schon seit Jahren so und habe noch keine Probleme bemerkt.

das würd dann eine günstige Neuanschaffung mit normalem PC board und massig RAM befürworten, da das alte max 4GB unterstützt.
damit würde sich supermicro auch vermeiden lassen und somit das Problem mit dem NIC der nicht unterstützt wird.

Das mit dem NIC war ein Beispiel, wo gerne Probleme auftauchen.

Warum denn kein Raid-Kontroller im Business Bereich wird der ja auch verwendet bzw. bei Kontroller def, einfach neuer rein und gut bzw auch beim Systemwechsel.
Von den Perc`s hab ich auch gelesen, sollten eigentlich reichen, nur das die quasi kein eigenes Bios haben wusste ich wiederum nicht, wenns kein HW-Raid sein muss gibts ja genügend günstige Sata kontroller.

Hardware Raid benötigt bei Controller- Ausfall wieder genau den gleichen Controller, um an die Daten zu kommen, nach ein paar Jahren evtl. ein Problem. Bei Software Raid (wie z.B. ZFS) ist die Hardware beliebiger austauschbar. Die Controller haben ein eigenes BIOS und dort wird das Hardware Raid konfiguriert, aber bei den meisten günstigen Boards kommst du nicht ran, weil deren Mainboard-Bios den dafür notwendigen Einsprungpunkt für das Controller Bios nicht unterstützt.

Es ist richtig, dass es viele günstige Controller mit 4x Sata gibt. Wenn man nicht mehr braucht, muss man nur den Treiber Support für den Chipsatz prüfen. Das war als ich mich das letzte Mal darüber informiert habe, für die meist verwendeten Marvel Chipsätze nicht der Fall unter FreeBSD. LSI und Adaptec Controller werden recht gut unterstützt. Darüber hinaus sind die professionelleren Hardware-Raidadapter die einzigsten Controller die 8 und mehr SATA Anschlüsse zur Verfügung stellen.

Da stellts sich dann noch die Frage onboard Sata oder PCi-e Kontroller, bzw wäre das ZFS später mit Kontroller und weiteren 4 Platten erweiterbar? (klar das Daten runter und aufs neue 8 Platten ZFS wieder aufgespielt werden müssen)

Ich verwende beides, jedoch immer als 4er array. Jedoch sollte es möglich sein, ein ZFS-Array kombiniert über onboard und Controller aufzuspannen. Darüber hinaus soll es möglich sein, ein ZFS -Array einfach zu erweitern ohne die Daten sichern und wieder aufspielen zu müssen. (Im Unterschied zu normalem RAID). Das habe ich selbst aber noch nicht ausprobiert.

[Mindheat]

Hi Apollo

Wenn du in meiner Signatur schaust, ich betreibe das schon seit Jahren so und habe noch keine Probleme bemerkt.

Dual Ram also 2x8GB Riegel oder 1x16GB sollten dem FreeBSD ja keine Rollespielen

Das mit dem NIC war ein Beispiel, wo gerne Probleme auftauchen.

aber eben genau der Fall bei dem x10 Board`s

Hardware Raid benötigt bei Controller- Ausfall wieder genau den gleichen Controller, um an die Daten zu kommen

LSI Raidcontroller können auch alte LSI Raids wiederherstellen, muss also nicht der genaue TYP sein reicht vom selben Hersteller bzw Nachfolgermodell.

aber ich weiss was du meinst gerade bei den Onboardern, bzw, meinen alten PromiseKontrollern ging das nicht...

Darüber hinaus soll es möglich sein, ein ZFS -Array einfach zu erweitern ohne die Daten sichern und wieder aufspielen zu müssen.

also grössere HD`s rein natürlich eine nach der anderen und jeweils rebuilt oder auch von z1 mit 4 Platten auf z1 mit 8 Platten erweiterbar (also quasi das Volumen ergänzen), wäre relevant für mich.

da ich ungern TB weise ungenutzten Speicherplatz habe, jedoch ggf mal erweitern möchte, würde ich mit ZFS Z1 und 4x2TB starten und könnte dann erweitern auf 8x2TB

das wäre dann das Optimale, mit 6TB Z1 HauptNas und das alte aufrüsten und als 3TB Z1 BackupNas beide wären dann erweiterbar

kann man von Nas zu Nas Backupen? am liebsten automatisiert?

Vielen Dank nochmal für die tolle Hilfe

Grüässli

[apollo567]

Dual Ram also 2x8GB Riegel oder 1x16GB sollten dem FreeBSD ja keine Rollespielen

vermutlich nicht, aber mit 2x8GB kannst du ausprobieren, ob 1x8GB schon reicht...

also grössere HD`s rein natürlich eine nach der anderen und jeweils rebuilt oder auch von z1 mit 4 Platten auf z1 mit 8 Platten erweiterbar (also quasi das Volumen ergänzen), wäre relevant für mich.
da ich ungern TB weise ungenutzten Speicherplatz habe, jedoch ggf mal erweitern möchte, würde ich mit ZFS Z1 und 4x2TB starten und könnte dann erweitern auf 8x2TB
das wäre dann das Optimale, mit 6TB Z1 HauptNas und das alte aufrüsten und als 3TB Z1 BackupNas beide wären dann erweiterbar
kann man von Nas zu Nas Backupen? am liebsten automatisiert?

Sukkzesiver Austausch von kleinen Platten gegen große Platten ist hier schon mehrfach beschrieben.
Das erweitern eines Pools von z.B. 4 auf mehr Platten ist möglich, habe ich irgendwo gelesen...... aber noch nie Probiert.
Automatisches spieglen/Backup von 2 NAS ist mit den neuesten N4F Versionen möglich. Nennt sich 'HAST Support' , jedoch kann sein, dass die beiden NAS identisch sein müssen. Habe ich weiter keine Erfahrung damit. Musst ggf. im Forum suchen oder auch ausprobieren...... und dann die Erfahrungen posten.....

[Princo]

Etwas Senf von mir dazu

Zur Controller-/Speicherfrage: Die Grundregel von 1GB RAM/1TB Festplatte ändert sich auch dann nicht, wenn ein Raid-Controller eingesetzt wird. ZFS betrachtet den Raid-Verbund als eine große Festplatte, berechnet die Prüfsummen weiterhin (es sei denn, man schaltet das ab. aber wer ist schon so irre?), kann aber selbst keine Performance-Optimierungen der Datenströme vornehmen (was es normalerweise tut). Daher würde ich keinen Raid-Controller einsetzen wollen. Ein Hardware-Raid-Verbund kann beim Festplattentausch auch echte Probleme bereiten.

Zur Festplattenfrage: ein einmal eingerichteter RaidZ1-Verbund kann nicht um weitere Festplatten erweitert werden. Mehr Kapazität kann z.B. durch den sukzessiven Austausch gegen größere Festplatten erreicht werden, aber das wurde bereits erwähnt.

Da sich 2TB und 3TB Festplatten preislich nur wenig unterscheiden, ist die Verwendung von 3TB Platten derzeit wirtschaftlicher.

Es ist immer etwas schwierig, für das Gesamtkonzept eine Empfehlung abzugeben, wenn man den genauen Einsatzzweck nichts weiß. Daher kann ich nur meine eigenen Erfahrungen anbringen, und wenn ich die auf deine bestehende Hardware und deinen Wunsch nach Skalierbarkeit übertrage, dann kommt das Folgende dabei raus:

Das vorhandene Gigabyte-Board würde ich nicht mit einem RAID-Controller erweitern, sondern mit "kleinen" und billigen 1-2TB Festplatten als reines Backup-System für meine PCs verwenden. Grund dafür ist der doch recht kleine RAM. Hier lohnt sich imho eine weitere Investition nicht mehr. Nicht falsch verstehen; mit solch einem Rechner habe ich mit N4F auch angefangen, aber der war mir dann irgendwann zu laut und zu stromfressend. Als reiner Backup-Rechner ist der aber immer noch prima.

Nun zum Kernthema: Wenn man das ordentlich angeht, dann baut man sich ZWEI ähnliche NAS-Systeme auf, wobei das zweite NAS als Backup des ersten NAS dient. Mit dem zweiten NAS ist hier eigentlich nicht das vorhandene Gigabyte-Board gemeint, weil das später nicht mehr mithalten kann, aber für den Anfang kann man es durchaus dafür verwenden.

Wenn man 2 NAS-Systeme hat, dann kann man sehr viel einfacher den Speicherplatz an den tatsächlichen Bedarf anpassen.
Braucht man z.B. am Anfang 3TB-Platz, dann nimmt man 2x3TB-Festplatten im Haupt-NAS als Mirror.
Braucht man später mehr Platz, dann macht man 3x3TB als RaidZ1. Die Daten kopiert man dabei im Ping-Pong Verfahren zwischen Haupt- und Backup-NAS hin und her. Ist nicht so kompliziert, wie sich das anhört, und geht auch relativ fix.
Der Vorteil bei der Methode ist, daß man immer nur so viele Platten im Einsatz hat, wie man tatsächlich braucht. Man muß nicht gleich in den Gesamtausbau investieren, und profitiert dabei auch von fallenden Festplattenpreisen.

Außerdem ist man dann auch bei den Mainboards flexibler. Wozu ein 150€ Board mit 8 SATA-Ports kaufen, wenn es auch erst mal ein 50€ Board mit 4 Ports tut?

Zur Backup-Thematik: Der apollo567 hat HAST als automatisches Backup ins Spiel gebracht. Damit gehe ich nicht ganz konform, denn HAST ist eine Hochverfügbarkeitslösung, bei der 2 NAS-Systeme permament am Laufen sind. Fällt eines aus, übernimmt sofort das andere. Das hat nichts mit Backup im klassischen Sinn zu tun.
Für das Backup von ZFS-Dateisystemen gibt es die zfs send/receive Kommandos. Damit lassen sich sehr brauchbare Backup-Szenarien realisieren.
Persönlich halte ich von vollautomatisch ablaufenden Backups recht wenig.
Ich tippe tatsächlich einmal pro Woche händisch die drei dazu nötigen Befehle in die Kommandozeile ein, obwohl ich das automatisieren könnte.
Der Grund dafür ist, daß ich mir dabei immer Gedanken machen muß, ob meine Hauptdaten soweit in Ordnung sind, daß ich sie übertragen kann.
Außerdem weiß ich dadurch auch, wie die Befehle für das Restore sind, weil sich dabei nur eine einzige Sache ändert
Das ist eine Grundregel, mit der ich seit Jahrzehnten gut fahre

Grüße
Princo

[apollo567]

Etwas Senf von mir dazu

guter Senf

[Mindheat]

ja toller Senf, Danke.

im Moment habe ich ja ein 4x1TB SW-Raid5 Verbund in einem FN 7 System. Hier wird der Platz nicht mehr lange reichen.

Davon sind ca 500GB-1TB sensible Daten die ich redundant sichern möchte, die gut mit deiner händischen Methode zu backupen sind.

Würde ja dann auch nicht die identischen NAS vorraussetzen.

Momentan überlege ich so oder so mir einen neuen ESX Server zu holen, da es nicht weiter praktikabel ist einen ESX-Server, einen Audioserver und nun noch ein 2tes Nas zu betreiben.

Da wäre dann der Gedanke in die Richtung ESXi 5 (2x500GB Mirror als Hostplatte) mit Hauptnas N4F 9 virtual ( 4x2 oder eben 3TB Platten hat als ZFS Z1 / 16GB ECC Ram), virtual Audioserver, ggf auch das alte 4x1TB NAS als Backup-Nas mit N4F 9 virtual.

dann kann ich 3TB vom Hauptnas redundant aufs Backupnas speichern und die restlichen 3-6Tb vom Hauptnas für Mediafiles nutzen.

oder soll ich das Backupnas doch als eigene HW aufgebaut lassen und nur das Hauptnas virtualisieren.

Danke für eure Hilfe und den guten Senf

Grüsse Mindheat

[Princo]

NAS4Free sollte grundsätzlich nicht virtualisiert betrieben werden. Es gibt einen ausführlichen englischen Artikel dazu: http://forums.freenas.org/threads/pleas ... ine.12484/ (geht zwar um FreeNAS, aber die Aussage trifft auch auf NAS4Free zu)

Den Audioserver kannst du aber z.B. mittels Plex in einem Jail unter NAS4Free realisieren.

Grüße
Princo

[Mindheat]

ok danke lese ich mir durch

naja das ist ein richtiger Audioserver der selbst die Audiozone in unserem Haus steuert also nicht upnp oder dlna server

mist wird der Stromverbrauch doch nicht reduziert

Gruss

[Princo]

Was ist das denn für ein Audioserver?

[Mindheat]

Casatunes, ist eine PCIx Karte mit 6 Audioports und AppleAirplay support, es braucht IIS von Mircosoft.

hmm langer Thread über ESXi & FN, nur hab ich das Gefühl das man hier haupsächlich Home-Hardware eingesetzt hat bzw falsche Konfigs verwendet hat.

der ESXi Server wäre professionelle HP Hardware, mit Raidkontroller den man dann als reiner Sata-Kontroller durchreichen könnte..

das man Ram & CPU bei so einem System nicht variabel konfiguriert ist eigenlich klar ....


so ganz sicher binn ich mir noch nicht...

[apollo567]

Mindheat, im Moment fängst du dabei aber an dich in etwas anderen finanziellen Regionen und einem anderen Leistungsumfang zu bewegen, wie ich anfangs antizipiert habe......

[Mindheat]

Hi Apollo,

ganz klar richtig

aber ich machs lieber richtig, als etwas wo ich mich danach ewig ärger

zudem sind ältere Storrage Server preislich nicht in höheren Gefügen, als eine Neuanschaffung mit Servertauglichen HW das mit dem ECC Ram lese ich in jedem 2ten Post über ZFS, also ein MustHave.

Weiter hab ich bereits existierende Server die alle sammt Standbyverluste haben, warum also nicht bei schon allfälligen Neuanschaffungen einen Storage mit ESXi und alles virtuell.

Ob das nun ein ausgedienter Storrage ist rein für N4F und der ESX später neu angeschafft wird bzw. ein neuer ESX mit N4F virtual ist nun noch die Frage.
HW-Raid ist in dem Storrage eh enthalten. Da stellt sich nur, in einer virtuellen Umgebung, die Frage ob HW-Raid und dann einen einzigen ZFS Pool in das virtuelle N4F integrieren, oder den Kontroller als dummen Sata Kontroller durchreichen.
Dann kann man einen ZFS Z1-Pool mit mehreren HDD`s machen.

Mittlerweilen ist es sicherlich Offtopic, da es wohl ZFS wird jedoch nicht klar ob virtuell oder pyhsisches System bzw welche HW.

Nimms mir nicht krumm, aber ob ich nun etwas mehr ausgebe was sich längerfristig rechnet, finde ich persönlich den besseren Weg.

Und Strom ist ja auch nicht gratis

Grüsse Mindheat

[apollo567]

Wenn es so ist und du etwas Zeit mitbringst bis die Unterstützung dafür implementiert ist:
http://geizhals.de/asrock-c2750d4i-pc3l ... 40153.html

[Mindheat]

lecker, was wird unterstützt??

dachte eigentlich eher an HP-Proliant DL160/16GB DDR3 ECC/4x3.5" LFF HotSwap für den reinen Storrage mit N4F

den ESXi schiebe ich noch ein wenig auf, da ich da so oder so erstmal die Pass-Trough Geschichte mit meiner Audiokarte testen muss

[apollo567]

lecker, was wird unterstützt??

Das Board ist recht neu, man müsste mal schauen, ob die Chipsätze des Boards schon vollständig unter FreeBSD 9.1 bzw 9.2 unterstützt werden.

[lux]

ZFS ist einer VM ist eine wackelige angelegeheit!!

nimm lieber "richtige/echte/physische" Hardware - bevor dir dein Pool in einer VM verreckt...

[apollo567]

Für den Serverbau - schau mal in die aktuelle CT (02/2014), da gibt es konfigurierte Bauvorschläge. Explizit wird da auch auf FreeNAS verwiesen, einer zu N4F verwandten Software....

[Mindheat]

Danke Apollo,

hab mir doch einen ProliantDL160 Server geholt denn die Pizzaschachtel passt prima ins Rack und auch HotSwap bzw. ColdSwap ist von vorne möglich

1x QC 2Ghz Xeon
18GB DDR3 ECC
4x2TB WD Red 3.5"

Preislich ist es im Rahmen dein vorgeschlagenes Asrock kostet gleich viel wie der Dl160 dazu noch die 4 Platten und fertig

Für den ESXi Server, werde ich wieder einmal zu den AMD`s schweifen, da ist bei den schnellen 2x QC mit massig Ram einfach das Preisleitungsverhältniss besser

2x2HE und alles passt anstelle des Audioservers ins Rack, das grosse Plus dabei ist massig mehr Power bei gleichem oder weniger Stromverbrauch

Danke nochmal für die nette Hilfe und Beratung.

Eine Frage hab ich noch, da ich in den letzten Tagen viel über das Thema ZFS lese und ungern experimentieren möchte mit dem neuen System. Habt ihr hier ein 1x1 über ZFS, quasi ein Sammelthread mit allen nötigen/möglichen Einstellungen?



Lieber Gruss

Mind

[lux]

experimentieren/rumprobieren is auf jeden Fall angebracht - grade bei ZFS...!

wegen Sammelthread -> gibt im Netz tausende anleitungen bzgl. ZFS - die beziehn sich zwar auf die cmd-line

aber die brauchste dann sowieso wenns hart auf hart kommt... (z.b. ersetzen einer HDD im RaidZ verbund bei defekt etc.)

und wenn du die zfs cmd-line bissle durchschaut hast - geht die config übers WebIf doppelt einfach!

[Mindheat]

Hi Lux

naja experimentrieren/rumprobieren ist vieleicht etwas falsch ausgedrückt

Meinte damit z.b. Grundlegende Sachen wie Ramanpassung, 4k Sektorgrösse, und und und

solange die experimente bezüglich ZFS Array nicht in die Hose gehen ist das kein Thema.

na dann aloa CMD-Line

Gruss

[lux]

ah okay... bei RAM, 4k usw brauchst wirklich nicht experimentieren

und nicht falsch vestehen: das WebIf deckt eigtl. alles ab bzgl. erstellung, ersetzen, wartung etc ZFS
und nicht nur dafür sondern eigtl für alle Dienste...

ABER manchmal zickt das System halt rum - und DANN ist die cmd-line dein Feund

ich meine mit rumprobieren so Sachen wie:

wie verhält sich das System wenn eine platte fehlt beim booten oder während betrieb abgeklemmt wird etc.?
was muss ich machen wenn ich eine andere platte ins dann defekte System einhänge?
kann ich den pool irgendwie zum abrauchen bringen indem ich die platten später wild umklemme am board/controller?
und und und...

einfach sehen was geht - später hast du TB weise Daten drauf - dann wirds immer schweisstreibend wenn grössere probs auftreten

selbst wenn du dich vorher ein wenig eingearbeitet hast

[Mindheat]

Hi Lux

ich meine mit rumprobieren so Sachen wie......

dafür hat Mann ja einen ESX und Frau einen Schminkkoffer

Spass beiseite, ich weiss was du damit meinst. Werde ich mit dem alten System machen, da dies nachher auch umgestellt wird von FN7 auf N4F9 mit ZFS

na CMDLine ist mir eh sympatisch, Putty gehört zu den täglichen Werkzeugen und mit MDC oder Code kann man auch schön Daten von Raid auf ne ext. USB Platte schieben

Grüsse

[Mindheat]

Hi Zusammen

hier gehts mit dem neuen NAS weiter viewtopic.php?f=29&t=6333.

Der HP DL160 G6 wurde nicht genommen da er im idle schon 96W frisst.

Dafür gibts nun einen schönen sparsahmen und kurzen (Gehäuselänge) Eigenbau.

Gruss Mindheat