Einrichtung nach der Einrichtung

[franky64]

Ich habe mich jetzt einige STd durch n4f geklickt, ich habe die Liveversion genommen (von CD gebootet) und gesagt auf usb stick
installieren, was soweit auch geklappt hat, ZFS eingerichtet, ein Lagg0 und LACP mit einem Switch.

Ich will gerne einen richtig perfomanten shared Storage Server für mehrere Esxi Hosts aufbauen, gewünscht ist iscsi und nfs.
Nutzen möchte ich soweit möglich "ältere noch vorhandene Hardware"

meine erste Frage...nach xmal booten ohne Probleme fährt N4F plötzlich in der default config hoch,
ich kann das Lan neu confen und komme wieder aufs Webinterface, nach dem Speichern und reboot
trotzdem wieder default, also wieder mit CD gebootet und gesagt als embedded auf USB installieren.

Trotzdem nach reboot wieder als default, ich hab dann den stick von der Weboberfläche formatiert
und anschliessend wieder von CD gebootet und als embedded installiert -> gleiches Problem der Server fährt immer in der default config
hoch (live version) . Was mache ich falsch? Ich muss dabei sagen der Server steht in einem RZ und installieren geht nur über einen RSA Adapter, ich bin also nicht vor Ort.
Das ist immer etwas langsam (Java Applet)
Muss ich vor dem installieren den Stick ziehen und erst stecken wenn installiert werden soll?

Was ich vorher schon gestestet hatte: (Hardware ist ein IBM 3650 7979 mit 32Gbit Ecc Ram, CPU 2* 2,0 Ghz Quadcore) also 8 Kerne, Server hat 6 * 3,5 zoll HD Einschübe

Ich habe also Nas4free als NFS auf einem esxi bereitgestellt, dann habe ich erste VM´s von einem ISCSI San verschoben auf N4F.
Die Geschwindigkeit schwankte zwischen 8 und 50Mbit/s. wo bei ich jetzt noch nicht weiss wo der Flaschenhalt ist.
Zumal auch das Lacp, obwohl als aktiv angezeigt nicht wirklich genutzt wird. Es ist nur auf einem Port richtig Traffic, auf dem anderen
nur marginal. Woran das liegt ist auch noch zu klären. Ich hatte auch LACP noch nie vorher gestestet, weiss also nicht wie sich das verhält wenn mehrere Datenströme
gleichzeitig getriggert werden.

Die Platten die jetzt im Server sind wären: IBM 3G Sata Platten (4*1T + 2 mal 500GB). Der Controller ist ein Adaptec Serveraid 8k, das ist ein Sata1 Controller.

Für Tests war dieses Setup ja ok, wobei die Ergebnisse für mich entäuschend sind. Ich wollte es gerne schaffen 80/90 Mbit also Gigabit
auszunutzen, dafür hatte ich mir ja extra per Lacp 2 mal Gigabit gebündelt um ggfs mehrere Zugriffe gleichzeitig abzufackeln.

Ich habe mir jetzt einen IBM m1015 Sas/sata Controller bestellt, dieser soll gut laufen in diesem Server und 4TB Sata3 können.
Mann kann die Platten im Controller als array zusammenfügen, also eine Art Jbod und bekommt das komplette Array in N4F durchgereicht, kann dann da Pools von bilden.

Jetzt ist noch die Frage was würdet Ihr mir als Platten raten, ich hatte 4 * 4TB WD Red ausgesucht, gibt es etwas was dagegen spricht?
Ich bin mir noch nicht sicher ob ich mehr als 4 Platten mit dem Server/Controller Setup ansprechen kann, wie kriege ich das mit diesem Setup hin
das ich bisschen Sicherheit reinbekomme? Also ich dachte an Software Raid5, entweder eine 5te Platte als Spare, die 4 Platten als Raid5.

ich sage direkt dabei die Raidlevel gehören nicht wirklich zu meinen preferred Skills.....

[crowi]

Ein paar Tips kann ich Dir geben, bei den speziellen Fragen gibt es hier andere gute Leute

4 * 4TB WD Red ausgesucht, gibt es etwas was dagegen spricht?

Nein, die sind eigentlich ganz gut, sind zwar mehr für eine SOHO Umgebung und keine echten Enterprise Platten.
Du musst nur aufpassen, die neueren haben das alte head parking Problem, wenn Dir der load cycle count durch die Decke geht, musst Du die Platten patchen.

Also ich dachte an Software Raid5, entweder eine 5te Platte als Spare, die 4 Platten als Raid5.

Für Deinen Server (32GB ECC) wäre ein ZFS Pool genau das richtige anstelle von Software RAID.
Hier wäre ein RAIDZ2 Pool optimal, oder ein RAIDZ1 mit einer Platte als Spare.

Trotzdem nach reboot wieder als default

Kann es sein, dass er 'versehentlich' von der CD bootet, statt von der embedded system auf dem Stick?
Auf jeden Fall würde ich erstmal das System einrichten und die Config sichern unter System | Backup/Restore,
dann ist nicht jedesmal die einstellung weg, wenn er in die Live Version geht.

Übertragungsgeschwindigkeit
Dein Server sollte die 100MB/s locker schaffen, welcher NIC ist verbaut?
hier ist eine Anleitung um den Flaschehals zu finden.
http://n4f.siftusystems.com/index.php/2 ... /comments/

Gruß,
Crowi

[franky64]

Nein, die sind eigentlich ganz gut, sind zwar mehr für eine SOHO Umgebung und keine echten Enterprise Platten.
Du musst nur aufpassen, die neueren haben das alte head parking Problem, wenn Dir der load cycle count durch die Decke geht, musst Du die Platten patchen.

ok, ich denke da muss ich dann mal zu googeln.

Für Deinen Server (32GB ECC) wäre ein ZFS Pool genau das richtige anstelle von Software RAID.
Hier wäre ein RAIDZ2 Pool optimal, oder ein RAIDZ1 mit einer Platte als Spare.

wenn ich die Platten einfach einbaue und im Raidcontroller kein Array confe werden die Platten im Nas4free nicht angezeigt bzw gefunden.
Wenn ich einfach ein Array einrichte und alle Platten hinzufüge kriege ich im Nas4free eine Platte angezeigt, also faktisch ein jbod.
Wenn ich zfs richtig verstanden habe brauche ich aber für ZFS Raidzxy mehrere Platten!? (mind3) wie soll das dann gehen?

Trotzdem nach reboot wieder als default

Kann es sein, dass er 'versehentlich' von der CD bootet, statt von der embedded system auf dem Stick?

Ein Kollege der im RZ war, hat das Cdrom "zugemacht" folglich hat N4F immer von der CD gebootet wie du schon vermutet hattest, da
ich an sowas gar nicht gedacht habe....es wäre zu einfach.....bin ich zuerst nicht drauf gekommen.

Übertragungsgeschwindigkeit
Dein Server sollte die 100MB/s locker schaffen, welcher NIC ist verbaut?
hier ist eine Anleitung um den Flaschehals zu finden.
http://n4f.siftusystems.com/index.php/2 ... /comments/

Der Server hat 2 interne Broadcom Nics, ausserdem noch Intel Pro Dual port. Genutzt werden für LACP derzeit die internen Nics.
Ich werde erst mal controller und platten umbauen und dann alles neu confen, insbesondere warte ich dann noch auf Hinweise wie zfs am besten
zu confen ist, ich hab eben gelesen das die loader.conf betreff Ram noch anzupassen ist.

Gruß,
Frank

[Princo]

Hi franky64,

Du solltest nicht alles gleichzeitig lösen wollen, sondern streng schrittweise Vorgehen.

1. RAM tunen. Du kannst nach dieser Anleitung vorgehen (bitte exakt befolgen): viewtopic.php?f=29&t=5787#p32277
Dabei nimmst du erstmal die Werte für 16GB RAM, das wird schon viel helfen (die Werte für 32GB RAM suche ich morgen raus, und werde sie im Post ergänzen.

2. Raid-Controller konfigurieren.

wenn ich die Platten einfach einbaue und im Raidcontroller kein Array confe werden die Platten im Nas4free nicht angezeigt bzw gefunden.
Wenn ich einfach ein Array einrichte und alle Platten hinzufüge kriege ich im Nas4free eine Platte angezeigt, also faktisch ein jbod.

Nein, das ist das Gegenteil von einem JBOD. Ein JBOD ist es, wenn du im N4F die einzelnen Platten sehen könntest. Der Controller sollte die Platten einfach direkt durchreichen.
Du brauchst in N4F genau diese Konfiguration, damit ZFS richtig aufdrehen kann.

Wenn ich zfs richtig verstanden habe brauche ich aber für ZFS Raidzxy mehrere Platten!? (mind3) wie soll das dann gehen?

Das hast du noch nicht ganz verstanden Oberste Regel beim Einsatz von ZFS ist die Bildung und Erhaltung von Redundanz.
Man kann ZFS sogar mit einer einzelnen Platte redundant betreiben, wenn man es so konfiguriert, daß die Daten doppelt auf die Platte geschrieben werden. Dazu ist nur ein einziger Konfigurationsbefehl nötig.

So richtig ratsam ist das natürlich nicht

Aber du hast natürlich recht: Normalerweise macht man entweder einen ZFS-Mirror (zwei Platten), oder ein RaidZ1 (mind. drei Platten).
Will man größere Pools bauen, so rechnet man als Faustformel pro sechs Festplatten eine weitere Redundanzplatte ein, d.h. ab sechs Festplatten macht man RaidZ2, ab 12 Festplatten sollte es RaidZ3 sein. Allerdings sollte man dabei auch die Größe der Platten berücksichtigen Je größer die Platten sind, desto eher sollte man auf einen höheren RaidZ-Level gehen.

Allerdings sollte man sich verdammt genau überlegen, ob man wirklich einen so großen Pool machen muß. Meistens sind dann doch mehrere kleinere Pools die bessere Variante.

3. ZFS einrichten. Hierbei mußt du beachten, ob die Festplatten 4k-Sektoren haben (bei deinen 1TB Platten nicht der Fall, bei den 4TB-Platten schon). Mach einfach ein RaidZ1 mit deinen 4x1TB-Platten.
Richte dir auch gleich ein Dataset ein. Daten sollten nur innerhalb von Datasets gespeichert werden.
Bei der Anlage des Datasets solltest du alles auch Standard lassen, und nur den Wert atime auf off setzen.

4. NFS einrichten.
Richte dir jetzt eine NFS-Freigabe ein, welche auf das Dataset zeigt.

5. Netzwerk optimieren.
Wenn du die vorherigen Schritte absolviert hast, kannst du mal mit iperf die Übertragungsrate testen (ich gehe davon aus, das ich das nicht extra erläutern muß).
Dieser Test sollte jetzt noch nicht über LACP durchgeführt werden, sondern nur mit einer einzelnen NIC. Es geht darum, herauszufinden, was die einzelnen Komponenten leisten können. Im Normalfall hast du bei dem Test annähernd Gb-Geschwindigkeit.
Wenn du nur einen Bruchteil der Geschwindigkeit hast, solltest du diesem Problem erst auf den Grund gehen. Dann ist da irgendwo im Netzwerk der Wurm drin.

Wenn der Test erfolgreich war, kannst du per NFS mal eine richtig große Datei auf das N4F kopieren (echte Daten, keine Nuller-Datei!). Hier können Geschwindigkeiten von >= 750Mb/s erreicht werden.
Wenn du schon beim Testen bist, kannst du auch mal den Pool auflösen, dann mit nur 3x1TB Platten neu erstellen, und den NFS-Test wiederholen.
Achte mal darauf, ob es jetzt schneller geht.

Was ich bewußt weg gelassen habe:
LACP und iSCSI tauchen hier noch nicht auf. iperf und der NFS-Test reichen erst mal aus, um die grundsätzliche Performance herzustellen.
Erst wenn die gegeben ist, sollte man mit iSCSI, und gaaaaaaaanz am Ende mit LACP weitermachen.

So hast du einen besseren Überblick, und kannst feststellen, ob LACP überhaupt eine Verbesserung bringt.

Noch etwas zu ZFS: crowi erwähnte eine Spare-Platte. Bei N4F kann man das zwar einrichten, aber die Spare-Platte springt nicht automatisch ein, wenn eine Platte ausfällt. Da muß man manuell ran. Das sollte man wissen.

Grüße
Princo

[b0ssman]

LACP hat verschiedene modi in dem es betrieben wird.
welches aggregation protocol hast du ausgewählt.
siehe
http://wiki.nas4free.org/doku.php?id=do ... d_failover
die meiste zeit wird bei lacp load balancing verwendet. das bedeuted du wirst mit einer verbindung nie mehr als einen nic auslasten. erst bei mehreren verbindungen gleichzeitig wird die last auf die nics verteilt.

zum controller.
wenn der ibm 8k kein direktes durchreichen der platten unterstützt ist dies der falsche kontroller für zfs.
der raid controller schreib seine eigenen metadaten auf die platten, das bedeutet das nur dier controller die platten auch verwenden kann.
solltest du die platten später an einen anderen controller hängen (m1015) so kann dieser die daten nicht lesen und wird kein zfs finden.

den m1015 solltest du vorher mit einer "it mode" firmware flaschen

[crowi]

Notch etwas, den IBM Controller musst Du in den IT mode flashen um die RAID Funktion abzuschalten.
http://www.servethehome.com/ibm-serveraid-m1015-part-4/

Dann reicht er ie Platten ohne Array durch.

[franky64]

Hallo,

erstmal vielen Dank für eure Unterstützung. Ich sehe also ein das der vorhandene Adaptec SAS/Sata Controller für das gewünschte völlig für die Tonne ist.

Heute kam der bestellte M1015 Controller und ich wollte diesen direkt einbauen, also auf zum Rechenzentrum und aufgeschraubt....
leider war das vorhandene Mini SAS Kabel für den neuen Controller zu kurz.
Ich hab ein neues geordert, was aber erst morgen ankommt, übermorgen sollte Alternate auch die 4TB WD Red´s liefern,
ich werde dann weitere Tests erst mit den neuen Platten machen.

Ich habe baugleich auch noch einen 2ten Server, der muss dann auch noch einen M1015 Controller haben. Dieser wird dann ein Backup für die
wichtigsten Daten sein. Da nutze ich dann noch die grössten Platten die ich dann noch "über" habe.

Das Problem da ist auch das der M1015 4 Platten je Channel kann, die Backplane des Servers nimmt 6 Platten auf, hat aber nur einen Anschluss,
Will heissen ich kann nur 4 Platten nutzen.

Das ist die Einschränkung die ich habe wenn ich einen älteren 2HE Server nehme. Aber wenn ich
für den ersten Einsatz 16 TB brutto habe sollte das reichen, da müssten dann ca 12TB netto bei rauskommen.

betreff flashen hab ich auch schon einiges gelesen,

http://gurunest.com/2013/03/ibm-m1015-f ... si-9211-8i

Ich werde euch zu den Ergebnissen meienr Tests auf dem laufenden halten

[b0ssman]

es kann sein das die backplane einen sas expander eingebaut hat.
dann brauchst du nur den einen anschluss um alle 6 platten anzusprechen

[franky64]

ich habe erst mal 5 Platten bestellt, ich denke wenn der Controller geflashed ist und dann beim Nas4free 5 Platten erkannt werden dann sollte
die Backplane einen Expander haben. Ich habe eben mal dazu Google befragt und mindestens einmal wurde davon geschrieben.
Wenn ich 6 einsetzen kann werde ich das natürlich tun.

Ich gehe also mal davon aus das ich 6 HDDs einsetzen kann. Also brutto 24 TB. Bei 4 Platten wäre es logischerweise raidz1

Ich bin mir jetzt noch nicht sicher wie ich ZFS am besten einrichten sollte. Ein Kollege hier schrieb ab 6 Platten sollte man Raidz2 nehmen.
Laut Calculatur hätte ich dann 16TB netto, da könnte ich mit leben. Wiederum wurde geschrieben das man besser vielleicht mehrere Pools
bilden sollte. Ich denke bei mehreren Pools würde ich mir ggfs selbst Einschränkungen auferlegen wenn ich irgendwann mal Plattenplatz
verschieben müsste. Welche Vor/Nachteile habe ich, da finde ich gerade nichts zu weil ich nicht weiss wonach ich Tante Google befragen soll.

Was passiert in der Praxis wenn eine Platte in die Fritten geht? Ich gehe mal davon alles normal weiterläuft, ich bekomme eine Email
der Pool sei "degraded" ich habe auch gelesen das man bei mehreren Platten am besten die Platten anhand der SN labelt, so das einem
ZFS bei einer fehlermelung die defekte Platte meldet, sinnigerweise hätte ich anhand des Labels direkt die defekte Platte identifiziert , ziehe sie
raus stecke eine neue gleiche Grösse rein....und dann? Kriegt man das ohne Probleme im laufenden Betrieb wieder hin? Oder wäre dann ein Reboot nötig?

[Princo]

Ich bin mir jetzt noch nicht sicher wie ich ZFS am besten einrichten sollte. Ein Kollege hier schrieb ab 6 Platten sollte man Raidz2 nehmen.
Laut Calculatur hätte ich dann 16TB netto, da könnte ich mit leben. Wiederum wurde geschrieben das man besser vielleicht mehrere Pools
bilden sollte. Ich denke bei mehreren Pools würde ich mir ggfs selbst Einschränkungen auferlegen wenn ich irgendwann mal Plattenplatz
verschieben müsste. Welche Vor/Nachteile habe ich, da finde ich gerade nichts zu weil ich nicht weiss wonach ich Tante Google befragen soll.

Der Hinweis mit den mehreren Pools bezieht sich eher auf den Home-Bereich. Das hatte ich vergessen dazuzuschreiben. Hat etwas damit zu tun, daß im Home-Bereich eher mit knappen finanziellen Ressourcen, aber gleichzeitig hohen Speicherbedarf zu rechnen ist. Bei der typischen Home-Nutzung sind die Daten auch eher statisch (z.B. Filme), und ändern sich wenig.

Im RZ, und speziell bei deinem Einsatzzweck (Backup-Server) kann man anders an die Sache herangehen. Hier wird ein einziger großer Pool die richtige Lösung sein.

Die Frage, ob man bei sechs Festplatten bereits einen RaidZ2-Pool fährt, mußt du selber abwägen. Bei RaidZ2 geht es ja darum, daß bis zu zwei Festplatten ausfallen können, ohne daß der Pool beschädigt wird.
Dabei geht es nicht darum, daß man einfach eine Weile mit einer, oder zwei defekten Festplatten weitermachen kann, sondern darum, daß der Pool auch während des Resilverns einer ausgefallenen Festplatte immer noch Redundanz hat.
Dazu kommt, daß die Zeitdauer des Resilverns weniger von der Plattenkapazität abhängt, sondern vom Füllstand des Pools. Ein RaidZ aus 6x1TB wird bei 50% Füllstand schneller resilvered, als ein RaidZ aus 6x4TB Platten, welches auch zu 50% gefüllt ist.

Da ich nicht weiß, wie groß deine Datenbestände sind, und welches Sicherungsregime du fährst, würde ich bei der 6x4TB Konfiguration bereits ein RaidZ2 ernsthaft in Erwägung ziehen.

Was passiert in der Praxis wenn eine Platte in die Fritten geht? Ich gehe mal davon alles normal weiterläuft, ich bekomme eine Email der Pool sei "degraded" ich habe auch gelesen das man bei mehreren Platten am besten die Platten anhand der SN labelt, so das einem
ZFS bei einer fehlermelung die defekte Platte meldet, sinnigerweise hätte ich anhand des Labels direkt die defekte Platte identifiziert , ziehe sie
raus stecke eine neue gleiche Grösse rein....und dann? Kriegt man das ohne Probleme im laufenden Betrieb wieder hin? Oder wäre dann ein Reboot nötig?

Eine Mail bekommst du nur, wenn bei den SMART-Tests etwas außerhalb der Werte ist.
Bei einem Degraded-Pool gibt es keine Mail.
Platten kannst du in Form eines Aufklebers labeln.
Das elektronische "Label" einer ZFS-Platte ist tabu.
NAS4Free schreibt dir die Seriennummern der Platten in die config.xml, welche du nach Konfigurationsänderungen sowieso immer sichern solltest.
Der Austausch einer Platte geht im laufenden Betrieb (Hotswap-Fähigkeit vorausgesetzt).

Bei defekter Platte:
Defekte Platte raus.
Neue Platte rein.
Die neue Platte braucht nicht formatiert zu werden.
Im Web-Gui Disks|ZFS|Pools|Tools das Kommando "replace" auswählen, und die zu ersetzenden Platte markieren.

Für Spielkinder:
Du kannst auch einfach im laufenden Betrieb eine Festplatte ziehen, und nach einiger Zeit wieder reinstecken.
In diesem Fall wird die Platte automatisch resilvered, weil das System die Platte bereits kennt.

Grüße
Princo

[franky64]

Hallo Princo,

ich hake da nochmal nach,

wenn ich in Einschüben vom Server 6 Platten habe, wie kriege ich ohne jede rauszuholen...raus welche Platte
welche ist?

Gruß

Frank

[crowi]

Ganz einfach, über die Seriennummer.

Gruss,
Crowi

[Princo]

wenn ich in Einschüben vom Server 6 Platten habe, wie kriege ich ohne jede rauszuholen...raus welche Platte
welche ist?

Wenn du über Disks|ZFS|Pools|Information im Web-Gui gehst, werden dir die Platten an ihren physikalischen Anschlüssen angezeigt.
Wenn du der Anzeige nicht traust, dann könntest du mit einem Beschriftungssystem (P-Touch o.ä.) die Seriennummern der Festplatten auf die Einschübe kleben.
Sollte dafür der Platz nicht ganz ausreichen, dann genügen i.d.R. auch die letzten 4-5 Ziffern.

Gruß
Princo

[franky64]

So, ich habe hier sehr viele wertvolle Tips bekommen, ich bin jetzt ein ganzes Stk weiter und will mich noch einmal bedanken bei allen
die hier geholfen haben!!!

Allerdings fühle ich mich ein paar Jahre älter und ich denke auch das ich einige graue Haare mehr habe!
Das ganze , jedenfalls in meinem Setup ist nicht wirklich einfach, insbesondere wenn man bedenkt das ich die Einrichtung
des Sata Adapters (flashen) und auch sonstiges remote über einen RSA Adapter vorgenommen haben, Verwmutlich
hätte es einiges erleichtert wenn der Server neben mir gestanden hätte, allerdings ist das Ding sauschwer und auch sehr laut!

Hi franky64,

Du solltest nicht alles gleichzeitig lösen wollen, sondern streng schrittweise Vorgehen.

1. RAM tunen. Du kannst nach dieser Anleitung vorgehen (bitte exakt befolgen): viewtopic.php?f=29&t=5787#p32277
Dabei nimmst du erstmal die Werte für 16GB RAM, das wird schon viel helfen (die Werte für 32GB RAM suche ich morgen raus, und werde sie im Post ergänzen.

Irgendwie scheint ein Ram Riegel defekt zu sein, daher zeigt der Server derzeit nur 28G an. Ich hab die Zahlen die ich für 16GB gesehen habe, einfach mal ein wenig nach oben korrigiert, es ist ja auch nur ein test derzeit, allerdings möchte ich das NAS schnellstmöglich produktiv nehmen.

Derzeit:

vfs.zfs.arc_max = "20480M"
vfs.zfs.arc_min = "20480"
vfs.zfs.no_write_throttle = "0"
vfs.zfs.prefetch_disable = "0"
vfs.zfs.txg.timeout = "5"
vfs.zfs.vdev.max_pending = "10"
vfs.zfs.vdev.min_pending = "4"
vfs.zfs.write_limit_override = "0"
vm.kmem_size = "22528M"

2. Raid-Controller konfigurieren.
wenn ich die Platten einfach einbaue und im Raidcontroller kein Array confe werden die Platten im Nas4free nicht angezeigt bzw gefunden.
Wenn ich einfach ein Array einrichte und alle Platten hinzufüge kriege ich im Nas4free eine Platte angezeigt, also faktisch ein jbod.
Nein, das ist das Gegenteil von einem JBOD. Ein JBOD ist es, wenn du im N4F die einzelnen Platten sehen könntest. Der Controller sollte die Platten einfach direkt durchreichen.
Du brauchst in N4F genau diese Konfiguration, damit ZFS richtig aufdrehen kann.
Wenn ich zfs richtig verstanden habe brauche ich aber für ZFS Raidzxy mehrere Platten!? (mind3) wie soll das dann gehen?
Das hast du noch nicht ganz verstanden Oberste Regel beim Einsatz von ZFS ist die Bildung und Erhaltung von Redundanz.
Man kann ZFS sogar mit einer einzelnen Platte redundant betreiben, wenn man es so konfiguriert, daß die Daten doppelt auf die Platte geschrieben werden. Dazu ist nur ein einziger Konfigurationsbefehl nötig.

Wer mitgelesen hat weiss das ich mittlerweile einen IBM M1015 Sas/Sata Controller verbaut und geflashed habe, mehr und auch Infos dazu:
viewtopic.php?f=29&t=6611

Aber du hast natürlich recht: Normalerweise macht man entweder einen ZFS-Mirror (zwei Platten), oder ein RaidZ1 (mind. drei Platten).
Will man größere Pools bauen, so rechnet man als Faustformel pro sechs Festplatten eine weitere Redundanzplatte ein, d.h. ab sechs Festplatten macht man RaidZ2, ab 12 Festplatten sollte es RaidZ3 sein. Allerdings sollte man dabei auch die Größe der Platten berücksichtigen Je größer die Platten sind, desto eher sollte man auf einen höheren RaidZ-Level gehen.

Allerdings sollte man sich verdammt genau überlegen, ob man wirklich einen so großen Pool machen muß. Meistens sind dann doch mehrere kleinere Pools die bessere Variante.

Ich habe mich dazu entschlossen ZFS z1 zu nehmen, weil ich erstens nicht damit rechne das 2 Festplatten gleichzeitig ausfallen, zweitens backuppe ich wichtige sachen extern noch einmal, ich den Status des ZFS pool dauerhaft überwachen lasse und so hoffe Schwierigkeiten zeitnah gemeldet bekomme um eingreifen zu können.
Zu dieser Überwachung werde ich einen Extrathread aufmachen wenn es soweit ist, vielleich ist das ein Thema für den einen oder anderen.

3. ZFS einrichten. Hierbei mußt du beachten, ob die Festplatten 4k-Sektoren haben (bei deinen 1TB Platten nicht der Fall, bei den 4TB-Platten schon). Mach einfach ein RaidZ1 mit deinen 4x1TB-Platten.
Richte dir auch gleich ein Dataset ein. Daten sollten nur innerhalb von Datasets gespeichert werden.
Bei der Anlage des Datasets solltest du alles auch Standard lassen, und nur den Wert atime auf off setzen.

Mittlerweile habe ich 6* 4TB WD Red verbaut die auch nach deinen Vorgaben eingerichtet (ZFS z1 1 Pool) sind. Auch 2 Datasets für die dementsprechenden Freigabe (CIFS/NFS) sind angelegt

5. Netzwerk optimieren.
Wenn du die vorherigen Schritte absolviert hast, kannst du mal mit iperf die Übertragungsrate testen (ich gehe davon aus, das ich das nicht extra erläutern muß).
Dieser Test sollte jetzt noch nicht über LACP durchgeführt werden, sondern nur mit einer einzelnen NIC. Es geht darum, herauszufinden, was die einzelnen Komponenten leisten können. Im Normalfall hast du bei dem Test annähernd Gb-Geschwindigkeit.
Wenn du nur einen Bruchteil der Geschwindigkeit hast, solltest du diesem Problem erst auf den Grund gehen. Dann ist da irgendwo im Netzwerk der Wurm drin.

Derzeit ist erstmal Cifs getestet mit einem Windows Server 2008R2 Client, ich erreiche durchgängig ca 60 Mbit/Sek schreibend und ca 70 Mbit/sek lesend ( also etwas mehr als die Hälte dessen was das Netzwerk hergeben sollte. Es ist nichts anderes als die Netzwerkinfrastruktur eine IBM Bladecenters dazwischen, Für die Übertragung wurden die interne NIC des Servers (broadcom)
genutzt, bevor ich das Ram wie oben genannt getuned habe waren es etwas mehr wie 40 Mbit/sec !!
Ich les hier manchmal 40mbit oder 400 Mbit, wenn mir der graph in n4f 40mbit/sek anzeigt sind das auf der Netzwerkkarte 400 Mbit also knapp die Hälfte
der möglichen Übertragungsgeschwindigkeit, nicht das wir uns hier falsch verstehen!

NFS kann ich erst später testen aufgrund von einigen Setup geschichten die ich erst machen muss.

Wenn der Test erfolgreich war, kannst du per NFS mal eine richtig große Datei auf das N4F kopieren (echte Daten, keine Nuller-Datei!). Hier können Geschwindigkeiten von >= 750Mb/s erreicht werden.
Wenn du schon beim Testen bist, kannst du auch mal den Pool auflösen, dann mit nur 3x1TB Platten neu erstellen, und den NFS-Test wiederholen.
Achte mal darauf, ob es jetzt schneller geht.

Was ich bewußt weg gelassen habe:
LACP und iSCSI tauchen hier noch nicht auf. iperf und der NFS-Test reichen erst mal aus, um die grundsätzliche Performance herzustellen.
Erst wenn die gegeben ist, sollte man mit iSCSI, und gaaaaaaaanz am Ende mit LACP weitermachen.

Gut , was jetzt natürlich aufgrund der möglich Geschwindigkeit wichtig ist wäre ISCSI, ich wollte zwei netzwerkkarten in
2 verschiedene Lans packen 10.10.10.0/24 und 10.10.20.0/24 dann mit 2 Nics ISCSI confen und mittels multipathing
möglichst das doppelte rausholen.

So hast du einen besseren Überblick, und kannst feststellen, ob LACP überhaupt eine Verbesserung bringt.

Wobei LACP hier eine andere Baustelle ist, ich hatte vor insgesamt 5 Nics zu verbauen, 1 Nic für Management, 2 Onboard NICs für das ISCSI
eine Intel Dual Port mit Lacp für weitere Zugriffe von diversen Hosts aus, die möglichst das ISCSI nicht stören sollen.

Noch etwas zu ZFS: crowi erwähnte eine Spare-Platte. Bei N4F kann man das zwar einrichten, aber die Spare-Platte springt nicht automatisch ein, wenn eine Platte ausfällt. Da muß man manuell ran. Das sollte man wissen.

Das ist gut zu wissen, wir kommen dann zum Thema externes monitoring, in einem zukünftiges Thread

[crowi]

Ich habe mich dazu entschlossen ZFS z1 zu nehmen, weil ich erstens nicht damit rechne das 2 Festplatten gleichzeitig ausfallen,

Nunja es passieren immer wieder seltsame Geschichten --> viewtopic.php?f=66&t=6403

In Deinem Fall würde ich mir überlegen, ob RAIDZ2 nicht trotzdem besser wäre.

[franky64]

Ich habe mich dazu entschlossen ZFS z1 zu nehmen, weil ich erstens nicht damit rechne das 2 Festplatten gleichzeitig ausfallen,

Nunja es passieren immer wieder seltsame Geschichten --> viewtopic.php?f=66&t=6403

In Deinem Fall würde ich mir überlegen, ob RAIDZ2 nicht trotzdem besser wäre.

nun bevor ich alles produktiv nehme überlege ich noch mal gründlich, es sind 4TB die ich zusätzlich "opfere"
in den Thread den du postest hätte mich das auch nicht gerettet, da beim Kollegen ja direkt 3 Platten ausgefallen sind.....

Derzeit bleiben bei 24TB brutto gerade mal 17,x TB netto über, bei z2 werden es nochmal knapp 4tb weniger werden....

ich habe derzeit Bedarf für ca 6 TB Daten, es wird innerhalb der nächsten 12 Monate sicherlich mind auf 8-10 TB ansteigen....
Somit wäre ich in max 2 Jahren am Limit und müsste mir wieder was neues überlegen da bei diesem Server und den Platten dann Schicht wäre.

Da ich ja einen 2ten Server aufbauen will auf dem ich andere Platten nutze und wo ein Pool nur dafür da ist
die wichtigsten Sachen so zeitnah wie möglich vom ersten Server zu sichern...denke ich mal das ich da Sicherheit genug habe.
Wobei mir schon klar ist das es niemals "genug" gibt