XigmaNAS

Hallo zusammen,

ich hatte vor einiger Zeit kleinere Probleme mit meinem alten FN Rel.7.

Dies bewegte mich das System neu aufzubauen und gleich auf N4F Rel.9.1 umzusteigen. Mit SW Raid5 wäre das wohl quatsch gewesen darum wurde gleich alles dem ZFS angepasst.

Vielen Dank an dieser Stelle an Apollo567 der mir in der Entscheidung geholfen hat.
Dazugehöriger Thread: viewtopic.php?f=29&t=5715

Aufgrund seiner Empfehlung wurde auch das neue Asrock Avaton C2550 als MB eingesetzt.

Zu der verwendeten HW:

IPC 19" Rack case mit 8x 3.5" HotSwap
Asrock Avaton C2550
1HE Plus Gold NT mit 300W
2x 8GB DDR3 ECC
4x 2TB WD RED

da sich das kleine Asrock so verloren fühlte in dem rieden Case und es so nicht in mein Rack passte wurde das IPC um 16cm gekürzt.
Ein paar Tunings wurden auch schon gemacht und LAGG ist auch bereit eingerichtet. Dieses rennt mit 2 Gbit auf den EdgeCore Switch und von da wieder mit 2 Gbit zum Zyxel Switch.

Performancetest mit meinem ESXi hab ich noch nicht gemacht, da der im Moment nur mit einer NIC am VLAN1 hängt indem auch das NAS ist. Dass werde ich aber noch mit 2 Gbit Nics testen

Wer Intresse an meiner LAGG Anleitung hat, soll sich melden, ich kann diese dann hier als Word hochladen

Liebe Grüsse Mindheat

Hallo,

glaube es wäre eine gute Idee diese Beschreibung auf Englisch in die Galerie zu stellen, zusammen mit ein paar Leistungsdaten, Stromverbrauch und den Gesamtkosten.
Ich entnehme aus deinem Bericht implizit N4F Version 943 embedded funktioniert problemlos ?

Gruß
apollo

Hallo mindheat,

sehr hübsch! Ich hatte so meine Schwierigkeiten mit dem Board, aber ich werde es mit neuem Board und RAM wohl nochmal versuchen.

Kannst Du mir sagen welchen RAM Du einsetzt? ich hatte dem Kingston KVR1333D3E9SK2/16G (2x8GB ECC)

Und dauert bei Dir das Booten auch sooo lange, ca 2 Minuten bis erst einmal der Post Screen kam. :-/

An der LAGG Anleitung bin ich interessiert.

Danke im Voraus,

Crowi

apollo567 wrote:Hallo,

glaube es wäre eine gute Idee diese Beschreibung auf Englisch in die Galerie zu stellen, zusammen mit ein paar Leistungsdaten, Stromverbrauch und den Gesamtkosten.
Ich entnehme aus deinem Bericht implizit N4F Version 943 embedded funktioniert problemlos ?

Gruß
apollo

Hi Apollo

immo rennt die Rel. 9.1.0.1 - Sandstorm (Revision 847), da das Sys aber noch nicht produktiv eingesetzt wird, bin ich gerne für Experimente bereit;)

auch die Beschreibung fürs Englische Forum können wir gerne machen

Gerne aber erst nach einigen weiteren Tweaks, den Bootloader habe ich angepasst:

Für 16GB RAM:

vm.kmem_size="15G"
vfs.zfs.arc_max="12288M"
vfs.zfs.arc_min="12288M"
vfs.zfs.txg.timeout="5"
vfs.zfs.txg.write_limit_override="1073741824"
vfs.zfs.vdev.min_pending="2"
vfs.zfs.vdev.max_pending="10"
vfs.zfs.prefetch_disable="0"

jedoch fehlte mit bislang die Zeit mich mit LARC und ZIL ausseinander zu setzen. Bringt es effektiv etwas diese auf eine SSD auszulagern oder ist es nur ein "nice to have".

Was kann noch alles angepasst werden?

Mit 90-100MByte/s read/write kann man auf eine single NIC eigentlich zufreden sein, binn gespant was LAGG auf den ESX-Server bringt. Wenn es bis 200MByte/s werden, dann kann ich bald mit den SATA Platte mithalten per iSCSI.

crowi wrote:Hallo mindheat,

sehr hübsch! Ich hatte so meine Schwierigkeiten mit dem Board, aber ich werde es mit neuem Board und RAM wohl nochmal versuchen.

Kannst Du mir sagen welchen RAM Du einsetzt? ich hatte dem Kingston KVR1333D3E9SK2/16G (2x8GB ECC)

Und dauert bei Dir das Booten auch sooo lange, ca 2 Minuten bis erst einmal der Post Screen kam. :-/

An der LAGG Anleitung bin ich interessiert.

Danke im Voraus,

Crowi

@crowi

Das ECC RAM ist:

2x 8GB DDR3 PC1600 CL11 ECC unb. x8 Samsung Org. (M391B1G73BH0-CK0)

alles vom servershop-bayern, welchen ich nur empfehlen kann. Auch für Mit-Eidgenossen, echt unkompliziert auch mit dem ganzen Export.
Endlich wieder ein Händler der über den Versand in die Schweiz informiert ist und man nicht alles genau erklären muss. Ein Lob an dieser Stelle, auch die Asrock MB`s sind da verfügbar.

Booten dauert sehr lange, auch bis der Postscreen kommt, muss ich mir in den BIOS Setting nochmal angucken. Ich denke aber, dass hat mit dem IPMP zu tun (bezug der IP vom DHCP). IPMP ist übringens sehr nett ist um den Server/NAS Fernzuwarten
Komisch ist jedoch nur wenn ich der IPMP-Nic eine fixe IP gebe, ist das LAGG Interface fürn A****, bzw NAS nicht mehr ansprechbar. Man muss sich dann per IPMP-Web-Interface manuell helfen und wieder auf DHCP umstellen

Ist also noch einiges zu tun

LAGG Anleitung:

LAGG:

Network

Interface Management

Management
- Interface OPT1 (NIC2) erstellen

LAGG
- Interface lagg0 mit dem Protokoll LACP und NIC1 und 2 erstellen

Management
- Interface Reihenfolge wie folgt einstellen:

LAN = lagg0
OPT1 = igb0 (NIC1)
OPT2 = igb1 (NIC2)

Speichern und Neustarten von N4F


SHELL:

wichtig nach dem Reboot in der Shell die rc.conf anpassen.

mit cd .. und cd zu /etc/ navigieren

(hilfreich: command ls ¦more oder ¦less um mit den Pfeiltasten navigieren zu können)

in etc angekommen mit:

vi rc.conf (einsteigen)
ESC-Taste (für Kommandomodus)
mit der x Taste die Zeilen (Pfeiltasten zum navigieren)

ipv4_addrs_igb0="192.168.1.100/24"
ipv4_addrs_res0="192.168.1.100/24"
löschen.

ESC-Taste (zum verlassen von Kommandomodus)

:wq (speichern & beenden)

exit (zum verlassen von SHELL)

N4F rebooten und 2Gibt LAGG läuft.

war leider nicht als .Doc uploadbar darum als Text.
Es sind auch Erklärungen mit bei, über CMD Befehle, die sind nicht für euch gedacht. Habe jedoch Bekannte, die dass ohne Erklärung nicht hinbekommen, darum sind meine H2D immer so
Einfach überlesen falls bekannt, jedoch die Abfolge ist wichtig (Anordnung der Interfaces und das löschen in der rc.conf). Da es sonst nicht funktioniert, es hat mich auch einige Versuche gekostet bis alles lief

Grüsse Mindheat

Hi Mindheat,

vielen Dank für die Infos!

Interessant wäre wirklich noch zu wissen wie/ob es unter 9.2 läuft.

Und eine letzte Frage, warum hast Du CL 11 RAM genommen?
Es gibt auch den CL 9 relativ günstig.

Viele Grüße,
Crowi

Hi Crowi,

gab da nur CL 11 mit 1600Mhz die CL9 wären alle mit 1333Mhz gewesen.

Da sich diese 300Mhz mehr am Schluss, gute 4GB/s mehr read/write auf dem Ram bringen, nahm ich die.

Sag mir nun bloss dass die Latenzen mehr ausmachen, ich war der Meinung dass Takt mehr bringt als niedrige Latenzen.

Ich sehe in deiner Konf. das bei dir LARC und ZIL ausgelagert sind, wie viel bringt das wirklich und hast du ggf einen Link mit einer Erklärung/Configbeispiel

Eine SSD ist ja schnell besorgt und im IPC-Case ist extra noch Platz für 2x 2.5" über den Swap`s.


Gruss und einen schönen Sonntag.

Mindheat

Hallo Mindheat,

nein, Du hast recht, der Takt bringt mehr, ich finde nur CL11 etwas exotisch, die Mehrheit was man heute bekommt ist CL9.
den Samsung CL11 habe ich beim Servershop auch gesehen.

zum Cache und Log:
hier meine Anleitung:
viewtopic.php?f=56&t=2950&p=15984#p15980
Ob es was bringt, hängt von der Anwendung ab, aus ZIL würde ich zB verzichten, da ich keine Übermässigen Datenbankzugriffe habe.
Das LOG (L2ARC) bringt einen Gecshwindigkeitsvorteil beim Lesen und Zugriff.
Beides kann mit zpool remove einfach wieder entfernt werden, also es besteht keinerlei Risiko, wenn Du eine SSD übrig hast und es testen willst.

Viele Grüße,
Crowi

hi Crowi

Danke, hab nun ein wenig mehr Zeit (Kurzurlaub) und werde mal deine Anleitung testen eine SSD ist für den kleinen Musicserver bestellt, auch mit einem ganz interessanten MB (Nur 10W TDP, mit 4x2Ghz), werde die wohl mal zum testen ins NAS schmeissen.

Den LAGG to LAGG test werde ich dann hoffentlich auch noch machen können, immo wurden nur die 1xGbit Nics der Rechner getestet und die sind fast am Anschlag Das fise einige faule Eier "NIC`S" wurden auch noch gefunden. Nennen sich sogar teilweise Hauptrechner die Fernwartungsrechner und Server knallen alle mit 100MB/s nur unsere Hauptrechner lahmen mit 40MB/S.

Da muss wohl der Realdreck raus und Intel rein

Was macht dein Managed Switch

Grüsse aus dem kleinen Nachbarland

Mind

Servus,

ich hab mal Deine Anleitung für das LAGG probiert.
Soweit so gut, aber in der rc.conf steht das bei mir so nicht drin.
Ich habe drei NIC's
Ein interner und zwei über eine Intelkarte
Der LAGG läuft auf die beiden Intel
Eingestellt habe ich
- LAN:lagg0
- OPT1 bge0 (intern)
- OPT2 igb0 (Intel)

Hab ich da nen Denkfehler oder warum steht in der rc.conf das anders.
9.1.0.1 Sandstorm (Rev 847)

Danke für jeden Tip
Bert

Hallo Bert

hier mal ein Auszug aus meiner rc.conf und sorry für die späte Antwort
IP`s in der .conf eintragen also:
ipv4_addrs_lagg0= NAS IP
defaultrouter= Router IP
netwait_ip= Router IP

Auf den ersten Blick ist der Teil aus der .conf richtig beide IntelNICs igb 0 und igb 1, jedoch schreibst du dass im webGUi die NIC1 (OPT1) als bge0 eingetragen ist. Ich gehe mal davon aus dass hier der Fehler sitzt, da dies wohl die interne NIC ist.

wie sieht der Rest deiner .conf aus?

Sind die beiden Einträge entfernt worden? wo die genau in der .conf standen weiss ich nicht mehr, nur sind diese fehlerhaft und durch das webgui eingetragen.

Sollte das N4F mit Lagg nicht mehr ansprechbar sein, einfach mit Monitor und Tasta die Lagg an der Kiste löschen und schon gehts wieder

Gruss Mind

Sorry for beeing late.

Danke für die Info.
Meine conf sieht singemäß genauso aus.
Nur die beiden Einträge für igb0 und igb1 waren von vorne herein nicht da.

Bert