This is the old XigmaNAS forum in read only mode,
it will taken offline by the end of march 2021!



I like to aks Users and Admins to rewrite/take over important post from here into the new fresh main forum!
Its not possible for us to export from here and import it to the main forum!

neues ZFS NAs im 19" Rack

German community

Moderators: b0ssman, apollo567, Princo, crowi

Forum rules
Set-Up GuideFAQsForum Rules
Post Reply
Mindheat
Starter
Starter
Posts: 25
Joined: 16 Dec 2013 06:36
Status: Offline

neues ZFS NAs im 19" Rack

Post by Mindheat »

Hallo zusammen,

ich hatte vor einiger Zeit kleinere Probleme mit meinem alten FN Rel.7.

Dies bewegte mich das System neu aufzubauen und gleich auf N4F Rel.9.1 umzusteigen. Mit SW Raid5 wäre das wohl quatsch gewesen darum wurde gleich alles dem ZFS angepasst.

Vielen Dank an dieser Stelle an Apollo567 der mir in der Entscheidung geholfen hat.
Dazugehöriger Thread: viewtopic.php?f=29&t=5715

Aufgrund seiner Empfehlung wurde auch das neue Asrock Avaton C2550 als MB eingesetzt.

Zu der verwendeten HW:

IPC 19" Rack case mit 8x 3.5" HotSwap
Asrock Avaton C2550
1HE Plus Gold NT mit 300W
2x 8GB DDR3 ECC
4x 2TB WD RED

da sich das kleine Asrock so verloren fühlte in dem rieden Case und es so nicht in mein Rack passte wurde das IPC um 16cm gekürzt.
DSCN3348k.jpg
DSCN3352k.jpg
Ein paar Tunings wurden auch schon gemacht und LAGG ist auch bereit eingerichtet. Dieses rennt mit 2 Gbit auf den EdgeCore Switch und von da wieder mit 2 Gbit zum Zyxel Switch.

Performancetest mit meinem ESXi hab ich noch nicht gemacht, da der im Moment nur mit einer NIC am VLAN1 hängt indem auch das NAS ist. Dass werde ich aber noch mit 2 Gbit Nics testen :D

Wer Intresse an meiner LAGG Anleitung hat, soll sich melden, ich kann diese dann hier als Word hochladen ;)

Liebe Grüsse Mindheat
You do not have the required permissions to view the files attached to this post.

User avatar
apollo567
Site Admin
Site Admin
Posts: 675
Joined: 23 Jun 2012 06:37
Location: Ludwigshafen, Germany
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by apollo567 »

Hallo,

glaube es wäre eine gute Idee diese Beschreibung auf Englisch in die Galerie zu stellen, zusammen mit ein paar Leistungsdaten, Stromverbrauch und den Gesamtkosten.
Ich entnehme aus deinem Bericht implizit N4F Version 943 embedded funktioniert problemlos ?

Gruß
apollo
my NAS and its development until today: viewtopic.php?f=63&t=39&sid=039fed830cf ... 4d0abe4a04

User avatar
crowi
Forum Moderator
Forum Moderator
Posts: 1176
Joined: 21 Feb 2013 16:18
Location: Munich, Germany
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by crowi »

Hallo mindheat,

sehr hübsch! Ich hatte so meine Schwierigkeiten mit dem Board, aber ich werde es mit neuem Board und RAM wohl nochmal versuchen.

Kannst Du mir sagen welchen RAM Du einsetzt? ich hatte dem Kingston KVR1333D3E9SK2/16G (2x8GB ECC)

Und dauert bei Dir das Booten auch sooo lange, ca 2 Minuten bis erst einmal der Post Screen kam. :-/

An der LAGG Anleitung bin ich interessiert.

Danke im Voraus,

Crowi
NAS 1: Milchkuh: Asrock C2550D4I, Intel Avoton C2550 Quad-Core, 16GB DDR3 ECC, 5x3TB WD Red RaidZ1 +60 GB SSD for ZIL/L2ARC, APC-Back UPS 350 CS, NAS4Free 11.0.0.4.3460 embedded
NAS 2: Backup: HP N54L, 8 GB ECC RAM, 4x4 TB WD Red, RaidZ1, NAS4Free 11.0.0.4.3460 embedded
NAS 3: Office: HP N54L, 8 GB ECC RAM, 2x3 TB WD Red, ZFS Mirror, APC-Back UPS 350 CS NAS4Free 11.0.0.4.3460 embedded

Mindheat
Starter
Starter
Posts: 25
Joined: 16 Dec 2013 06:36
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by Mindheat »

apollo567 wrote:Hallo,

glaube es wäre eine gute Idee diese Beschreibung auf Englisch in die Galerie zu stellen, zusammen mit ein paar Leistungsdaten, Stromverbrauch und den Gesamtkosten.
Ich entnehme aus deinem Bericht implizit N4F Version 943 embedded funktioniert problemlos ?

Gruß
apollo
Hi Apollo

immo rennt die Rel. 9.1.0.1 - Sandstorm (Revision 847), da das Sys aber noch nicht produktiv eingesetzt wird, bin ich gerne für Experimente bereit;)

auch die Beschreibung fürs Englische Forum können wir gerne machen ;)

Gerne aber erst nach einigen weiteren Tweaks, den Bootloader habe ich angepasst:

Für 16GB RAM:

vm.kmem_size="15G"
vfs.zfs.arc_max="12288M"
vfs.zfs.arc_min="12288M"
vfs.zfs.txg.timeout="5"
vfs.zfs.txg.write_limit_override="1073741824"
vfs.zfs.vdev.min_pending="2"
vfs.zfs.vdev.max_pending="10"
vfs.zfs.prefetch_disable="0"

jedoch fehlte mit bislang die Zeit mich mit LARC und ZIL ausseinander zu setzen. Bringt es effektiv etwas diese auf eine SSD auszulagern oder ist es nur ein "nice to have".

Was kann noch alles angepasst werden?

Mit 90-100MByte/s read/write kann man auf eine single NIC eigentlich zufreden sein, binn gespant was LAGG auf den ESX-Server bringt. Wenn es bis 200MByte/s werden, dann kann ich bald mit den SATA Platte mithalten per iSCSI.

crowi wrote:Hallo mindheat,

sehr hübsch! Ich hatte so meine Schwierigkeiten mit dem Board, aber ich werde es mit neuem Board und RAM wohl nochmal versuchen.

Kannst Du mir sagen welchen RAM Du einsetzt? ich hatte dem Kingston KVR1333D3E9SK2/16G (2x8GB ECC)

Und dauert bei Dir das Booten auch sooo lange, ca 2 Minuten bis erst einmal der Post Screen kam. :-/

An der LAGG Anleitung bin ich interessiert.

Danke im Voraus,

Crowi

@crowi

Das ECC RAM ist:

2x 8GB DDR3 PC1600 CL11 ECC unb. x8 Samsung Org. (M391B1G73BH0-CK0)

alles vom servershop-bayern, welchen ich nur empfehlen kann. Auch für Mit-Eidgenossen, echt unkompliziert auch mit dem ganzen Export.
Endlich wieder ein Händler der über den Versand in die Schweiz informiert ist und man nicht alles genau erklären muss. Ein Lob an dieser Stelle, auch die Asrock MB`s sind da verfügbar.

Booten dauert sehr lange, auch bis der Postscreen kommt, muss ich mir in den BIOS Setting nochmal angucken. Ich denke aber, dass hat mit dem IPMP zu tun (bezug der IP vom DHCP). IPMP ist übringens sehr nett ist um den Server/NAS Fernzuwarten ;)
Komisch ist jedoch nur wenn ich der IPMP-Nic eine fixe IP gebe, ist das LAGG Interface fürn A****, bzw NAS nicht mehr ansprechbar. Man muss sich dann per IPMP-Web-Interface manuell helfen und wieder auf DHCP umstellen :evil:

Ist also noch einiges zu tun ;)
LAGG Anleitung:

LAGG:

Network

Interface Management

Management
- Interface OPT1 (NIC2) erstellen

LAGG
- Interface lagg0 mit dem Protokoll LACP und NIC1 und 2 erstellen

Management
- Interface Reihenfolge wie folgt einstellen:

LAN = lagg0
OPT1 = igb0 (NIC1)
OPT2 = igb1 (NIC2)

Speichern und Neustarten von N4F


SHELL:

wichtig nach dem Reboot in der Shell die rc.conf anpassen.

mit cd .. und cd zu /etc/ navigieren

(hilfreich: command ls ¦more oder ¦less um mit den Pfeiltasten navigieren zu können)

in etc angekommen mit:

vi rc.conf (einsteigen)
ESC-Taste (für Kommandomodus)
mit der x Taste die Zeilen (Pfeiltasten zum navigieren)

ipv4_addrs_igb0="192.168.1.100/24"
ipv4_addrs_res0="192.168.1.100/24"
löschen.

ESC-Taste (zum verlassen von Kommandomodus)

:wq (speichern & beenden)

exit (zum verlassen von SHELL)

N4F rebooten und 2Gibt LAGG läuft.


war leider nicht als .Doc uploadbar darum als Text.
Es sind auch Erklärungen mit bei, über CMD Befehle, die sind nicht für euch gedacht. Habe jedoch Bekannte, die dass ohne Erklärung nicht hinbekommen, darum sind meine H2D immer so ;)
Einfach überlesen falls bekannt, jedoch die Abfolge ist wichtig (Anordnung der Interfaces und das löschen in der rc.conf). Da es sonst nicht funktioniert, es hat mich auch einige Versuche gekostet bis alles lief ;)

Grüsse Mindheat

User avatar
crowi
Forum Moderator
Forum Moderator
Posts: 1176
Joined: 21 Feb 2013 16:18
Location: Munich, Germany
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by crowi »

Hi Mindheat,

vielen Dank für die Infos!

Interessant wäre wirklich noch zu wissen wie/ob es unter 9.2 läuft.

Und eine letzte Frage, warum hast Du CL 11 RAM genommen?
Es gibt auch den CL 9 relativ günstig.

Viele Grüße,
Crowi
NAS 1: Milchkuh: Asrock C2550D4I, Intel Avoton C2550 Quad-Core, 16GB DDR3 ECC, 5x3TB WD Red RaidZ1 +60 GB SSD for ZIL/L2ARC, APC-Back UPS 350 CS, NAS4Free 11.0.0.4.3460 embedded
NAS 2: Backup: HP N54L, 8 GB ECC RAM, 4x4 TB WD Red, RaidZ1, NAS4Free 11.0.0.4.3460 embedded
NAS 3: Office: HP N54L, 8 GB ECC RAM, 2x3 TB WD Red, ZFS Mirror, APC-Back UPS 350 CS NAS4Free 11.0.0.4.3460 embedded

Mindheat
Starter
Starter
Posts: 25
Joined: 16 Dec 2013 06:36
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by Mindheat »

Hi Crowi,

gab da nur CL 11 mit 1600Mhz die CL9 wären alle mit 1333Mhz gewesen.

Da sich diese 300Mhz mehr am Schluss, gute 4GB/s mehr read/write auf dem Ram bringen, nahm ich die.

Sag mir nun bloss dass die Latenzen mehr ausmachen, ich war der Meinung dass Takt mehr bringt als niedrige Latenzen.

Ich sehe in deiner Konf. das bei dir LARC und ZIL ausgelagert sind, wie viel bringt das wirklich und hast du ggf einen Link mit einer Erklärung/Configbeispiel :D

Eine SSD ist ja schnell besorgt und im IPC-Case ist extra noch Platz für 2x 2.5" über den Swap`s.


Gruss und einen schönen Sonntag.

Mindheat

User avatar
crowi
Forum Moderator
Forum Moderator
Posts: 1176
Joined: 21 Feb 2013 16:18
Location: Munich, Germany
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by crowi »

Hallo Mindheat,

nein, Du hast recht, der Takt bringt mehr, ich finde nur CL11 etwas exotisch, die Mehrheit was man heute bekommt ist CL9.
den Samsung CL11 habe ich beim Servershop auch gesehen.

zum Cache und Log:
hier meine Anleitung:
viewtopic.php?f=56&t=2950&p=15984#p15980
Ob es was bringt, hängt von der Anwendung ab, aus ZIL würde ich zB verzichten, da ich keine Übermässigen Datenbankzugriffe habe.
Das LOG (L2ARC) bringt einen Gecshwindigkeitsvorteil beim Lesen und Zugriff.
Beides kann mit zpool remove einfach wieder entfernt werden, also es besteht keinerlei Risiko, wenn Du eine SSD übrig hast und es testen willst.

Viele Grüße,
Crowi
NAS 1: Milchkuh: Asrock C2550D4I, Intel Avoton C2550 Quad-Core, 16GB DDR3 ECC, 5x3TB WD Red RaidZ1 +60 GB SSD for ZIL/L2ARC, APC-Back UPS 350 CS, NAS4Free 11.0.0.4.3460 embedded
NAS 2: Backup: HP N54L, 8 GB ECC RAM, 4x4 TB WD Red, RaidZ1, NAS4Free 11.0.0.4.3460 embedded
NAS 3: Office: HP N54L, 8 GB ECC RAM, 2x3 TB WD Red, ZFS Mirror, APC-Back UPS 350 CS NAS4Free 11.0.0.4.3460 embedded

Mindheat
Starter
Starter
Posts: 25
Joined: 16 Dec 2013 06:36
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by Mindheat »

hi Crowi

Danke, hab nun ein wenig mehr Zeit (Kurzurlaub) und werde mal deine Anleitung testen ;) eine SSD ist für den kleinen Musicserver bestellt, auch mit einem ganz interessanten MB (Nur 10W TDP, mit 4x2Ghz), werde die wohl mal zum testen ins NAS schmeissen.

Den LAGG to LAGG test werde ich dann hoffentlich auch noch machen können, immo wurden nur die 1xGbit Nics der Rechner getestet und die sind fast am Anschlag :D Das fise einige faule Eier "NIC`S" wurden auch noch gefunden. Nennen sich sogar teilweise Hauptrechner :( die Fernwartungsrechner und Server knallen alle mit 100MB/s nur unsere Hauptrechner lahmen mit 40MB/S.

Da muss wohl der Realdreck raus und Intel rein :D

Was macht dein Managed Switch :D

Grüsse aus dem kleinen Nachbarland

Mind

bcs-luggi
NewUser
NewUser
Posts: 13
Joined: 03 Aug 2012 10:08
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by bcs-luggi »

Servus,

ich hab mal Deine Anleitung für das LAGG probiert.
Soweit so gut, aber in der rc.conf steht das bei mir so nicht drin.

Code: Select all

ifconfig_lagg0="laggproto lacp laggport igb0 laggport igb1"
ipv4_addrs_lagg0="xxx.xxx.x.xxx/24"
Ich habe drei NIC's
Ein interner und zwei über eine Intelkarte
Der LAGG läuft auf die beiden Intel
Eingestellt habe ich
- LAN:lagg0
- OPT1 bge0 (intern)
- OPT2 igb0 (Intel)

Hab ich da nen Denkfehler oder warum steht in der rc.conf das anders.
9.1.0.1 Sandstorm (Rev 847)

Danke für jeden Tip
Bert
nas4freee 9.1.0.1 (847) on HP-Proliant NL40
4 x 1 TB WD1502FYPS (zfs/raidz1)
2 x 3 TB USB (backup)

Mindheat
Starter
Starter
Posts: 25
Joined: 16 Dec 2013 06:36
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by Mindheat »

Hallo Bert

hier mal ein Auszug aus meiner rc.conf und sorry für die späte Antwort ;)

Code: Select all

hostname="nas.local"
ifconfig_lagg0="laggproto lacp laggport igb0 laggport igb1"
ipv4_addrs_lagg0="xxx.xxx.x.xxx/24"
defaultrouter="xxx.xxx.x.x"
netwait_enable="YES"
netwait_ip="xxx.xxx.x.x"
netwait_if="lagg0"
cloned_interfaces="lagg0"
ifconfig_igb0="up"
ifconfig_igb1="up"
IP`s in der .conf eintragen also:
ipv4_addrs_lagg0= NAS IP
defaultrouter= Router IP
netwait_ip= Router IP

Auf den ersten Blick ist der Teil aus der .conf richtig beide IntelNICs igb 0 und igb 1, jedoch schreibst du dass im webGUi die NIC1 (OPT1) als bge0 eingetragen ist. Ich gehe mal davon aus dass hier der Fehler sitzt, da dies wohl die interne NIC ist.

wie sieht der Rest deiner .conf aus?

Sind die beiden Einträge entfernt worden?

Code: Select all

ipv4_addrs_igb0="xxx.xxx.x.xxx/24"
ipv4_addrs_res0="xxx.xxx.x.xxx/24"
wo die genau in der .conf standen weiss ich nicht mehr, nur sind diese fehlerhaft und durch das webgui eingetragen.

Sollte das N4F mit Lagg nicht mehr ansprechbar sein, einfach mit Monitor und Tasta die Lagg an der Kiste löschen und schon gehts wieder ;)

Gruss Mind

bcs-luggi
NewUser
NewUser
Posts: 13
Joined: 03 Aug 2012 10:08
Status: Offline

Re: neues ZFS NAs im 19" Rack

Post by bcs-luggi »

Sorry for beeing late.

Danke für die Info.
Meine conf sieht singemäß genauso aus.
Nur die beiden Einträge für igb0 und igb1 waren von vorne herein nicht da.

Bert
nas4freee 9.1.0.1 (847) on HP-Proliant NL40
4 x 1 TB WD1502FYPS (zfs/raidz1)
2 x 3 TB USB (backup)

Post Reply

Return to “Deutsch”