Page 1 of 1

IBM Server 3650 vsphere Teaming

Posted: 29 Apr 2014 20:18
by franky64
Hallo zusammen,

Erstmal guten Tag zusammen, ich möchte NAS4free einsetzen und habe hier trotz Suchfunktion und viel lesen einige Fragen.

Derzeit betreibe ich in einem RZ ein IBM Bladecenter mit mehreren Vsphere Hosts. Shared Storage ist ein IBM IScsi SAN.

Da ich mir eine Backup Möglichkeit schaffen möchte wenn das ISCSI SAN mal ausfällt, oder wenn ich das mal updaten möchte,
ich ausserdem kein grosses Geld ausgeben möchte....dachte ich ich nehme einen "ausrangierten" IBM Server den ich derzeit
nicht im Einsatz habe für einen Nas4free Aufbau.

Was sich nach einigem lesen nicht erschliesst.

Für "normale" Linux/Windows VM´s gibt es keinen grossen Perfomance Unterschied ob ich für
den shared Space NFS oder ISCSI als Software Target nutze !? Stimmt das so? Hat hier jemand Erfahrung?

Wenn ich in einem IBM Server den Standard Hardware Raid Controller habe, ich mir für den Zweck jetzt
2 neue 4TB Platten hole (ich setze jetzt mal vorraus das der Controller die erkennt) Sollte ich bei ZFS jetzt vorher
mit dem Raid Controller ein Raid einrichten? Oder ist das doppelt gemoppelt und kostet Perfomance?

Sollte ich gar keine Raids confen?

Der Server hat 2 gigabit Nics onboard, sollte man diese bündeln? und eine "günstigere" Karte zufügen fürs Management?

Re: IBM Server 3650 vsphere Teaming

Posted: 30 Apr 2014 01:47
by Princo
Hhm, das ist natürlich eine sehr spezielle Hardware, und ein sehr spezieller Einsatzzweck.
Allerdings dürftest du über die entsprechendes Skills verfügen, um dieses Projekt zumindest testweise durchzuziehen :mrgreen:

Daher gehe ich davon aus, daß du mit den drei folgenden Links schon sehr viel anfangen kannst:

1) http://forums.freenas.org/index.php?thr ... zfs.15449/
2) http://forums.freenas.org/index.php?thr ... ine.12484/
3) http://forums.freenas.org/index.php?thr ... ata.12714/

Die Abhandlungen beziehen sich zwar auf FreeNAS, gelten aber auch für NAS4Free.

In deinem Fall (soweit ich das beurteilen kann) ist es wichtig, daß dein Server mit RDIMM-RAM bestückt ist (NICHT mit UDIMM!). Wenn das nicht der Fall ist, fällt der Einsatz flach.

ZFS sollte nicht in einer virtualisierten Umgebung betrieben werden, und braucht direkten Zugriff auf die Festplatten (das sind die Links 2 und 3) um optimal zu funktionieren.

Das bedeutet, daß die Raid-Funktionalität des Controllers nicht genutzt wird. Der Controller sollte die Platten als JBOD behandeln.
Vereinfacht ausgedrückt wird der gesamte Rechner zu einem riesigen ZFS-Controller. Das ist auch der Grund, weshalb der Rechner zwingend mit ECC-RAM ausgestattet sein muß.

Im Prinzip kann man ZFS auch mit als Raid konfigurierten Controllern betreiben, kann dann aber einige wichtige (und hilfreiche) Eigenschaften von ZFS nicht nutzen.

ZFS ist ein sehr performantes Dateisystem, wenn es den vollen (also nicht virtualisierten) Zugriff auf die Hardware hat.
Wenn dein Server mehrere NICs hat, dann kannst du sie auch auf verschiedene Arten bündeln, und die Daten mit maximaler Geschwindigkeit übertragen.
Da NAS4Free auf FreeBSD basiert, ist es sehr wahrscheinlich, daß dein IBM Server 3650 damit kompatibel ist.
Das Einzige, was man wahrscheinlich etwas anpassen muß, sind diverse RAM-Parameter, welche vom Speicherausbau deines Servers abhängen.

Wenn dein alter 3650 mit dem richtigen RAM ausgestattet ist, und der Raidcontroller wie ein JBOD konfiguriert werden kann, sehe ich gute Chancen, das Gerät als NAS4Free-System einzusetzen.

Grüße
Princo

Nachtrag; NFS und iSCI sind Protokolle mit sehr wenig Overhead, und damit auch die effektivsten Methoden, um Daten auf ein NAS4Free zu übertragen,

Re: IBM Server 3650 Raid vsphere / esxi

Posted: 30 Apr 2014 09:47
by franky64
Hallo Princo,

danke für deine ausführliche Antwort, ich denke schon das ich die "Skills" habe um da durch zu blicken. Es ist nun mal so, auch wenn man
10 Jahre Erfahrung hat, kommt man durch Projekte immer wieder in Bereiche wo man gar kein, oder nur "gefährliches" Halbwissen hat.

Mein englisch ist nicht das allerbeste, daher auch mein Post hier im deutschen Forum. Wenn ich deine Links richtig interpretiere geht es sich um das
was Du auch schreibst. In meinen Recherchen kam schon heraus das man ZFS einsetzen sollte, (entsprechende Hardware vorrausgesetzt) dafür wird ECC Ram bevorzugt, ggfs 1GB pro Terra genutzten Space.

Das ist alles gegeben, mein Problem ist derzeit erstmal der Raidcontroller, ich wusste nicht wirklich wie ich den im Vorfeld für die Nutzung von N4F confen soll.
Man kennt natürlich Raid0 und Raid1/5, Jbod hatte ich noch nie verwendet, hab es bei der Config von IBM Raid Controllern im Bios auch noch nie gesehen.
Ich gehe einfach mal so vor das ich die eingerichteten Raids einfach lösche und N4F installe auf USB Stick, und dann mal schaue was ich für Platten angeboten bekomme.

ich wollte einfach mal mit 2* 4TB(neu) + 4 mal 1TB (alt) starten, die 4 TB
unter ZFS als Raid, damit 1 Platte mal kaputt gehen kann....die anderen Platten als Stripe, für Ablage von Backups, und ggfs unwichtiges Zeugs, die dürfen dann auch mal kaputt gehen...

ist bei diesem Setup im Vorfeld noch etwas zu bachten? Kommen wir wieder zum Thema "gefährliches Halbwissen" ZFS habe ich nur etwas angelesen, nie gesehen oder gar getestet.

Ich denke jetzt einafch mal wie ich vorgehen möchte, bitte berichtigt mich wenn ich einen Denkfehler habe!

ich habe 6 Platten.

Ich habe unter ZFS 2 Pools eingerichtet, ein Pool sind die beiden 2TB Platten, die sollen "gemirrored" werden, sprich eine darf kaputtgehen , und die andere soll weiterlaufen, bei einem Problem, neue Platte, und zurückspiegeln.

Die anderen Platten sind der 2te pool, 4 * 1TB - wenn hier eine Platte kaputt geht, baue ich neue Platte ein, wie wäre dann die Vorgehensweise?

Zu den 4TB Platten bin ich auch noch unsicher,

http://www.tomshardware.co.uk/answers/i ... grade.html

Sollte bei der Betrachtung rauskommen das der Server keine Platten grösser 2TB mag fange ich erstmal mit 2 * 2 TB an und den Rest der möglichen
6 Bays statte ich mit vorhandenen 4* 1TB aus.

der Server hat einen Hardwarestand von 2008, wobei wir von Enterprise Maschinen sprechen, also durchaus
guter teurer Hardware, die man aber heute hinterhergeworfen bekommt. 1 Dual Core CPU 2,8Ghz. ggfs kann ich auch noch eine 2te CPU nachrüsten.
Da der Server in einem RZ läuft spielt der Krach keine Rolle, Strom (derzeit) auch noch nicht.

Re: IBM Server 3650 vsphere Teaming

Posted: 30 Apr 2014 10:00
by b0ssman
kannst du rausfinden welcher raidcontroller in dem server verbaut ist?

2008 ist etwas alt. wenn z.b. ein IBM BR10i verbaut ist laufen keine platten >2tb

Re: IBM Server 3650 vsphere Teaming

Posted: 05 May 2014 10:32
by franky64
Ich hatte jetzt Zeit mich weiter zu kümmern. Also es ist ein IBM ServeRAID 8k verbaut, er wird keine grösseren Platten können, es sind 2 Quadcores CPU´s 2,0 Ghz
verbaut, 32 Gb Ram habe ich Ihm gegönnt, 4* 1TB und 2* 500GB, die vorhandenen Raids habe ich gelöscht, und im Raid Controller konnte man einfach nur sagen "platten hinzufügen" das getan, bin ich soweit gekommen das ich einen ZFS Pool anlegen konnte, und 4,3TB angezeigt bekam.

Ich nutze jetzt das vorhandene Setup erstmal um mich in nas4free einzuarbeiten, und werd dann sehen ob ich mir weitere Hardware anschaffe/besorge oder ob ich im vorhandenen Server nur einen alternativen Raidcontroller einbaue. Insbesondere weiss ich nicht ob die CPU für den professionellen Einsatz reicht.

Ich möchte hier einige VM´s unter vsphere per NFS bereitstellen, ggfs auch mal ISCSI testen, hierfür sollte die VMware Hosts mit mind 2GBit an das Nas angebunden sein.
Daher jetzt auch LACP.

Ich war schon soweit das ich einen CIFS eingerichtet bekam, und erste tests mit 40-50 MB´s Geschwindigkeit testeten konnte zwischen einem Windows Client
und den NAS. Soweit so gut. Aber für den "Professionelleren" Einsatz und diesem Test sollte es doch etwas mehr sein. Ich weiss das ich mit dem Setup nicht sehr weit komme, aber für Backups oder sonstiges zu lagern ist das schon mal sehr gut.

Jetzt will ich zusätzlich 2 NIC konfigurieren die als LACP zu meinem Bladecenter gehen, erschwerend kommt hinzu das ich nicht wirklich weiss
wie man einem Bladecenter Switch BNT (6 Port Gigabit) LACP conft, obwohl so schwierig kann das nicht sein.

Ich hänge jetzt und weiss nicht mehr weiter an folgendem Problem.

Der Nas4free hat derzeit 2 interne GigE Schnittstellen, Ausserdem noch eine Intel pro 1000 Dual Port Nic verbaut, also habe ich mal ein lagg geconft
mit den beiden internen Nics. (LAN ist derzeit eine von den beiden INTEL Nic Ports und funzt einwandfrei.)
Angezeigt werden derzeit 5 !! Nics, wobei der Server einen RSA Adapter hat, ich vermute das ist die 5te NIC, die der Server anzeigt.

Ich habe es auch ohne LACP jetzt versucht, ich bekomme es derzeit nicht hin ausser dem LAN eine 2te NIC mit 2tem IP Kreis zu confen, was ich mehrfach schon gefunden habe als HOWto ist mehrere NIC´s zu bündeln und das LAN Interface als VLAN innerhalb des Trunks. Das möchte ich aber ungerne, ich hätte es gerne die LAN (Management) IP extern zum "Übertragungs" Weg zu haben.

Ich habe also die beiden Nics dem lagg hinzugefügt unter Management dann OPT1 mit lagg0 hinzugefügt (LACP ausgewählt) . Diesem OPT1 dann eine statische IP gegeben, nach neustart (dauert mit USB Stick fast 10 Min, kotz...) ist diese IP jedoch nicht erreichbar.

Re: IBM Server 3650 vsphere Teaming

Posted: 05 May 2014 14:03
by franky64
nach mehrerem hin und her habe ich das Netzwerk am laufen!

Nach weiteren Tests melde ich mich!