ASRock Q1900B-ITX mit NAS4Free

[kreuzberger]

Mahlzeit,

ich hab ein Nas4free auf dem ASRock Q1900B-ITX. Das läuft soweit auch stabil.
Aber wenn ich per SMB Daten kopiere kommt der Win7 Client nur auf etwa 2,5MB/s, ( ) was ja sehr mager ist.
Nach Status Schnittstelle verbindet sich der Nas4Free aber mit Gigabit, was der Client ja auch hat. Also in anderen Verbindungen ist der Client entsprechend schnell über den switch (CISCO SG-200-16).
Ok, ich erwarte nicht 100MB/s, aber wenigstens 20-30.....

SYSTEM:
10.2.0.2 - Prester (Revision 2268) auf USB2 Stick
x64-embedded auf Intel(R) Celeron(R) CPU J1900 @ 1.99GHz

CPU Auslastung praktisch bei NULL (auf allen 4 Kernen)
RAM Auslastung um die 17%

4GB RAM
2GB Auslagerung auf /dev/md0

Dienste|CIFS/SMB|Einstellungen:
Send Buffer Size 128480
Receive Buffer Size 128480
Large read/write JA
EA Unterstützung NEIN
DOS-Attribute speichern NEIN
Mapping DOS attributes NEIN
Leere Passwörter NEIN
Asynchrones I/O (AIO) JA
AIO Lesegröße 1024
AIO schreib-größe 1024

Hat da jemand eine zündende Idee?

Kreuzberger

[b0ssman]

geh die liste step by step durch und poste die ergebnisse
http://n4f.siftusystems.com/index.php/2 ... /comments/

[crowi]

Wie immer in solchen Fällen, geh diese Punkte mal durch um das Problem einzugrenzen:
http://n4f.siftusystems.com/index.php/2 ... eshooting/
2,5 MB/s ist mager

Das ASRock Q1900B-ITX hat den Realtek RTL8111GR NIC, vielleicht liegt es ja daran, siehe auch:
viewtopic.php?t=7719

[kreuzberger]

hi b0ssman,

zu 1: probiere ich gleich mal aus.
also per ssh als root verbinden und
iperf3 -c <ip_to_nas>
mit der IP des NAS eingeben?
Was wäre der Ergebnisbereich, der ok wäre?

zu 2: es gibt auf dem NAS kein ZFS, nur eine Platte mit UFS und fertig.

dann also das:
dd if=/dev/ada0 of=/dev/null bs=2M count=10000
ausprobieren?
(in meinem fall ist die Platte "ada1")
Was wäre der Ergebnisbereich, der ok wäre?

zu 4: die CPU dümpelt bei unter 10%

zu 5: den Power Dämon hab ich mal hoch gesetzt auf hi-adaptiv und Maximum.
Keine Verbesserung.

zu 6: Es gibt keinen weitere PCI Interfaces. Die Platte hängt direkt auf dem S-ATA Port.

zu 7: Es wurde kein Advanced Format angewendet. (es sind mp3-Daten drauf)

zu 8: Der Client ist mit anderen Servern/Rechnern übers Netzt normal schnell wie man es bei GBit erwarten kann.

zu 9: es gibt kein ZFS

[kreuzberger]

so:

Kopie von NAS -> Client: 25MB/s
Kopie von NAS über Client direkt zum Windows 2008R2 Server: 2,5MB/s
Kopie vom Client -> Windows 2008R2 Server: 40 ... 60MB/s

[b0ssman]

1
in der liste steht eigentlich genau drin was du machen musst.
aber es gibt noch ausführlichere guides
https://tournasdimitrios1.wordpress.com ... ing-iperf/

Poste die werte
2
poste die werte.

[kreuzberger]

so:

Das heraufsetzen der Send/Receive Buffers auf 513920 brachte das gewünschte Ergebnis: 25MB/s

DANKE

[kreuzberger]

noch besser:

Wenn ich auf Asynchrones IO verzichte nimmt die Übertragungsrate zum sende der Kopieraktion nicht bis auf 7MB/s ab sondern bleibt konstant bei 25 ... 30MB/s.

[spy0r]

also ich hatte mit dem Board auch schon 80Mb/s...

[kreuzberger]

das komische ist bei mir aber, dass ich derlei übertragungsraren nur gelegentlich erreiche, meist dümpelt es dann doch gleich wieder. nachvollziehbar ist das leider für mich bisher nicht.

[Digi-Quick]

zu 7: Es wurde kein Advanced Format angewendet. (es sind mp3-Daten drauf)

Was haben die Dateien / Dateitypen mit AF zu tun?
Wenn eine HDD 4K/AF (512e) Format hat, dann sollte man diese auch entsprechend mit einem 4K Alignement Partitionieren / Einrichten.
Macht man das nicht, bekommt man so komische Performanceprobleme

Da du nicht anggeben hast, welche HDD verbaut ist, kann man dir auch nicht sagen, ob da ein Problem vorliegt.

[kreuzberger]

Dit is ene WDC WD20EARS-00MVWB0.

Ich dachte dise 4K Formatierung bedeutet, dass man 4k große Sektoren anlegt, was im wesentlichen für viele große Dateien sinnvoll ist. Hat man viele kleine würde man aber so ggf Platz "verschenken", da sehr viele Sektoren (pro Datei eine) nur sehr wenig Restdaten, also den letzten erst einer jeden Datei enthalten und somit kaum ausgefüllt sind.
Kreuzberger.

[kreuzberger]

Mahlzeit.

Das Performance-Problem ist nach wie vor da. Ich hab mir nun mal die Mühe gemacht und mit verschiedenen Send/Receive-Buffers immer den selben Ordner mit Daten vom NAS auf einen win7 Client kopiert.

Der Ordner ist ca. 3,5 GB Groß und enthält 485 Dateien (mp3).
Immer gleich hab ich 4GB RAM, 4GB Swapdatei im NAS.
Ich hab dem NAS ein funkelnagelneues Kabel gegönnt und mit dem Cisco SG-200-16 verbunden, an den auch direkt der win7 Client hängt.

Meine Tabelle sah am Ende so aus:

Tabelle.jpg

Die Datenübertragungsraten entsprechen etwa dem, was Win7 nach einer weile anzeigt wenn es sich auf einen Wert einpendelte. Das Aber entspricht so gar nicht dem, was der Graph so vermittelte.
Darum hab ich die auch mal mit kopiert:

16060.jpg

Bei Send/Receive Buffer 16060

32120.jpg

Bei Send/Receive Buffer 32120

64240.jpg

Bei Send/Receive Buffer 64240

128480.jpg

Bei Send/Receive Buffer 128480

256960.jpg

Bei Send/Receive Buffer 256960

[kreuzberger]

513920.jpg

Bei Send/Receive Buffer 513920

1027840.jpg

Bei Send/Receive Buffer 1027840

2055680.jpg

Bei Send/Receive Buffer 2055680

Ok, schön bunt, wa?

Mich verwundert dabei immer wieder die anfangs recht "sportliche" Performance, doch immer wieder sieht man dass diese schnell massiv abnimmt und endet wie ein Bettvorleger. Man könnte meinen da werden buffers nicht korrekt gelöscht und laufen voll.

Also wer weiß Rat?

Kreuzberger

[crowi]

Ich dachte dise 4K Formatierung bedeutet, dass man 4k große Sektoren anlegt,

Das ist falsch gedacht, da die Festplatten jetzt 4k große Sektoren haben.
Kurz gesagt, wenn Du sie nicht im advanced Format verwendest werden 512b Sektoren "emuliert" und das vermindert den Durchsatz
http://www.heise.de/ct/hotline/FAQ-Fest ... 78642.html

[b0ssman]

kannst du die iperf und dd werte mal posten?

[kreuzberger]

@crowl
ok, wer hätte das gedacht. ich will mal jetzt da Daten runtersortieren. das wird aber ne weile dauern und dann tausche ich die platte durch eine andere 2TB mal aus mit 4k Formatierung und setze das ganze dann neu an.

@büssmann
s.o.
ich muss erstmal nen weile Daten kopieren. dann mach ich das mal mit dem iperf.

DANKE

ich guck auch mal ob ich irgendwo eine intel nic her bekomme. muss aber express sein, das board hat nur einen einzigen express slot.
ich frag mich da echt, wie es sein kann dass da jemand behauptet mit dem board auf 80MB/s zu kommen, aber nicht sagt wie er das konfiguriert hat.

[crowi]

ich frag mich da echt, wie es sein kann dass da jemand behauptet mit dem board auf 80MB/s zu kommen, aber nicht sagt wie er das konfiguriert hat.

ohne die iperf und dd Werte und mit falsch formatierten Festplatten ist es schwierig, die richtigen Tips zu geben, deshalb hat der b0ssman und ich gleich die von Siftu aufgelistete vorgehensweise vorgeschlagen

[spy0r]

ich frag mich da echt, wie es sein kann dass da jemand behauptet mit dem board auf 80MB/s zu kommen, aber nicht sagt wie er das konfiguriert hat.

Indem er nicht kreuz und quer Werte hin und herkonfiguriert, von denen er die Auswirkungen nicht kennt.
Oben steht, was du zu tun hast, die 80Mb/s war ohne irgendwas zu verstellen, außer max smb client auf smb3. Allerdings das Ganze auch mit einem ZFS mirror.

Gruß

[Digi-Quick]

Ich dachte dise 4K Formatierung bedeutet, dass man 4k große Sektoren anlegt,

Das ist falsch gedacht, da die Festplatten jetzt 4k große Sektoren haben.
Kurz gesagt, wenn Du sie nicht im advanced Format verwendest werden 512b Sektoren "emuliert" und das vermindert den Durchsatz
http://www.heise.de/ct/hotline/FAQ-Fest ... 78642.html

Auch falsch
AF/4K Platten haben eine physikalische Sektorgrösse von 4K und emulieren eine logische Sektorgrösse von 512 Byte, damit diese Platten weiterhin Problemlos Funktionieren. So langsam kommen aber Controller / Treiber / OSses auf den Markt, die native 4K Sektoren unterstützen.
Hintergrund: Die ATA Spezifikation lässt prinzipiell variable Sektorgrössen zu, aber diese ist technisch nie ummgesetzt worden. Irgendwann vor "Urzeiten" hat man sich für IDE/ATA HDDs auf eine feste Sektorgrösse von 512 Byte festgelegt - vermutlich in Anlehnung an die die verbreitete Sektorgrösse der Disketten.

BTW: An USB werden Massenspeicher mit variaber Sektorgrösse unterstützt, was zuu dem Kuriosum führt, daß einige USB Festplattengehäuse (USB zu SATA Controller) eine 4K Emulation durchführen um z.B. unter Windows XP HDDs mit mehr als 2 GiB vollständig verwendbar zu machen.
Wir haben dann also eine HDD mit einer physikalischen Sektorgrösse von 4K, die eine 512 Byte Emulation durchführt, welche wiederum als 4K emuliert wird

Unglücklicherweise ist bei herkömlicher Partitionierung der Startsektor der ersten Partition der Sektor 63 (die ersten 62 Sektoren bilden die sogenannte "Spur 0" und enthalten den MBR sowie die Partitionstabelle). 62 lässt sich allerdings nicht glatt durch 4 teilen, dadurch entsteht ein "Misalignement". Seit Windows Vista partitioniert Windows grundsätzlich an an 4K Grenzen. Andere OSses können das auch, müssen aber entsprechend konfiguriert / instruiert werden. Bei Nas4Free macht man das bei der Formatierung : "Enable Advanced Format (4KB sector) ".

[kreuzberger]

mahlzeit,

so, ich hab das mit dem iperf3 jetzt mal ausprobiert. Auf dem bockigen Problem-Rechner hab ich iperf3 als "server" mit -s gestartet.
Auf einem weiteren NAS4FREE hab ich dann iperf3 als -c gestartet und folgendes Ergebnis erhalten:

itunes-blogs-iperf3-server.JPG

iperf3 -s (mein "Problemrechner")

itunes-favoriten-iperf3-client.JPG

iperf3 -c (ein anderer Rechner)

Könnt ihr daraus schon was erkennen?
Kreuzberger

[kreuzberger]

@spy0r

SMB3 ist leider nicht möglich, da hier im Netz inhomogene Clients sind. (MacOS X 10.5 ....10.10, Win7)
ZFS bei einer Festplatte, ich weiss ja nicht ob das sinnvoll ist.

@Digi-Quick
DANKE

[kreuzberger]

Info:
den dd-test mache ich gerade.

[kreuzberger]

so, tach ooch. die werte für das DD Experiment sind da:

dd-write.JPG

Schreiben

dd-read.JPG

Lesen

[b0ssman]

ok wir haben das problem gefunden.

deine platte schafft nur 1,7 mb/sec screiben und 1.1mb/lesen.

ist die festplatte kaputt? was sie die bios einstellungen für den sata chip?

[kreuzberger]

Info:
die Platte war NICHT im AHCI Mode angeschlossen und NICHT 4K Formatiert.

Ich führe gerade den DD Test noch einmal durch und werde wie es derzeit aussieht die Platte durch eine gleicher Bauart ersetzen. Die andere Platte (hier liegt noch eine gleiche Platte rum) werde ich dann im AHCI Mode anschliessen und 4K Formatieren. Die andere Platte werde ich dann mit einem USB Adapter vorübergehend mal an den USB Port hängen um die Daten auf die "neue" (es ist keine neu gekaufte, sondern aus dem Fundus/Bestand) per rsync übertragen.
Den Weg über USB muss ich wohl gehen da man ja zwar zwei Platten intern anschliessen kann, aber nicht in unterschiedlichen Betriebsmodi.
Nach dem Plattentausch mach ich dann noch mal den DD-Test.

seufz ... ich war beim Zusammenstöpseln des Rechners wohl nicht aufmerksam............

Kreuzberger

[kreuzberger]

so ihr süßen:

Die alternative Festplatte ist nun einbebaut und 4k formatiert (UFS).
Im Bios hab ich AHCI eingeschaltet.

dd-write-4k.JPG

dd-read-4k.JPG

Was haltet ihr davon? Is das Ok, oder gäbe es da noch fine-tuning?

Beim Kopieren vom Win7 Client auf diese Pladde komme ich so auf 25 - 30 MB/s mit Send/Receive-Buffers 32120.
Bei 64240 waren die Übertragungsraten ähnlich.
Noch größere Werte aber verursachten einen starken Einbruch auf ca. 5 - 6 MB/s.

Kreuzberger

[b0ssman]

so als nächstes sind die iperf werte dran.

du hast sehr komische werte.
für die ersten 2 sekunden sind diese werte total im keller. dies sollte nicht sein. auch sind die werte um 673 nicht berauschend.

kannst du mal die iperf messung zwischen deinem Client -> Windows 2008R2 machen?

[kreuzberger]

hi b0ssman,

ich guck mal ob ich den putty auf dem server installieren kann. dann mach ich da noch mal ein iperf-Test. Aber ich dachte dieses iperf ist ein progrämmchen, was nur auf den nas4free-Kisten ist? Ich wüsste jedenfalls nicht wo das auf einem 2008R2 dabei sein sollte.
Zwischen Win7 Client (Alter Atlon mit 2x2,6GHz, Onboard Realtel Netzwerk) und 2008R2 Server komme ich aber durchaus auf 60MB/s. Andere Rechner im Netz schaffen sogar noch mehr.

Seit dem ich aber nun auf dem betreffenden NAS4FREE AHCI und 4k-Formatierung auf der Platte habe (UFS, WD 2TB) komme ich so auf stetige 30 ... 40 MB/s.
Im Moment kopiere ich gerade vom Nas zum Win7 Client die aus dem DD Test erzeugte Datei (23GB) und komme auf 43MB/s.
Kreuzberger

[b0ssman]

https://iperf.fr/iperf-download.php