Zusatz zur config

[Mike]

Hallo, als NAS-Anfänger fand ich folgende Ergänzung:
vm.kmem_size="7G"
vfs.zfs.arc_max="6144M"
vfs.zfs.arc_min="6144M"
vfs.zfs.txg.timeout="5"
vfs.zfs.txg.write_limit_override="0"
vfs.zfs.vdev.min_pending="1"
vfs.zfs.vdev.max_pending="1"
vfs.zfs.prefetch_disable="0"
Machen diese Einträge bei 8GB Speicher Sinn, oder sind die Performancesteigerungen marginal? RAIDZ-1 mit 3x 3TB WD EZRX ( eigentlich keine NAS-Platten!)
Ist der Eintrag für Kompression lz4 bei meiner schwachen CPU E350 sinnvoll ?
Gruß Mike

[apollo567]

Nun,
wie wärs die aktuellen Werte zu ermitteln und diese Werte dann mit dieser neuen Konfiguration zu vergleichen ?
Lz4 würde ich bei einem E350 nicht zwingend verwenden, wenn der Platz auch so reicht.

Diese Werte benutze ich bei 8 GB in der Loader.conf :
vfs.zfs.arc_max 5120M
vfs.zfs.arc_min 5120M
vfs.zfs.no_write_throttle 0
vfs.zfs.prefetch_disable 0
vfs.zfs.txg.timeout 5
vfs.zfs.vdev.max_pending 10
vfs.zfs.vdev.min_pending 4
vfs.zfs.write_limit_override 0
vm.kmem_size 6656M

[Mike]

Danke für die Antwort. Es ist für mich schwierig, den genauen Hintergrund jeder Einstellung zu erfassen, denke, daß selbst erfahrene User oft nach Erfahrung gehen.Ein Variieren der genannten Werte brachte bei mir nichts.
Die einzige merkbare Verschlechterung hatte ich beim Schreibdurchsatz beim Wechsel von Raid 0 UFS (2x 3TB ) auf ZFS RaidZ-1 ( 3x 3TB ), was aber mit der Fragestellung nichts zu tun hat. Allerdings sind natürlich 50 statt der gewohnten 100MB/s schon gewöhnungsbedürftig. LZ4 hatte ich wohl falsch verstanden: Ich hatte das als Performanceerhöhung verstanden, nach Deinen Worten ist es nur eine Platzverbesserung.
Gruß Mike

[apollo567]

LZ4 hatte ich wohl falsch verstanden:

Meinem Verständnis nach ist es ein Kompressionsverfahren

[Mike]

Ich habe keine Ahnung, hatte in Richtung Sandforcecontroller gedacht...
Schönen Abend
Mike

[Princo]

Hi Mike,

Die Werte von apollo567 sind die richtigen für 8GB RAM.
Zur Samba/CIFS Konfiguration hatte ich hier etwas geschrieben:
viewtopic.php?f=29&t=5787&p=32277#p32277
Damit sollte das bei dir etwas schneller werden.

Es ist richtig, daß das Schreiben auf ein RaidZ1 bei deiner Hardware langsamer gegenüber Raid-0 mit UFS ist. Das ist aber auch nicht miteinander vergleichbar, da bei Raid-0 die Daten wechselweise auf die Platten geschrieben werden, und damit einer sehr hohe Geschwindigkeit auf Kosten der Sicherheit erreicht wird. Mit ZFS kannst du das übrigens auch machen, dort nennt sich das "Striping". Einsetzen würde ich das aber nicht.

LZ4 ist eine besonders schnelle Kompressionsmethode. Da dadurch weniger Daten auf die Platten geschrieben werden müssen, kann sich der Datendurchsatz tatsächlich etwas erhöhen. Das hängt aber von der Art der Daten ab. Bei Bildern, Musik oder Videos bringt das z.B. gar nichts, da diese Dateiformate bereits sehr hoch komprimiert sind.

Oder anders herum gesagt: Von Komprimierung solltest du erst mal die Finger lassen. Komprimierung bringt nur in ganz speziellen Fällen tatsächlich etwas.

Ich hatte dich bereits darauf hingewiesen, daß du ZFS nicht auf deinem E350-System einsetzen solltest, weil du dort kein ECC-RAM hast. Und ECC-RAM brauchst du bei ZFS, da du sonst deine Daten verlieren kannst.

Grüße
Princo

[Mike]

Danke nochmal für die Hilfe. Nun, ich habe das mit ECC schon verstanden, da ich aber über eine zusätzliche Sicherung verfüge, dient NAS bei mir nur zum Datenzugriff.
Zur Syntax eine Frage: In meinem Beispiel wurden die Werte in Anführungszeichen gesetzt, bei Apollo 567 nicht. Bitte ein erklärendes Wort. Komprimierung verhält sich also so, wie bei den Sandforcecontrollern: Bei schon komprimierten Daten bringt es nichts.( Siehe ATTO-Tool, OCZ-Referenz! )
Gruß Mike

[Princo]

Schau doch mal wirklich in viewtopic.php?f=29&t=5787&p=32277#p32277 rein. Da habe ich das damals sogar mit den Anführungszeichen erklärt.

Die Komprimierung von ZFS verhält sich nicht wie bei den Sandforcecontrollern.
Bei ZFS kann man zwischen vier grundsätzlich unterschiedlichen Kompressionsarten wählen. Bei einer davon kann man zwischen 9 verschiedenen Kompressionsstufen wählen.
Damit kann man die Kompression ganz exakt auf die zu komprimierenden Daten und auf die Leistungsfähigkeit der eingesetzten Hardware abstimmen. Das setzt allerdings profunde Kenntnisse über die Kompressionsalgorithmen voraus.
Außerdem bringt die ZFS-Kompression einen tatsächlich nutzbaren Platzgewinn im Datenpool.
All das ist bei den Sandforcecontrollern nicht möglich. Daher kann man das auch schlecht miteinander vergleichen.

Bei den Sandforcecontrollern geht es ausschließlich darum, die Schreib-/Leseoperationen auf SSD-Laufwerke zu minimieren, um die Lebensdauer zu erhöhen. Das ist ein völlig anderer Ansatz als bei der ZFS-Komprimierung.

Grundsätzlich rate ich vor dem Einsatz jeglicher Komprimierung ab, auch wenn das bedeutet, daß man dadurch ein paar Gigabyte Platz verschwendet. Es gibt aber auch Spezialfälle, bei denen man zwingend komprimieren muß, aber das zu erklären, würde den Rahmen dieses Posts sprengen.

Grüße
Princo

[Mike]

Und eben diesen Satz " bei Value ist der Text nach dem = einzutragen (ohne Anführungszeichen " verstehe ich nicht: Alle Werte sind m i t Anführungszeichen versehen!
Gruß Mike

[Princo]

Ja, die Werte sind mit Anführungszeichen versehen, müssen aber ohne die Anführungszeichen eingegeben werden.

Gruß
Princo

[Mike]

Ich geb es auf, für diese Systeme muß man wohl mit gekreuzten Fingern auf die Welt gekommen sein. Warum dann Apollo ohne Anführungszeichen postet, Du mit ??? Das ist für einen Anfänger nicht eben einleuchtend.
Gruß Mike

[crowi]

Hallo,

wenn ich mir die Datei "loader.conf" unter /boot über putty ansehe, z.B. mit

Code: Select all

nano loader.conf

haben alle Werte Anführungszeichen.
Hier gibt es scheinbar ein Missverständnis, denn Du kanst die Werte auch über die Webgui unter System|Advanced|loader.conf
eingeben. Hier natürlich ohne Anführungszeichen, wenn Du einen neuen Wert hinzufügst.

Gruß,
Crowi

[apollo567]

Hallo,

wenn ich mir die Datei "loader.conf" unter /boot über putty ansehe, z.B. mit

Code: Select all

nano loader.conf

haben alle Werte Anführungszeichen.
Hier gibt es scheinbar ein Missverständnis, denn Du kanst die Werte auch über die Webgui unter System|Advanced|loader.conf
eingeben. Hier natürlich ohne Anführungszeichen, wenn Du einen neuen Wert hinzufügst.

Gruß,
Crowi

Exakt, ich habe für die Forummitteilung einfach die Werte aus dem Webgui kopiert....

[Mike]

Hallo, was passiert denn, wenn man die Werte trotzdem in dem Webgui mit Gleichheitszeichen und Anführungsstriche eingibt? Eine Fehlermeldung kommt zumindestens nicht.
@apollo567: Du hast die Werte aus dem Webgui kopiert...?, wenn ich was kopiere, dann sind da auch Anführungsstriche dabei.
Gruß Mike

[apollo567]

Hallo, was passiert denn, wenn man die Werte trotzdem in dem Webgui mit Gleichheitszeichen und Anführungsstriche eingibt? Eine Fehlermeldung kommt zumindestens nicht.
@apollo567: Du hast die Werte aus dem Webgui kopiert...?, wenn ich was kopiere, dann sind da auch Anführungsstriche dabei.
Gruß Mike

1) Warum probierst du es nicht aus und schaust dir die entsprechenden Logs beim Starten etc. an.
2) Dann hast du etwas anders gemacht als ich, bei mir sind keine Anführungszeichen dabei, wenn ich aus dem webgui kopiere (gerade nochmal geprüft).
Eine Auswirkung dieser Einstellungen bei mir war die dann sehr hohe Speichernutzung im Vergleich zu vorher.

mfg
Apollo

[Mike]

Strg-C in der Webgui ( loader.conf ) im Dateieditor des NAS, dann in einem Editor in Windows Strg-V. Das ist doch aber der normale Weg.Reden wir da aneinander vorbei?
MfG Mike
P.S.:so wie hier:
mfsroot_load="YES"
mfsroot_type="mfs_root"
mfsroot_name="/mfsroot"
hw.est.msr_info="0"
hw.hptrr.attach_generic="0"
kern.maxfiles="65536"
kern.maxfilesperproc="50000"
kern.cam.boot_delay="8000"
autoboot_delay="3"
isboot_load="YES"
zfs_load="YES"
vfs.zfs.arc_max="5120M"
vfs.zfs.arc_min="5120M"
vfs.zfs.no_write_throttle="0"
vfs.zfs.prefetch_disable="0"
vfs.zfs.txg.timeout="5"
vfs.zfs.vdev.max_pending="10"
vfs.zfs.vdev.min_pending="4"
vfs.zfs.write_limit_override="0"
vm.kmem_size="6656M"

[apollo567]

Strg-C in der Webgui ( loader.conf ) im Dateieditor des NAS, dann in einem Editor in Windows Strg-V. Das ist doch aber der normale Weg.Reden wir da aneinander vorbei?
MfG Mike

Wenn ich mal davon ausgehe, das Mausklick links und dann den Befehl kopieren und dann einfügen in einem neuen Post im Forum, das gleiche Ergebnis bringen nein.
In der Anzeige im webgui werden da die Einträge auch schon mit Anführungszeichen angezeigt ?
Wie hoch ist deine Speicherauslastung im Moment ?

[Mike]

22% von 7650MiB

[apollo567]

Dann kopier mal was Großes.
Bei mir steigt die Speicherauslastung dann von initial 2% auf 69 %. Wenn du das auch ähnlich hinbekommst, dann sollten die Einstellungen funktionieren. Wenn die Speicherauslastung niedrig bleibt, probiere es mal ohne Anführungszeichen.
Ich bekomme dabei Speed von über 100 MB/s hin (von Windows 7 PC auf NAS), (ich habe aber jeweils 1 GB Samba Puffer)

[Mike]

Mache ich mal, mit CDM-Tool habe ich mit den conf-Werten Read/write 91/78 MB/s. Melde mich nach dem Test noch mal.
Gruß Mike

[apollo567]

ich nutze die N4F Anzeige zur Durchsatzmessung

[Mike]

So, 4GB nach NAS: Speicherauslastung steigt bis auf 70%, mein Dateicommander zeigt eine mittlere Übertragungsrate von 80 MB/s. Aber: die 70% bleiben, auch nach der Übertragung!???
Meine Übertragung hat sich deutlich nach : "getwd cache = yes
socket options = TCP_NODELAY IPTOS_LOWDELAY SO_KEEPALIVE" aus dem Post von Princo verbessert. Dagegen hatte ich ja Deine Werte ohne Zeichen in die loader.conf eingefügt: kein Unterschied zu mit Zeichen!
Aber bitte daran denken: 25 Jahre Windows lassen sich nicht so leicht auf ein anderes System umrubeln, mir fehlt einfach die Routine im Umgang mit für NAS geeigneten Werkzeugen.
Gruß Mike

[Princo]

Aber: die 70% bleiben, auch nach der Übertragung!???

Völlig richtig so. Die liegen jetzt im Cache.

25 Jahre Windows lassen sich nicht so leicht auf ein anderes System umrubeln

Du hast 25 Jahre mit einem OS gearbeitet, welches dich ständig belogen hat.
So hat dir Windows immer viel freien RAM gemeldet, obwohl freie Bereiche zum Cachen genutzt wurden.
Unter Linux/Unix ist die Anzeige "ehrlicher".

Kein Grund sich Sorgen zu machen. Sorgen muß man sich nur machen, wenn man kein ECC-RAM verwendet.

Grüße
Princo

[Mike]

Danke für die Hilfe. Also ich bin kein Windowsfanatiker, aber man muß sich einfach die Nutzerzahlen im Vergleich zu anderen Systemen ansehen: So völlig können die nicht alle von MS manipuliert sein.Ich erinnere immer gern an meinen Versuch, in den 90-ziger Jahren einen Highpointcontroller unter Suse zum Laufen zu bringen, trotz des Studiums von ca. 20 Seiten " How install in Linux" war es für mich nicht zu packen.
Bitte noch eine Hilfestellung: Unter ZFS/ Datenträgergröße befindet sich unter Pool ( 8,12T ) ein leeres Fenster( Datenträgergröße ) Was sollte ich da eingeben?
Und noch ein Problem: Im Log erscheint :"kernel: GEOM: ada0: corrupt or invalid GPT detected", das selbe für ada1, für ada2 kommt diese Ausage nicht. Hat das was mit der Windowsvergangenheit der beiden Platten zu tun?
Gruß Mike

[Princo]

Danke für die Hilfe. Also ich bin kein Windowsfanatiker, aber man muß sich einfach die Nutzerzahlen im Vergleich zu anderen Systemen ansehen: So völlig können die nicht alle von MS manipuliert sein.Ich erinnere immer gern an meinen Versuch, in den 90-ziger Jahren einen Highpointcontroller unter Suse zum Laufen zu bringen, trotz des Studiums von ca. 20 Seiten " How install in Linux" war es für mich nicht zu packen.

Mir ging es nicht um Windows-Bashing, sondern darum, daß eigentlich alle modernen OS freien RAM zum Datei-Caching nutzen. Windows zeigt das nicht an, deshalb die unterschiedlichen Angaben.

Bitte noch eine Hilfestellung: Unter ZFS/ Datenträgergröße befindet sich unter Pool ( 8,12T ) ein leeres Fenster( Datenträgergröße ) Was sollte ich da eingeben?

Genau solche Fragen sind es, weswegen ich empfehle, die Web-GUI auf der englischen Spracheinstellung zu belassen.
Du bist anscheinend im ZFS-Volume-Management gelandet.
Über diesen Punkt kann man Speicherplatz für iSCSI-Laufwerke bereitstellen.
Wolltest du ein iSCSI-Laufwerk einrichten?
Wahrscheinlich nicht. Daher kannst du diesen Punkt einfach ignorieren.

Und noch ein Problem: Im Log erscheint :"kernel: GEOM: ada0: corrupt or invalid GPT detected", das selbe für ada1, für ada2 kommt diese Ausage nicht. Hat das was mit der Windowsvergangenheit der beiden Platten zu tun?

Ja.

Grüße
Princo

[Mike]

Hallo, also: Festplatten/ZFS/Pools/Management, dort die Felder Pools, Datensätze und Datenträger: Unter Datenträger wird mein Raidz angezeigt, unter Einstellungen wird die Datenträgergröße verlangt...leeres Feld wird mit einer Fehlermeldung quittiert.
Zum Englisch: Es ist ja so, daß im IT-Sektor englisch vorherrscht. Es gibt aber eine ganze Reihe von Usern, deren Englischkenntnisse nicht ausreichen, um einen komplizierten Sachverhalt zu formulieren ( Hatte statt englisch Latein, sowas gibt es )
Gruß Mike

[Princo]

Unter Datenträger wird mein Raidz angezeigt

Tschuldigung, aber das kann nicht sein. Solange du dort nichts angelegt hast, ist diese Liste leer.

Zum Englisch: Es ist ja so, daß im IT-Sektor englisch vorherrscht. Es gibt aber eine ganze Reihe von Usern, deren Englischkenntnisse nicht ausreichen, um einen komplizierten Sachverhalt zu formulieren ( Hatte statt englisch Latein, sowas gibt es

Es geht nicht darum, einen komplizierten Sachverhalt zu formulieren, sondern einfach darum, daß die deutsche Web-GUI nicht die gängigen Begriffe enthält.

Bei der Spracheinstellung auf "English" steht an der betreffenden Stelle der Begriff "Volume". Eine Internetsuche mit dem Begriffen "zfs volume" bringt dir schon beim zweiten Treffer den richtigen Link zur deutschsprachigen[!!!] Erklärung: http://docs.oracle.com/cd/E24841_01/htm ... gaypf.html

Gruß
Princo

[Mike]

Nun gut, es kann schon sein, daß ich unerfahren dort ein Datenträger=Volume angelegt habe: Bin das halt so gewohnt: Datenträger und eventuell mehrere Partitionen. Und bitte nicht die Nase rümpfen über User, die etwas tun, ohne genau zu verstehen, was passiert. Man lernt auch durch Negativerfahrung. Kann ich das in fälschlicher Weise angelegte Volume ohne Datenverlust löschen ?
Gruß Mike

[crowi]

Difficilia quae pulchra

Also wenn ich mir den Link, den Dir Princo geschickt hat durchlese, steht da auf deutsch folgendes:

Beim Erstellen von Volumes wird automatisch eine Reservierung der anfänglichen Volume-Kapazität angelegt, um unerwartetes Verhalten zu verhindern. Wenn die Kapazität des Volumes beispielsweise kleiner wird, können Daten beschädigt werden. Deswegen müssen Sie beim Ändern der Kapazität eines Volumes äußerst sorgfältig vorgehen.

Also denke ich: Nein, Du wirst ein Volume nicht ohne Datenverlust löschen können...
Aber Du kannst es ausprobieren, ob es geht, natürlich nur wenn Du die Daten die im Volume liegen vorher sicherst... :-/

Ein genereller Tip:
bevor Du Dein neues NAS in Betrieb nimmst und mit Daten füllst, solltest Du solche Dinge ausprobieren. Und auch was passiert, wenn eine Festplatte ausfällt, wie man sie durch eine neue ersetzt etc. Das erspart Dir später einiges an Schweiss im Ernstfall...

Viel Glück,
Crowi

[Mike]

Nun, die Frage war ja, welchen Wert man in das Feld für die Datenträgergröße einträgt: Ich habe dort die Größe des Pools 8.12T eingetragen. Fehlermeldungen im Log waren nicht zu entdecken.Ob diese Einstellung besonders elegant ist, ist mir wurscht: Ich werde ( und will auch nicht ) kein NAS4free-Versteher werden, ich habe mit meinen W7,W8.1, Ubuntu, Xubuntu, Suse-Rechnern genug zu tun, da will ich keine neue Baustelle eröffnen. Mein NAS erfüllt meine Forderungen, gesichert sind die Daten woanders.
Gruß Mike