21% fragmentiert nach Neuaufsetzen eines Pools

[Mike]

Hallo, nach Neuaufsetzen eines Pools und anschließender Belegung von 36% wird ein Fragmentierungswert von 21% ausgewiesen.
Es handelt sich um ein RaidZ1 mit 5x 4TB, die Platten sind auf 4k eingestellt.
Einen solchen Wert würde ich nach längerer Benutzung mit vielem Schreibverkehr erwarten, so aber bin ich etwas ratlos.
Ist unter ZFS der obige Wert normal?
MfG Mike

[crowi]

Du schreibst leider nicht wie Du die Belegung von 36% durchgeführt hast, z.B ob die Dateien parallel oder seriell kopiert wurden etc.
Einiges dazu ist hier beschrieben:
https://forums.freenas.org/index.php?th ... ent.41722/

[Mike]

Habe die Verzeichnisse mit einem Befehl mit meinem Dateicommander kopiert, d.h. die Verzeichnisse markiert und kopieren gewählt. Der Thread in englisch nützt mir nichts. Den Begriff parallel oder seriell beim Kopieren kenne ich nicht, auch nicht nach 25 Jahren PC-Tätigkeit.
Es ist unschön, daß Defragmentierung bei ZFS-Pools nur durch Löschen und wieder Einspielen geht.

[crowi]

nunja man lernt immer noch etwas dazu, auch nach 25 Jahren PC Tätigkeit: Programme wie z.B. Robocopy /richcopy können mehrere Dateien gleichzeitig kopieren (parallel, mutlithreading). Wenn also viele und große Dateien gleichzeitig ohne die nötige Vorbelegung (preallocation) kopiert werden, kann eine hohe Fragmentierung entstehen. Das hängt aber davon ab wie Dein Kopierprogramm arbeitet... Bei seriellen Kopiervorgängen, also eine Datei nach der anderen, passiert das nicht.
Multithreading ist hilfreich und schneller, wenn viele kleine Dateien kopiert werden müssen.
Aber ich gebe Dir recht, ein Defragmentierungstool für ZFS wäre hilfreich.

[Mike]

Danke nochmal für die Antwort. Mein Dateicommander ist der Totalcommander, früher Wincommander, seit Jahrzehnten. Wie der nun das Kopieren regelt, weiß ich nicht. Multithreading wohl eher nicht, insofern steht die Frage, warum diese sofortige hohe Fragmentierung, immer noch da.
Solange der Füllgrad des Pools klein bleibt, wird das kein Problem sein, aber ich würde gern die Kapazität bis 80% ausnützen.
Ich hatte früher auch nach längerer Laufzeit nur wenige Prozent Fragmentierung, jetzt ist es mir zum dritten Mal passiert, ob die 11er Version dran Schuld ist, kann ich nicht beurteilen.
Gruß Mike

[Princo]

Ist unter ZFS der obige Wert normal?

Ja, der ist völlig normal.
Die Angabe "FRAG" bei der Ausgabe des Kommandos "zpool list" gibt nicht den Fragmentierungsgrad der Dateien an, sondern die Fragmentierung der freien Bereiche.

Siehe:
https://utcc.utoronto.ca/~cks/space/blo ... ionMeaning
https://utcc.utoronto.ca/~cks/space/blo ... ionDetails

Bedeutet die Fragmentierung der freien Bereiche nicht, daß hinzugefügte Dateien fragmentiert abgespeichert werden?
Nein, ZFS sorgt dafür, daß auf die Daten zügig zugegriffen werden kann.
Dabei sollte man bedenken, daß ZFS nicht für den Single-User-Betrieb gedacht ist, und eine gewisse Fragmentierung im Prinzip völlig unschädlich ist.

Was hat es mit der Regel auf sich, daß ein ZFS-Pool möglichst nur zu 80% gefüllt werden sollte?
Für den Betrieb als Home-NAS ist das imho völlig irrelevant.
Es kommt darauf an, wie man das Dateisystem nutzt.
Ein Home-User, der hauptsächlich neue Daten auf das NAS spielt, und nur wenig Daten löscht, hat ein völlig anderes Nutzungsprofil, als ein Rechenzentrum bei dem tausende Nutzer auf den Server zugreifen, und vielleicht noch Mailserver- und Datenbankanwendungen laufen. Da kann es schon bei wesentlich niedrigeren Füllständen (~60%) zu spürbaren Performance-Verlusten durch Dateifragmentierung kommen. Und deswegen gibt es dafür Systemadministratoren, die sich um solche Probleme kümmern.

Im Heim-Bereich kommt das Problem mit der Fragmentierung höchstens dann zum Tragen, wenn das NAS auch als Backup-System für Clients verwendet wird. In diesen Fällen empfehle ich den Einsatz eines eigenen Backup-Servers für diesen Zweck.

Grüße
Princo

[Mike]

Danke für die Antwort eines Fachmann´s. Mich hatte der 2stellige Wert irritiert, weil ich bei vergleichbarer Poolgröße und Füllgrad bei vorigen Versionen Werte im unteren einstelligen Bereich hatte. Vielleicht hat man bei SMB3-10 auch was geändert, da mein Dateimanager streng seriell kopiert.
MfG Mike