Einfluss Netzwerk Karte / Switch auf Lan Geschwindigkeit

[jasch]

Jap genau das meine ich mit stalls.
(ich bekomme hier mir durchoptimiertem system auf 110-118MB/s).
Copies=2 kostet natürlich schreibleistung, da alle nach dem setzten =2 geschriebenen Daten doppelt erstellt werden.Lesen sollte es aber egal sein.
Hier ist nen schöner Artikel darüber.
https://blogs.oracle.com/relling/entry/ ... protection

Wegen des einlesen mit vielen Dateien muss ich mal bei mir nachschauen

[redline]

Super ... Danke schön !!!

Ich habe aber gerade ein viel schlimmeres Problem. Ich mach dafür einen neuen Thread auf. Vieleicht kannst Du da auch mal gucken.
4TB Daten sind im Moment futsch ... Panik macht sich gerade breit.

[redline]

@jasch
Hier der aktuelle Hilfeschrei -> viewtopic.php?f=29&t=2460

[rostreich]

Falls es noch von Belang ist:

Ich hab das gleiche E-350 Board, mit 8GB 1066er Speicher. Allerdings als Windowskiste und quasi 'Quelle' für mein Nas, dessen Specs man in der Sig ablesen kann.
Ebenfalls habe ich nen TP Link Switch, allerdings den 1005d.
Das NAS hat den 8111F Chip.

Da mein Pool die Geschwindigkeit des langsamsten Gliedes (raidz1) hat, sollte das beachtet werden.

Beide Systeme sind vollverschlüsselt und ich bekomme schreibend vom E-350 aufs NAS mit smb2 und aio (geht mit 636) 67MB/s und lesend 74mb/s. 1500er MTU, ZFSKernTune auf 32GB optimiert.

Denk dir die Zahlen andersrum, denk dir den Overhead vom Verschlüsseln weg und du hast nen erreichbaren Richtwert zu dir.

[redline]

Eine Frage direkt zur 636 ....
Ich hab die Embedded Installation. Also könnte ich ja auch über WebGui updaten. Bleiben persöhnliche Einstellungen insbesondere in der loader.conf erhalten oder hab ich
danach wieder alle Werte auf "Default".

Ansonsten , Danke für die Infos. Ich hab mich mittlerweile mit der erreichten Geschwindigkeit angefreundet bzw abgefunden. Ich komme durchgehend auf ca 85 Mb lesen und 75 Mb schreiben. Spitzenwerte gehen mal kurz rauf bis auf 100 Mb aber gemittelt sind es halt 75 Mb. Die Stalls beim schreiben hab ich auch mit den Tips von Jasch nicht verbessern können.

Was nur merkwürdig ist ... Jeder der mir hier geholfen hat reitet auf dem 1500er MTU Wert rum. Bei mir ist es so daß dies wirklich die einzig signifikante Performance
Schraube ist. In einem doppelt Blind Test würde ich alle anderen Veränderungen wohl nicht bemerken. Ich hab 4074 MTU eingetragen auf N4F Seite für eine Intel mit 4k MTU.
Mit dem Wert fluppt es dann ganz gut.

Es gibt aber tatsächlich noch eine Sache die mich wohl in den Wahnsinn treibt. Bei der geht es aber um ein tieferes Vertändnis der ZFS Caching Mechanismen.
Dafür mach ich wohl besser einen neuen Thread auf in der ZFS Abteilung.

[rostreich]

Direkt updaten kannst du, bleibt alles erhalten, wenn deine embedded 'sauber' ist. Zieh dir trotzdem das Configfile runter. Da gibts einen Link direkt, wenn du auf Firmware drückst. Die Loader.conf ziehst du besser auch manuell nochmal wohin, das kann ich dir nicht genau sagen, ob die auch bleibt.

Deine Werte sind ja genau wie die meinen, nur eben ohne Overhead
Die Stalls sind normal. Und die Geschwindigkeit für ZFS bei den Komponenten auch.
Auch: Samba unter BSD war schon immer langsamer als unter Linux. Es läuft auch nur Singlethreaded.
Du könntest mal ein ISCSI Target einrichten, auf der Windowskiste einbinden, als NTFS formatieren und dann CrystalDiskMark draufhetzen.

Was nur merkwürdig ist ... Jeder der mir hier geholfen hat reitet auf dem 1500er MTU Wert rum.

Hrhr ja, ich hab rausgelesen, dass du am Explodieren warst.
Ich kann dir aus eigener jahrelanger Erfahrung (angefangen mit 10Base2) sagen, dass Standardeinstellungen dein Freund in fast allen Belangen sind.
Mit ersten NAS-Erfahrungen/Windows Server habe ich auch wie ein Irrer angefangen, mit MTUs rumzuspielen (wollte natürlich Geschwindigkeit rausholen). War alles fürn Arsch, weil es entweder nichts brachte oder die beschissensten Fehler/Abbrüche/Kollisionen mit anderen Netzgeräten.

WENN du wirklich auf Jumboframes (9k) setzen willst und es sauber haben willst, dann fahr komplett ein eigenes Netz mit entsprechenden Karten und Switches (*hust* Intel!!! *hust*). Alles andere ist Mischmasch und führt zu komischsten Ergebnissen.

Und andersrum gesagt, ne große MTU ist ja nur dafür gedacht, weniger Overhead zu erzeugen. Klar quetschst du dann mehr über die Leitung 'theoretisch' beim sequentiellen Schreiben, aber massiv performanter wirds nicht. Nicht so, wie manche sich das vorstellen.
Wahrscheinlich weißt du das mittlerweile aber auch durch viel Lesen/Try'n'Error. Und dass Realtekchips Consumerschrott sind, wissen wir beide.
Wenn es für dich etwas bringt, dann fahr auf den Einstellungen. Ich hab dann lieber bissl Overhead mehr, aber die Gewissheit, dass alle Netzgeräte mit der 1500er MTU umgehen können.

Kannst du mal anreißen beim ZFS, was du meinst?

[redline]

> Kannst du mal anreißen beim ZFS, was du meinst?
Hmnm, ja ... am Telefon hat man sowas in 5 Minuten erklärt .. aber das hier runter pinnen um zu verstehen was ich genau meine und was ich alles schon ausprobiert habe dauert ewig
und wäre auch völlig Offtopic. Daher wollte ich einen neuen Thread aufmachen und den dann auch noch dummerweise in English.

Aber um es kurz anzureißen. ZFS hat eine "erektile dysfunktion" im Bereich Caching Es kommt mit meiner Pron Sammlung nicht Zurecht.
Spaß beiseite. Da fällt es am meisten auf weil dort ein Mischmasch aus Pictorials und Videos auftritt.
Aber um es wieder auf die seriöse Schiene zu kriegen. Bei MP3's (die ich in Verzeichnissen A-Z angelegt habe) und privaten Photos nach Jahren und Event sortiert, ist
mir der Zugriff viel zu langsam. Ich habe jahrelang glücklich mit sogenannten NDAS Devices von Ximeta gelebt. Da war der Erstzugriff auch nicht rasend schnell
aber man konnte flüssig mit arbeiten.

Nun, mit 2x1600 Mhz und 8GB Ram bewaffnet !!!! gegenüber einer solche Single Chip Lösung hatte ich da mehr erwartet. Im Hinterkopf auch noch die Idee daß man normalerweise
mit ZFS sowas wie Google oder 1&1 befeuert. Da hatte ich echt gedacht daß in meinem Single User Betrieb die Post abgehen würde.

Ich hab mittlerweile diverse Experiment mit SSD Cache und USB Devices gemacht und Varianten des Primary und Secondary Cache ausprobiert (bis auf Primary = Metadata)
Zunächst einmal bin ich dem Irrglauben verfallen daß der Cache in der SSD einen Reboot überlebt. Die Idee war durch irgendein Kommando (z.b find) und einem Cron Job
alle Verzeichnisse zu scannen damit den Primarycache und Secondary Cache zu füllen (Zur Not zyklisch) . Damit halt eben Diretory Scans immer schnell ablaufen.

Ich habe als Beispiel eine 4TB Platte die voll ist. Wenn ich dort einen Scan drüber jage dauert es lokal via Putty ca 2 Minuten. Danach stehen die Informationen im
Primarycache (Ram) ... Eine erneute Suche dauert nur 6 Sekunden ... Die 2 Minuten Aufbauzeit würde ich gerne in Kauf nehmen.
Aber ... wenn ich nun über die Windowsmaschine exakt auf die gleiche Platte zugreife um erneut (aus dem Cache) zu scannen tritt der Effekt auf daß
er die Informationen gar nicht nutzt. Er baut nochmal einen zweiten Satz Metadaten im Ram auf.
Hatte ich also nach der ersten "lokalen" Füllaktion ca 2 GB Metadaten (ausgelesen via Sysctl ) welche die 4TB Platte repräsentierten so kann ich sehen
daß er nun über das Netzt quasi wieder von vorne anfängt. Dieser Vorgang dauert dann nicht 2 Minuten sondern 2 Stunden. Das nervt.
Da prinzipiell default 1/4 des Arc Caches für Metadaten reserviert ist bleiben mir bei 5.6 / 4 = ca 1.4GB
Ich habe aber schon 4GB metadata "in use" gesehen obwohl das Limit auf 1.4GB stand. Das ist einerseits schon merkwürdig genug wenn "use" über "limit" liegt.
Also habe ich den Wert für Metadaten händisch in der Loader.conf erhöht.

Nun wird zwar das Limit nicht mehr überschritten aber der Effekt bleibt derselbe. Ein über das Netz verbundener Rechner profitiert nicht von dem schon
lokal gefüllten Cache. Und der Zeitfaktor der entsteht wenn man so via Netzwerk die Directory Struktur durchgeht (nur um ggf die Directory Größe zu erfahren
oder nach einem Dateinamen zu suchen) ist nicht praktikabel.
Sicherlich ist das ein Extrembeispiel mit einer vollen 4TB .
Aber auch viel kleiner gedacht im MP3 Verzeichnis unter dem Buchstaben "T" mit ca 1800 files tritt der Effekt auf.
Ein Scan über insgesamt 17000 mp3 files (120GB) dauert ca 7 Minuten. Zweiter Zugriff nur 5 Sekunden.

Dann aber einmal einen Film aufs NAS kopiert und wieder wartet man 7 Minuten weil der Cache dynamisch verwaltet und gelehrt wurde.
Hier hatte ich gehofft daß mich ein Secondary Cache nach vorn bringt. Aber außer einer zusätzlichen Verlangsamung weil nun ja auch noch ins
Cache Device geschrieben wird kan ich keinen Performance Gewinn attestieren.

Ich habe z.b auch meine IE Favorites auf dem Nas Laufwerk liegen. Wenn ich also hier ins Forum möchte wähle ich den Favourite aus und bin hier.
Aber wehe ich habe gerade einen Directory Scan über mein MP3 Verzeichnis laufen. Dann kann ich 7 Minuten warten bis ich die Favourites eingelendet bekomme.
Die Liste erscheint einfach gar nicht. Das sind einfache konkurrierende Zugriffe und selbst die werden von dem Caching Mechanismen nicht aufgefangen.
Wie soll das dann bei 1&1 und Google gehen wo tausende gleichzeitig was machen.
Versteht mich nicht falsch. Mir ist schon klar daß so ein E-350 Board keine High Performance Plattform ist aber es sind im Grunde zwei alberne gleichzeitig laufende
Aktivitäten die an der Zugriffszeit der Platten scheitern. Eben da erwarte ich die Hilfe eines Caches. Und wenn er denn mal bebraucht wird ist er ständig leer. (evident)

Ich habe noch nicht Primary Cache = Metadata ONLY ausprobiert. Weil ich nicht ganz aufs File cachen verzichten wollte beim kopieren. Das muß ich noch ausprobieren.
Bisher ist Secondary Cache auf Metadata eingestellt. Aber bringen tut es mir noch nichts. Nebenbei hab ich wohl einen Bug gefunden. Beim Reboot oder Shutdown
bleibt das System nach dem Shutdown der USB Controller einfach hängen. Man kann derzeit kein USB 3.0 Device als cache einstellen und dann rebooten.
Mit einer SSD gehts. Aber auch eine SSD konnte mein Problem nicht lösen.

Was mit vorschwebt ist ein Cache den ich z.b via Cron Job befüllen kann damit häufig gebrauchte Verzeichnisse schnell durchsuchbar werden
und ich ggf dafür sorgen kann daß sie dort auch bleiben und nicht evident rausgepfeffert werden.
Solange ZFS aber da auch noch zwischen lokal und Netztzugriff intern unterscheidet ( und so stellt es sich mir dar ) nützt mir der schlaueste Cronjob gar nix.

So, war leider nicht gerade kurz. Hoffe aber daß das Problem deutlich wurde. Das ich nicht so schnell übers Netz scannen kann, wie lokal auf meinem NTFS ist mir klar.
Faktor 10-20 ist auch noch okay. Aber übers Netz , mehrere Stunden, für etwas was die Büchse lokal aus dem Cache in 7 Sekunden erledigen kann
ist ein zu gewaltiger Unterschied. Komisch daß ich nichts darüber finde. Ich denke auch ich habe fast alles gelesen zum Thema Caching.

So gigantisch finde ich meine Anforderungen auch nicht.

> Hrhr ja, ich hab rausgelesen, dass du am Explodieren warst.

Hehe ... Immer wenn irgendwas nicht so geht wie erhofft stell ich heimlich wieder auf 1500 zurück um auszuschließen ob es an meinen 4k MTU liegt.
Bisher hat es mir aber nur Vorteile gebracht. 9k hingegegen bringt mir nichts.

[redline]

Kleiner Nachtrag ...
Während so eines Directory Scan Laufes sehe ich im Status daß die CPU bis auf 100 bzw 200 Mhz heruntergetaktet wird. Weil er auf Adaptive Low Power eingestellt ist.
Ein Wechsel zum Modus "maximal Leistung" wo er dann zwangsweise mit 1600 Mhz rappelt bringt auch keine Besserung.


Hier ... da hatte noch jemand das Problem. Aber auch keine Lösung ...
http://thr3ads.net/zfs-discuss/2008/10/ ... che-almost

[rostreich]

Hmnm, ja ... am Telefon hat man sowas in 5 Minuten erklärt .. aber das hier runter pinnen um zu verstehen was ich genau meine und was ich alles schon ausprobiert habe dauert ewig
und wäre auch völlig Offtopic. Daher wollte ich einen neuen Thread aufmachen und den dann auch noch dummerweise in English.

Hättest mich anrufen können, aber ich habs auch so gerafft.
Ich bin ja mal gespannt, wie du das in Englisch übersetzt.

Aber um es kurz anzureißen. ZFS hat eine "erektile dysfunktion" im Bereich Caching Es kommt mit meiner Pron Sammlung nicht Zurecht.
Spaß beiseite. Da fällt es am meisten auf weil dort ein Mischmasch aus Pictorials und Videos auftritt.

Spaß beiseite? Vllt. hast du 100% Gaypr0n und ZFS ist ja bekanntlich als heterogenes Dateisystem der Volumes wegen zu sehen.

Ich hab auch Ordner mit Bildern von Events mit Datum sortiert und ebenso meine MP3 Sammlung. Wenn ich die anfangs öffne, rasselt es 10-15 Sekunden, bis mal der Inhalt erscheint und dann geht es wieder flott, genau wie du es beschreibst. (Ich hab mich da noch nicht wirklich mit der CacheMaterie befasst, kann da nur laienhaft dazu was sagen.)
Das passiert aber nur beim ersten Mal, dh wenn der Client direkt nach dem Hochfahren das erste Mal wieder auf den Ordner zugreift. Dh die Metadaten werden von den Platten gelesen.
Da ich gestern Abend zuletzt das NAS gebootet hatte, ging der Zugriff eben rasend schnell. (38% von meinen 32GB Ram sind ausgelastet). Dh die Metadaten wurden aus dem Ram gesaugt. Richtig?
Btw. wenn ich einen großen Bilder-Ordner öffne und die Thumbnails anzeigen lasse, hört man es rasseln, also die werden von der Platte geladen. Das geht aber rasend schnell wie lokal auf ner NTFS-Platte und es hängt nix anderweitig. Die Bilder haben meist so irgendwas über 1 MB.

Aber um es wieder auf die seriöse Schiene zu kriegen. Bei MP3's (die ich in Verzeichnissen A-Z angelegt habe) und privaten Photos nach Jahren und Event sortiert, ist
mir der Zugriff viel zu langsam.

Ich weiß nicht, was du als langsamen Zugriff bei den Bildern empfindest. Die reine Dateianzeige, bis die kommt oder Thumbnails anzeigen? Windows schreibt übrigens in jeden Bilderordner eine versteckte Thumbs.db, dürfte eine Cachefunktion für Windows sein.
Der Zugriff zu auf die Mp3s geht auch schnell. Was nur langsam ist, ist wenn ich die gesamten Dateien in Winamp reinstopfe. Das kann mal 5 Minuten dauern, bis da wieder was reagiert.
Aber das war von nem Windows 2008 R2 genauso 'lahm' und das indiziert/indexiert ja bekanntlich.

Ich habe jahrelang glücklich mit sogenannten NDAS Devices von Ximeta gelebt. Da war der Erstzugriff auch nicht rasend schnell
aber man konnte flüssig mit arbeiten.

Jo, aber da wird mit hoher Wahrscheinlichkeit kein ZFS gerannt sein. Du darfst nicht vergessen, dass ZFS beim 'Daten abliefern' erst die Prüfsummen vergleicht. Für Dateien und Ordner. Ist alles ok, wirds abgeschickt.

Nun, mit 2x1600 Mhz und 8GB Ram bewaffnet !!!! gegenüber einer solche Single Chip Lösung hatte ich da mehr erwartet. Im Hinterkopf auch noch die Idee daß man normalerweise
mit ZFS sowas wie Google oder 1&1 befeuert. Da hatte ich echt gedacht daß in meinem Single User Betrieb die Post abgehen würde.

Da machts auch die Masse. Ob die nun ZFS oder was anderes als Storage benutzen, sei mal dahingestellt. Ausserdem kann man 8 GB nicht mit nem 256GB-Clusterserver vergleichen, der keine Kerne, sondern echte, mehrere CPUs hat. Xeons, viel MHz, viel! Cache, viel Stromverbrauch. Ausserdem sind diese meist eher auf die Spindle-Leistung ausgelegt, als auf IOPS. -> 16 Platten mit 15k Umdrehungen im Raid10 und zusätzlicher Dampf wird dann nochmals von mehreren Maschinen gleichzeitig gezerrt.
Und mit Masse meinte ich so 10 dieser Kisten nebeneinander und dann nimmt als Beispiel ein ESX davon alle diese Storage als ISCSI ein. Und der ESX nimmt mehrere ISCSI Quellen gleichzeitig im Round-Robin-Verfahren z.B. (ich weiß das, ich hab das selbst schon gehabt ) DANN, aber erst dann gibts echte Leistung für einen Webauftritt, der mehrere Personen versorgen kann.
Es wird auch viel mit Caching Proxies gearbeitet, das darfst du nicht vergessen. Sodaß bei nem Zugriff von außen z.B. das angeforderte komplett vom Proxy gezogen wird und kein Zugriff aufs Storage gebraucht wird. Selbst manche ISPs cachen deinen Traffic.

Ich hab mittlerweile diverse Experiment mit SSD Cache und USB Devices gemacht und Varianten des Primary und Secondary Cache ausprobiert (bis auf Primary = Metadata)

Vllt. solltest du das einfach mal tun, siehe hier: viewtopic.php?f=66&t=1280
Ob der das nach nem Reboot wieder verwirft, ist doch generell schnuppe? Oder fährst du das NAS abends runter?

Die Idee war durch irgendein Kommando (z.b find) und einem Cron Job
alle Verzeichnisse zu scannen damit den Primarycache und Secondary Cache zu füllen (Zur Not zyklisch) . Damit halt eben Diretory Scans immer schnell ablaufen.

Die Idee an sich ist gut.

Ich habe als Beispiel eine 4TB Platte die voll ist.

Voll wie in 'gerappelt voll'? Falls nicht bekannt: ZFS braucht Atemluft, sonst wirds träge.

Aber ... wenn ich nun über die Windowsmaschine exakt auf die gleiche Platte zugreife um erneut (aus dem Cache) zu scannen tritt der Effekt auf daß
er die Informationen gar nicht nutzt. Er baut nochmal einen zweiten Satz Metadaten im Ram auf.

Ggf. pro Anfrage (interner Befehl, Client 1 -> Cifs, Client 2 -> FTP) eigener Cache? Keine Ahnung, war nur mein Gedanke.

Da prinzipiell default 1/4 des Arc Caches für Metadaten reserviert ist bleiben mir bei 5.6 / 4 = ca 1.4GB

Richtig.

Ich habe aber schon 4GB metadata "in use" gesehen obwohl das Limit auf 1.4GB stand. Das ist einerseits schon merkwürdig genug wenn "use" über "limit" liegt.
Also habe ich den Wert für Metadaten händisch in der Loader.conf erhöht.

Keine Ahnung, keine Erfahrung. Falsche Anzeige? Was ist eigentlich der timetolive-Wert vom Cache? Gibts den da überhaupt?

Aber auch viel kleiner gedacht im MP3 Verzeichnis unter dem Buchstaben "T" mit ca 1800 files tritt der Effekt auf.
Ein Scan über insgesamt 17000 mp3 files (120GB) dauert ca 7 Minuten. Zweiter Zugriff nur 5 Sekunden.

Also du meinst rechtsklick auf ordner->details und dann bis die Dateien aufgezählt sind und die Gesamtgröße angezeigt wird? Da kann ich dir versichern, dass das mit ner angeschlossenen USB-Platte genauso langsam ist. Beim ersten Mal zumindest. Und dieser Cache wird auf deiner Windowskiste bereitgestellt und nicht auf der Quelle, das nur nebenbei.
Windows hat ja eigens dafür den Indexdienst und alle fest eingebauten Platten werden automatisch indexiert, sodass Suchzugriffe etc rasend schnell sind.
Bei UNC-Pfaden, also alle \\x.x.x.x irgendwas wird nicht indexiert. Niemalsnie! Gibts oft zu lesen, auch hier. Irgendeiner der Poster hatte was mit Orbit bla erwähnt, aber hab es beim Überfliegen als riskantes Eingreifen in mein jetzt stabil laufendes NAS aufgefasst. Evtl. bringt dich das weiter.

Aber wehe ich habe gerade einen Directory Scan über mein MP3 Verzeichnis laufen. Dann kann ich 7 Minuten warten bis ich die Favourites eingelendet bekomme.
Die Liste erscheint einfach gar nicht. Das sind einfache konkurrierende Zugriffe und selbst die werden von dem Caching Mechanismen nicht aufgefangen.

Dürfte der gleiche Effekt sein, wenn ich alle MP3s ins Winamp schiebe.

Das sind einfache konkurrierende Zugriffe und selbst die werden von dem Caching Mechanismen nicht aufgefangen.
Wie soll das dann bei 1&1 und Google gehen wo tausende gleichzeitig was machen.

Die Sache mit den Proxies eben und der Spindle-Leistung.

Ich habe noch nicht Primary Cache = Metadata ONLY ausprobiert. Weil ich nicht ganz aufs File cachen verzichten wollte beim kopieren. Das muß ich noch ausprobieren.

Tu das mal und berichte, mich interessiert das jetzt aber auch brennend. File cachen beim Kopieren kannste vernachlässigen, wenn du deinen sequentiellen Speed kennst.

Beim Reboot oder Shutdown bleibt das System nach dem Shutdown der USB Controller einfach hängen.

Das muss nicht unbedingt am ZFS liegen, kann auch irgendwie am USB Chip liegen.

Man kann derzeit kein USB 3.0 Device als cache einstellen und dann rebooten.

Der in dem anderen Thread hat aber wohl USB als Cachedev. Oder wird USB3 anders angezeigt?

Was mit vorschwebt ist ein Cache den ich z.b via Cron Job befüllen kann damit häufig gebrauchte Verzeichnisse schnell durchsuchbar werden
und ich ggf dafür sorgen kann daß sie dort auch bleiben und nicht evident rausgepfeffert werden.
Solange ZFS aber da auch noch zwischen lokal und Netztzugriff intern unterscheidet ( und so stellt es sich mir dar ) nützt mir der schlaueste Cronjob gar nix.

Guter Ansatz!

So gigantisch finde ich meine Anforderungen auch nicht.

Sind sie nicht, ist halt immer ne Frage der Möglichkeiten mit dem eingesetzten System.

Hehe ... Immer wenn irgendwas nicht so geht wie erhofft stell ich heimlich wieder auf 1500 zurück um auszuschließen ob es an meinen 4k MTU liegt.

Schlawiner

[redline]

Vllt. hast du 100% Gaypr0n

Nee, bin aber schon im Vintage und Milf Alter ... kurz vor der Gilf

(38% von meinen 32GB Ram sind ausgelastet). Dh die Metadaten wurden aus dem Ram gesaugt. Richtig?

Das verhalten beim ersten Mal nach dem hochfahren ist klar. Kein Thema. Das dies etwas dauert ist klar.
Bezüglich Windows und seiner Indizier und Thumbnailerei ... Das hab ich alles schon lange abgeschaltet.
Mir ist auch klar daß ein Windows Cache mit im Spiel ist.
Ich beobachte aber über den Graph der N4F Webgui den Netzwerktraffic.
Mal angenommen ich mache den Rechtsklick auf Eigenschaften und lasse ihn ein Directory scannen.
Dann sieht man abgehend sagen wir mal 14kbyte. Wenn ich dann 500GB gescannt habe breche ich ab.
Dann nochmal dasselbe von vorne. Nun ist es ja gecached. Dann geht vergleichsweise die Luzi ab und ich sehe 600kb.
Das ist ca Faktor 40. Wenn Du das auf 2 Stunden in meinem extremen Beispiel hochrechnest wären das nur noch 3 Minuten !!

Leider ... schmeißt der ARC diese Metadaten aber über Bord wenn z.b eine Kopieraktion ansteht.
Verglichen mit deinem Setup kann es aber sein daß Du das gar nicht bemängeln würdest weil Du 32 GB Ram hast.
Insgesamt, wenn ich alle Metadaten von 2 Pools im Speicher hätte würden wir von ca 5-6 GB reden.
Wenn ich wüßte daß ZFS in diesem Fall die Metadaten einfach in Ruhe lassen würde, wäre ich geneigt Speicher aufzurüsten.
Speicher ist sowieso die beste und schnellste Lösung und braucht auch keinen Sata Slot.

Bezüglich NDAS ->keine ZFS Funktionalität , Sicherheit, Prüfsummen hast Du freilich Recht.
Ich muß aber abschließend dazu sagen daß wenn alle elektronischen Produke heute so gut laufen würden wie diese Dinger
wäre ich ein glücklicher Mensch. Ich hab beruflich (mittlerweile sage ich leider) mit Hardware Entwicklung zu tun.
Das erste was fertig sein muß ist immer die Update Funktion weil nix mehr wirklich gescheit läuft.
Diese Teile hatte ich in mehreren Generationen seit ca 8 Jahren im Einsatz ohne daß sie auch nur einmal gemuckt zu haben.
Ja, sowas gibt es. ... und kein Mensch hat sie registriert.

Den Link auf den USB Stick Thread kannte ich. Ich hab drei unterschiedliche 3.0 Modelle ausprobiert. Mit jedem passiert dasselbe.
Läuft einwandfrei bis zum Shutdown. Alle Syncs werden gemacht, dann die Prozesse beendet und bei den USB Controllern bleibts dann stehen.
Ein anderer User hier hat das Phänomen auch schon mal geschildert. Ob es in der 616 weg ist .. keine Ahnung. Es gab keine Reaktion
auf unsere Meldungen. Da ich nicht beabsichtige den Rechner abends runter zu fahren (34W bei 5 Platten im Spindown, 55W Vollast)
würde mich das im Moment nicht wirklich stören. Wollte es nur in den Raum werfen.

Gerappelt voll ???
Die 4TB Ist noch nicht über 80% . Das mit der Luft hab ich wohl auch schon gelesen.

Ggf. pro Anfrage (interner Befehl, Client 1 -> Cifs, Client 2 -> FTP) eigener Cache? Keine Ahnung, war nur mein Gedanke.

1. Test
Mir kam vorhin auch die Vermutung daß es ggf daran liegen könnte daß wenn ich übers Netz als USER angemeldet bin und via Putty als Root
daß hier zwei User die Differenz machen. Hab mich dann via Putty mit demselben Usernamen angemeldet und es ausprobiert.
Leider war es das nicht.

2.Test
Hab mich dann mit einem weiteren PC ans Nas gehangen mit gleichem Benutzernamen.
Auf dem einen das MP3 Verzeichnis gescannt. (ca 7 Min) . Dann nochmal aus dem Cache. Ging ruckzuck.
Dann auf den anderen Rechner und dort gescannt. "MINIMAL" langsamer. Vermutlich weil eben der Windows Cache gefüllt werden muß.
Ansonsten zeitlich fast gleich auf. So würde ich es mir wünschen.
Danach einen Film mit 16GB übers Netz geschoben und beide Rechner rappelten wieder Minuten an dem MP3 Gedöhne.
Um exact dieses Verhalten geht es mir. Er soll die Metadaten in Ruhe lassen. Heute abend mach ich den Primarycache= metadata Test und werde
berichten. In dem Link den ich noch gepostet hatte ging es auch darum. Er wünschte sich dort nur einen Teil als Datacache definieren zu können.
Vieleicht wäre auch noch eine Ramdisk als L2Arc eine Idee. Weiss aber nicht ob man das unter N4F mit Bordmitteln der Embedded anlegen kann.

Das "befüllen" via Cronjob wäre echt gut wenn ich blos wüßte oder herausbekommen würde warum ZFS zwischen lokal und netzwerk unterscheidet
und ob man dieses Verhalten ändern kann. Ansonsten bewirkt nämlich nur ein Find Kommando über die ganze Platte daß die mühsam aufgebauten
Metadaten des Netzwerks auch wieder rausgeworfen werden (ähnlich wie beim kopieren) Es scheint das 8GB für mein Anliegen dann doch etwas bannig knapp ist.

Keine Ahnung, keine Erfahrung. Falsche Anzeige? Was ist eigentlich der timetolive-Wert vom Cache? Gibts den da überhaupt?

Ist mir nicht bekannt ob es hier einen Timetolive gibt.
Prinzipiell landet erstmal alles im Cache. Wenns neu ist dann kommts in die Schublade -> MRU - Most Recently Used.
Wird nochmals drauf zugegriffen kommts in die Lade MFU - Most Frequently Used.
Das ist ja prinzipiell schon mal alles prima durchdacht. Wenns dann aber irgendwann doch mal knapp wird und rausgeworfen werden muß kann es
in einen Level 2 Cache geschoben werden (wenn einer da ist) - hier wäre meine Idee anstatt SSD und Stick eine Ramdisk anzulegen.
Hört sich erstmal doof an, aber wenn man das Verhalten was ich schildere und "anprangere" berücksichtigt machst Sinn.
Wenn ich keine Variable finde um das zu konfigurieren wäre eine Ramdisk ggf ne Lösung.

Der Geschwindigkeitsgewinn durch den L2 Cache den ich feststellen konnte ist zwar da , aber er ist minimal.
Die Zugriffszeit des Sticks ist deutlich besser. 0.5ms anstatt 8ms als Beispiel. Da kommt wahrscheinlich der Zuwachs her.
Aber der Transfer selber verglichen mit echtem Ram ist maginal. Womit ich schon wieder bei der Ramdisk wäre

Melde mich später nochmal .. viel später

[rostreich]

Nee, bin aber schon im Vintage und Milf Alter ... kurz vor der Gilf

Erstveröffentlichung Juni 2006 (Solaris 10)

Das komputiert nicht.

Das verhalten beim ersten Mal nach dem hochfahren ist klar. Kein Thema. Das dies etwas dauert ist klar.
Bezüglich Windows und seiner Indizier und Thumbnailerei ... Das hab ich alles schon lange abgeschaltet.
Mir ist auch klar daß ein Windows Cache mit im Spiel ist.

Gut, abgehakt.

Ich beobachte aber über den Graph der N4F Webgui den Netzwerktraffic.
Mal angenommen ich mache den Rechtsklick auf Eigenschaften und lasse ihn ein Directory scannen.
Dann sieht man abgehend sagen wir mal 14kbyte. Wenn ich dann 500GB gescannt habe breche ich ab.
Dann nochmal dasselbe von vorne. Nun ist es ja gecached. Dann geht vergleichsweise die Luzi ab und ich sehe 600kb.
Das ist ca Faktor 40. Wenn Du das auf 2 Stunden in meinem extremen Beispiel hochrechnest wären das nur noch 3 Minuten !!

Du hast Recht.
Ich habe ebenfalls mal genauso nachgeschaut.
Mp3 Ordner scannen lassen -> ~70GB, ~12500 dateien -> 2 Minuten, 23 Sekunden -> Traffic schwankte zwischen 232kb/s und 320kb/s
Zweites Mal aus dem Cache -> Gefühlte 5 Sekunden -> Traffic knapp 6mbit/s
Mein Ram stand da immer noch auf 38% Auslastung.

Habe mal 2 Dateien vom NAS gesaugt insgesamt 6GB -> Ram stieg kontinuierlich auf 58%.
Kopiervorgang ist fertig, Ram steht immer noch auf 58%.
Nochmal mp3ordner gescannt -> wieder nur knapp 5 Sekunden
Ram steht immer noch auf 58%.
Die 2 Dateien gelöscht, nochmal angefordert nach lokal zu kopieren. -> Geschwindigkeit anfangs weit über 120mb/s, pendelt sich dann da ein, was meine Lokalplatte hier maximal schreiben kann. Hier habe ich keine Festplattenaktivität, wie erwartet.
Die Dateien habe ich von lokal aufs NAS nochmal in nen anderen Ordner kopiert -> Ramauslastung steigt kontinuierlich hoch -> Steht nach Kopiervorgang nun auf 77%
Nochmal mp3ordner gescannt -> wieder nur knapp 5 Sekunden

Leider ... schmeißt der ARC diese Metadaten aber über Bord wenn z.b eine Kopieraktion ansteht.
Verglichen mit deinem Setup kann es aber sein daß Du das gar nicht bemängeln würdest weil Du 32 GB Ram hast.

Jep, ich kann das so nicht bemängeln!

Wenn ich wüßte daß ZFS in diesem Fall die Metadaten einfach in Ruhe lassen würde, wäre ich geneigt Speicher aufzurüsten.
Speicher ist sowieso die beste und schnellste Lösung und braucht auch keinen Sata Slot.

Du solltest aufrüsten und ja, Hubraum läßt sich durch nichts ersetzen, außer durch noch mehr Hubraum.

Insgesamt, wenn ich alle Metadaten von 2 Pools im Speicher hätte würden wir von ca 5-6 GB reden.

Also wie gesagt, Thumbnails von Bildern kommen so schnell wie von ner normalen loakl angeschlossenen USB-Platte, dessen Verzeichnis nicht gecached ist. Währenddessen hängt auch nix und man kann zügig auf andere Files zugreifen. Oder gehts dir ums Prinzip?
Btw. ich glaube, bei deinem Board ist bei 8 GB Schluß, mehr nimmts nicht an. So sagen es zumindest die Specs.

Ich muß aber abschließend dazu sagen daß wenn alle elektronischen Produke heute so gut laufen würden wie diese Dinger
wäre ich ein glücklicher Mensch.

Korrekt. Der Krempel ist ja heutzutage darauf ausgelegt, nach 731 Tagen zu verrecken.

Ich hab beruflich (mittlerweile sage ich leider) mit Hardware Entwicklung zu tun.

*Handschüttel* Ich habe/hatte mit Hardwaresupport/Wartung zu tun. Leuten davon abraten, Medion-PCs zu kaufen und so Faxen.

Das erste was fertig sein muß ist immer die Update Funktion weil nix mehr wirklich gescheit läuft.

Eben, dieses 'Wir versklaven Kunden als Beta-Tester' kotzt mich auch hart an. Siehe die letzten Hotnews zu D-Link mit den beiden Routern und der Lücke, wo erst was passierte, als sich das LKA einmischte.

Diese Teile hatte ich in mehreren Generationen seit ca 8 Jahren im Einsatz ohne daß sie auch nur einmal gemuckt zu haben.
Ja, sowas gibt es. ... und kein Mensch hat sie registriert.

Ich habe hier noch einen Hp Laserjet BJ 1994 am Laufen. Tadellos.
Und mir ging weder ein Intelboard hops noch ein ASUSboard.

Ich hab drei unterschiedliche 3.0 Modelle ausprobiert. Mit jedem passiert dasselbe.
Läuft einwandfrei bis zum Shutdown. Alle Syncs werden gemacht, dann die Prozesse beendet und bei den USB Controllern bleibts dann stehen.
Ein anderer User hier hat das Phänomen auch schon mal geschildert. Ob es in der 616 weg ist .. keine Ahnung. Es gab keine Reaktion
auf unsere Meldungen.

636. Das wird nicht weg sein, denn die BSD Version ist die gleiche.
Schraub mal an den USB Einstellungen im BIOS rum -> EHCI aus/an, Legacy USB aus/an usw. versuch auch spaßeshalber mal einen USB2.0 Stick und/oder den 3.0er an einem der 2.0er Ports.
Habe schon davon gehört, dass Hardwaredongles einfach nicht am USB3.0 port funktionieren. Sollte doch abwärtskompatibel sein?

(34W bei 5 Platten im Spindown, 55W Vollast)

Hier ~42 W bei 7 Platten im Spindown, ~97 W Vollast. Aber altes Bequiet-Netzteil aus der privaten Restekiste. Ne PicoPSU erscheint mir zu schwach für den HD-Peak und bis ich den Kaufpreis übern Stromverbrauch wieder drin habe, müssen zuviele Jahre ins Land gehen. Wahrscheinlich verreckt das Netzteil eh nach nem Jahr und dann schieb ich grad das nächste nach. Sachen aus der Restekiste sind gratis.

Gerappelt voll ???
Die 4TB Ist noch nicht über 80% . Das mit der Luft hab ich wohl auch schon gelesen.

Das ist noch im grünen Bereich.

Heute abend mach ich den Primarycache= metadata Test und werde
berichten.

Ich bin gespannt.

Vieleicht wäre auch noch eine Ramdisk als L2Arc eine Idee. Weiss aber nicht ob man das unter N4F mit Bordmitteln der Embedded anlegen kann.

Erinnert mich an sehr alte Zeiten.

Ist mir nicht bekannt ob es hier einen Timetolive gibt.
Prinzipiell landet erstmal alles im Cache. Wenns neu ist dann kommts in die Schublade -> MRU - Most Recently Used.
Wird nochmals drauf zugegriffen kommts in die Lade MFU - Most Frequently Used.
Das ist ja prinzipiell schon mal alles prima durchdacht. Wenns dann aber irgendwann doch mal knapp wird und rausgeworfen werden muß kann es
in einen Level 2 Cache geschoben werden (wenn einer da ist) - hier wäre meine Idee anstatt SSD und Stick eine Ramdisk anzulegen.
Hört sich erstmal doof an, aber wenn man das Verhalten was ich schildere und "anprangere" berücksichtigt machst Sinn.
Wenn ich keine Variable finde um das zu konfigurieren wäre eine Ramdisk ggf ne Lösung.

Der Geschwindigkeitsgewinn durch den L2 Cache den ich feststellen konnte ist zwar da , aber er ist minimal.
Die Zugriffszeit des Sticks ist deutlich besser. 0.5ms anstatt 8ms als Beispiel. Da kommt wahrscheinlich der Zuwachs her.
Aber der Transfer selber verglichen mit echtem Ram ist maginal. Womit ich schon wieder bei der Ramdisk wäre

Das liest sich alles recht gut.
Macht aber nach meinen Tests eben nicht wirklich Sinn, weil der Ram ja ausgenutzt wird.

Btw. nach der Tippzeit usw. steht der Ram immer noch auf 77%.
Also ich kann prima damit leben

[redline]

Ich glaub ich mach gleich einen neuen Thread auf. Denke noch über einen "ketzerischen Titel" nach.

Da dieses Forum ja relativ jung ist und wohl auch nicht allzustark frequentiert frage ich mich allerdings ob ich hier
mit der Frage überhaupt Chancen habe. Ist Dir vieleicht noch ein weiteres "gutes" Forum bekannt ?
Es gibt ja hunderte die sich in irgendeiner Form mit ZFS beschäftigen.

[redline]

Es geht hier weiter
viewtopic.php?f=29&t=2571

[rostreich]

Da kann ich nur den ZFS-Stammtisch Thread im Hardwareluxx empfehlen. Ja, GANZ lesen.

Weiterhin noch da mal was rumblättern: http://hardforum.com/showthread.php?t=1659326 und da: http://forums.freebsd.org/archive/index ... 31425.html

Ne weitere Anlaufstelle könnten die VmWare-Foren sein. Die Leute nutzen gern ZFS als Unterbau für ihre iscsi-Filer.

Sry fürs wenig schreiben, aber ich bin heute platt. Hatte heute ne andere Baustelle: Asterisk. Ist auch ne Sache für sich. :>