Empfehlung / Performance ausreichend?

[snaptec]

Hallo,
ich habe mir gedacht bevor ich rumspiele frage ich mal die alten Hasen ob das überhaupt Sinn macht was ich vorhabe.

Ich nutze ein Macbook Pro zur Videobearbeitung mit Final Cut(ich mache das in privatem Rahmen, da fällt finanziell eine Thunderbolt Raid Lösung aus). Sind die Dateien lokal funktioniert das auch alles super(SSD).
Leider ist der Speicherplatz zu begrenzt als das ich so immer arbeiten könnte.
USB 3.0 ist Quatsch.
Ich habe noch einen MacMini, da ist eine 2TB HDD per SATA angeschlossen, bei nur einem Stream funktioniert das, bei mehreren schafft die Festplatte den Durchsatz nicht (der limitierende Faktor ist nicht das Gbit Netzwerk)

Ich habe noch einen AMD 1055T X6 mit 16GB RAM rumstehen, ebenso 4 2TB Sata HDDs & 2 NICs sind ebenfalls verbaut, Bonding möglich(ob sinnvoll müsste ich mal im Detail klären, bisher nicht probiert).
Erreiche ich hier meine gewünschte Performance wenn 3-5 Videostreams laufen (je Stream ca 20mb/s)?
Sprich kriege ich das Gbit ausgelastet mit mehreren Dateien parallel?

Externe Backup Speicher ist vorhanden, geht hier rein um die Performance.

Danke vorab

Kevin

[b0ssman]

bonding bringt dir höchst warscheinlich nichts, weil du von einem client aus zugreifst.

bei 5 streams a 20 mbit wird es schon bei gbit knapp.

ob das in einem raid funktionieren würde ist schwer zu sagen, aber 4 separate platten mit je einem ufs filsysge, die jeweis 20mbit schreiben müssen, sollte gehen.

[lux]

@ b0ssman

er schreibt von 20mb/s - du von 20mbit

20mbit x 5 streams = 100mbit / gigabit = 1000mbit

bei 20mb/s wird's verdammt knapp mit 5 Streams...

wenn er allerdings 20mbit/s pro Stream meint ist mit gigabit noch sehr viel Luft nach oben

[crowi]

HD Filme haben maximal ca 50-60 mbit/s wenn sie unkomprimiert von der Blu-ray kommen

20MB/s würde sogar UHD sprengen

[b0ssman]

ich dachte an unkomprimierte filme, wegen videobearbeitung.
da kommt man schnell auf solche zahlen.

[snaptec]

Danke erstmal für die antworten.

Zitat:
bonding bringt dir höchst warscheinlich nichts, weil du von einem client aus zugreifst.

-exakt, das bringt so nichts, wäre ja auch zu einfach gewesen.

Zitat:
ob das in einem raid funktionieren würde ist schwer zu sagen, aber 4 separate platten mit je einem ufs filsysge, die jeweis 20mbit schreiben müssen, sollte gehen.

Grundsätzlich geht es da erstmal um lesen. Das die Wiedergabe wirklich flüssig ist. Dazu kommt das 3 Files gleichzeitig gelesen werden müssen. Heißt um ein Raid oder eine SSD komme ich nicht rum
Von der internen SSD des Macbook klappt das natürlich ohne Probleme, die ist nur zu klein.


Zitat:
wenn er allerdings 20mbit/s pro Stream meint ist mit gigabit noch sehr viel Luft nach oben

tatsächlich sind es 15-20 MB/s pro Stream.


Zitat:
ich dachte an unkomprimierte filme, wegen videobearbeitung.
da kommt man schnell auf solche zahlen.

genau, kleines Rechenbeispiel:
Gopro Material 33:50 min sind 3,94GB. In tauglichem Videoschnitt Format werden da 31,31 GB draus. Ergibt einen Durchschnitt von 15,7mb/s.

Aktuell nutze ich Proxy Media, d.h. die ist kleiner, sieht aber auch entsprechend beschissen aus. Die Aktionen die ich ausführe werden schlussendlich dann auf das Original Material angewendet. Nicht die beste Lösung und versaut etwas den Spaß am Videoschnitt und u.a. auch die Geduld wenn man immer ewig warten muss.


Mir ist absolut bewusst das die "einfachste" und womöglich beste Lösung ein Thunderbolt Storage mit 6 Bays wäre. Leider ist das "nur" für mich privat und sprengt den Rahmen.
Hat jemand, oder kann das jemand bei sich mit ähnlichem Setup mal antesten ob das mit mehreren Dateien parallel klappt das Gbit auszulasten?

Grüße & schönes Wochenende

[b0ssman]

wie gesagt, wenn du die 4 platten so nutzt das du pro platte einen stream machst, sollte das auf jeden fall gehen.

[Princo]

https://calomel.org/zfs_raid_speed_capacity.html

Hier gibt es u.a. zwei Tabellen, welche die Durchsatzraten verschiedener ZFS-Konfigurationen auflisten.

"Spinning platter hard drive raids" für Festplatten
und
"Solid State (Pure SSD) raids" für SSD

Möchte man einen hohen Durchsatz erzielen, so ist eine "striped" Konfiguration angesagt.

Da beim "Stripen" keine Ausfallsicherheit gegeben ist, sollte man darauf achten, hier nur mit Kopien des Originalmaterials zu arbeiten.
Warum ZFS im Stripe-Modus?
Natürlich könnte man auch UFS nehmen, aber bei ZFS kann man bei evtl. Datenträgerproblemen sofort sehen, ob Dateien beschädigt sind (Anzeige im Web-GUI).

Nach der oben erwähnten Tabelle, kommt man mit zwei SSDs im Striped-Modus auf Lese-Werte, die ein 10Gbit-Netz auslasten. Das hängt natürlich von der konkreten Hardware ab.

Für eine dauerhafte und sichere Ablage ist eine Stripe-Konfiguration nicht zu empfehlen, aber für den beschriebenen Anwendungsfall scheint es mir eine durchaus sinnvolle Lösung zu sein.

Grüße
Princo

Edit: Mit zwei SSDs kann man ein 10Gbit Netz auslasten. Das stand zuerst falsch da.