Page 1 of 1

Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 12 Feb 2015 20:29
by raaalf
Grüß euch,

ich habe folgenden Gedanken. Zwei NAS ("Produktiv" und "Backup") stehen zur Verfügung (gemeint sind nicht die in der Signatur aufgeführten NAS).
Beide NAS sind mit einer 100-MBit- und einer Gigabit-Netzwerkkarte ausgestattet. Die 100-MBit-Netzwerkkarte ist mit dem Router verbunden, da nur 100-MBit-Infrastruktur zur Verfügung steht.
Um die Synchronisation mit Rsync zwischen dem "Produktiven"- und dem "Backup"-NAS zu beschleunigen, sollen die Gigabit-Netzwerkkarten beider NAS per Cat6-Patchkabel verbunden werden. Die Gigabit-Netzwerkkarten erhalten statische IP-Adressen. Wenn nun im "Backup"-NAS in der Rsync-Konfigartion (Client), die statische IP-Adresse des "produktiven" NAS eingetragen wird, würde die Kommunikation über die Gigabit-Netzwerkkarten laufen?

Grüsse

Ralf

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 13 Feb 2015 13:54
by apollo567
Braucht man für eine Verbindung von Netzwerkkarte zu Netzwerkkarte ohne Switch dazwischen ein Crossover Kabel ?

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 13 Feb 2015 17:53
by sfranzis
Wenn die Netzwerkkarten Auto-MDI-X beherrschen, was bei GbE eigentlich der Fall sein sollte, ist kein Crossover Kabel mehr nötig.

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 16 Feb 2015 01:14
by Princo
raaalf wrote:ich habe folgenden Gedanken. Zwei NAS ("Produktiv" und "Backup") stehen zur Verfügung (gemeint sind nicht die in der Signatur aufgeführten NAS).
Beide NAS sind mit einer 100-MBit- und einer Gigabit-Netzwerkkarte ausgestattet. Die 100-MBit-Netzwerkkarte ist mit dem Router verbunden, da nur 100-MBit-Infrastruktur zur Verfügung steht.
Was spricht eigentlich dagegen, die 100-MBit-Infrastruktur auf GBit-Niveau zu heben?
Daß der Router nur 100 MBit, kann, ist eigentlich irrelevant, denn das betrifft ja nur den Weg ins Internet, und dafür ist die Geschwindigkeit ausreichend.
Bei deinem Gedankengang "bremst" du aber dein gesamtes Netzwerk auf diese Geschwindigkeit aus.
So könnten sämtliche Clients mit dem Produktiv-NAS auch nur mit 100-MBit kommunizieren (weil alles über den Router läuft).
Besser wäre es, vor den Router eine GBit-Switch zu setzen (gibt es ab ~25€).
Möglicherweise mußt du dann einen Haufen Kabel austauschen (auf Cat5), aber dann hättest du halt auch volle Geschwindigkeit im internen Netz, und müsstest nicht über so exotische Verrenkungen mit einer zweiten Netzwerkkarte nachdenken.
Übrigens: wenn beide NAS'sen mit ZFS betrieben werden, brauchst du kein rsync. Dafür gibt es bessere Methoden.
Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 16 Feb 2015 22:17
by raaalf
Guten Abend Princo,

der Grund, warum ich keinen Gigabit-Switch vor die FRITZ!Box bzw. den Router hängen will ist der, dass aktuell außer den NASen kein weiterer Netzwerkteilnehmer gigabitfähig ist. Es geht mir nicht darum ~25,00 Euro für den Switch zu sparen sondern darum, dass ich nicht noch einen Switch/Verbraucher mehr haben will: Eine 7270-FRITZ!Box für den DSL-Zugang, vier 7170-FRITZ!Boxen zur WLAN-Abdeckung im gesamten Haus/Nachbarhaus sowie für VoIP, drei Switching-Hubs, zwei NASen, IP-Schalter usw., und das alles ordentlich an der Wand installiert, reichen.
Die Netzwerkverkabelung (Verlegekabel) ist in Cat7 und der Rest, Netzwerkdosen und Patchkabel, in Cat6, sind bereits gigabitfähig: Vorbereitet für die Zukunft.

Leider hat 1995 beim Bau des Hauses, in dem die Installation aufgebaut wurde, niemand daran gedacht von jedem Raum ein Leerrohr in den Keller oder Dachboden zu legen um später eine Netzwerkverkabelung etc. nachrüsten zu können und einen zentralen Punkt ("Serverraum") für den Aufbau der Infrastruktur zu haben. So blieb mir nichts anderes übrig als selbst zur Bohrmaschine zu greifen...
Da das a/b der Telefon- bzw. DSL-Leitung in einem als Büro genutzen Raum endet musste ich auch die Instrastruktur dort aufbauen. Der WAF der divesersen Kabelkäne und Gerätschaften, die die Wand aus Sicht der LAP verschandeln, ist gering. Aber das ist ein anderes Thema. Deshalb meine Lösung mit dem Patchen der beiden Gigabit-Netzwerkkarten in den NASen.

Die Festplatten der beiden NASen die per Gigabit-Netzwerkkarte verbunden werden sollen sind UFS formatiert.
Aber meine beiden NASen laufen natürlich unter ZFS und hängen auch an einem Gigabit-Switch. Ich denke, Du meinst mit besserer Methode zur Synchronisierung zwischen "Produktiv-NAS" und "Backup-NAS" ZFS-Send/ZFS-Receive? Soweit bin ich technisch noch nicht bzw. habe mich mit dieser Funktion noch nicht beschäftigt. In das Thema muss ich mich erst noch einlesen.

Grüsse

Ralf
Princo wrote:
raaalf wrote:ich habe folgenden Gedanken. Zwei NAS ("Produktiv" und "Backup") stehen zur Verfügung (gemeint sind nicht die in der Signatur aufgeführten NAS).
Beide NAS sind mit einer 100-MBit- und einer Gigabit-Netzwerkkarte ausgestattet. Die 100-MBit-Netzwerkkarte ist mit dem Router verbunden, da nur 100-MBit-Infrastruktur zur Verfügung steht.
Was spricht eigentlich dagegen, die 100-MBit-Infrastruktur auf GBit-Niveau zu heben?
Daß der Router nur 100 MBit, kann, ist eigentlich irrelevant, denn das betrifft ja nur den Weg ins Internet, und dafür ist die Geschwindigkeit ausreichend.
Bei deinem Gedankengang "bremst" du aber dein gesamtes Netzwerk auf diese Geschwindigkeit aus.
So könnten sämtliche Clients mit dem Produktiv-NAS auch nur mit 100-MBit kommunizieren (weil alles über den Router läuft).
Besser wäre es, vor den Router eine GBit-Switch zu setzen (gibt es ab ~25€).
Möglicherweise mußt du dann einen Haufen Kabel austauschen (auf Cat5), aber dann hättest du halt auch volle Geschwindigkeit im internen Netz, und müsstest nicht über so exotische Verrenkungen mit einer zweiten Netzwerkkarte nachdenken.
Übrigens: wenn beide NAS'sen mit ZFS betrieben werden, brauchst du kein rsync. Dafür gibt es bessere Methoden.
Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 17 Feb 2015 02:40
by Princo
Hi raaalf,
raaalf wrote:Die Festplatten der beiden NASen die per Gigabit-Netzwerkkarte verbunden werden sollen sind UFS formatiert.
Aber meine beiden NASen laufen natürlich unter ZFS und hängen auch an einem Gigabit-Switch. Ich denke, Du meinst mit besserer Methode zur Synchronisierung zwischen "Produktiv-NAS" und "Backup-NAS" ZFS-Send/ZFS-Receive? Soweit bin ich technisch noch nicht bzw. habe mich mit dieser Funktion noch nicht beschäftigt. In das Thema muss ich mich erst noch einlesen.
Wenn die beiden NASen mit UFS formatiert sind (wieso kein ZFS?), dann geht der Abgleich nur per rsync.
Dabei ist es am Sinnvollsten, wenn das zweite NAS als rsync-Server konfiguriert ist (rsync-Daemon).
Das hat Performance-Vorteile beim Abgleich, da beide NASen beim Abgleich der Dateiprüfsummen Hand-in-Hand arbeiten können.
Dabei entsteht nur wenig Traffic, und ist daher auch für langsame Verbindungen geeignet.
Den Erstabgleich könnte man natürlich über eine temporäre GBit-Verbindung durchführen.
Die dafür nötigen Schritte lassen sich mit Hilfe des Web-GUI von NAS4Free durchführen.

Mit dem von dir angedachten Mix-Betrieb mit den zwei Netzwerkkarten kann ich mich nicht so richtig anfreunden, da er inkompatibel mit dem KISS-Prinzip ist :geek:

Dazu kommt, daß beide Geräte anscheinend in direkter räumlicher Nähe stehen werden, was zwar bequem, aber sicherheitstechnisch nicht soooo günstig ist.

Wenn die beiden Geräte allerdings mit ZFS betrieben werden, dann geht erst mal all das, was du auch mit rsync erreichen kannst, aber es geht eben auch noch sehr viel mehr.

So kann man damit sogar Geräte synchronisieren, die nicht im gleichen Netz sind, und die auch nicht gleichzeitig eingeschaltet sein müssen.
Man kann den Abgleich nämlich auch mit Hilfe einer Transportfestplatte vornehmen.

Theoretisch braucht dabei das Backup-System gar nicht mit einem Netz verbunden sein.

Worauf ich hinaus will:
1. Ein Datenabgleich zwischen den beiden NAS muß nicht zwingend per GBit-Verbindung ablaufen. Auch langsamere Verbindungen können ausreichen, wenn sich die veränderte Datenmenge in gewissen Grenzen hält. Ändern sich täglich ein paar hundert GB, funktioniert das natürlich nicht so gut (dauert halt länger).
2. Mit ZFS hat man zusätzlich sehr sinnvolle und mächtige Möglichkeiten, welche sich zudem recht einfach umsetzen lassen.

Vielleicht gibt dir das ja ein paar zusätzliche Impulse :mrgreen:

Btw: Ich verwende hier seit einiger Zeit diese Powerline-Adapter um den West- und Ostflügel miteinander zu verbinden :mrgreen: Die Dinger funktionieren gar nicht mal so schlecht, und mittlerweile gibt es die auch mit höheren Geschwindigkeiten.

Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 18 Feb 2015 20:29
by raaalf
- Doppelpost gelöscht -

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 18 Feb 2015 22:39
by raaalf
- Doppelpost gelöscht -

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 18 Feb 2015 22:46
by raaalf
Guten Abend Princo,

bei den beiden NASen handelt es sich um ausgediente Industrie-PCs. Wobei ein Industrie-PC lüfterlos ist (NAS-Produktiv, 24-h-Betrieb) und der andere mit lautstarken Lüftern (Backup-NAS, nur bei Bedarf zur Synchronisierung eingeschaltet).
Da die Industrie-PCs für die Montage an der Wand vorbereitet sind, wartungsfreundlich aufgebaut, mit durchdachtem Kühlkonzept und CF-Karten-Slot etc. sind sie für den Einsatzzweck als NAS aus meiner Sicht optimal.
Die Hardware der beiden NASen, die die Frage zur Verbindung per Patchkabel betrifft, ist jedoch mit einem Intel Celeron M mit 1,50 GHz relativ leistungsschwach. Es werden zudem nur 2 GByte RAM unterstützt und natürlich kein ECC-RAM. Deshalb die Nutzung des Dateisystems UFS.
rsync ist so wie von Dir vorgeschlagen konfiguriert, dass es einen Server (Produktiv-NAS) und einen Client (Backup-NAS) gibt. Das funktioniert auch alles bestens. Nur könnte es schneller sein. Obwohl mit ca. 11,5 MBytes/s bei großen Dateien wie DVD-ISO-Images fast das Maximum erreicht wird. Und ISO-Images von DVDs müssen häufig per rsync synchronisiert werden.

Du hast recht. Beide NASen stehen direkt nebeneinander. Ich habe mir schon im Vorfeld Gedanken gemacht, wo ich das Backup-NAS aufbauen könnte. Eine Möglichkeit wäre der Dachboden, hier könnte die bestehende Netzwerkverkabelung (Verbindung zwischen zwei Häusern) angezapt werden. Diese Möglichkeit fällt für mich jedoch aus Brandschutzbedenken aus. Ich möchte kein elektrisches Gerät im Dachboden installieren das unbeobachtet vor sich hin arbeitet. Im Keller gäbe es zwar keine Brandschutzbedenken, dafür aber keinen Weg um ein Netzwerkkabel ziehen zu können. So blieb nur das Büro. Die Variante mit den Powerline-Adaptern allerdings ist mehr als eine Überlegung wert!

Das "KISS-Prinzip" steht für "Keep it simple, stupid"?

Die Möglichkeiten zur Synchronisierung bei ZFS, z. B. über eine Transportfestplatte, gehen vermutlich nur über die Kommandozeile? Ich habe kein Problem die Kommandozeile zu benutzen. Zudem hast Du von "recht einfach umsetzen" geschrieben. ;-)
Die Synchronisierung per Transportfestplatte wäre die Lösung für das Problem, dass die beiden NASen in der Signatur direkt nebeneinander stehen. Das ist, wie auch bei der oben diskutierten Lösung, natürlich suboptimal. Bei der Synchronisierung über eine Transportfestplatte könnte ich das NAS-BACKUP an einem anderen Ort auslagern.

Zu dem Thema "Transportfestplatte" las ich mir gerade diesen interessanten Thread durch:

viewtopic.php?f=29&t=7624&p=45067&hilit ... tte#p45067

In diesem Thread weist Du auch darauf hin, dass bei ZFS der Spindown der Festplatten deaktiviert werden sollte. Ich denke, dieser Hinweis sollte noch in crowis Anleitung für die Erstinstallation:

viewtopic.php?f=93&t=7041

aufgenommen werden. Ich habe gerade den Spindown in NAS4Free abgeschaltet.

Grüsse

Rallf

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 20 Feb 2015 03:06
by Princo
Hi raaalf,

Deine Industrie-PCs sind für die Aufbewahrung von DVD-Images gut geeignet. Bei dieser Datenart ist es auch nicht so schlimm, daß kein ZFS eingesetzt werden kann, weil eine evtl. leichte Datenkorruption keine allzu dramatischen Auswirkungen hat.

Vom RAM-Ausbau, und den Prozessorleistungen her, sehe ich da überhaupt keine Probleme.

Auch die Übertragungsgeschwindigkeit von "nur" 100MB/s ist bei dieser Konstellation unkritisch. Ich kenne jemanden, der mit dieser Geschwindigkeit 3TB Daten übertragen hat. Das dauerte zwar ein paar Wochen, aber das war egal.

In deinem Fall dürfte der Abgleich einer DVD-ISO zwischen 15 und 30 Minuten betragen, oder sogar schneller.

Ja, das KISS-Prinzip steht dafür, daß man Dinge so einfach wie möglich halten sollte. Allerdings spricht nichts dagegen, wenn man dabei die Vorteile neuer Techniken berücksichtigt, und "mit" dem System arbeitet.

Ja, die Sache mit der Transportfestplatte geht nur über die Kommandozeile.
Allerdings braucht man dafür nur zwei Befehle absetzen.
Dafür hat man aber auch die komplette Kontrolle über diesen Vorgang.

Natürlich könnte man diese beiden NAS aber auch über eine 100MB/s Verbindung mittels zfs send/receive miteinander synchronisieren. Sogar langsamere Leitungen (wie DSL) sind dafür geeignet, wenn sich die veränderten Daten in gewissen Grenzen halten.

Man könnte jetzt darüber diskutieren, ob man eine solche Abgleich-Funktion direkt in das Web-GUI einbauen sollte (bei FreeNAS gibt es das wohl).
Allerdings gibt es dabei zig verschiedene Detailfragen, welche dabei berücksichtigt werden müßten, was nicht ganz trivial ist:
Erfolgt der Abgleich auf dem gleichen System, auf ein anderes NAS im gleichen Netzwerk, oder per Transportfestplatte?
Muß die Übertragung verschlüsselt ablaufen?
Müssen die Daten bei der Übertragung komprimiert werden?
Müssen die Daten in einzelne Chunks aufgeteilt werden (z.B. für mehrere Transportfestplatten)?
Eine Web-GUI-Lösung wäre auf jeden Fall recht eingeschränkt, weil sie nicht alle Anwendungsfälle gleich gut abdecken kann.

Im Gegenteil: Ich finde es gut, daß man solche Dinge hier selbst realisieren kann, und man damit unabhängig vom NAS4Free-Projekt bleibt.
Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 24 Feb 2015 20:20
by raaalf
Hallo Princo,

am vergangenen Wochenende erhielt ich die bestellten devolo dLAN 500 Powerline-Adapter, die sofort getestet wurden. Ich rechnete mit einer Transferrate von ~50 MBit/s. Leider waren es auf dem Weg vom Erdgeschoss zum Keller nur ~25 MBit/s. Ursächlich dafür sind sicher die zahlreichen Störquellen wie Steckernetzteile, Tiefkühltruhe etc.
Der Test mit einer 802.11g-WLAN-Verbindung ergab 36 bis 48 MBit/s. Da das WLAN der FRITZ!Box 7270, die wegen des im Vergleich zu der für VoIP und WLAN-Zugänge genutzten FRITZ!Boxen 7170 leistungsfähigeren DSL-Modems (Freileitung, Outdoor-DSLAM ca. 5 km entfernt, immerhin stabile 2,7 MBit/s) eingesetzt wird, nicht in Betrieb ist versuche ich nun mein Glück mit einer 802.11n-WLAN-Verbindung im 5 GHz-Band. Ich wäre mit stabilen 80-90 MBit/s schon zufrieden. Dazu bestellte ich einen LINKSYS WPA300N der im 5 GHz-Band betrieben werden kann und den notwendigen Client-Modus beherrscht. Mal sehen.
Wenn das funktioniert, kommt das BACKUP-NAS in den Keller. Ich bin zwar kein Freund von WLAN-Verbindungen und würde lieber ein anständiges CAT-7-Kabel ziehen aber... der WAF. ;-)

Bei meinen beiden NAS (siehe Signatur) sieht es so aus, dass die Synchronisierung zwei eigenständige NAS betrifft, die nicht per Netzwerk möglich ist, da die NAS an anderen Orten stehen würden. Die Transportfestplatte muss nicht verschlüsselt sein und die Daten nicht komprimiert. Auch ist der Einsatz mehrerer Transportfestplatten nicht notwendig. Eine Festpaltte mit 1 TByte sollte für die zu synchonisierenden Datenmengen mehr als ausreichend sein.

Wenn Du mir hier einen Tipp geben könntest, welcher Befehl der richtige ist? ;-)

Grüsse

Ralf
Princo wrote:Hi raaalf,
[...] Allerdings gibt es dabei zig verschiedene Detailfragen, welche dabei berücksichtigt werden müßten, was nicht ganz trivial ist:
Erfolgt der Abgleich auf dem gleichen System, auf ein anderes NAS im gleichen Netzwerk, oder per Transportfestplatte?
Muß die Übertragung verschlüsselt ablaufen?
Müssen die Daten bei der Übertragung komprimiert werden?
Müssen die Daten in einzelne Chunks aufgeteilt werden (z.B. für mehrere Transportfestplatten)?
Eine Web-GUI-Lösung wäre auf jeden Fall recht eingeschränkt, weil sie nicht alle Anwendungsfälle gleich gut abdecken kann.

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 28 Feb 2015 20:50
by raaalf
Guten Abend Princo,

bei meiner Freundin wurde das Backup-NAS in den Keller bzw. ins "Bügelzimmer" verbannt und per WLAN (802.11n - laut iPerf 14.6 MBytes/s) angebunden. Ich bin soweit zufrieden.

Gleichzeitig habe ich an der Aufteilung der NASen geschraubt sowie erweitert. Vorher waren zwei die NASen ("Produktiv" und "Backup") im Büro untergebracht und enthielten auch DVD-ISOs, MP3-Files, Fotos etc. Jetzt ist das NAS "Backup" (automatische, regelmäßige Synchronisierung mit dem NAS "Produktiv") im Keller.
Gleichzeitig gibt es die neuen NASen "Mediacenter" und "Mediacenter-Backup" für DVD-ISOs, MP3-Files, Fotos etc. Das NAS "Mediacenter" ist im Keller bzw. Bügelzimmer aufgebaut und das NAS "Mediacenter-Backup" im Büro, da es nur zum manuellen Synchronisieren mit dem NAS "Mediacenter" eingeschaltet wird. Ich denke, sicherheitstechnisch ein vernünftiges, stimmiges Konzept (sogar die Netzwerkverbindung wurde potentialfrei - per WLAN - umgesetzt...)?

Servus

Ralf

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 19 Mar 2015 19:59
by raaalf
Guten Abend,

in den vergangene Tagen/Wochen schraubte ich weiter an meinen NASen. Ich bin jetzt soweit, dass ich die bei mir daheim stehenden zwei NASen (siehe Signatur) örtlich auftrennen kann. Das NAS-BACKUP soll bei meiner Freundin im Keller/Bügelzimmer aufgebaut und per VPN mit dem NAS-PRODUKTIV, dass bei mir daheim steht, synchronisiert werden.

Die technische Umsetzung habe ich mir wie folgt vorgestellt.

NAS-PRODUKTIV <- FRITZ!Box 7270 / VPN <- CABLE-Modem <- DSL -> FRITZ!Box 7270 -> WLAN-Access im Client-Modus -> FRITZ!Box 7270 / VPN -> NAS-BACKUP

Ich habe einiges über die Sicherheit-/Unsicherheit des VPN-Tunnels der FRITZ!Boxen gelesen. Für einen ersten Test ist die Umsetzung mit FRITZ!Boxen für mich ideal, da ich einige FRITZ!Boxen 7270 in Reserve in der Schublade liegen habe. Der VPN-Tunnel soll nur bei Bedarf aufgebaut und das NAS-BACKUP auch nur bei Bedarf eingeschaltet werden. Dank MicroServer Remote Access Card sollte das kein Problem darstellen.
Hat von euch jemand eine derartige Umsetzung in Betrieb und kann über die dafür eingesetzt Hardware (VPN-Router) berichten?

Nachtrag: Es wäre auch zu schön gewesen. Leider musste ich lesen, dass eine FRITZ!Box im Client-Modus keine VPN-Verbindungen aufbauen kann. Tja, dann bleibt nur noch der Kauf von zwei VPN-Routern. Kennt jemand einen guten und preislich attraktiven? Vielleicht gibt es mit OpenWRT noch Möglichkeiten. Mal sehen.

Gruß

Ralf

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 22 Mar 2015 01:13
by Princo
Hallo raaalf,

Erstmal sorry dafür, daß ich in den letzten Wochen so wenig Zeit hatte.

Wenn ich deine aktuellen Postings richtig interpretiere, dann ist die "Transportfestplatte" derzeit kein Thema mehr, da du eine Datenverbindung über ein VPN realisieren möchtest. Richtig?
raaalf wrote: Nachtrag: Es wäre auch zu schön gewesen. Leider musste ich lesen, dass eine FRITZ!Box im Client-Modus keine VPN-Verbindungen aufbauen kann. Tja, dann bleibt nur noch der Kauf von zwei VPN-Routern.
Da du dich ja recht gut mit den Fritz!Boxen auskennst, wäre eine Lösung mittels der Firmware-Modifikation Freetz denkbar 8-)

Es gibt dort z.B. ein OpenVPN-Paket http://freetz.org/wiki/packages/openvpn
mit dem sich, meiner Meinung nach, deine Aufgabenstellung ideal umsetzen läßt.

Das OpenVPN-Paket habe ich zwar selbst nicht ausprobiert, aber ich verwende Freetz mit anderen Paketen, und ich finde die Anleitung für das OpenVPN-Paket sehr gelungen, und ausgesprochen ausführlich.

Btw: ich verwende Freetz um meine NAS zeitgesteuert aufzuwecken, mache damit statisches DHCP und lasse darüber einen PXE-Server laufen (für Remote-Boot und Backup-Zwecke). Man muß sich diese Firmware-Updates zwar selber backen, aber für Leute, die sich ein NAS selbst bauen, ist das durchaus machbar :mrgreen:

Ich schätze mal, daß du dir keine extra VPN-Router anschaffen mußt.

Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 22 Mar 2015 11:27
by raaalf
Guten Morgen Princo,

der Gedanke, beide Standorte per VPN zur Synchronisierung der NASen zu verbinden kam mir beim Durchlesen der die Möglichkeiten der FRITZ!Boxen behandelnden Artikel in der c´t 6/2015. Momentan nutze ich das VPN der FRITZ!Box per FRITZ!Fernzugang auf einem Windows-Netbook zu administrativen Zwecken und um in Hotels eine gesicherte Internetverbindung aufzubauen.

Freetz kenne ich, habe mich aber noch nicht weiter damit beschäftigt. Ein Freetz-Image zu erstellen ist mehr oder weniger aufwändig: FRITZ!Box-Image muss selbst erstellt werden mit freetz-linux. Ein fertiges Image möchte ich nicht verwenden, da der Lerneffekt meiner Meinung nach wichtig ist.
Ich denke aber, dass sich der Aufwand mit Freetz lohnen würde. Ist nur eine Frage der Zeit sich damit beschäftigen zu können. Zumal das Thema VPN komplett neu ist und das VPN auch sicher konfiguriert sein muss - hierzu gibt es auch vieeel zu lesen zu lernen.
Bis dass VPN so läuft wie es soll dauert es sicher noch ein Weilchen. Deshalb ist das Thema "Transportfestplatte" nach wie vor aktuell. Zudem ist die Transportfestplatte eine Alternative bei großen Datenmengen. Am geplanten Standort für das NAS-BACKUP stehen nämlich nur 2672 kbit/s Downstream und 665 kbit/s Upstream zur Verfügung...
Ich habe auch schon an zwei PCs (an jedem Standort einer) gedacht auf denen IPFire mit OpenVPN läuft. Da ich kein Rechnenzentrum habe reicht es allerdings mit der Anzahl an laufenden PCs. FRITZ!Boxen sind doch um einiges energiesparender und auch einfacher zu konfigurieren. Vor allem will ich mich nicht zu sehr verzetteln.

Es ist faszinierend, was User alles auf die Beine stellen und kostenlos anderen zur Verfügung stellen. Sei es NAS4Free, Freetz, OpenELEC und vieles andere mehr. Wow.

Momentan "kämpfe" ich damit, dass zwei identische Industrie-PCs mit VIA-Southbridge 82C686B (mit dem "686B-Bug"), die als Hardware-Redundanz dienen sollen, das Booten im "Normal Mode" verhindern und nur im "Safe Mode" NAS4Free booten.

"Boot NAS4Free in Normal Mode"
"Boot NAS4Free with ACPI"
"Boot NAS4Free in Safe Mode"
"Boot NAS4Free with verbose logging"

Daneben wurde der Hauptspeicher der PCs auf 1 GByte aufgerüstet (je 2 x 512 MByte PC-133-SDRAM). Da auf Grund des Alters der PCs nur IDE-Ports für den Anschluß von Festplatten zur Verfügung stehen wurde ein auf dem Silicon-Image-Chip SiL 3114 basierender PCI-SATA-RAID-Adapter bestellt. Das RAID-BIOS des Adapters wird durch ein BIOS ohne RAID-Funktion ersetzt. Damit sollte auch das durch den "686B-Bug" verursachte Problem beseitigt sein, da die IDE-Ports deaktiviert werden können. Viel Aufwand für fast 10 Jahre alte PCs. Aber es macht Spass, mal wieder zu schrauben, zu flashen, Herstellerwebsites nach Firmware zu durchsuchen usw. ;-) Naja, das ist ein anderes Thema.

Ich wünsche Dir ein schönes Restwochenende!

Gruß

Ralf
Princo wrote:Wenn ich deine aktuellen Postings richtig interpretiere, dann ist die "Transportfestplatte" derzeit kein Thema mehr, da du eine Datenverbindung über ein VPN realisieren möchtest. Richtig?

[Freetz] Es gibt dort z.B. ein OpenVPN-Paket http://freetz.org/wiki/packages/openvpn mit dem sich, meiner Meinung nach, deine Aufgabenstellung ideal umsetzen läßt.

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 26 Mar 2015 12:14
by raaalf
Hallo Princo,

gestern erstellte ich ein Freetz-Image für die FRITZ!Box 7270 V3 . Das Image konnte ich erfolgreich als Firmware-Update auf der FRITZ!Box installieren.

Jetzt kommt der schwierige Teil: Die Konfiguration der FRITZ!Box selbst und des OpenVPN. Bin ja mal gespannt.

Gruß

Ralf

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 26 Mar 2015 23:55
by Princo
raaalf wrote:Jetzt kommt der schwierige Teil: Die Konfiguration der FRITZ!Box selbst und des OpenVPN. Bin ja mal gespannt.
Hi raaalf,

Mit dem OpenVPN-Paket in der Fritz!Box steigst du natürlich gleich mit der "Königsdisziplin", was Firmwaremodifikationen betrifft, ein :geek:
Die Anleitung zu OpenVPN ist da eine gute Unterstützung, weil sie auch besondere Hinweise zu AVM/Freetz beinhaltet (z.B. der Verweis auf die Sicherheitsstufen).

Ein Tipp dazu: Ich habe die Vermutung, daß evtl. VPN-Bridging (TAP) in deinem Fall sinnvoll wäre.

Kurz zur "Transportfestplatte": Dir ist klar, daß das nur mit ZFS-Dateisystemen auf beiden Seiten funktioniert?

Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 28 Mar 2015 17:15
by raaalf
Hallo Princo,

zuerst eine vereinfachte ASCII-Zeichnung (sorry für die schlechte Qualität) des Ist-Zustands um zu visualisieren von was ich rede:

Image

Die Verlegung der vormals auf dem NAS "NAS-PRODUKTIV" gespeicherten DVD-ISOs, Fotos, Musik etc. auf das NAS "MEDIACENTER-PRODUKTIV" habe ich gestern in Angriff genommen. Grund für die Aufteilung ist, dass auf dem NAS "NAS-PRODUKTIV" der Speicherplatz auf der 2 TByte-Festplatte ausging. Von meinen vorherigen Backup-Lösungen (externe USB-Festplatten, nicht mehr notwendig dank - siehe Signatur) habe ich noch 2 TByte-Festplatten übrig sowie PCs die als weitere NAS verwendet werden können. Den Einbau von mehr als einer Festplatte lassen die von mir verwendeten PCs leider nicht zu.

Beim Befüllen des neu eingerichteten NAS "MADIACENTER-PRODUKTIV" (Synchronisierung per rsync zwischen dem NAS "NAS-PRODUKTIV" und dem NAS "MEDIACENTER-PRODUKTIV" per WLAN (siehe Zeichnung) kam es einmal nach ca. 50 GByte und, nach dem Neustart der FRITZ!Box 7270, nach ca. 150 GByte zum Absturz der FRITZ!Box 7270. google verriet mir, dass die CPU der FRITZ!Box 7270 ein Temperaturproblem bei Volllast hat. Interessant... Das ist vorher nicht aufgefallen, da das WLAN-Modul der FRITZ!Box 7270 nicht aktiviert war. Nungut. Die FRITZ!Box 7270 wird aus dem Grund verwendet, da sie über das im Vergleich zur FRITZ!Box 7170 deutlich bessere DSL-Modem verfügt und so stabile DSL-Verbindungen möglich sind. Die FRITZ!Box 7170 schaffte im Vergleich nur ca. 1,6 MBit/s und die auch nur sehr störanfällig. Um nicht die ganze Installation ändern zu müssen wurde die FRITZ!Box 7270 einfach vor die FRITZ!Box 7170 gehängt. Im Einsatz sind insgesamt vier per fest verlegten Netzwerkkabeln verbundene FRITZ!Boxen um im Haus sowie dem Nachbarhaus den Internetzugang per LAN/WLAN sowie die Telefonie per VoIP zur Verfügung zu stellen.

Das NAS "NAS-PRODUKTIV" wurde per Patchkabel an die FRITZ!Box 7170 im Erdgeschoss angeschlossen und befüllt (ca. 1,4 TByte an Daten). Anschließend wurde das NAS "MEDIACENTER-PRODUKTIV" mit dem NAS "MEDIACENTER-BACKUP" synchronisiert. Die zukünftig zu übertragenden Daten werden die FRITZ!Box 7270 hoffentlich nicht zum Absturz bringen. Soviel dazu.

Der Plan ist, dass ich mein NAS "NAS-PRODUKTIV" (siehe Signatur) bei meiner Freundin unterbringe. Das Theme Freetz/OpenVPN wird noch einge Zeit in Anspruch nehmen, da doch für mich sehr komplex. Ich habe schon einge Stunden mit Lesen zugebracht und es stellen sich immer mehr Fragen. Aber es ist ja ein Hobby und man lernt dazu.

Meine beiden NASen (siehe Signatur) verwenden ZFS. Von dem her stünde der Verwendung einer Transportfestplatte nichts entgegen.

Grüsse

Ralf
Princo wrote: [...] Mit dem OpenVPN-Paket in der Fritz!Box steigst du natürlich gleich mit der "Königsdisziplin", was Firmwaremodifikationen betrifft. Ein Tipp dazu: Ich habe die Vermutung, daß evtl. VPN-Bridging (TAP) in deinem Fall sinnvoll wäre.

Kurz zur "Transportfestplatte": Dir ist klar, daß das nur mit ZFS-Dateisystemen auf beiden Seiten funktioniert?

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 02 Apr 2015 04:17
by Princo
Hi raaalf,

In 2013 hatte ich den Abgleich mittels zfs send/receive in einem anderen Thread beschrieben: viewtopic.php?f=29&t=5343&p=29406#p29406

Dort beschreibe ich den Abgleich zweier im gleichen Netzwerk befindlichen NAS mittels zfs send/receive.

Ich gehe daher hier nur noch auf die nachfolgenden Abgleiche mittels einer Transportfestplatte ein.
Bei de Bezeichnungen verwende ich die im verlinkten Thread genutzten Bezeichnungen (NAS4FreeA und NAS4FreeB).

Einrichtung der Transportfestpatte:

Die Transportfestplatte wird als eigener Datenpool "Transport" eingerichtet.
Per Kommandozeile erzeugt man nach der Einrichtung die erforderliche Redundanz mittels

Code: Select all

zfs set copies=2 Transport
So wird jede Datei "doppelt" auf der Transportfestplatte gespeichert.
Damit halbiert sich zwar die nutzbare Kapazität, aber zfs kann ggfs. Datenfehler der Transportfestplatte reparieren.

Nun erzeugt man auf NAS4FreeA einen weiteren rekursiven Snapshot auf den Pool Daten:

Code: Select all

zfs snapshot -r Daten@2015-04-02
Da ich in dem anderen Thread einen Abgleich am 26.10.2013 durchgeführt habe, übernehme ich dieses Datum einfach mit in dieses Beispiel ;)

Wir haben also mindestens zwei rekursive Snapshots auf dem Pool "Daten":
1. Daten@2013-10-26
und
2. Daten@2015-04-02

Der erste Snapshot befindet sich ja durch den Erstabgleich bereits auf dem Zielsystem (NAS4FreeB).

Jetzt kommt die Transportfestplatte ins Spiel.

Auf NAS4FreeA (dem sendenden System):

Code: Select all

cd /mnt/Transport
rm * # Um ggfs. alte Transportdaten zu löschen
zfs send -RI Daten@2013-10-26 Daten@2015-04-02 > 2013-10-26_2015-04-02.zfs
cd ~
zfs export Transport
Dann trägt man die Transportfestplatte zu NAS4FreeB (dem empfangendem System):

Code: Select all

cd /mnt/Transport
zfs receive -vF Daten < 2013-10-25_2015-04-02.zfs
cd ~
zfs export Transport
Es gibt hier noch ein paar Optimierungsmöglichkeiten, aber das würde momentan zu sehr vom grundlegenden Prinzip ablenken. So könnte man z.B. auf der Transportfestplatte zusätzlich einen extrem hohen Kompressionslevel einschalten (weil die Erzeugung der Transportdatei nicht zeitkritisch ist), aber das lasse ich jetzt erst mal weg.

Die Benamsung der Snapshots und der .zfs Datei ist natürlich den realen Verhältnissen anzupassen.

Ich hoffe, daß die Erklärung nicht allzu kompliziert geraten ist. Falls da etwas unklar sein sollte, frag bitte einfach nach.

Grüße
Princo

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 02 Apr 2015 21:21
by raaalf
Guten Abend Princo,

ich danke Dir für Deine ausführlichen Antworten. Leider hat mir "Niklas" einen Strich durch die Rechnung gemacht und ich muss die Schäden beseitigen anstatt mich um das Thema NAS zu kümmern. Ich muss leider die weiteren Schritte (ZFS Send/Receive und Deine Backup-Lösung) auf übernächstes Wochenende verschieben.

Grüsse

Ralf

Re: Synchronisierung per Rsync zweier NAS beschleunigen mit dedizierten Gigabit-Netzwerkkarten?

Posted: 03 Apr 2015 04:59
by Princo
Auf Backe, das hört sich gar nicht gut an.
Hoffentlich ist nicht allzu viel kaputt gegangen.
Grüße
Princo