kopieren übers Netz

[schydhei]

Hallo,
ich brauche mal eure Hilfe. Ich komme mit den Linux Befehlen einfach nicht zurecht. Keine Ahnung davon !
Ich besitze 1 Freenas Server und ein NAS4FREE Server. Einen benutze ich aktiv den anderen als Datensicherung. Beide habe ich als Netzlaufwerk in meinen Windowsrechner gemountet. In der Regel läuft für das Backup ein script ab der die neuen Daten von einem NAS auf den den anderen kopiert.
Das funktioniert auch einwandfrei und ist für mich ok. Da ich eine sehr große Datenmenge habe muss ich 1mal im Jahr entweder eine Festplatte tauschen oder neu einbauen. Ich habe bei jedem NAS ein jbod aufgebaut. Wenn ich nun an einem NAS eine Festpatte tausche löse ich das jbod auf und erstelle es wieder. Nun muss ich wieder die ganzen Daten von einem Nas auf das andere kopieren. Kopiere ich die das vom Windows PC von einem NAS zum anderen halbiert sich die Netzwerkleistung. Ist auch logisch...
Nun wollte ich per putty bzw. per Shell von einem auf das andere NAS koppieren. Wenn man aber nicht wirklich viel Ahnung hat von dem Linux zeugs wirds schwierig.
Ich habe viel gegoogelt aber ich bekomme es nicht hin. Mit scp /Medien nach Heiko@10.1.2.3:/Media wollte ich kopieren. Entweder bekomme ich No such file or directory oder ein permission denied. Ich werde wahnsinnig.....
Vielleicht habt ihr einen Tipp für mich wie man es viel einfacher hin bekommt, oder es einfach nur richtig macht.
Gruß
Heiko

[crowi]

Am einfachsten geht es it rsync:

Code: Select all

rsync -av quelle ziel

https://wiki.ubuntuusers.de/rsync/
http://wiki.nas4free.org/doku.php?id=do ... ync:basics
https://rsync.samba.org/

[schydhei]

Hallo,
danke erst mal....
Ich denke meine Pfadangabe ist falsch. Wie gebe ich diese richtig ein?
Des weiteren gehe ich davon aus dass ich noch den Usernamen und Passwort angeben muss damit ich überhaupt das recht habe auf dem anderen Rechner Daten abzulegen , oder?
DANKE!
$ rsync -av /mnt/Medien/ABC/z/* //191.166.176.32/Media/ABC/z/*
sending incremental file list
rsync: mkdir "//191.166.176.32/Media/ABC/z/*" failed: No such file or directory (2)
rsync error: error in file IO (code 11) at main.c(591) [Receiver=3.0.8]
rsync: connection unexpectedly closed (9 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [sender=3.0.8]

[schydhei]

Hallo,
habe dann folgendes gemacht

$ rsync -av /mnt/Medien/ABC/z/* Heiko@191.166.176.32:/Media/ABC/z/*
Could not create directory '/mnt/.ssh'.
The authenticity of host '191.166.176.32 (191.166.176.32)' can't be established.
RSA key fingerprint is 68:11:6c:5e:2a:98:ff:64:2c:db:bb:32.
Are you sure you want to continue connecting (yes/no)? yes
Failed to add the host to the list of known hosts (/mnt/.ssh/known_hosts).
Heiko@191.166.176.32's password:
sending incremental file list
rsync: connection unexpectedly closed (9 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [sender=3.0.8]

[crowi]

rsync -av /mnt/Medien/ABC/z/* Heiko@191.166.176.32:/Media/ABC/z/* <-- was soll das Sternschen? *

ich denke da ist auch noch ein Rechteproblem, Du solltest es beiden System als Root eingeleloggt sein oder rsync als Superuser (also mit sudo) ausführen

[schydhei]

Hallo,
ohne * habe ich natürlich probiert. gleiches problem....
ok... ich habe in der Weboberfläche von freenas einfach einen User als admin angelegt und in ein paar Gruppen dazugelegt. Per Putty auf die Maschine eingelockt fertig. Wie werde ich denn zu root?

[crowi]

per putty als "root" einloggen...

[schydhei]

Hallo,
ok das habe ich gemacht, dass passwort habe ich vom adminuser genommen womit ich mich dann einloggen konnte.
Warscheinlich habe ich jetzt nun das gleiche Problem beim kopieren auf der Gegenseite?

Wenn ich für die Gegenseite admin oder root statt Heiko verwende nimmt er das Passwort nicht an. Sender ist freenas und Empfänger ist NAS4Free. Gibt es da unterschiede?

rsync -av /mnt/Medien/Dokumente/Carmen Heiko@192.168.178.39:/Media/Dokumente/Carmen
Heiko@192.168.178.39's password:
sending incremental file list
rsync: writefd_unbuffered failed to write 4 bytes to socket [sender]: Broken pipe (32)
rsync: connection unexpectedly closed (9 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [sender=3.0.8]

rsync -av /mnt/Medien/Dokumente/Carmen root@192.168.178.39:/Media/Dokumente/Carmen
root@192.168.178.39's password:
Permission denied, please try again.
root@192.168.178.39's password:

[schydhei]

Googel sagt mir ich soll vorher mounten. Also probiert... Warscheinlich ganz einfach...wenn man es kann.... wie mache ich das richtig?

freenas:/# mount -t ufs //192.168.178.39/Media /mnt/Nas4Free
mount: /192.168.178.39/Media : No such file or directory

mount -t ufs Heiko@192.168.178.39:/Media /mnt/Nas4Free
mount: Heiko@192.168.178.39:/Media : No such file or directory

[schydhei]

Hallo,
...ich habe feuer gemacht.... Sollte ein kleiner Witz sein...
mount_smbfs -I 192.168.178.39 //Heiko@Nas4Free/Media /mnt/Nas4Free Warning: no cfg file(s) found.
Password:

und es geht... ich habe gemountet...freu

[crowi]

Freenas: ja da gibt es bestimmt Unterschiede, jedoch benutze ich Freenas nicht, Du solltest aber auf beiden Rechnern root bzw administrator sein sein

lokal mounten: ja damit läßt sich die Übertragung via ssh umgehen, wenn Du NFS statt smb zum mounten eines externen Dateisystem nimmst erzielst Du auch noch höhere Übertragungsraten, nur so als Tipp, NFS erzeugt weniger Overhead.
http://wiki.nas4free.org/doku.php?id=do ... fs_clients

[schydhei]

Hallo,
ok danke.... Ich kann mich noch daran erinner dass ich mal versucht habe ein NFS Share erzeugt habe. Allerdings hatte ich keine chance per Windows PC auf den Share dann zuzugreifen. Dann habe ich wieder mit SMB gearbeitet. Da gabe es keine Probleme. Macht es Sinn für die Arbeit zwischen den NAS Systemen per NFS freigaben zu arbeiten?

[crowi]

Ja, NFS ist mehr oder weniger das native Übertragungssystem für Unixoide Systeme, für die Übertragung zwischen den NASen ist es am schnellsten.
In Windows 7 war es über Umwege möglich NFS zu mounten.
https://technet.microsoft.com/de-de/lib ... s.11).aspx
In Win 10 wurde die Funktion wieder abgeschafft soweit ich weiß...

[schydhei]

Hallo,
ich mache ja den ganzen Aufriss weill ich der Meinung bin dass das kopieren über die Shell von NAS zu NAS schneller gehen müsste als dazwischen über den PC zu gehen.
Jetzt habe ich es endlich geschafft das Netzwerklaufwerk des anderen NAS Servers zu mounten. Jetzt ist es so, das im direkten Vergleich das Kopieren über den PC tatzächlich schneller geht als über die Shell von NAS zu NAS. ??????????? Jetzt verstehe ich gar nichts mehr.
Ich habe eine 1GB große Datei kopiert. Von NAS zu NAS ca. 26sec. Vom PC aus per robocopy das gleiche File vom Z auf Y Laufwerk kopiert. 19sekunden.
Von NAS zu NAS ca. 39000000bytes/s über den PC ca. 59000000bytes/s.

[crowi]

... weill ich der Meinung bin dass das kopieren über die Shell von NAS zu NAS schneller gehen müsste als dazwischen über den PC zu gehen...

jetzt kommt es darauf an wie Du die Platte vom NAS1 in NAS2 gemountet hast. SMB oder NFS? Kopieren wie? cp? winscp? rsync?
ich komme auf volle GBit Geschwindigkeit (~100 MB/s) zwischen den NASen, wenn ich die Freigaben lokal als NFS mounte.
Über ssh geht es runter auf 60 MBit...

[schydhei]

Hallo,
die Freigaben auf den NAS Systemen ist SMB, weil ich ja die ganze Zeit mit dem PC auf die Freigabe drauf bin. Diese Freigabe habe ich verwendet um diese im NAS zu mounten. Das wie habe ich schon weiter oben beschreiben. rsync zum kopieren.
Am SMB kann es doch nicht liegen weil vom PC direkt kopiert zum NAS komme ich auch über 100MB/s.

[schydhei]

Ich kann ja mal probieren eine NFS Freigabe einzurichten, und diesen dann am anderen NAS zu mounten. Wie gesagt habe ich mich dann per putty draufgeschaltet und dann den rsync Befehl zum kopieren verwendet.
Meinst du das die Geschwindigkeit auch runter geht weil ich vom PC aus per Putty auf die NAS gehe? Kann ich auch mal probieren. Man kann ja glaube ich auch eine Shell aufmachen direkt am NAS, oder?
Gruß
Heiko

[crowi]

wie ich oben schon geschrieben habe ist SMB nicht das Protokoll der Wahl für *nix Systeme, es erzeugt eine Menge Overhead, was die eigentliche Übertragung verlangsamt --> ja mit NFS wird es voraussichtlich deutlich schneller sein. Von welchem PC Du Dich einloggst spielt dabei keine Rolle.

Es gibt aber auch auch ein paar Stellschrauben um Samba zu optimieren: http://lmgtfy.com/?q=samba+tuning+guide

[Princo]

Tschuldigung, daß ich mich einklinke, aber ich glaube, daß ihr beide gerade etwas auf dem Holzweg seid
Ja, man kann tatsächlich mit rsync arbeiten, wenn man das empfangende NAS beim sendenden NAS per NFS einbindet.
Aber das ist nicht sehr elegant (meiner Meinung nach).
Besser ist es, dafür den rsync-Deamon zu benutzen.
Bei NAS4Free sind dafür die Sektionen
Services|Rsync|Server|Modules
und
Services|Rsync|Client
zuständig.
Wichtig dabei ist, daß man in Services|Rsync|Server|Modules als User ID root und als Group ID wheel einträgt.
Ich bin mir sicher, daß es entsprechende Gegenstücke bei Freenas gibt.
Damit sollte das gewünschte Ziel (Datenabgleich) problemlos umgesetzt werden können.

Für das nötige Grundlagenwissen bitte einfach nach "rsync deamon" googeln.

Grüße
Princo

[crowi]

Holzweg? Nicht wirklich.
Die Frage war wie ein einmaliger Abgleich der beiden NASen über die Kommandozeile gemacht werden kann und da ist ein einfacher rsync-Befehl (imho) schneller und einfacher als den Daemon zu konfigurieren.