Rsync und Systemlast (Client / Server)

[Digi-Quick]

Moin,
wer hat eigentlich mehr zu tun? der Client (Ziel) oder der Server (Quelle)

Derzeit läuft der Server auf einem i3-4150 und der Client auf einem AMD Turion(tm) II Neo N54L und ich Frage mich, ob es hier eine Optimierungsmöglichkeit aka verschenkte Leistung gibt.

Oda is dat wurscht?


Noch 'ne Frage:
Bezieht sich auf das Autoshutdown script: viewtopic.php?f=70&t=4830

wie überwache ich den rssync Prozess?
-l rsyncd
oder
-t rsyncd

Tendenziell würde ich auf -t tippen....

oder ist auch dat wurscht?
(wieso hat eigentlich rsync nicht direkt eine shutdown option nach getaner Arbeit wie andere Backupprogramme auch - zumindest unter windoof)

Noch'n Problem, das NAS startet automatisch via RTC-Timer. der Rsync startet aber erst 5 Minuten später.
das Autoshutdownscript soll aber beim Systemstart (via Command Scripts) mitgestartet werden >> da läuft der überwachte Prozess noch gar nicht!
Oder könnte ich das Script sagen wir mal 10 Minuten nach systemstart via cron starten?

[Princo]

Moin,
wer hat eigentlich mehr zu tun? der Client (Ziel) oder der Server (Quelle)

Derzeit läuft der Server auf einem i3-4150 und der Client auf einem AMD Turion(tm) II Neo N54L und ich Frage mich, ob es hier eine Optimierungsmöglichkeit aka verschenkte Leistung gibt.

Oda is dat wurscht?

Kommt darauf an, was du machen möchtest.
Geht es darum, daß du vom i3-4150 ein Backup per rsync auf den N54L machen möchtest? Weil, der N54L wäre ja das typische NAS-System.
Oder geht es um den umgekehrten Weg?
Beschreib mal bitte kurz, was du eigentlich vorhast.

Noch 'ne Frage:
Bezieht sich auf das Autoshutdown script: viewtopic.php?f=70&t=4830

wie überwache ich den rssync Prozess?
-l rsyncd
oder
-t rsyncd

Tendenziell würde ich auf -t tippen....

oder ist auch dat wurscht?

Zu diesem Script kann ich dir leider nix sagen, denn für Autoshutdown nehme ich dieses Tool-Paket: viewtopic.php?f=70&t=2197
In dem von dir benannten Thread werden einige Dinge anders gelöst, als ich es machen würde.
Zur Erläuterung: Ich sichere meine Client-Rechner per rsync täglich auf ein Backup-NAS. Dieses Backup-NAS wird per WOL von den Clients gestartet. Die Clients bekommen ihre Backup-Logik per PXE-Boot übermittelt. Das Backup-NAS fährt herunter, wenn kein Client-Rechner mehr Backup macht.

(wieso hat eigentlich rsync nicht direkt eine shutdown option nach getaner Arbeit wie andere Backupprogramme auch - zumindest unter windoof)

Hier hast du einen falschen Denkansatz.
Erstmal: rsync ist bei Linux/UNIX ein einzelner (extrem komplexer und sehr mächtiger) Befehl. Bei Windows ist man gewohnt, mit Programmen zu arbeiten, welche eine grafische Oberfläche haben, und möglichst einfach zu bedienen sind.
Es gibt grafische Oberflächen für rsync, aber darüber wird meist nur ein Bruchteil der rsync-Funktionen bereitgestellt.
Unter Linux/UNIX wird man rsync eher in Skripte verpacken, um z.B. ein Backup-System zu realisieren.
Dort kann man dann weitere Tools einsetzen, um z.B. ein WOL-Paket an das NAS zu schicken, um es zu starten, oder auch um das NAS nach dem Backup herunter zu fahren.

Jetzt dein "Denkfehler": Wenn dein Backup-Job das NAS herunterfahren soll, dann läßt sich das durchaus realisieren.
Aber was machst du, wenn du zwei Rechner gleichzeitig backuppen willst?
Wenn der erste Rechner fertig ist, fährt er das NAS herunter.
Was ist, wenn der zweite Rechner da noch gar nicht mit seine Backup durch ist?
Wie willst du dieses Problem lösen?

Noch'n Problem, das NAS startet automatisch via RTC-Timer. der Rsync startet aber erst 5 Minuten später.
das Autoshutdownscript soll aber beim Systemstart (via Command Scripts) mitgestartet werden >> da läuft der überwachte Prozess noch gar nicht!
Oder könnte ich das Script sagen wir mal 10 Minuten nach systemstart via cron starten?

Das hört sich für mich so an, als ob du ein automatisches Backup realisieren möchtest, bei dem sich Nachts wie durch Zauberhand die Rechner starten, das Backup durchführen, und danach wieder herunterfahren.

Liege ich richtig?

Mit diesem Thema beschäftige ich mich seit Jahren, und ich würde das so nicht unbedingt empfehlen.
Warum, wieso und weshalb ich das selbst etwas anders handhabe, kann ich dir gerne erklären, wenn ich etwas genauer weiß, was du vorhast.

Grüße
Princo

PS: Möglicherweise willst du ja ein NAS auf ein anderes NAS backuppen, und da gäbe es viel bessere Möglichkeiten als rsync.

[Digi-Quick]

Datenquelle - Archivstorage:
19" Storage mit 19 *8TB HDDs im Raidz3 unter N4F
Supermicro X10SL7-F / i3-4150 /i3-4150 / 16 GB ECC
Ja, ich bin der "Wahnsinnige", der die Seagate Archive hierfür nutzt. Das System läuft bereits seit gut 6 wochen im Life Betrieb - Störungsfrei! Vorherige Test hatte ich durchgeführt. Die Performance des Systems leigt höher als di vom HP N54L, trotz SMR HDDs.
Ich denke mal bei 19 HDDs Im Raidz3 muss die einzelne HDD kaum noch was leisten, das reicht jedenfalls d*k um GB-Lan zu sättigen, SMR bedingte Performanceeinbrüche konnte ich nicht mehr feststellen (bei 7 HDDs im Raidz 3 in der Testphase war da was).

Datenziel - Backupstorage:
HP N54L mit 16 GB ECC / 5x 4 TB Raidz1

Es wird nur ein kleiner Teil der Daten vom Archivstorage gesichert - die wirklich wichtigen Daten halt! Ob oder wie lange die 16 TB Netto reichen, kann ich noch nicht abschätzen, zur Not müssen da halt grössere Platten rein.
Vom den PC aus wird widerum auf's grosse System gesichert.

Ich hatte eigentlich gehofft, das die Backuptasks selbstständig und unbeaufsichtigt laufen könnten - ohne daß ein weiterer Rechner an sein muss. Der HP Microserver soll nur zu Backupzwecken laufen,
Das Archivstorage läuft zuzr Zeit rund 8-12h am Tag - weil ich da immer noch laufend Daten raufschiebe und reorganisiere - das wird im Endeffekt weniger werden.

Das Shutdownscript läuft mitlerweile wie gewünscht.
Da bis zum Herunterfahren 10 Durchläufe mit 120s Wartezeit dazwischen liegen, habe ich auch kein Problem damit das Script direkt beim Booten zu laden - hatte ich nicht bedacht bei meiner Fragestellung
Da der Rsync Prozess ständig läuft - bzw. inaktiv ist, ist es doch der Schalter -l.

[Princo]

Wenn du auf beiden Systemen ZFS einsetzt, warum benutzt du dann rsync, und nicht das wesentlich bessere zfs send/receive?

Grüße
Princo

[Digi-Quick]

weil ZFS Send/recieve nur ganze ZFS-Datasets oder ZFS-Volumes kann
Ich habe aber jeweils nur 1 Dataset, die Datenstrukturierung erfolgt über die Verzeichnisstruktur.

Man hätte natürrlich mit dynamischen (Overprovisioned ) Volumes arbeiten können, aber ich möchte einfach im Dateimanager (Total Commander) sehen, wieviel Platz frei ist (xx von yy KB) und zwar bezogen auf den Gesamtplatz.

[Digi-Quick]

beantwortet ist meine Frage immer noch nicht!
Wer hat eigentlich mehr zu tun? der Client (Ziel) oder der Server (Quelle)

[b0ssman]

es kommt darauf an.

bei der ersten sync der die quelle.

danach ca gleich viel denn beide seiten muessen die hashes berechnen.

[Princo]

weil ZFS Send/recieve nur ganze ZFS-Datasets oder ZFS-Volumes kann
Ich habe aber jeweils nur 1 Dataset, die Datenstrukturierung erfolgt über die Verzeichnisstruktur.

Aber wenn du nur einen kleinen Teil (die wirklich wichtigen Daten) sicherst, was hindert dich daran, diese in ein eigenes Dataset zu packen, und dann zfs send/receive für dieses eine Dataset zu machen?

Der Vorteil bei der Methode wäre, daß die zu übermittelnden Daten nicht von rsync aufwendig ermittelt werden müssen, sondern die Übertragung sofort beginnen kann.

Platz geht dir dabei übrigens nicht verloren.

Grüße
Princo

[Digi-Quick]

es kommt darauf an.

bei der ersten sync der die quelle.

danach ca gleich viel denn beide seiten muessen die hashes berechnen.

Das war die Info, die ich haben wollte, Danke