This is the old XigmaNAS forum in read only mode,
it will taken offline by the end of march 2021!



I like to aks Users and Admins to rewrite/take over important post from here into the new fresh main forum!
Its not possible for us to export from here and import it to the main forum!

Transferer 1 NAS avec Rsync

French community

Moderators: velivole18, ernie, mtiburs

Forum rules
Set-Up GuideFAQsForum Rules
Post Reply
CorbeilleNews
Advanced User
Advanced User
Posts: 261
Joined: 04 Jul 2012 20:40
Status: Offline

Transferer 1 NAS avec Rsync

Post by CorbeilleNews »

Bonjour,

J'arrive avec Rsync en ligne de commande à transférer le contenu d'un NAS dans un autre à travers un ordinateur tiers (je vois les volumes dans le Finder de Mac OSX à travers le service AFP), cependant vu la quantité de données importante à transférer j'aurais aimé savoir s'il est possible de laisser les deux NAS faire le transfert de manière autonome et dans ce cas comment faire ? J'aimerai aussi pouvoir continuer à accéder aux données du NAS source pendant le long transfert vers la destination et donc mettre une priorité du style nice et ionice dans la ligne de commande.

Quel partage activer et comment le paramétrer correctement ?

Comment paramétrer les Modules et à quoi cela sert, qui est le serveur, qui est le client, (source et destination) et ou taper ma ligne de commande ?

Bref pas mal de questions me sont venues en rédigeant ... :lol:

Merci d'être explicite car je découvre :D

sleid
PowerUser
PowerUser
Posts: 774
Joined: 23 Jun 2012 07:36
Location: FRANCE LIMOUSIN CORREZE
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by sleid »

Bonjour,
Pourquoi ne pas utiliser l'interface web des 2 nas (Services|Rsync|Serveur|Réglages) pour configurer votre tâche de sauvegarde automatiquement ?
Si vos nas ont 2 interfaces lan vous pouvez même en imposer une pour la sauvegarde.
12.1.0.4 - Ingva (revision 7852)
FreeBSD 12.1-RELEASE-p12 #0 r368465M: Tue Dec 8 23:25:11 CET 2020
X64-embedded sur Intel(R) Atom(TM) CPU C2750 @ 2.40GHz Boot UEFI
ASRock C2750D4I 2 X 8GB DDR3 ECC
Pool of 2 vdev Raidz1: 3 WDC WD40EFRX + 3 WDC WD40EFRX

CorbeilleNews
Advanced User
Advanced User
Posts: 261
Joined: 04 Jul 2012 20:40
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by CorbeilleNews »

Oui c'est ce que je pensais faire de toute manière : quand j'ai parlé de ligne de commande, je parlais de ligne de commande dans l'interface web mais quand j'ai lu que cette fonction n'était plus maintenue je me suis interrogé !

Par contre je n'ai aucune idée sur la méthode ?

Un petit coup de main ne serait pas de refus :D

sleid
PowerUser
PowerUser
Posts: 774
Joined: 23 Jun 2012 07:36
Location: FRANCE LIMOUSIN CORREZE
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by sleid »

Excusez-moi si j'enfonce des portes ouvertes....
Le "serveur" c'est le coté que vous souhaitez sauvegarder
Le "client" c'est le coté où vous sauvegardez
Le "module" c'est le nom court de ce que vous voulez sauvegarder par ex "/mnt/Nas4Free/Divers/" peut se nommer "Divers", cela évite coté client de rentrer un chemin complet.
Vous pouvez créer autant de modules que vous le souhaitez coté serveur et configurer une période de synchronisation différente pour chacun coté client.
C'est extrêmement souple.
12.1.0.4 - Ingva (revision 7852)
FreeBSD 12.1-RELEASE-p12 #0 r368465M: Tue Dec 8 23:25:11 CET 2020
X64-embedded sur Intel(R) Atom(TM) CPU C2750 @ 2.40GHz Boot UEFI
ASRock C2750D4I 2 X 8GB DDR3 ECC
Pool of 2 vdev Raidz1: 3 WDC WD40EFRX + 3 WDC WD40EFRX

User avatar
mtiburs
Forum Moderator
Forum Moderator
Posts: 951
Joined: 09 Aug 2012 23:34
Location: France - Besançon
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by mtiburs »

Bonjour,

Sur votre serveur vous créez un module (qui pointe vers un chemin: cela peut-être le pool complet ou juste un répertoire)
Surtout mettez les modules visibles !

Ensuite depuis un client (N4F ou Linux) vous tapez l'adresse de votre serveur suivi de deux doubles points (::) à la fin et cela vous diras si votre modules est opérationnel ou pas, je considère cette méthode comme le "juge de paix"

exemple:
vous créez un module toto sur votre serveur (qui pointe dans /pool/destination_toto) sur le serveur 192.168.1.1

sur le client, vous taper: rsync 192.168.1.1::
et là, votre client vous dis tout ce qu'il voit

ensuite, depuis le client, on peut faire (si on veut transférer le contenu de /home/titi/ dans 192.168.1.1:/pool/destination_toto/
rsync -avrh --stats --progress /home/titi/ 192.168.1.1::toto

Si ça marche pas, on peut tester sans le module, pour voir si le serveur est ok:
rsync -avrh --stats --progress /home/titi/ util@192.168.1.1:/pool/destination_toto/
Si çà fonctionne, c'est le module qui n'est pas bon

On peut faire un script avec des commandes spécifiques et le lancer dans une tâche cron, ou, plus simple (comme dit sleid) utiliser le web/gui de rsync pour faire cela.
(ne pas oublier qu'on peut voir des choses dans les log de rsync, c'est toujours intéressant !)

ne pas hesiter a faire un: man rsync ;-)

perso, je préfère suivre le déroulement en ligne de commande, et si c'est trop long (défilement important des lignes), je le relance une deuxième fois, là, il ne restera que les message d'erreurs et les éventuels fichiers qui viennt de changer. En plus vous pourrez changer le nice du rsync.

astuces
pour les gros fichiers, l'option --inplace est intéressant (fichiers de mv par exemple)
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas :o ... et pas à jour en plus :oops: (çà craint)
Conception d'un "système bizarre" :mrgreen: de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.

CorbeilleNews
Advanced User
Advanced User
Posts: 261
Joined: 04 Jul 2012 20:40
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by CorbeilleNews »

Je suis en train de remettre en place un rsync mais je ne sais que mettre dans la partie attibut du client ?

De même que mettre dans la partie "Serveur Rsync distant", les 2 NAS étant dans la même pièce.

Merci de votre aide

User avatar
mtiburs
Forum Moderator
Forum Moderator
Posts: 951
Joined: 09 Aug 2012 23:34
Location: France - Besançon
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by mtiburs »

Bonjour,

Je ne vois pas ce que tu appelles "attributs du client", c'est les options avancées ?
Si oui, c'est un peu tout expliqué à coté 8-)

Pour le serveur, je mets:
- Activer le listage des modules (quand tu es chez toi ... pas la peine de cacher les modules)
- Je mets "lecture seule", comme çà je sais que ma source ne craint rien
c'est tout

Voilà, mais te dire ce qu'il faut mettre directement comme çà sans plus d'information .... c'est pas évident, rsync est très puissant.

Tu peux aussi avant de faire ta config, faire des rsync à la main pour comprendre les options, pour cela, tu crées sur la même machine:
- un repértoire A
- un répertoire B
et tu ajoutes, modifies et supprime des fichiers sur A, et tu regardes ce qui te conviens sur B
genre:
rsync -vrh --stats --progress /A/ /B/
ou rsync -vrhn --stats --progress /A/ /B/ (pour faire "semblant")

après tu peux faire :
- un module
- un rsync en ligne de commande (depuis ton client) pour bien comprendre
après,
- soit tu fais un rsync client dans le webgui (et tu rajoutes les options)
- soit 2 cas:
a) tu mets ta ligne rsync client en commande directement dans le webgui ("Système|Avancé|Scripts de commande")
b) tu fais la même chose, mais par un script dans lequel tu peux mettre des com et faire tout ce que tu as envie, et au lieu de lancer ta commande, tu lances ton script, cela a un avantage: tu peux sauvegarder tes script et les modifer facilement à ta guise, puisque le webgui, ne lancera qu'un fichier avec un nom précis.
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas :o ... et pas à jour en plus :oops: (çà craint)
Conception d'un "système bizarre" :mrgreen: de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.

CorbeilleNews
Advanced User
Advanced User
Posts: 261
Joined: 04 Jul 2012 20:40
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by CorbeilleNews »

Entre temps j'ai mis à jour vers la dernière version et les paragraphes ont du changer car je ne retrouve pas mais ce sont 2 champs dans rsync/client auxquels je ne sais pas répondre :

Serveur Rsync distant

Module distant (source)

Merci

User avatar
mtiburs
Forum Moderator
Forum Moderator
Posts: 951
Joined: 09 Aug 2012 23:34
Location: France - Besançon
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by mtiburs »

Serveur Rsync distant
je dirais un truc du genre 192.168.0.1 (si réseau en 0 et 1 pour ton nas serveur)
Module distant (source)
mettre le nom que tu as mis pour le module sur le serveur
On peut le retrouver (et valider le module) en tapant depuis le client: rsync 192.168.0.1::
(à condition d'avoir le listage des modules sur le serveur distant)


exemple, si j'affiche les modules rsync d'un de mes serveurs:
j'ai
nas1_documents /nas1/nas1_documents/ nas1_documents Oui ro
(pour info mon nas a 3 cartes réseaux:
192.168.0.201
192.168.1.201
192.168.2.201

si sur le client je tape:
nas2: ~# ping 192.168.0.201
PING 192.168.0.201 (192.168.0.201): 56 data bytes
64 bytes from 192.168.0.201: icmp_seq=0 ttl=64 time=0.233 ms
64 bytes from 192.168.0.201: icmp_seq=1 ttl=64 time=0.097 ms
--- 192.168.0.201 ping statistics ---
3 packets transmitted, 3 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.097/0.142/0.233/0.064 ms
(ceci me permet de valider la présence du serveur par mon client, car si il ne le voit pas ... on est mal)

si maintenant (toujours du client), je tapes:
nas2: ~# rsync 192.168.0.201:: | grep "doc"
nas1_documents nas1_documents
(je désormais que mon module est bien présent et que son nom est "nas1_documents")
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas :o ... et pas à jour en plus :oops: (çà craint)
Conception d'un "système bizarre" :mrgreen: de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.

User avatar
mtiburs
Forum Moderator
Forum Moderator
Posts: 951
Joined: 09 Aug 2012 23:34
Location: France - Besançon
Status: Offline

Re: Transferer 1 NAS avec Rsync

Post by mtiburs »

et si je tapes:
nas2: ~# rsync 192.168.0.201::nas1_documents
j'obtiens la liste des fichiers de ce module (les fichiers de la racine)
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas :o ... et pas à jour en plus :oops: (çà craint)
Conception d'un "système bizarre" :mrgreen: de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.

Post Reply

Return to “Français”