Disques qui passent en "Removed" Régulièrement

[mtiburs]

Pourtant avec le module, il suffit de le mettre en lecture seule et comme çà il n'y a pas de risque

Donc, vous voudriez faire deux points de montages en NFS et faire la copie en "pseudo-local", c'est çà ?

du genre:
192.168.0.1:/source monté en /mnt/source (en rw ou en ro)
192.168.0.1:/dest monté en /mnt/dest

rsync -vrh /mnt/source/ /mnt/dest/
ou
rsync -vrh --stats --progress --del --force /mnt/source/ /mnt/dest/

[CorbeilleNews]

oui c'est ca mais je ne sais pas comment trouver les chemins de source et de destination ?

[CorbeilleNews]

Savez vous comment trouver les adresses de source et de destination pour les mettre dans la ligne de commande que je cite plus haut ?

Merci

[CorbeilleNews]

Bon j'ai lancé rsync avec les modules finalement avec un peu de persévérances et avec vos quelques explications j'y suis arrivé, la synchro est lancée.

Cependant je plafonne à 4 Mo/s et je ne trouve pas ce qui peut limiter car en passant par un ordinateur tiers c'était du genre 25-30 Mo/s nettement mieux donc car à 4 Mo/s pour transférer quelques To ...

Pour info les CPU sont à 50% sur le serveur et 2% sur le client.

Auriez vous une idée ?

[mtiburs]

Bonsoir,

Désolé, je n'étais pas au courant d'un nouveau message, d'habitude çà me le dit !
(ne pas hésiter à m'envoyer un MP)

Pour le taux de transfert oui c'est faible, j'arrive à du 55/65Mo/s en général. Mais çà peut fluctuer.

Essayez de faire un transfert qui tienne dans la RAM, genre transférer un fichier de 1,2,4 ou 8Go, cela permettra de voir si c'est le réseau qui n'est pas bon.
De même, une fois un rsync fait, relancez-le, il doit être plus rapide, je monte à 160Mo/s car il ne fera que des compare de checksum de bloc, donc le débit est faussé dans le calcul.

Donc, en gros:
- tester un transfert tenant en RAM
- relancer un rsync immédiatement (en double)

Est-ce que ce sont des gros fichiers ?
moi j'ai des fichiers de 85Go et j'utilise l'option --inplace

[CorbeilleNews]

A mon avis le réseau est bon puisque j'arrive a des résultats dépassants les 60 Mo/S sans passer par rsync. Et si j'utilise un troisième ordi j'arrive à 25-30 Mo/s ce qui reste peu : je devrais pouvoir avoir au moins 50 Mo/s : ce que j’obtiens avec un navigateur de fichiers en fait.

Pour résumer :
Rsync par les modules 4-5 Mo/s
Rsync par ordinateur tiers 20-30 Mo/s
Navigateur de fichiers 50-60 Mo/s

Les câbles sont faits maison à la longueur nécessaire, quelques mètres maxi, Gigabit partout.

Quand vous dites rsync fait, en relancer un : vous voulez bien dire lancer deux rsync en même temps ? J'ai peur que cela fragmente énormément les fichiers sur les disques ... Ou alors vous voulez dire faire un transfert en RAM et en même temps un rsync entre les deux NAS ?

Les fichiers font en général 2 à 8 Go rarement plus. Mais ça le fait sur tous les fichiers.

Je ne sais pas comment faire un transfert qui tienne dans la ram ?

[mtiburs]

Quand on fait un transfert, la RAM va se peupler en cache , si on fait un rsync plus petit que la RAM, lors que l'on va en relancer un autre (après que le premier soit totalement finit), le transfert devrait être a son maximum car beaucoup de données seront dans le cache (donc en RAM).

Mais au vu de ce que j'ai lu, je pense que le soucis se situe au niveau du rsync, mais je ne sais pas quoi dire de plus
Quand vous dites "rsync par les modules" c'est un ordi qui se connecte sur un module ?

Sinon, On pourrait essayer de monter le répertoire en NFS et de faire la copie "en local" sur l'ordi (sauf qu'elle se fera en NFS)

[CorbeilleNews]

Quand je dis avec les modules c'est de NAS Serveur à NAS Client : directement de NAS à NAS avec les services contenus dans NAS4Free

J'aurais pensé que cela aurait été plus rapide que de passer par une ligne de commande sur un ordi faisant les transferts.

On est dans le cas d'un premier rsync et donc du remplissage complet et pas juste des modifications, dans ce cas précis ces tests en RAM ont peu d'intérêt car a mon avis vu le volume de données qui transitent la RAM doit être rafraichie assez souvent ?

Sinon, On pourrait essayer de monter le répertoire en NFS et de faire la copie "en local" sur l'ordi (sauf qu'elle se fera en NFS)

C'est ce que je voulais essayer de faire mais dans ma ligne de commande je n'arrive pas à savoir ou sont montés les volumes donc impossible de le lancer ... Je veux bien un petit coup de main là dessus car je vais encore avoir pas mal de données à transférer et si je peux éviter de me servir de l'ordinateur sur lequel je travaille et utiliser un autre ordi à côté tournant lui 24h/24h cela limiterai les temps morts.

Merci

[mtiburs]

Il faut créer un partage NFS sur le serveur (imaginons 192.168.0.1), on partage /pool/toto qui est un dataset par exemple
et
taper showmount - e 192.168.0.1 sur le client pour voir si il a trouvé le serveur

ensuite taper
mkdir /mnt/serveur
mount -t nfs 192.168.0.1:/pool/toto/ /mnt/serveur

et là on fait un df -h et on doit voir le point de montage et la taille
puis un rsync -vrh --stats --progress /truc /mnt/serveur/
truc est l'endroit oû on a les données
/mnt/serveur est en fait: 192.168.0.1:/pool/toto/

attention ! toujours bien vérifier que /mnt/serveur existe et est monté, car sinon, çà finit je ne sais oû ... et çà fait vite un peu désordre !
C'est pour çà que je fais un script qui vérifie si le point de montage existe.

[CorbeilleNews]

Je reviens vers vous car entre temps j'ai bien avancé sur le resilvering des disques à remplacer. C'est long, j'ai eu quelques petits couacs mais on y arrive doucement avec des resilvering qui se finissent apparemment bien.

Bref j'ai un petit soucis : il me reste 3 disques à remplacer : ada14 ada15 et ada16

J'ai entrepris le remplacement d'ada14 de la même manière que les précédents disques et j'ai eu un petit soucis : d'habitude j'éteins le NAS, je remplace physiquement le disque en en remettant à la même place et je redémarre le NAS. Il m'afffiche donc qu'il est Dégradé et dans le webgui je fais un replace ada14 par ada14 et le resilvering se lance sans problème.

Avec ada14 impossible de lancer le replace ada14 par ada14 car ada14 n'apparait plus comme choix de replace si j'enlève l'ancien disque et que je le remplace par un nouveau disque ... Si je remet par contre l'ancien ada14 je repasse online ce qui est normal,

Ce qui est bizarre c'est que même quand l'ancien ada14 est online (comme tous les disques) et que je veux simuler un replace il n'apparait pas pour autant, j'ai essayé de faire un attach ada14 mais sans succès, d'ailleurs ce dois bien être parce qu'il est détaché que c'est le seul que je peux choisir d'attacher ?

Bref il m'est impossible de remplacer ada14. J'ai essayé de resynchroniser le webgui comme vous me l'aviez appris mais rien n'y fait.

De ce fait j'ai essayé d'exporter mon Pool puis de l'importer avec le Sheel et lors de l'import j'ai le message suivant sur 4 disques (ada0 ada1 ada3 ada5)

GEOM: ada0: the primary GPT table is corrupt or invalid.
GEOM: ada0: using th secondary instead -- recovery strongly advised.

Que faire ?

Merci

Edit : entre temps j'ai redémarrer le NAS et ada14 semble pouvoir à nouveau être remplacé : attention je dis semble car je n'ai pas encore essayé : je scrub pour 2 jours et demi là ... mais ce qui m'inquiète c'est les tables de partition GPT et c'est bien pour cela que je scrub afin de vérifier si tous les resilvering ont bien fait leur travail avant de poursuivre et résoudre ce problème de tables.

Merci pour votre aide

[sleid]

attach et detach sont réservés pour les mirroirs à multiples disques donc aucun effet dans votre cas.

Comme déja dit
" je remplace physiquement le disque en remettant à la même place et je redémarre le NAS. Il m'afffiche donc qu'il est Dégradé et dans le webgui je fais un replace ada14 par ada14 et le resilvering se lance sans problème."
C'est normalement impossible.

RAPPEL DE LA PROCEDURE DE REMPLACEMENT D'UN DISQUE DANS UN POOL ZFS SUR NAS4FREE.(ada14 par exemple)
Je met offline ADA14 pas par le web gui mais par exécution de commande, j'arrête mon nas si je n'ai pas de hotplug, je remplace mon disque par un vierge, je redémarre mon nas,j'efface et réimporte ma configuration de disques, JE NE FORMATTE PAS, je regarde le nom de mon ancien ada14 dans l'information du pool ZFS : 3519425461437657985(exemple) OFFLINE 0 0 0 was /dev/ada14. Je vais dans l'onglet Avancé de nas4free et exécuter une commande et j'exécute "zpool replace monpool 3519425461437657985(exemple) ada14.
C'est nécessaire et suffisant.

Le resilvering se lance.

[CorbeilleNews]

Bonjour,

Quentendez vous par ces trois phrases ?

j'efface et réimporte ma configuration de disques

JE NE FORMATTE PAS

je regarde le nom de mon ancien ada14 dans l'information du pool ZFS

Et si je ne veux pas mettre offline ada14 car mon nouveau disque peut être branché en même temps ? Quelle est la marche à suivre ?

Merci

PS : Je vous assure que cela fonctinne bien le replace adax par adax j'ai toujours fais ainsi : en gros la seule chose que je ne fais pas c'est de mettre offline en fait, après coup je me souviens avoir déjà essayé de mettre offline d'abord et je n'avais pas sur comment faire après et je me suis retrouvé coincé... Peut être est ce pour cela que je n'ai jamais retenté mais cela sempble plus logique !

[mtiburs]

C'est normalement impossible

Il a mis "C'est normalement impossible" ... donc, il vous croit ... enfin ... un peu

[sleid]

"Et si je ne veux pas mettre offline ada14 car mon nouveau disque peut être branché en même temps ? Quelle est la marche à suivre ?"

zpool replace monpool ada14 ada15(exemple).
ada15(exemple) étant le nom donné par le système au nouveau disque branché en même temps.


"j'efface et réimporte ma configuration de disques" Disques|Gestion "Effacer la configuration actuelle et importer les disques"
C'est la première chose à faire lorsque l'on fait un quelconque changement,ajout,suppression physique de disque, même sur un port USB.

"JE NE FORMATTE PAS" oui on n'a pas besoin de formatter le disque puisque le "resilvering" s'en charge.

"je regarde le nom de mon ancien ada14 dans l'information du pool ZFS" c'est dans le cas d'un remplacement sur le même port sata

[CorbeilleNews]

"JE NE FORMATTE PAS" oui on n'a pas besoin de formatter le disque puisque le "resilvering" s'en charge.

Et si le disque a déjà été utilisé sur un autre NAS en RAID-Z faut-il effacer le MBR ou le GPT ou autre table de partitions ? Faut-il le formater par précaution après ?

Merci

[sleid]

Le resilvering agit comme un soft d'image de disque sauf qu'il forme l'image à la volée donc tout le disque est réécrit.

Maintenant sous l'implémentation ZFS de FreeBSD il est possible que des mécanismes de sécurité vérifient si le disque à été utilisé comme membre d'un pool, une suppression de(s) partition(s) doit être suffisante.

[mtiburs]

Bonjour,

Je ne sais pas si c'est utile, mais quand je veux utiliser un disque et que je veux qu'il soit "vierge", je fais un coup de dd dessus.
par exemple si le disque est /dev/ada15:
dd if=/dev/zero of=/dev/ada15
ou sinon si on est pressé
dd if=/dev/zero of=/dev/ada15 bs=1M count=100 (ou 1000)

Donc, si on a un disque récalcitrant ou qu'on veut remettrele même, on peut le "zéro-iser" de cette façon

[velivole18]

Bonjour,

Je suis juste "lecteur" de ce long post très intéressant.
Je n'interviendrai donc pas plus que pour dire que la commande dd pour zéro-iser un disque, peut-être, mais qu'est-ce que c'est long ....
Surtout quand on a oublié de mettre l'option de l'état d'avancement !
Y'a pas d'autre solution équivalente mais plus rapide ?
Bon courage.

Cordialement.

[sleid]

Un dock usb sous windows et un coup de diskpart ou gèrer à partir du gestionnaire de disque virtuels et effacer la partition est dans tous les cas suffisant et ne prend qu'une ou deux secondes (plus le temps de mettre le disque dans le dock!!!)

[mtiburs]

Je ne savais pas qu'on pouvais avoir les stats en temps réel sur dd !!! Comment fais-tu ?

J'avais rajouté une option pour les pressés !
dd if=/dev/zero of=/dev/ada15 bs=1M count=1 ... çà ne fait que 1Mo ! (normalement 1Mo suffit pour virer la table de partition)

Y'a pas d'autre solution équivalente mais plus rapide ?

Non, c'est le débit maxi du disque qui limitera, le générateur de zéro est la "génération de donnée" la plus rapide qui soit.

C'est d'ailleurs un super moyen de voir le débit de son système, car une fois passé la mémoire et les différent caches, le débit représentatif..
Moi, je m'en sers pour tester la génération de gros fichier et voir ainsi le débit de mon ensemble disque.
Souvent, je l'utilise sur un fichier pour tenir compte du FS, cela ne correspond en rien à une "charge" (multiples commandes sur le disques) mais cela donne un débit lilnéaire qui est très intéressant.
Evidement, ce n'est pas un fichier de 10Go qu'il faire de cette manière sur une machine à 16Go de RAM, sinon, c'est complétement faussé, mais un fichier de 500Go ou 1To.
dd if=/dev/zero of=./test.img bs=1G count=500
Avec un raid0 sur un disque virtuel de 504Go (constitué de 8 disques SAS de 73Go), je peux transférer 500Go à 670Mo/s de moyenne, le plus que je peux faire est 1,1Go/s avec 6 disques SAS de 15k7.
C'est très bon pour voir le débit moyen car les écritures en début de disques ne sont pas du tout les même qu'à la fin.
C'est là aussi qu'on comprend la différence entre débit théorique et la réalité.

C' est sûr que sur un 2To ... c'est long ! ... a peu près 4h je pense

[mtiburs]

Sinon, oui comme sleid dit ... bon, après, ... Windows, y'à des gens qui n'utilisent plus cette chose

Mais, cela peut se faire avec Gparted, parted, fdisk, cfdisk ou autre

[velivole18]

Bonsoir,

Sur le lien suivant, on peut lire : http://www.tux-planet.fr/effacer-comple ... -commande/

La plupart du temps, l'effacement est très long et il est difficile de connaître le pourcentage de progression. Sachez qu'il existe une astuce. Il suffit d'utiliser la commande dcfldd (présente dans SystemRescueCD), qui fait la même chose que dd mais qui affiche en plus le nombre de mégaoctets traités :

# dcfldd if=/dev/zero of=/dev/sda
6144 blocks (192Mb) written...

Sinon, pour l'avoir fait dernièrement, un disque dur WD de 2To sur dock USB2.0 met 3 jours ! 5 jours pour 4To ! Et je l'ai fait pour 4 disques de 2To et 2 disques de 4To ...

Cordialement.

[mtiburs]

Je n'arrive plus à compter

De deux manières différentes , je trouve 7,71Mo/s ! c'est pas possible

Et pourtant, si on part sur 10Mo/s
çà fait
600Mo / min
36 000 Mo /h soit 36Go à l'heure
2000Go / 36 = 55 donc 55h pour faire 2To
55/24 = 2,3 jours

[mtiburs]

En fait, j'ai trouvé !

Il faut utiliser le bs qui va bien

marc@deb5:~$ dd if=/dev/zero of=./test bs=128 count=8000
8000+0 enregistrements lus
8000+0 enregistrements écrits
1024000 octets (1,0 MB) copiés, 0,0140585 s, 72,8 MB/s

marc@deb5:~$ dd if=/dev/zero of=./test bs=256 count=4000
4000+0 enregistrements lus
4000+0 enregistrements écrits
1024000 octets (1,0 MB) copiés, 0,00996192 s, 103 MB/s

marc@deb5:~$ dd if=/dev/zero of=./test bs=512 count=2000
2000+0 enregistrements lus
2000+0 enregistrements écrits
1024000 octets (1,0 MB) copiés, 0,00925065 s, 111 MB/s

marc@deb5:~$ dd if=/dev/zero of=./test bs=1M count=1000
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 1,17473 s, 893 MB/s

et c'est reproductible, donc, il faut tester ses tailles de blocs idéales et faire le dd en conséquence

[mtiburs]

Me suis trompé, je suis en MV donc, çà ne peut pas être juste

[mtiburs]

Je viens d'essayer sur une machine physique, les valeurs sont relativement changeantes selon la taille du bs (blocksize) et plus la copie est grosse plus c'est représentatif
Normalement, il faut moins de 7h avec un disque SATA courant de 2To
C'est pour çà que je n'aime pas le l'USB ... et le SATA

J'ai un disque de 2To en SATA de dispo, dès que je peux, je vais le formater pour voir et vous dirai le temps que j'ai mis.

[CorbeilleNews]

Cela me rassure c'est bien ce que je pensais.

Par contre je ne sais pas comment résoudre les messages que j'ai sur ada0 ada1 ada3 ada5 en important le Pool :

GEOM: ada0: the primary GPT table is corrupt or invalid.
GEOM: ada0: using th secondary instead -- recovery strongly advised.

Pensez vous que je devrais effacer chaque disque, le remplacer par lui même et laisser le resilvering se faire ? En fait je ne suis pas sûr d'avoir bien retirer les premiers octets de quelques uns des nouveaux disques et ils constituaient déjà un NAS, peut être que c'est justement ces 4 disques...

Merci

[mtiburs]

moi, perso, j'aime bien les disques "zéro-ifier" ou "zéroter"

Et mettre les 4 disques sur une autre machine avec un live, démarrer N4F et formater les disques en ZFS, car visiblement, quand il formate, en fait, il écrit juste la table de partition et c'est minuscule, souvent, je fais çà et çà va mieux après.

[mtiburs]

Bonjour à tous,

Je viens de faire des dd sur un disque de 2To (ST2000DL: Seagate green sur une interface SATA normale, carte mère ASrock bas de gamme en 1155.
Un dd complet avec un bs de 1M dure 5,3 heures, ce qui donne un débit moyen sur la totalité du disque de 104Mo/s (pour info, le disque donne 135Mo/s de moyenne sur les premiers Go, donc, en tout début du disque)

Donc, quand je lis des 3 jours ... chapeau bas pour la patience !

J'ai fais aussi le teste suivant, créer un dev (jeu de volume ZFS) dans un pool (zfs create -V 100G test/toto
et j'ai ensuite fais mes dd dans test/toto, là le débit chute, mais tient quand même à 40Mo/s , ce qui donnerait moins de 14h pour un dd dans un jeu de donnée (en passant par une couche intermédiaire).

[mtiburs]

une info, malgré un dd sur tout le disque, la création du pool doit passer par l'option -f (force) car il retrouve quand même une info EFI, mais là, je n'y connait pas grand chose, alors je fais un -f ... bon des fois je me plante de dev et je casse tout ! Mais bon, on ne se refait pas comme çà