[Résolu] avis pour un serveur

[lulu80]

oui je peut y entrer .
mais le problème c'est que sa a fonctionner pendant une journée donc il sont compatible ?
j'ai 5 ports pcie
dans ilo 2 j'ai ce message

Critical
PCI Bus
02/24/2016 10:10
02/24/2016 10:10
1
Uncorrectable PCI Express Error (Embedded device, Bus 0, Device 4, Function 0, Error status 0x00000020)

[lulu80]

Je viens de remettre la carte et elle se met à fonctionner au bout 5 mn puis disparais
Monsieur-Cyberman a décidé de me renvoyer une nouvelle carte donc à suivre ...

[lulu80]

bonjours,
nouvelle carte reçu par "MonsieurCyberman" et celle-ci fonctionne plus de reboot côté serveur

[mtiburs]

Salut,

C'est dingue !
C'est toujours rageant, ce genre d'expérience, car la recherche de panne n'est pas toujours évidente (c'est mieux quand çà ne marche pas du tout).

Moi, j'ai une carte mère en 775 qui plante/fige sur en Debian au bout de quelques heures et qui fonctionne bien en Nas4Free

En tout cas, content que çà marche, tu va pouvoir "sasser" maintenant ! *

Maintenant, il va falloir bien architecturer ton serveur, car ce n'est pas évident, au début, j'avais envie de mettre le maximum de chose (du Zcache, du Zlog), mais après quelques années d'utilisation, on s'adapte à SON utilisation et on voit les choses différemment.
Par exemple, je fais de la déduplication directement sur mes disques SAS sans SSD (je fais un rsync tous les jours et je remets à jours des gros fichiers de MV soit 240Go entre une heure et deux heures).
Ma propre MV se trouve sur des disques en iscsi sur des raspberry en Nas4Free (là en revanche, il y a un SSD). Elle est en iscsi, car comme çà je peux "téléporter" ma MV "à chaud" d'une grosse machine à une plus petite.

Mais pour en revenir à ton serveur tu peux essayer, la chose suivante:
dd if=/dev/truc of=/dev/null bs=1M count=100000
cette commande te donnera le débit de "truc" (/dev/ada0 par exemple) en lecture sans rien écrire sur le disque (puisque tout va dans un dev "sans fond"
et,
dd if=/dev/zero of=/dev/"truc" bs=1M count=100000
cette commande écrira sur le disque, donc, c'est pour un test d'écriture réel ! en changeant la valeur de count, tu verras la différence entre copier 50Go et 500Go par exemple, car le débit n'est pas le même entre l'extérieur du disque est l'intérieur.

Attention en ZFS, ne pas mettre de disques en Zcache plus lent que "l'architecture du pool", par exemple, un disque de 200Mo/s ne sera pas utilisé si le pool est constitué de deux disques de 120Mo/s en entrelacé ou miroir, car ZFS part du principe, que pour un faible écart, il ira chercher sur le pool directement, donc, il faut vraiment du Zcache qui "tartine" fort au niveau du temps d'accès (d'oû du SSD, ou du SAS à 15000tr/mn en entrelacé ou sur un raid0 matériel)
Sur une architecture tout en SAS, tu peux mettre un petit SSD mais en secondarycache=metadata (ou secondarycache=none), ZFS lira très rapidement les métadonnées et ira lire les données sur le pool directement.

Normalement, avec ton serveur et du SAS, tes machines virtuelles sous ZFS devraient fonctionner comme des machines physiques.

Si tu as 4 disques de 300Go en 15k7 en raidz1 ou 2, sache qu'avec ZFS (même si ce n'est pas bien "vu"), tu pourras toujours utiliser un dev en SATA pour remplacer un des disque qui défaillerait (tu pourrais même utiliser tes deux disques de 146Go en raid0 matériel, car le débit sera très proche des 15k7, à voir toutefois si la taille est identique).

[lulu80]

Très instructif, mais il faut encore attendre que la nappe et le rack de 5 disques arrive de chine
Avec la petite nappe de 30 cm impossible, les disques sont les uns sur les autres en dehors du serveur
Et non fixer, j’ai donc tous débranché pour éviter de les endommagé
Sa devrait plus tarder a arriver
Pour la carte raid, les condos sont bien gonflés sur le dessus et l’un et même ouvert par rapport
A celle que j’ai reçue aujourd’hui, donc certainement là que vient la panne ?

[mtiburs]

oui, les condos gonflés sont un signe !
beaucoup de cartes-mères et d'alimentations finissent de cette manière, c'est la première chose a regarder sur un circuit électronique.
Tu vas la renvoyer la carte défectueuse chez eux ? (ou une simple photo avec les condos suffira ?), si tu ne la renvoies pas, dis le moi, j'ai la même carte sans équerre, si tu veux je te la files et tu remets l'équerre dessus, comme çà t'as une carte de secours.

tu feras gaffe au refroidissement, même si il y a un bon radiateur sur la carte, çà chauffe un peu quand même, moi, j'ai un vtl directement sur un des capot et qui souffle sur toutes les PCI

Et avec un seul disque, tu peux pas t'amuser quand même ? (faut pas qu'il glisse ou tombe !)

[lulu80]

Non je la renvoi pas, on m’a dit de la garder pour pièces, c'est sympa de leurs par et je pense que je vais essayer de changer les condos
sa ma l'aire faisable ? merci quand même
Oui j’essaie de bricolé une rallonge pour alimenter en courant les 4 disques
Il me faut 40 cm avec des prises molex et calé les disques avec des livres

[lulu80]

Bon décidément rien ne va … un des disques m’affiche « 0 MB »
De quoi cela peut-il provenir ? Disque ; nappe ou carte ?
Je croix que je vais être bon pour réclamer une deuxième fois

disques.PNG

Je vais en rester là pour ce soir, je suis déçu

[mtiburs]

oui, je comprends, t'as pas de bol

Que dis, la carte SAS ?
Est-ce que les 4 disques sont avec la bonne taille ? (a voir sur le bios de la carte SAS)

Si les 4 disques sont bien à la bonne taille, intervertis 2 disques et refais la config (ou réimporte la config en faisant un "F" Foreign et regarde si Nas4Free a retrouver son disque ou si le disque manquant s'est déplacé également.

Pour moi, le plus important, et ce que voit la carte SAS, si elle voit les 4 disques, le soucis se passe après et c'est "soft", si c'est avant, là c'est plus embêtant.

[lulu80]

Bon voilà ce que j'ai fait.je devais arrêter mais j'ai quand même redémarré le serveur une dernière fois en regardant dans le bios de la carte
« Ctrl + C » j’ai vu les 4 disques identique comme tu me le disait donc « exit » et j’arrive sur le web gui c’était pareil …mais en faisant
« Effacer la configuration et réimporter les disques » voilà ce que j’ai vu

disques2.PNG

Avant de redémarrer j'ai bien regardé si la nappe était bien en place cela viendrait-il du contact ? Je ne sais pas
Demain je passerais tous sa au nettoyant

[mtiburs]

je crois que ce genre de choses m'est déjà arrivé et au moins plusieurs fois, mais je ne sais plus sur quel genre de matos (SAS ou SATA)

les contacts peuvent effectivement s'oxyder (c'est pas illogique en soit)
Si t'as du "bon" nettoyant oui, c'est valable, sinon, du "miror" (j'ai connu des électronicien qui utilisaient çà !), ou à défaut, manipuler plusieurs fois le connecteur pour que çà "frotte", mais c'est garanti "dans le temps".

[lulu80]

j'ai un bon produit "Facom" qui nettoie bien et ne laisse aucune trace je ferais cela demain froid

[sleid]

Bonjour,
sans vouloir faire de pub j'utilise ce produit sur fibres optiques et circuits électroniques (sous tension) depuis les années 80.
Il présente l'immense avantage de pouvoir "mouiller" les contacts et de les enficher immédiatement pour voir le résultat.
sas, sata, barrettes mémoires, alimentation etc.

http://www.itwpc.com/trijelt-13e_p_146.html

[mtiburs]

salut Sleid,

comme lulu80 avait déjà un produit qui ne laisse pas de trace, et qu'il en avait un peu marre avec les produits a commander ... j'ai pas voulu le dire, mais je pensais surtout au F2 de chez KF "spécial contact":
http://www.conrad.fr/ce/fr/product/0653 ... tacts-1003

[sleid]

Le F2 laisse des traces grasses, pas le 13e.

[lulu80]

j'utilise ce produit >> http://www.amazon.fr/Facom-006064-Netto ... +nettoyant Et il ne laisse aucune trace on a même l'impression que les composant son neuf après nettoyage .
Quel et la température normal de fonctionnement des disques 15 K7 "Dell" ?
Là je suis entre 58 °à 61 ° cela me paré énorme ...mais bon ils ne sont pas placé non plus dans de bonne conditions
dans le doute j'ai arrêter le serveur

[mtiburs]

C'est quand même bien un forum, on apprend toujours des trucs

[mtiburs]

A y'est !, mes 8Go de RAM renvoyé en remplacement des mes 2 barrettes défectueuses sont montées et elles marchent ... disons plus exactement fonctionnent !

[mtiburs]

Au fait, j'ai reçu mon câble d'1m SAS vers 4 SAS, j'essaie çà dès que possible

T'as reçu le tiens ?

Je n'avais pas vu ton dernier message sur la température des disques.
Oui, c'est trop, moi j'ai intercâlé des petits VTL de façade entre chaque disque (du coup, pour 5 disques çà occupe 9 emplacement et en plus les VTL sont trop petits et ne tiennent pas dans le temps).
Je connais des personnes qui mettent des VTL sous le disque, ils sont plus gros et tiennent mieux et font moins de bruits.

Il faut prévoir une bonne ventilation, genre bien brasser l'intérieur de boîtier coté disque, maintenant, j'essaie de placer mes disques en dehors du boîtier.
La chaleur use les composants, chaque degrés supplémentaires influencera la vie de ceux-ci.

[lulu80]

bonjours ,
-Cool pour les barrettes, j'en avais recommandé aussi et elles ont fonctionné du premier coup cette fois ci.

-Oui j’ai reçu la nappe sas, mais le raccordement coter courant m’impose de modifier la rallonge que
J’avais faite, donc j’attends de la prise molex à sertir.

-Pour la température des disques ils sont posé les uns sur les autres et non ventilé
Et j’attends toujours le rack 5 disques qui vient de chine.
Alors pour l'instant j'évite de les mettre en fonction

[mtiburs]

ah oui, faut pas les mettre les uns sur les autres ... ou alors, en faire fonctionner un sur deux
Un disque SAS émet bien au moins 2 fois plus de chaleur qu'un disque SATA, c'est normal, il y a la vitesse est beaucoup plus d'électronique, puisque le disque communique beaucoup avec la carte (hors data)

Pour info, ce genre de disque était vendu entre 350 et 400 euros pièce à une époque, et la carte SAS peut-être autant.

Là dans ton cas, la carte SAS est basique, mais il existe des SAS2 avec du cache intégré (ddr2 ou3 et processeur PowerPC par exemple)
Mais par expérience et en ZFS, je trouve que les cartes basiques se débrouillent déjà très bien, car ce qui est le plus important est le "temps d'accès"; c'est les 15000tr/min et l'accès direct au processeur -via le PCIexpress- qui font la performance avant tout.

Pour en revenir aux disques, je vais mettre un partie des disques à l'extérieur de mon boîtier (avec une alim branché de façon a démarrer seule) et cela ne pose pas de soucis au démarrage, si la carte ne voit "pas ses petits" on peut continuer quand même (faut juste appuyer sur une touche pour "montrer" qu'on a lu le message d'alerte)

[lulu80]

Pour en revenir aux disques, je vais mettre un partie des disques à l'extérieur de mon boîtier (avec une alim branché de façon a démarrer seule) et cela ne pose pas de soucis au démarrage, si la carte ne voit "pas ses petits" on peut continuer quand même (faut juste appuyer sur une touche pour "montrer" qu'on a lu le message d'alerte)

c'est une bonne idée j'avais eu ce message quand j'ai débrancher les disques et effectivement j'avais simplement confirmé

[lulu80]

bonjour ,
Bon j'ai monté un pool zfs avec mes 4 disques sas 300 Go sur une Debian 8 avec ZFS on Linux
Mais quand je transfère un fichier de 2 à 3 Go je me retrouve avec dû 15 mo/s
comment je peut contrôler le débit le pool et dans "/mnt" ?


root@proliant:~# zpool status pool2
pool: pool2
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
pool2 ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
scsi-35000c5005fbe8af7 ONLINE 0 0 0
scsi-35000c5005edf8c4f ONLINE 0 0 0
scsi-35000c5005f7ff4cf ONLINE 0 0 0
scsi-35000c5005edd5a07 ONLINE 0 0 0

errors: No known data errors
root@proliant:~#

[mtiburs]

Salut,

Alors avant tout, il faut tester les choses en hard.
1) export ton pool
2) install hdparm
(on suppose ici que tu as sdb comme premier disque)
3) faire: hdparm -t sdb et regarder le débit, faire de même avec les autres
ensuite
faire dd if=/dev/sdb of=/dev/null bs=1M count=10000
(çà va lilre 10go et mettre le tout dans le "néant", ce qui te donnera le débit réel en lecture du disque)

Les opérations ci dessus, te permettront de savoir quel est le débit au "niveau le plus bas"
Mes 15k7 font 233Mo/s avec n'importe quelle carte SAS (ancienne ou SAS2), avec des disques de 73Go ou 146Go, le débit est deux fois moindre.
(233Mo/s à la périphérie du disque, plus on se rapproche du centre et plus le débit va chuter)

Si le débit n'est pas bon, dès le départ, c'est qu'il y a un soucis.


Pour le reste, il faudra voir quel est ta source, car pour connaître son débit réel en écriture, il faut avoir une source "correcte" (il ne faut pas que la lecture de la source "limite" l'écriture !)
Là le mieux est de faire un:
dd if=/dev/zero of=/dev/sdb b=1M count=10000 (attention, çà écrit sur le disque, donc, à faire si le disque est vidé !!!)

Ensuite une fois le FS mis en place et si le débit est correct, on peut faire un:
dd if=/dev/zero of=/monstockage/fichiertest.zero b=1M count=10000
Cette commande écrira des zéro dans un fichier sur le FS, et là on est dans un "niveau supérieur", car le FS fait cette fois le travail.
Il ne faudra pas que la compression soit activée, sinon, çà fausse tout.
Pour info, ZFS sera toujours plus lent qu'un FS classique, car le travail est composé de "transactions" (comme une base de données, le style "Oracle" y est peut-être pour quelque chose je pense), donc, le débit d'un raid5 et d'un raidz1 n'est pas pareil.

Comme tu es en Debian8, je t'informe toutefois que BTRFS est génial comme FS (il te permetst de faire du raid1 sur les méta-données et également sur les datas, tu peux aussi ajouter ou enlever des disques "à chaud"), un peu comme un jbod mais sans les inconvénients du jbod)
ZFS est un FS orienté "blocs", et BTRFS est un FS orienté "fichiers".
Pour ma part, j'utilise désormais les deux.

[lulu80]

mon pool contient les disques "sdc:sdd;sde;sdf"

Donc il faut que j'exporte le pool ? >> zfs export pool2 ? Je commence avec la ligne de commande et je nage complètement

[lulu80]

bon cet commande

root@proliant:~# dd if=/dev/sdc of=/dev/null bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 52.0916 s, 201 MB/s
root@proliant:~#

root@proliant:/dev# hdparm -t sdc

sdc:
Timing buffered disk reads: 10162 MB in 3.01 seconds = 3377.48 MB/sec
root@proliant:/dev# hdparm -t sdd

sdd:
Timing buffered disk reads: 578 MB in 3.00 seconds = 192.64 MB/sec
root@proliant:/dev# hdparm -t sde

sde:
Timing buffered disk reads: 602 MB in 3.00 seconds = 200.33 MB/sec
root@proliant:/dev# hdparm -t sdf

sdf:
Timing buffered disk reads: 590 MB in 3.01 seconds = 196.21 MB/sec
root@proliant:/dev#

[mtiburs]

le sdc n'est pas cohérent, l'as tu fais plusieurs fois de suite ?
Sinon, de toute façon, il est bon par la commande d'avant.

Donc, pour moi, c'est bon, les débits sont normaux (il peut y avoir des différence d'une machine à l'autre, quand j'ai mis 233Mo/s, en fait, c'est le disque le plus haut que j'ai mémorisé, mais sinon, j'ai les même valeurs que toi

Maintenant, tu ré-importe ton pool
tapes:
zpool status pour voir si il est là
zpool import pour voir si il voit le pool2
zpool import pool2 ou zpool import -a (pour tout monter les pools automatiquement)

et ensuite:
dd if=/dev/zero of=/monstockage/fichiertest.zero b=1M count=10000
si çà va pas toujours pas,
si tu peux, essaie de faire un pool entrelacé
zpool create pool2 /dev/sdc /dev/sdd /dev/sde /dev/sdf
et refais la commande:
ton débit devrait être très élevé

[lulu80]

Comme tu es en Debian8,

-j'ai plusieurs vm qui tourne sous debian ...alors je me suis dit pourquoi pas mettre une debian 8 directement sur le serveur ?

-j'ai changer le câble rj45 pour un neuf en cat 6 mais toujours les 15 à 20 mo/s comme une clé usb

[lulu80]

voilà et c'est pas normal

root@proliant:~# zpool status
pool: pool2
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
pool2 ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
scsi-35000c5005fbe8af7 ONLINE 0 0 0
scsi-35000c5005edf8c4f ONLINE 0 0 0
scsi-35000c5005f7ff4cf ONLINE 0 0 0
scsi-35000c5005edd5a07 ONLINE 0 0 0

errors: No known data errors
root@proliant:~# zpool import
no pools available to import
root@proliant:~#

[lulu80]

bon la c'est la grande brasse je fait une pose