[Mise a jour]probleme réseau mise en place cluster nas4free au 04/07/2016

[octave]

Salut salut.

Je viens à vous pour un petit soucis de mise en place d'un cluster nas4free
Les machines sont de vrai clones ( non pas de spol starwars ^^)
J'ai pris le matériel suivant :

• - 4* cartes réseaux realteck 10/100/1000
  - 1* cpu phénome 2 555be
  - 4*4 go ram ddr3 10600
  - 1* carte graphique fan les
  - 1* clé usb2 de 4 go pour le système
  - 1* carte controleur raid hardware lsi 9650se-12ml
  -- 4 * hdd 2TO sata en raid 5
  - 2* switch hp 2610-24 en redondance

Non soucis est le suivant :

• - au niveau du réseau je n'arrive pas à mettre en place le lagg pouvant supporter les vlan coté cluster nas

J'ai pu monter hast qu'avec l'activation d'une par segment ( acces nas / synchro nas to nas)
J'en perds mon latin

[mtiburs]

Bonjour,

C'est un sujet qui m'a toujours intéressé mais je n'ai pas vu grand monde y arriver
J'ai essayé moi même, mais par manque de connaissance, j'ai arrêté.

Dès que je vois une personne s'y intéresser ... je suis "la chose" ... mais souvent çà bute aussi !

Donc, j'espère de tout cœur:
- que tu y arriveras
- que tu puisses éventuellement faire un retour d'expérience
- qu'on puisse faire un tuto

... bonne chance !

On pourrait y aller par "pas successifs", par exemple dire ce qui fonctionne (à quoi çà sert, comment configurer, but, ...) puis poser la suite, comme çà en ciblant mieux le "point délicat" on avancera mieux.

[octave]

Salut salut

Merci pour l'encouragement.

En fait je remet le projet en route après une pause en guettant les mise à jour pour remettre le projet en œuvre afin de voir si je m'en sors ou pas.
Pour l'instant je suis coincé au même niveau.
Comme à chaque fois ;
- c'est soit au niveau réseau.
- c'est soit au niveau du hast.

D'où mon retour sur le forum ;o

[octave]

salut salut

J'ai en parti résolu mes soucis liés aux paramétrages réseaux.

- 1 - en premier lieu, il me fallait revoir mes paramétrages de ports, et les passer en agrégat et lacp.
- 2 - en deuxième lieu, ajouter une ip static pour le lan et ensuite creer mes lagg (un par paire de cartes)
- 3 - en troisième lieu, activer et ajouter une ip fixe par lagg paramétrés en lacp
- 4 - en quatrième lieu, passer les parm host et ajouter les ip/nom des machines qui constituent le cluster
- 5 - en cinquième lieu, on passe a hast mais la je suis bloquer au niveau de la gestion des ressources disques que je veux mettre en commun.

la suite au prochain épisode, 3 jours de fièvre de cheval je suis presque venu a bout reste le gros morceau hast.

++

[mtiburs]

C'est bien encourageant tout çà !
et ... je sens que tu vas y arriver, si si

[octave]

salut salut

En fait ce n'est pas si compliqué mais quand on ne connait pas le monde des switch cela devient vite coton et insoluble au départ.

donc pour résumer :

- l'agregat de lien en mode lacp demande que les ports sur le switch le soient aussi contrairement à ce que j'ai compris pour les autres modes d'agrégats (loadballing et failover).
- le montage de carp sur les agrégats ne pause pas probleme et l'ipv de met comme il faut.
- les choses se compliquent avec l’intégration des ressources de hast si l'on se trompe de sens pour une info le ne tournera pas rond.

[octave]

Salut salut

Bon mon cluster est stable pour ce qui est du réseau, pour hast c'est moins sûr.

j'ai initialisé mes ressources dans hast soit pour l'instant un disque de 1to sur chaque machine.

mais je reste dans l'état init pour les disques
sur le master
data - init /dev/ada0 192.168.7.21
sur le slave
data - init /dev/ada0 192.168.7.22

mes param réseaux sont comme suit :

• coté administration(lan)

- 192.168.4.21/24 master
- 192.168.4.22/24 slave

• coté nas/esxi

- 192.168.6.21/24 master
- 192.168.6.22/24 slave
- 192.168.6.25/24 ipv
- 192.168.6.23/24 esxi1
- 192.168.6.24/24 esxi2

• coté nas/nas (synchro)

- 192.168.7.21/24 master
- 192.168.7.22/24 slave

je seche pour ainsi dire si vous avez une piste je suis prenneur

[octave]

Salut salut

J'ai continué de monter mon cluster avec nas4free, mais je n'avance pas.
la liaison HAST est up j'ai bien le maitre et l'esclave qui bascule bien quand le maitre est injoignable et reprend bien ca place quand il revient.
mais coté du partage des ressources disque je suis coincé
les disques restent en init et ne bougent pas plus

[mtiburs]

Bonjour

A une époque, je voulais faire l'approche "sous un autre angle", directement sous FreeBsd en suivant les tutos (de manière à mieux comprendre les fichiers de config), et, ensuite, une fois en ayant compris la logique des choses, refaire l'expérience sous Nas4Free (en me disant que normalement, on doit "retrouver ses petits").

[octave]

salut salut


sauf que j'ai bien fait la même que toi et j'en suis resté coincé au même niveau les disque en mode init pour le partage des disques
cette fois ci avec des disques plus petits.
cela eu fonctionné a l'époque avec de simple liens non doublé comme actuellement.
Mais au bout de trois jours de prod-test je découvre que les switch utilisés à ce moment là ne toléraient le montage de vlan et m'ont gentiment lâchés.
J'en suis à me demandé si cela ne viendrait pas d'un problème lattant coté matériel, et refaire quelques test mais en mode moins ardue.
- 1 - refaire le cluster sans les doublages de lien donc que trois cartes par machine (admin/synchro/nastoesxi)
- 2 - refaire le cluster mais avec du matos plus axés sur des pièces serveur type supermicro/tyan par exemple avec des cartes réseau de chipset intel pro et ajouter des cartes raid hardware.

pour l'option 1 cela sera plus vite fait que pour l'option 2
Pour l'option 2 qui va me couter un bas et plus de temps pour le mettre en œuvre surtout pour un labo de test, mais qui à l'avantage du pourvoir monter en vrai prod dans un futur proche relatif.

Le plus intéressant est de savoir que mes machines telles qu'elles sont tournaient en agrégat de liens sous pfsense en cluster avec ce switch hp que j'utilise pour ce labo.
Je doute donc que cela puisse venir des cartes mais bon, dans le doute et comme cela bien d'un freebsd il est possible que les modules réseaux ne soient pas totalement identique entre nas4free et pfsense dernière génération.

[mtiburs]

je pense que l'option 1 est mieux

Il faut essayer, je pense, de faire marcher les choses "au plus simple" possible et "valider" la structure.

Est-ce que t'as essayé de faire cela tout en virtualisé ? çà ne demande pas de gros moyens !

[octave]

salut salut

Et bien c'est pour faire une cluster de virtualisation, il me fallait donc un stockage déporter l'espace de stockage des mv.
D'autre part la virtualisation ne montre pas les problématiques que j'ai ici, surtout pour mon projet.

[mtiburs]

Pour l'instant, je virtualise sous linux/debian/ZFS et BTRFS (les deux FS ont des petites différences, mais sont très intéressants).
Mes MV sont déportées en iscsi et le pool est un miroir de deux unités en iscsi (sous N4F), les performances sont bonnes car j'ai un gros SSD en Zcache sur l'hôte.

Mon projet "idéal" serait PROXMOX (en haute dispo) avec un Nas4Free "hasté" (3 N4F en miroir par exemple et dans des locaux distants)

Actuellement, je gonfle en SAS et je dégonfle coté stockage* (j'ai mis au point une méthode de super-déduplication pour les MV, je vais faire un post dans quelques temps pour ceux qui sont comme moi "conservateur" et veulent garder toutes leurs MV (je stocke ~225Go par jour).

[octave]

salut salut

Ton projet est à peu près parallèle au mien et complémentaire.

Mon environnement de virtualisation est ou plutôt sera double soit deux paires comme suit :
- un cluster esxi dans un premier temps
- un cluster hyper-v dans un second temps
- un cluster nas pour hebergement des vm des ces deux hyperviseurs et données.
Pour les machines hyper-v et esxi sont seront sur le même models à savoir du bicpu en socket 1366 en version l5520 ou l5530 avec au minimum 32 ou 64 go de ddr ecc reg et des cash disques en ssd.
Pour les machines coté des nas j'aurais (si tout se passe bien) un volume de stockage global disponible d'environs 12 to par nas sur du sata sur carte raid matériel.

J'aimerais que ce projet de perso/étude puisse passer sur un projet qui me servira de vitrine sur mes compétences et savoir faire.
bien évidement si j'y arrive.

Cordialement.

nota : en parallèle je rédige aussi un howto qui me servira pour ma présentation de fin de cycle.

[mtiburs]

c'est un beau projet !
... et oui, tu y arriveras ! le sujet est passionnant.

[octave]

Salut salut

J'ai repris mon ouvrage, en virant le maximum de cartes réseaux et en n'en gardant que trois.

Comme j'ai un doute sur mon switch hp je me suis fait prêter un autre switch d'une autre marque non administrable qui interconnectera les nas aux virtualiseurs.

Le but remonter le cluster avec juste trois liens simple ;
- un vers mon lan pour la gestion,
- un pour la synchro nas/nas en cable croisé,
- un vers mon réseau nas/virtu

Inconvénient majeur est que je perds la fonction de HA sur mes lien et ne dépendrais plus que HA du cluster.
Ce qui est un moindre mal si cela arrive à être fonctionnel au final, il sera bien temps plus tard de faire évoluer l'ensemble voir de monter un autre cluster pour tester sans casser celui ci.

[octave]

Salut salut

J'ai fini de remonter le cluster

Les switch giga au nombre de trois
- 1 lan admin (administrable)
- 1 synchro nas/nas (non administrable)
- 1 labo nas/virtu (administrable)
2 machines pour le nas
- 1 carte sd pour le système
- 1 hdd pour les vm esxi (iscsi)
- 1 hdd pour les vm hyper-v (iscsi)

Les réseaux
- lan 192.168.4.0/24
- synchro 192.168.0.0/24
- nastovirtu 192.168.6.0/24 + carp 192.168.4.25/24

Le ping est bon sur chaque nas vers les différents segments réseaux + vers ipv.
Hast j'ai bien la bascule master/slave

Le problème reste au niveau des init des disques que je veux mettre ne commun sur l'ipv
j'ai tous mes disque en init quelques soit la machne

j'ai beaux avoir fait les create, init et primary/secondary pour chaque disques et le status ne change pas

Là je pige pas, un coup de pieds ?

[octave]

salut salut

je déterre mon poste pour une mise a jour de l'état d'avancement.

le cluster est
- ok pour le coté hast sans services monté avec
- ok pour le coté carp
- en cours pour la partie iscsitarget

- test a faire
- iscistarget <== esxi
- iscistarget <== hyper-v
- variante avec carte raid hardware + hast + iscsitarget
- variante sans carte raid hardware + hast + iscsitarget + zfs

Je prépare un toto la dessus prochainement.

[octave]

arfff

petit soucis que je n'arrive pas a résoudre

les paramètres role master/slave ne reste pas apres arret ou reboot d'un machine la poisse

[mtiburs]

Hello,

Question (un peu bête)
Est-ce que t'as vu de la littérature sur le sujet (sur Nas4Free).
Je pratique plus "le vieux français" que l'anglais ... donc voilà quoi, c'est un frein pour moi.
http://www.nas4free.org/forums/viewforu ... 776c89e949

Car d'un certain coté, je suis assez étonné que cela soit un choix qui existe depuis "belle lurette" dans notre très cher Nas4Free et qui soit si difficile a mettre en place.

[octave]

oui j'ai deja parcouru le forum hast de n4f

le hic est qu'avec freebsd j'arrive à mettre en place hast sans avoir de perte de master/slave apres arret d'une des machines chose qui arrive avec n4f interface web ou en ligne de commandes

[mtiburs]

le hic est qu'avec freebsd j'arrive à mettre en place hast sans avoir de perte de master/slave apres arrêt d'une des machines chose qui arrive avec n4f interface web ou en ligne de commandes

alors, tu vois, je dirais que si tu peux écrire çà en anglais, il y a de forte chance que çà interpelle les autres utilisateurs, car tu as largement "ciblé" le soucis ... est quand on trouve le problème ... on est tout près de la solution

[octave]

en résumé c'est comme si j’écrivais dans des fichiers temporaire ou qui ne s'actualisent pas dans les fichiers de conf qui vont biens.
Je vais faire le test avec freebsd qui est l'origine de cet os.