Bonjour,
J'aimerais savoir a quel moment la déduplication ZFS est intéressante, je veux dire par là a partir de quel volume de données on a intérêt a mettre en place la déduplication.
D'ailleurs sur quel taille de bloc cela se fait ? Peut réduire ses blocs ?
La compression ne m'intéresse pas, car mes fichiers sont déjà compressés (j'ai du 1.05 au lieu du 1.5 habituel).
Quelle quantité de RAM ?
Est-ce qu'il existe une sorte de formule ou calcul pour trouver le coût de la gestion mémoire pour cela. J'aimerais une réponse étayée, pas juste "faut une machine de guerre" ou alors une expérience ou des résultat de tests.
Je stocke actuellement environ 100Go par jour et je détruis manuellement les fichiers selon mon humeur en faisant double manipulation car j'ai des instantanés a supprimer et mes backup de rsync a vider aussi.
This is the old XigmaNAS forum in read only mode,
it will taken offline by the end of march 2021!
I like to aks Users and Admins to rewrite/take over important post from here into the new fresh main forum!
Its not possible for us to export from here and import it to the main forum!
it will taken offline by the end of march 2021!
I like to aks Users and Admins to rewrite/take over important post from here into the new fresh main forum!
Its not possible for us to export from here and import it to the main forum!
Déduplication ZFS
Moderators: velivole18, ernie, mtiburs
-
mtiburs
- Forum Moderator
- Posts: 951
- Joined: 09 Aug 2012 23:34
- Location: France - Besançon
- Status: Offline
Déduplication ZFS
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas 
... et pas à jour en plus 
(çà craint)
Conception d'un "système bizarre"
de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.
... et pas à jour en plus (çà craint)Conception d'un "système bizarre"
de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.-
sleid
- PowerUser
- Posts: 774
- Joined: 23 Jun 2012 07:36
- Location: FRANCE LIMOUSIN CORREZE
- Status: Offline
Re: Déduplication ZFS
Bonjour,
Une excellente description se trouve ici:
http://pthree.org/2012/12/18/zfs-admini ... plication/
Une excellente description se trouve ici:
http://pthree.org/2012/12/18/zfs-admini ... plication/
12.1.0.4 - Ingva (revision 7852)
FreeBSD 12.1-RELEASE-p12 #0 r368465M: Tue Dec 8 23:25:11 CET 2020
X64-embedded sur Intel(R) Atom(TM) CPU C2750 @ 2.40GHz Boot UEFI
ASRock C2750D4I 2 X 8GB DDR3 ECC
Pool of 2 vdev Raidz1: 3 WDC WD40EFRX + 3 WDC WD40EFRX
FreeBSD 12.1-RELEASE-p12 #0 r368465M: Tue Dec 8 23:25:11 CET 2020
X64-embedded sur Intel(R) Atom(TM) CPU C2750 @ 2.40GHz Boot UEFI
ASRock C2750D4I 2 X 8GB DDR3 ECC
Pool of 2 vdev Raidz1: 3 WDC WD40EFRX + 3 WDC WD40EFRX
-
mtiburs
- Forum Moderator
- Posts: 951
- Joined: 09 Aug 2012 23:34
- Location: France - Besançon
- Status: Offline
Re: Déduplication ZFS
Merci sleid !
C'est exactement ce que je cherchais !
C'est exactement ce que je cherchais !
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas ... et pas à jour en plus (çà craint)
Conception d'un "système bizarre" de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.
... et pas à jour en plus (çà craint)Conception d'un "système bizarre"
de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.-
mtiburs
- Forum Moderator
- Posts: 951
- Joined: 09 Aug 2012 23:34
- Location: France - Besançon
- Status: Offline
Re: Déduplication ZFS
Mais ... y'en a ici qui utilise la déduplication ?
Serveur Intel bi-Xéon P5530 / 8 X Ubuntu Serveur 18.04 LTS - ZFS-BTRFS-bcache / ~30 x PI2b(ARM) sous Nas4Free / et ...(chhhut)... 1 seul Xigmanas ... et pas à jour en plus (çà craint)
Conception d'un "système bizarre" de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.
... et pas à jour en plus (çà craint)Conception d'un "système bizarre"
de "super-devices-autonomes" en NFS gérés par des micro-serveurs SAN(+nas) sous N4F (11 super-devs en raidz3) taille actuelle: 16To / prévue: 64To / théorique: 320To (consommation < 15W en veille - 24/24h) en service depuis 2 ans.