СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Stealthman1977 · Post by **Stealthman1977** » 04 Mar 2015 11:29

Решил поделится опытом, возможно кому поможет.

http://hostingkartinok.com/show-image.p ... c3b05baec9
http://hostingkartinok.com/show-image.p ... 755587f982
http://hostingkartinok.com/show-image.p ... d38c9eb2b8
http://hostingkartinok.com/show-image.p ... 935285014c
http://hostingkartinok.com/show-image.p ... ce1b4586ac
http://hostingkartinok.com/show-image.p ... b788b35ccc
http://hostingkartinok.com/show-image.p ... 7b060cb8f5

С увжением,
StealthMan

bender_hak · Post by **bender_hak** » 05 Mar 2015 02:40

Домашний NAS?

Он же ревет как слон на нересте! Да и тепла выделяет не мало...

Stealthman1977 · Post by **Stealthman1977** » 07 Mar 2015 17:34

bender_hak wrote:Домашний NAS? Он же ревет как слон на нересте! Да и тепла выделяет не мало...

Да не, я ему вентиляторы на шасси зарезал через резисторы переменные по питанию ( шума практически нет).
http://forum.ixbt.com/post.cgi?id=attac ... 3386:1.jpg
Кроме того, все диски в режиме стендбай с остановкой шпинделя, т.е. практически температура дисков не поднимается выше 25 С.
Ну и кроме того, он стоит в стойке на балконе

cowan · Post by **cowan** » 08 Mar 2015 06:56

Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил, а материнку с двумя lan портами. В любом случае круто получилось, спасибо, что поделились проектом!

Post by **MikeMac** » 08 Mar 2015 13:53

cowan wrote:Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил

Желания одно другого страньше... Зачем в ZFS системе Adaptec 5805? Зачем системный SSD, если используется диск в памяти, который на порядки быстрее.

Впрочем - вольному воля и КССЗБ...

Stealthman1977 · Post by **Stealthman1977** » 09 Mar 2015 08:37

cowan wrote:Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил, а материнку с двумя lan портами. В любом случае круто получилось, спасибо, что поделились проектом!

На самом деле портов гигабитных добавить не проблема. Просто при переброске существенных объемов (от 10 ТБ) они особо не помогают, счет все равно идет на сутки

А 10GE инфраструктура пока дороговата - миимальный коммутатор под 80 тыс, карты минимум по 6 тыс.
Поэтому миграция в планах, но не количественная а качественная

cowan · Post by **cowan** » 14 Mar 2015 09:28

MikeMac wrote:
cowan wrote:Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил
Желания одно другого страньше... Зачем в ZFS системе Adaptec 5805? Зачем системный SSD, если используется диск в памяти, который на порядки быстрее.

Adaptec например для raid6. А как тогда система без ssd загрузит ОС в память?

cowan · Post by **cowan** » 14 Mar 2015 09:29

Stealthman1977 wrote:На самом деле портов гигабитных добавить не проблема. Просто при переброске существенных объемов (от 10 ТБ) они особо не помогают, счет все равно идет на сутки А 10GE инфраструктура пока дороговата - миимальный коммутатор под 80 тыс, карты минимум по 6 тыс.
Поэтому миграция в планах, но не количественная а качественная

Да в принципе пока конечно смысла нет, учитывая стоимость. Ого, куда же Вы по 10тб кидаете так

))

Post by **MikeMac** » 14 Mar 2015 11:52

cowan wrote:Adaptec например для raid6. А как тогда система без ssd загрузит ОС в память?

с учётом того, то мы на форуме nas4free, речь о ней и идёт. по 1 п - zfs raidz2 вместо RAID6, по 2 embeded установка. Оба пункта я лично использую годы.

Если вас интересовало как именно она грузится в память - создаёт диск в памяти, разворачивает туда образ и с этого диска стартует. В текущей версии ещё и сжатый образ использует для экономии памяти.

Stealthman1977 · Post by **Stealthman1977** » 14 Mar 2015 17:58

cowan wrote:
Stealthman1977 wrote:На самом деле портов гигабитных добавить не проблема. Просто при переброске существенных объемов (от 10 ТБ) они особо не помогают, счет все равно идет на сутки А 10GE инфраструктура пока дороговата - миимальный коммутатор под 80 тыс, карты минимум по 6 тыс.
Поэтому миграция в планах, но не количественная а качественная
Да в принципе пока конечно смысла нет, учитывая стоимость. Ого, куда же Вы по 10тб кидаете так ))

Ну вот собственно на этот новый НАС когда перебросил 11 ТБ например

cowan · Post by **cowan** » 16 Mar 2015 19:50

MikeMac wrote:
cowan wrote:Adaptec например для raid6. А как тогда система без ssd загрузит ОС в память?
с учётом того, то мы на форуме nas4free, речь о ней и идёт. по 1 п - zfs raidz2 вместо RAID6, по 2 embeded установка. Оба пункта я лично использую годы.

Если вас интересовало как именно она грузится в память - создаёт диск в памяти, разворачивает туда образ и с этого диска стартует. В текущей версии ещё и сжатый образ использует для экономии памяти.

да, теперь все понятно, благодарю !

dmdrl · Post by **dmdrl** » 27 Mar 2015 14:18

а насколько оправдан выбор такого мощного процессора? да и материнки?

Stealthman1977 · Post by **Stealthman1977** » 28 Mar 2015 19:47

dmdrl wrote:а насколько оправдан выбор такого мощного процессора? да и материнки?

Не хотелось особо подпрыгивать, поэтому сделал методом агрегатного сравнения

1) у меня такой же по монтируемой емкости покупной NAS QNAP 1679U-RP (16 дисковх4ТБ, RAID6).
В нем по умолчанию i3 стоит и памяти в районе 8.
Соответственно, учитывая что на самопале будет стоять RAIDZ2, взял чтоб не думалось i7 и 32 памяти.
Как показала практика, память занимется в районе 14 ГБ, т.е. памяти можно было воткнуть в два раза меньше точно.
Равно как и проц поставить i3

2) материнка тупо искалась по: формфактору в корпус + чтоб 10 САТА портов на ней + поддержка ног процессора правильная.
Т.к. дисков в итоге 17 (1 системный), не хотелось особо много сата-контроллеров ставить.
Ну вот как то так

coolm · Post by **coolm** » 01 Apr 2015 13:54

Вот это я понимаю подход и размах! Молодец! Я правда не до конца понимаю зачем такие объемы. Там ещё и второй сервер от QNAP с 16х4Тб крутиться и внизу в стойке похоже еще 2 QNAP'а по 8 дисков. Я правильно понимаю? Но подход радует, надо жене показать, чтоб не наезжала на меня

И маленький вопрос: стойка стоит на балконе? Он отапливается, или просто утеплен?
2MikeMac а Вы на меня (Alex Petrrov) с rimlyanin наезжали за Corsair на сервере.

Post by **MikeMac** » 01 Apr 2015 20:41

coolm wrote:2MikeMac а Вы на меня (Alex Petrrov) с rimlyanin наезжали за Corsair на сервере.

был не прав. вспылил.

Stealthman1977 · Post by **Stealthman1977** » 02 Apr 2015 12:09

coolm wrote:Вот это я понимаю подход и размах! Молодец! Я правда не до конца понимаю зачем такие объемы. Там ещё и второй сервер от QNAP с 16х4Тб крутиться и внизу в стойке похоже еще 2 QNAP'а по 8 дисков. Я правильно понимаю? Но подход радует, надо жене показать, чтоб не наезжала на меня
И маленький вопрос: стойка стоит на балконе? Он отапливается, или просто утеплен?
2MikeMac а Вы на меня (Alex Petrrov) с rimlyanin наезжали за Corsair на сервере.

Так точно, все правильно распознанно: 2 х 8 дисковых QNAP 879U-RP, и 1 х 16 дисковый 1679U-RP

Также два UPSa, один сервер под разные задачи (syslog, видео, ФТП, radmin, teamviewer, ВНаб) - то что нельзя детально настроить на QTS.
Ну и свичек гигабитный простенький.

Все стоит на одном из двух утепленных балконов ("технический" я его называю), с открытой форточкой зимой и летом.
Температура на балконе зимой при таких условиях +15..+19 ( на улице -10..+5), летом +21..+25 ( на улице +15..+30), не солнечная сторона.
Т.е. с учетом энергопотребления и рассеивания его в основном в виде тепла - польза в виде обогрева балкона сделана за счет стойки

Единственная проблема - уличная пыль, тут сетки на окнах конечно немного спасают, но в основном - влажная уборка it's a must

QNAP хорошая железка, но честно говоря сильно дорогая, и мало понятно за что.
А так - одна 16 дисковая балалайка под документальные фильмы (дискавери, военные, космос, хистори ченнелы итп);
Вторая - хужожественные да мультфильмы, западные и наши, все собиралось годами и сортировано, аудио альбомы, софт.

Ну и пара 8 дисковых: первая - электронные /сканированные книги и библиотеки и домашний фотовидеоархив семьи.
Вторая - его 100% бэкап еженедельный на такую же платформу ( максимальная надежность

Осталось только Disaster Recovery за 40 км второй сайт на дачу сделать ).

Все это работает по домашнему гигабиту (пока), все квартирные персоналки/маки/айфоны/итп имеют доступ только на чтение (для обмена есть общие папки с полным доступом + личные папки), все медиаплееры с ТВ также имеют доступ только на чтение по умолчанию (по доп паролю открываются доп возможости). Дети довольны, все всегда под рукой, БЕЗ РЕКЛАМЫ!, удалть неосторожно ничего нельзя.
Контент пополняется с торрентов, через самопальный маршрутизатор на PFsense (воткнул для скорости два провайдера, PFSense фактически "агрегирует" скорость доступа, т.к. пиры набираются как новые соединения, а клиенту пофиг с какого они канала идут ). Остюда потребности в емкости

P.S. вот так видны они все из под винды, сколько занято, сколько осталось.
http://hostingkartinok.com/show-image.p ... 7d4fe0f514

arch · Post by **arch** » 29 Jun 2015 19:58

Не хилая машинка, я себе под нас взял SuperMicro X9SCM-F и CPU Intel Xeon E3-1230V2, конено память 32 с ECC, погонял малех, понял что избыточно для наса, оставил этот конфиг под основной сервер, а нас пересобрал на на E7500 4гб рам, пару сетевух гигабитных, для резервирования, тоже 2 канала в мир по 100мб/с агрегируются на MikroTik RB2011L-RM, раньше пользовал свитч 24-х портовый, ща все в микротик воткнул, 3 гигабитных канала в сервер, 2 гигабитных в нас и 1 гигабитный на точку доступа AC, пользовал раньше провод, но AC на 5ггц выдает тоже не плохую скорость, хватает всем потребителям.

XigmaNAS

СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)