Page 1 of 1

СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 04 Mar 2015 11:29
by Stealthman1977

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 05 Mar 2015 02:40
by bender_hak
Домашний NAS? :shock: Он же ревет как слон на нересте! Да и тепла выделяет не мало...

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 07 Mar 2015 17:34
by Stealthman1977
bender_hak wrote:Домашний NAS? :shock: Он же ревет как слон на нересте! Да и тепла выделяет не мало...

Да не, я ему вентиляторы на шасси зарезал через резисторы переменные по питанию ( шума практически нет).
http://forum.ixbt.com/post.cgi?id=attac ... 3386:1.jpg
Кроме того, все диски в режиме стендбай с остановкой шпинделя, т.е. практически температура дисков не поднимается выше 25 С.
Ну и кроме того, он стоит в стойке на балконе ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 08 Mar 2015 06:56
by cowan
Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил, а материнку с двумя lan портами. В любом случае круто получилось, спасибо, что поделились проектом!

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 08 Mar 2015 13:53
by MikeMac
cowan wrote:Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил
Желания одно другого страньше... Зачем в ZFS системе Adaptec 5805? Зачем системный SSD, если используется диск в памяти, который на порядки быстрее.

Впрочем - вольному воля и КССЗБ...

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 09 Mar 2015 08:37
by Stealthman1977
cowan wrote:Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил, а материнку с двумя lan портами. В любом случае круто получилось, спасибо, что поделились проектом!
На самом деле портов гигабитных добавить не проблема. Просто при переброске существенных объемов (от 10 ТБ) они особо не помогают, счет все равно идет на сутки ;-) А 10GE инфраструктура пока дороговата - миимальный коммутатор под 80 тыс, карты минимум по 6 тыс.
Поэтому миграция в планах, но не количественная а качественная ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 14 Mar 2015 09:28
by cowan
MikeMac wrote:
cowan wrote:Я бы в такую систему добавил как минимум Adaptec 5805, а вместо системного диска SSD намутил
Желания одно другого страньше... Зачем в ZFS системе Adaptec 5805? Зачем системный SSD, если используется диск в памяти, который на порядки быстрее.
Adaptec например для raid6. А как тогда система без ssd загрузит ОС в память?

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 14 Mar 2015 09:29
by cowan
Stealthman1977 wrote:На самом деле портов гигабитных добавить не проблема. Просто при переброске существенных объемов (от 10 ТБ) они особо не помогают, счет все равно идет на сутки ;-) А 10GE инфраструктура пока дороговата - миимальный коммутатор под 80 тыс, карты минимум по 6 тыс.
Поэтому миграция в планах, но не количественная а качественная ;-)
Да в принципе пока конечно смысла нет, учитывая стоимость. Ого, куда же Вы по 10тб кидаете так :)))

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 14 Mar 2015 11:52
by MikeMac
cowan wrote:Adaptec например для raid6. А как тогда система без ssd загрузит ОС в память?
с учётом того, то мы на форуме nas4free, речь о ней и идёт. по 1 п - zfs raidz2 вместо RAID6, по 2 embeded установка. Оба пункта я лично использую годы.

Если вас интересовало как именно она грузится в память - создаёт диск в памяти, разворачивает туда образ и с этого диска стартует. В текущей версии ещё и сжатый образ использует для экономии памяти.

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 14 Mar 2015 17:58
by Stealthman1977
cowan wrote:
Stealthman1977 wrote:На самом деле портов гигабитных добавить не проблема. Просто при переброске существенных объемов (от 10 ТБ) они особо не помогают, счет все равно идет на сутки ;-) А 10GE инфраструктура пока дороговата - миимальный коммутатор под 80 тыс, карты минимум по 6 тыс.
Поэтому миграция в планах, но не количественная а качественная ;-)
Да в принципе пока конечно смысла нет, учитывая стоимость. Ого, куда же Вы по 10тб кидаете так :)))
Ну вот собственно на этот новый НАС когда перебросил 11 ТБ например ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 16 Mar 2015 19:50
by cowan
MikeMac wrote:
cowan wrote:Adaptec например для raid6. А как тогда система без ssd загрузит ОС в память?
с учётом того, то мы на форуме nas4free, речь о ней и идёт. по 1 п - zfs raidz2 вместо RAID6, по 2 embeded установка. Оба пункта я лично использую годы.

Если вас интересовало как именно она грузится в память - создаёт диск в памяти, разворачивает туда образ и с этого диска стартует. В текущей версии ещё и сжатый образ использует для экономии памяти.
да, теперь все понятно, благодарю !

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 27 Mar 2015 14:18
by dmdrl
а насколько оправдан выбор такого мощного процессора? да и материнки?

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 28 Mar 2015 19:47
by Stealthman1977
dmdrl wrote:а насколько оправдан выбор такого мощного процессора? да и материнки?
Не хотелось особо подпрыгивать, поэтому сделал методом агрегатного сравнения ;-)
1) у меня такой же по монтируемой емкости покупной NAS QNAP 1679U-RP (16 дисковх4ТБ, RAID6).
В нем по умолчанию i3 стоит и памяти в районе 8.
Соответственно, учитывая что на самопале будет стоять RAIDZ2, взял чтоб не думалось i7 и 32 памяти.
Как показала практика, память занимется в районе 14 ГБ, т.е. памяти можно было воткнуть в два раза меньше точно.
Равно как и проц поставить i3 ;-)

2) материнка тупо искалась по: формфактору в корпус + чтоб 10 САТА портов на ней + поддержка ног процессора правильная.
Т.к. дисков в итоге 17 (1 системный), не хотелось особо много сата-контроллеров ставить.
Ну вот как то так ;-)

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 01 Apr 2015 13:54
by coolm
Вот это я понимаю подход и размах! Молодец! Я правда не до конца понимаю зачем такие объемы. Там ещё и второй сервер от QNAP с 16х4Тб крутиться и внизу в стойке похоже еще 2 QNAP'а по 8 дисков. Я правильно понимаю? Но подход радует, надо жене показать, чтоб не наезжала на меня :D
И маленький вопрос: стойка стоит на балконе? Он отапливается, или просто утеплен?
2MikeMac а Вы на меня (Alex Petrrov) с rimlyanin наезжали за Corsair на сервере.

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 01 Apr 2015 20:41
by MikeMac
coolm wrote:2MikeMac а Вы на меня (Alex Petrrov) с rimlyanin наезжали за Corsair на сервере.
:D был не прав. вспылил.

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 02 Apr 2015 12:09
by Stealthman1977
coolm wrote:Вот это я понимаю подход и размах! Молодец! Я правда не до конца понимаю зачем такие объемы. Там ещё и второй сервер от QNAP с 16х4Тб крутиться и внизу в стойке похоже еще 2 QNAP'а по 8 дисков. Я правильно понимаю? Но подход радует, надо жене показать, чтоб не наезжала на меня :D
И маленький вопрос: стойка стоит на балконе? Он отапливается, или просто утеплен?
2MikeMac а Вы на меня (Alex Petrrov) с rimlyanin наезжали за Corsair на сервере.
Так точно, все правильно распознанно: 2 х 8 дисковых QNAP 879U-RP, и 1 х 16 дисковый 1679U-RP ;-)
Также два UPSa, один сервер под разные задачи (syslog, видео, ФТП, radmin, teamviewer, ВНаб) - то что нельзя детально настроить на QTS.
Ну и свичек гигабитный простенький.

Все стоит на одном из двух утепленных балконов ("технический" я его называю), с открытой форточкой зимой и летом.
Температура на балконе зимой при таких условиях +15..+19 ( на улице -10..+5), летом +21..+25 ( на улице +15..+30), не солнечная сторона.
Т.е. с учетом энергопотребления и рассеивания его в основном в виде тепла - польза в виде обогрева балкона сделана за счет стойки ;-)
Единственная проблема - уличная пыль, тут сетки на окнах конечно немного спасают, но в основном - влажная уборка it's a must ;-)

QNAP хорошая железка, но честно говоря сильно дорогая, и мало понятно за что.
А так - одна 16 дисковая балалайка под документальные фильмы (дискавери, военные, космос, хистори ченнелы итп);
Вторая - хужожественные да мультфильмы, западные и наши, все собиралось годами и сортировано, аудио альбомы, софт.

Ну и пара 8 дисковых: первая - электронные /сканированные книги и библиотеки и домашний фотовидеоархив семьи.
Вторая - его 100% бэкап еженедельный на такую же платформу ( максимальная надежность ;-) Осталось только Disaster Recovery за 40 км второй сайт на дачу сделать ).

Все это работает по домашнему гигабиту (пока), все квартирные персоналки/маки/айфоны/итп имеют доступ только на чтение (для обмена есть общие папки с полным доступом + личные папки), все медиаплееры с ТВ также имеют доступ только на чтение по умолчанию (по доп паролю открываются доп возможости). Дети довольны, все всегда под рукой, БЕЗ РЕКЛАМЫ!, удалть неосторожно ничего нельзя.
Контент пополняется с торрентов, через самопальный маршрутизатор на PFsense (воткнул для скорости два провайдера, PFSense фактически "агрегирует" скорость доступа, т.к. пиры набираются как новые соединения, а клиенту пофиг с какого они канала идут ). Остюда потребности в емкости ;-)

P.S. вот так видны они все из под винды, сколько занято, сколько осталось.
http://hostingkartinok.com/show-image.p ... 7d4fe0f514

Re: СХД на 50ТБ+ (16 дисков х 4 ТБ ;-)

Posted: 29 Jun 2015 19:58
by arch
Не хилая машинка, я себе под нас взял SuperMicro X9SCM-F и CPU Intel Xeon E3-1230V2, конено память 32 с ECC, погонял малех, понял что избыточно для наса, оставил этот конфиг под основной сервер, а нас пересобрал на на E7500 4гб рам, пару сетевух гигабитных, для резервирования, тоже 2 канала в мир по 100мб/с агрегируются на MikroTik RB2011L-RM, раньше пользовал свитч 24-х портовый, ща все в микротик воткнул, 3 гигабитных канала в сервер, 2 гигабитных в нас и 1 гигабитный на точку доступа AC, пользовал раньше провод, но AC на 5ггц выдает тоже не плохую скорость, хватает всем потребителям.