Как превратить старый пк в современный сервер. Собираем NAS своими руками, используя ОС FreeNAS Сделать сетевое хранилище своими руками

Tutorial

Будь я работником макаронной фабрики, то сейчас ломал бы голову над тем, куда девать этак 500 упаковок макарон по полкило штука. К счастью, когда начальство решает премировать сисадмина “натурой”, получение в подарок фургона сухого пайка не грозит, хотя имеются неплохие шансы стать обладателем нескольких десятков килограмм откровенного лома. Однако в этот раз мне повезло – в качестве корпоративного подарка я получил пару новеньких WD Re 2004FBYZ на 2 терабайта каждый, и блок питания Thermaltake Smart DPS G 750W. Вот только что делать с дисками? Ставить в домашний комп – слишком расточительно даже для меня, все-таки Enterprise Class, да и нужды особой нет. Куда практичнее на их основе собрать NAS. Разумеется, не какую-нибудь файлопомойку, а высоконадежное хранилище – эдакий “черный ящик” для критически важных данных. Плюс к этому, можно совместить приятное с полезным – раз уж принято решение целиком перевести инфраструктуру на “умные” БП (а именно так Thermaltake позиционирует линейку Smart DPS), неплохо бы воочию увидеть, как это работает.

Но есть одна загвоздка – на данный момент фирменное приложение существует только под Windows. Для корпоративного ЦОДа эта операционная система хороша, но для домашнего файлового хранилища ужасна и крайне нерентабельна. Посему, я решил сделать два поста. В этом мы поднимем NAS на основе Windows Server 2008 r2 (убедившись, что “окошки” и “домашний NAS” – понятия несовместимые), и посмотрим, на что способна DPS G App 2.0. Во втором же соберем бюджетный NAS на основе NAS4Free, создав по-настоящему надежную систему.

Предисловие

Дабы не быть закиданным помидорами, сразу хочу предупредить – статья рассчитана, прежде всего, на непрофессионалов. Хотя почитать о Smart Power Management от Thermaltake будет интересно даже опытным админам и энтузиастам, основной материал ориентирован на людей, не желающих переплачивать за громкое имя, покупая готовые решения, и при этом далеких от системного администрирования (программистов, дизайнеров, веб-разработчиков и т.д.). Если ваша рука достаточно тверда, чтобы собрать компьютер из комплектующих, но при этом вы не хотите долго и муторно разбираться с серверным ПО, а консоль видели только в страшных снах – этот материал для вас. Если же захотели посмотреть на SPM Cloud, чтобы решить, насколько эта система может оказаться полезной именно вам, крутите пост до подзаголовка “Насколько умен интеллектуальный блок питания?”. Кстати, предупреждаю – под катом много фото и скриншотов.

Простенько, но со вкусом

Сразу оговорюсь – я не стремился собрать домашний NAS только лишь исходя из стоимости. Подбирая комплектующие, я ориентировался на то, насколько компоненты подходят для реализации поставленной задачи, при этом не забывая о качественных характеристиках. Можно ли собрать бюджетный NAS с меньшими затратами? Можно. Но при этом также можно потерять в производительности и удобстве, чего мне бы не хотелось. В итоге, получилось следующее.

Корпус. Роль корпуса для хранилища данных взял на себя Thermaltake Core V1 – симпатичный, цельнометаллический кубик с тихим 200 миллиметровым вентилятором за передней фальш-панелью.

Сзади имеются посадочные места еще под пару вентиляторов на 80 мм, благодаря чему сетевое хранилище можно будет сделать по-настоящему холодным.

Как и в других современных моделях, для блока питания здесь отведен нижний отсек. Защиту от пыли обеспечивает металлический фильтр.

Еще одним преимуществом Core V1 являются 4 съемные стенки (боковые, крыша и дно), что значительно облегчает процедуру сборки. Каждая панель крепится парой винтов, которые легко откручиваются вручную. Также мне весьма понравилась реализация корзин для дисков – каждый из четырех фиксирующих винтов получил собственный резиновый демпфер, неплохо гасящий вибрацию:

Материнская плата. Здесь мой выбор пал на GIGABYTE GA-J1800N-D2H со встроенным Intel Celeron. Мощности двухъядерного процессора с базовыми 2.41 GHz для сетевого накопителя данных хватит за глаза (хотя Windows Server загрузит его на 100%, но ведь “окошки” – не наша целевая платформа), он достаточно экономичен и не требует активного охлаждения (отпадает необходимость покупки кулера).

Несмотря на дешевизну, Gigabyte внедрили в продукт свои фирменные фишки: технологию High ESD, обеспечивающую защиту от электростатики для микросхем и LAN, а также Anti-Surge IC, предотвращающую выход системной платы из строя из-за скачков напряжения – все, что нужно для действительно надежной системы. Единственный спорный момент – расположение внутреннего USB-разъема вплотную к радиатору: с ним попросту неудобно работать.

Оперативная память. Ничего особенного – обычные Transcend 2Gb DDR-III 1333Mhz в форм-факторе SO-DIMM. Если где-то в чулане завалялся старый ноутбук, можете снять модули с него.

Блок питания. Добротный Thermaltake Smart DPS G 750W, рассчитанный на производительные ПК и серверные платформы, сертифицированный по стандарту 80 PLUS Gold. Для полноценного сервера или рабочей станции – в самый раз, для сборки NAS своими руками – слишком мощный, однако на время эксперимента можно себя побаловать, установив нитрос на малолитражку.

Разумеется, в устройстве подобного класса предусмотрено модульное подключение кабелей. Из встроенных – только коннекторы материнской платы и процессора (разделяемый 4+4 pin, что пришлось очень кстати при сборке).

Дополнительное удобство обеспечивают плоские кабели, хотя даже они уместились в компактном Core V1 с трудом – все же корпус на подобное не рассчитан. Среди них оказался и провод для подключения Thermaltake Smart DPS G 750W к внутреннему разъему USB. Очевидно, он обеспечивает взаимодействие бортового 32-битного микроконтроллера с сенсорами материнской платы, и необходим для полноценного функционирования Smart Power Management. Однако о том, насколько система мониторинга оправдывает себя и какие фичи предоставляет, мы поговорим несколько позже.

Охлаждение. Два тихих нерегулируемых TITAN DC FAN. Раз мы хотим собрать тихий NAS без лишних затрат, такой вариант станет оптимальным.

HDD. Хотя дареному коню в зубы не смотрят, считаю нужным все же сказать пару слов о виновниках торжества – сладкой парочке WD Re 2004FBYZ. Ведь, как ни крути, именно от качества жестких дисков зависит сохранность информации.

Если обратиться к спецификациям производителя, выглядит все очень вкусно. Так, винчестеры оборудованы акселерометрами и датчиками давления, на базе которых реализована технология Rotary Acceleration Feed Forward (RAFF), обеспечивающая защиту от линейной и угловой вибрации в реальном времени, что повышает как надежность, так и производительность. Будучи серверным решением, WD Re 2004FBYZ имеют и TLER (Time Limited Error Recovery), ограничивающую время коррекции во избежание ошибочного выпадения диска из RAID-массива. Добавьте к этому заявленное время наработки на отказ в 1.2 миллиона часов, и мы получим практически идеал.

Впрочем, о правдивости красивых слов и мудреных аббревиатур сложно судить, пока не попробуешь продукт самостоятельно. И здесь я могу сказать лишь то, что набираю эту статью на компьютере, внутри которого вот уже 6-ой год трудится пара терабайтных Caviar Black. Да и 2.5-дюймовый малыш в стареньком Dell Inspirion 1501, ныне отданном родителям, чувствует себя ничуть не хуже. Собственно, и перевод инфраструктуры именно на WD на текущем месте работы состоялся именно с моей подачи – с этим брендом у меня сложились давнишние и весьма продуктивные отношения. Я использую их диски уже не первый год, они никогда меня не подводили, и на сегодняшний день я не вижу ровным счетом ни одной причины изменять своим предпочтениям.

Флешка. Любой USB-накопитель объемом 8 Гб. Разумеется, оптимально подойдут компактные “затычки”, корпус которых практически не выступает над разъемом.

Теперь из этого добра нужно собрать сетевое хранилище – здесь все достаточно просто. Если вы хоть раз самостоятельно собирали компьютер, то справитесь без каких-либо затруднений. Отмечу лишь несколько ключевых моментов:

Дополнительные кулеры следует ставить на выдув – тогда мы добьемся проточной циркуляции воздуха спереди назад и оптимального охлаждения;
Когда будете устанавливать материнскую плату, следите за металлической перемычкой над отверстием USB 3.0 на задней панели – действуя неосторожно, ее можно загнуть и, таким образом, блокировать разъем;
Корзины для дисков крепятся одним-единственным винтом, однако установлены они достаточно жестко и сразу могут не податься. Для извлечения корзины ее необходимо потянуть по направлению от корпуса и немного вниз;
На материнской плате не предусмотрено подключение для внешних USB 3.0, можете смело прятать этот провод в нижний отсек корпуса.

Занимательная математика

Пожалуй, стоит взять небольшую пазу и посчитать, насколько бюджетной получилась наша сборка. Итак, приступим:

Корпус: Thermaltake Core V1 – 3 764 руб.
Блок питания: как бы ни был хорош Thermaltake Smart DPS G 750W, для небольшого файлового хранилища он слишком роскошен. В будущем я планирую поставить туда Chieftec HPS-350NS – 1560 руб.
Материнская плата: GIGABYTE GA-J1800N-D2H – 4436 руб.
Оперативная память: Transcend SO-DIMM 2Gb DDR-III 1333Mhz x 2 – 3040 руб.
Охлаждение: TITAN DC FAN (80 мм, 2000 об/мин) x 2 – 404 руб.
USB-накопитель: 300 рублей.

Итого: 13 504 рубля.

Я намеренно не учитывал HDD, чтобы сравнить с продукцией Synology. К примеру, DiskStation DS216+ обойдется вам в 28 173 рубля, при этом под капотом мы увидим весьма скромную начинку: Intel Celeron N3050 1.6 GHz, RAM – 1 Gb, все те же два посадочных места 3.5 мм для дисков. Если бы WD Re 2004FBYZ не достались мне даром, то я заплатил бы еще 17 660 рублей, а конечные затраты приблизились к 31 тысяче – стоимость “голой” платформы популярного бренда. Да, наша сборка менее компактна, зато более производительна и надежна, и это практически за полцены! А если есть разница, затем платить больше? На этом небольшое лирическое отступление завершено – время двигаться дальше и вводить в строй нашу машину!

Windows Server – самое ужасное решение для домашнего NAS

Даже если вы в глаза не видели *nix’ы, даже если при виде командной строки вас бросает в дрожь, даже если “окошки” кажутся привычными и вселяют чувство безопасности, не вздумайте поднимать личное файловое хранилище на основе Windows. Почему? Расскажу по ходу данного материала. Но сперва разберемся с установкой.

Ставить Windows Server 2008 r2 будем, разумеется, с флешки. Для создания загрузочного накопителя можно обратиться к следующей инструкции , или воспользоваться утилитой Windows USB/DVD Download Tool , которую также рекомендуют в официальном блоге Майкрософт . Тоже самое можно осуществить и с помощью Rufus , которая, к тому же, сможет проверить память на битые блоки (одного-двух проходов будет вполне достаточно), либо осуществить установку в режиме Windows To Go, что позволит запускать ОС непосредственно с девайса.

Однако последний вариант – не лучшая идея, учитывая особенности работы операционной системы и требуемое для нее дисковое пространство, поэтому давайте сделаем обычную загрузочную USB-флешку.

Теперь можно приступать к установке, и здесь мы видим первый подводный камень – размер. Хотите поставить редакцию Standart с визуальным интерфейсом? Будьте добры выделить 24 гигабайта. В случае с парой дисков, это – слишком расточительно. В остальном какие-либо нюансы отсутствуют: как и в версии для домашнего использования, все сводится к “Далее-Далее-Готово”.

Войдя в систему, вы увидите следующий довод “против” – необходимость активации. Я не планирую использовать Windows Server в качестве основы для NAS – все это, прежде всего, эксперимент, поэтому ограничусь триалом, который любезно предоставляют сами Microsoft. Запускаем regedit, ищем ключ реестра

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\SoftwareProtectionPlatform\Activation\Manual

Меняем его значение на единицу и перезагружаем машину. Теперь пробный период увеличился с 3-х до 30 дней. В общей сложности, его можно продлить до полугода при помощи сценария slmgr.vbs. Команда slmgr.vbs -dli поможет узнать, сколько времени осталось до окончания текущей лицензии, а slmgr.vbs –rearm сбросить период оценки (не более трех раз). Процесс можно автоматизировать , создав небольшой XML-файл.

Еще одно “фе” я бы хотел высказать в сторону “Центра обновлений”. К Windows Server 2008 r2 SP1 впоследствии было выпущено более 300 заплаток разного калибра. На установку их всех потребуется несколько часов, при этом патчи конфликтуют с добавлением ролей сервера. То есть, обновляться необходимо либо до, либо после, процесс отнимает уйму времени, и загружает систему по максимуму:

С обновлениями связан еще и прискорбный баг. После установки апдейтов вы можете обнаружить, что место на системном диске стало пропадать само собой. Если подметите утечку, зайдите в папку C:\Windows\Temp. Почти наверняка вы увидите такую картину:

Дело в сбое архивации логов обновлений – система плодит поврежденные архивы со страшной скоростью, после каждой ошибки запуская процедуру заново. Лечится это удалением всех файлов из папки C:\Windows\Logs\CBS, после чего можно спокойно почистить каталог Temp.

Однако двинемся дальше. И первое, что необходимо сделать – настроить автологин, благо NAS все равно будет находиться в домашней сети, а каждый раз вводить пароль – слишком утомительно. Отправляемся в “Пуск” –> “Выполнить”, и вбиваем команду control userpasswords2.

Выбрав группу “Администраторы”, снимаем галочку с “Требовать ввод имени пользователя и пароля”, сохраняем выбор.

Теперь разберемся с удаленным подключением. Проще всего воспользоваться встроенным менеджером рабочего стола. Для его активации пройдите в “Пуск” –> “Панель управления” –> “Система и безопасность” –> “Настройка удаленного доступа”, выберите второй или третий пункт (если планируете вывести NAS в интернет). Также стоит задать более простое и лаконичное имя компьютера на одноименной вкладке.

Альтернативой способен стать LiteManager – многофункциональная и бесплатная для частного пользователя программа, обладающая кучей полезных функций: передача файлов, прямой доступ к консоли, редактору реестра, диспетчеру задач, и рядом других. При установке серверной части на NAS задайте пароль доступа, который будет использоваться при входе:

Если планируете выпускать домашний NAS в интернет, можно дополнительно настроить IP-фильтр:

Убедитесь в том, что LM Server находится в автоматическом режиме запуска:

Также не забудьте задать статический адрес для нашей машины в свойствах адаптера:

Где 192.168.1.1 – адрес роутера. Наконец, включите сетевое обнаружение и общий доступ к файлам и папкам в “Панель управления” –> “Сеть и интернет” –> “Центр управления сетями и общим доступом” –> “Изменить дополнительные параметры общего доступа”.

После описанных выше операций, можно со спокойной совестью подключить NAS к домашней сети. Если дальнейшее управление будет осуществляться через LM Viewer, установите приложение на свой компьютер и добавьте новое соединение, нажав на плюс на панели инструментов и заполнив необходимые поля:

Где 192.168.1.250 – IP-адрес NAS. Либо воспользуйтесь встроенной в Windows утилитой подключения к удаленному рабочему столу.

Теперь давайте создадим раздел для хранения информации. Идем в “Диспетчер сервера” –> “Хранение” –> “Управление дисками”, щелкаем правой кнопкой мыши по неразмеченному пространству на системном диске, выбираем “Создать простой том” и, следуя подсказкам мастера, создаем основной раздел “Данные”, отформатированный в NTFS.

Можно приступать непосредственно к поднятию файлового сервера. Открываем в диспетчере “Роли” –> “Добавить роли”.

После приветственного окна мастера, появится список доступных. Нас интересуют “Файловые службы”:

В следующем окне ставим галочку напротив “Диспетчер служб файлового сервера”, по желанию можно включить “Службу Windows Search”.

В “Наблюдение за хранилищем” помечаем наш раздел “Данные”:

Здесь же, нажав кнопку “Параметры”, настраиваем наблюдение за томом. Для удобства, можно добавить отчеты о дубликатах и больших файлах.

В “Параметрах отчета” задаем путь для хранения записей:

Если подключили Windows Search, выбираем индексацию тома “Данные”:

Подтверждаем выбор и ждем окончания установки. После этого нам станут доступны возможности диспетчера управления файлами (расположен в “Пуск” –> “Администрирование”). Из всего спектра предлагаемых инструментов, для домашнего использования пригодится управление квотами.

Как видим, раздел “Данные” уже получил по умолчанию “мягкую” квоту. Это означает, что в случае его заполнения более, чем на 85%, нам придет оповещение, однако запись файлов в NAS по-прежнему будет доступна. Квоты можно задавать не только для разделов, но и для отдельных директорий. Давайте создадим на диске “E” папку “Music”, и зададим для нее предельный размер. Нажимаем “Создать квоту” и выбираем путь:

В “Настраиваемых свойствах” укажем лимит в 300 Гб и выберем вариант “Жесткая”, чтобы меломания не привела к ситуации, когда на диске не останется места для регулярных бэкапов и важных документов:

Добавим пороговое значение в 85% и зададим способ оповещения:

В результате получим:

После нажатия кнопки “Создать” система предложит сохранить настройки в шаблон. Впоследствии это позволит нам применять аналогичные правила к другим папкам в один клик.

Чтобы новая квота отобразилась в списке, следует перенастроить фильтр. Кликните по одноименной ссылке и выберите значения “Все”:

Теперь новая квота также видна на главном экране:

Другая опция, которая может оказаться полезной в том случае, если помимо вас файловое хранилище используют жена, дети и любимый кот – управление блокировкой файлов. Она позволяет исключить загрузку файлов определенных расширений в те или иные каталоги.

Давайте создадим директорию Backup и запретим захламлять ее музыкой и видео. Для этого достаточно щелкнуть по “Создать фильтр блокировки файлов”, выбрать нужный каталог и, в нашем случае, предустановленный шаблон “Блокировать файлы аудио и видео”.

В шаблоне указаны практически все наиболее распространенные форматы, однако вы всегда можете добавить новые в соответствующем разделе:

Щелкнув по “Изменить свойства шаблона”, попадаем в меню настройки.

Здесь, нажав кнопку “Изменить”, можно вызвать раздел добавления новых расширений и удаления существующих, а также ознакомиться с предустановленными:

Осталось сделать нашу папку доступной по сети. Для этого отправляемся в “Пуск” –> “Администрирование” –> “Управление компьютером” –> “Общие папки” –> “Общие ресурсы” и создаем новый. Далее просто следуем подсказкам мастера. Сперва указываем путь к папке:

На следующем шаге задаем ее параметры (можно оставить по умолчанию):

Настраиваем разрешения доступа. Для локальной сети можно открыть доступ для всех, для интернета – оставьте только администраторам:

Теперь папка “Music” будет доступна прямо с любого компьютера вашей домашней сети – достаточно набрать адрес \\NAS\Music в проводнике и авторизоваться. Аналогичную процедуру проделаем и для каталога Backup, а заодно проверим, как работает блокировка файлов, попытавшись загрузить в него фильм.

Отказано в доступе – все работает отлично.

Остался последний штрих – создание программного RAID-1. В этом нет ничего сложного: идем в “Диспетчер сервера” –> “Хранение” –> “Управление дисками”, щелкаем правой кнопкой по системному диску (“Диск 1” в нашем примере), и выбираем “Преобразовать в динамический диск”.

Затем поочередно щелкаем по каждому тому, выбирая в меню “Добавить зеркало”. Все разделы “отразятся” на второй диск и начнется ресинхронизация:

И здесь еще один довод “против”. Дело в том, что процесс ресинхронизации для HDD на 2 терабайта будет длиться более 5 часов. Диски будут сверяться полностью, независимо от того, сколько информации записано, а их загрузка будет стремиться к 100%. Конечно, WD Re способны выдержать и не такое испытание, вот только нормально использовать NAS в этот период вы не сможете: скорость записи/чтения значительно упадет.

Кстати о скорости: давайте оценим быстродействие массива в реальных условиях. Вот что получилось у меня при перекидывании дискографии Rammstein в сетевую папку:

Совсем неплохо, но можно реально лучше, в чем нам поможет убедиться NAS4Free. Бесплатная и нетребовательная к ресурсам операционка оптимальна для домашнего NAS и способна работать с файловой системой ZFS, где зеркалирование дисков реализовано куда более разумно и надежно. При этом процесс первичной синхронизации отсутствует в принципе. Именно поэтому я рекомендую NAS4Free для организации домашнего файлового хранилища. Впрочем, о ней мы поговорим в следующем посте, а теперь приступим к самому интересному.

Насколько умен интеллектуальный блок питания?

Вы любите квесты в реальности? Я вспомнил про них потому, что мое знакомство с DPS App и Smart Power Managment началось как раз с этакого миниквеста. Google услужливо подсказал страницу для скачивания приложения , нажав на заветную кнопку я увидел вот такую форму:

Ничего необычного – многие компании просят ваш E-mail для новостной рассылки. Однако введя свой адрес, вместо утилиты я получил:

Даже без переводчика ясно, что запрашиваемая страница не найдена. В чем же может быть дело? Оказывается, все работает немного не так. Сперва необходимо создать аккаунт в системе, подтвердить регистрацию, и лишь затем вы сможете скачать утилиту в разделе “Продукция”.

Еще один важный нюанс – если вы придерживаетесь золотого правила составления паролей, используя в том числе специальные знаки, то здесь от такой практики придется отказаться. Проблем с авторизацией на сайте не возникнет, однако DPS App попросту не примет кодовую фразу, отобразив ошибку:

Поэтому стоит ограничиться комбинацией латинских букв и цифр. Впрочем, не будем судить строго: пока система находится на стадии бета-тестирования, подобные баги вполне закономерны.

Теперь давайте наконец скачаем и установим само приложение. Обращаю внимание, что для его корректной работы требуется Microsoft .NET 4.5, Adobe Flash Player ActiveX, а также актуальная версия Java. После запуска утилита предложит войти в систему для синхронизации с SPM, что мы и сделаем.

Оборудование определяется автоматически (в ранних версиях серийный номер приходилось указывать вручную). После успешной авторизации появится вот такое окно:

Пугаться не стоит – программа хочет определить ваши координаты для отображения на интерактивной карте (о ней – чуть позже), однако позиционирование можно отключить.

Теперь посмотрим, а что, собственно, нам предлагает приложение. В ассортименте – целый набор сканеров, позволяющих контролировать следующие параметры:

Общий вольтаж и напряжение по каждой из подключенных линий;
Напряжение на центральном процессоре и видеокарте;
Силу тока;
Общую мощность.

С помощью круглых стрелочек можно включить режим графика, отображающего изменения в реальном времени:

Присутствует и датчик температуры БП, где можно выбрать единицы измерения по вкусу:

Также в DPS App доступно управление вентилятором Thermaltake Smart DPS G 750W. В режиме “Производительность” агрегат подберет оптимальные обороты, практически сравняв температуру компонентов блока питания с температурой окружающей среды. Опция “Zero fan” позволяет отключить вентилятор вовсе – хотя сам по себе блок питания чрезвычайно тихий, если ваши домочадцы так и не привыкли к убаюкивающим звукам исправного сервера, данная функция поможет сделать NAS практически бесшумным. Учитывая экономичность нашей системы, активное охлаждение может не понадобиться вовсе. Если же температура превысит критические 80°C, БП автоматически перейдет в интенсивный режим работы.

Пункт “Расходы” позволяет задать тарификацию на электроэнергию и, таким образом, узнать, во сколько вам обходится эксплуатация оборудования. К сожалению, на данный момент поддерживается только одна тарифная зона и только одна валюта – доллар США. Вследствие этого, инструмент годится лишь для использования в ознакомительных целях, о чем утилита любезно предупреждает.

Довольно занятной функцией является возможность отправки данных в социальные сети. Поддерживаются Фейсбук, Твиттер и его китайский аналог Weibo. При щелчке по соответствующей иконке на аккаунте публикуется скриншот открытого в данный момент счетчика. Также доступна отправка картинки на e-mail, но лишь в том случае, если на компьютере предварительно настроен почтовый клиент.

Вкладка “Рекорд” предоставляет куда более интересные возможности. Здесь можно выгрузить отчеты о работе блока питания по датам в формате CSV.

Показания снимаются с периодичностью в одну минуту. В таблице фиксируются все параметры, отображаемые на индикаторах – очень удобно для оценки эффективности системы.

Впрочем, давайте отвлечемся от приложения (весь доступный функционал мы разобрали, за исключением управления подсветкой, которой данная модель не оснащена), и посмотрим, какие возможности предлагает облачная платформа SPM. Но сперва зайдем в “Мой аккаунт” –> “Настройки”:

Если выставить статус “Публичный”, статистика будет отображаться на вкладке “Все выгрузки”, однако доступ к данным будут иметь только юзеры, добавленные в друзья. При включении же службы геолокации, местоположение вашего компьютера будет отображаться на интерактивной карте.

По замыслу разработчиков, Smart Power Managment должен стать не просто облачным сервисом мониторинга, но полноценной социальной платформой. Используя функции позиционирования, вы сможете заводить знакомства с другими пользователями и обмениваться опытом посредством личных сообщений. Учитывая, что целевая продукции Thermaltake – профессионалы и энтузиасты, в будущем такая система способна послужить прекрасной альтернативой тематическим группам и форумам, позволяя в пару кликов отыскать коллег и единомышленников по всему миру.

Перейдем к вкладке “Мои выгрузки”. Сюда загружаются сформированные приложением отчеты.

Щелкнув по ссылке “Загрузить данные…” попадаем в визуальный интерфейс. Тут представлена вся информация, сохраненная в текстовых отчетах, но уже в виде графиков. Можно просмотреть статистику по самому БП, CPU и видеокарте:

Наиболее же интересной является вкладка “Анализ”. Выбрав БП (а платформа позволяет добавить неограниченное количество устройств), попадаем на вот такую страничку:

Первые три вкладки позволяют узнать суммарное время использования блока питания, стоимость электроэнергии и количество затраченных кВт/ч соответственно. Щелкнув по иконке в виде дерева, мы можем оценить экологичность системы:

К сожалению, NAS проработал всего ничего, так что пока еще я не посадил ни единого дерева. Далее можно получить сводную статистику по расходу электричества и стоимости, а также узнать среднюю мощность за выбранный период:

Вкладка “Анализ потребляемой электроэнергии” подскажет, насколько БП подходит для файлового хранилища:

Как и следовало ожидать, нам удалось собрать домашний NAS, энергопотребление которого сопоставимо с обычной бытовой лампочкой.

Последняя вкладка позволяет сформировать план по энергосбережению на основе выбранных параметров. Здесь же можно настроить оповещения для мобильной версии приложения:

Помимо этого, Smart Power Managment позволяет осуществлять удаленное управление питанием компьютера или сервера. Все необходимые инструменты представлены в разделе Remote.

Имеется возможность полностью обесточить или перезагрузить систему (не пугайтесь, соответствующий сигнал будет подаваться на материнскую плату), а также планировать отключение по расписанию:

Перечисленный функционал доступен также в DPS G Mobile App, выпущенной для iOS и Android (Windows Phone закономерно обошли вниманием). И если просматривать статистику на экране смартфона не очень удобно, то реализация удаленного управления домашним NAS придется как нельзя кстати. Все внесенные ранее настройки полностью синхронизируются:

Наиболее же полезной функцией является оповещение об остановке вентилятора, либо перегреве блока свыше 60°C, после чего вы сможете тут же отключить систему, предотвратив выход БП домашнего NAS из строя.

Вместо заключения

Подведем итог. Мы выяснили, что использование Windows в домашнем NAS – это долго, дорого и крайне неудобно. Излишняя прожорливость, длительность настройки, обновления и ресинхронизации, наконец, баги и необходимость приобретения лицензии – все это делает “окошки” пожалуй самым худшим решением для файлового хранилища. Поэтому уже в следующем посте я расскажу о том, что такое NAS4Free и с чем ее едят.

Что же касается платформы Smart Power Managment, могу сказать, что решение уже отлично работает, предлагая вполне достаточный набор инструментов для мониторинга и управления электропитанием. Она способна стать неплохим подспорьем в ситуациях, когда использование профессиональных отраслевых решений является нерентабельным (например, в ходе построения IT-инфраструктуры небольших офисов). Умный БП способен пригодиться и частному пользователю: когда ваш компьютер работает в режиме 24/7, возможность отслеживать изменения удаленно придется весьма кстати, как и тревожная кнопка для отключения системы в экстренных случаях. Но лично мне бы хотелось увидеть более продвинутую систему тарификации с поддержкой нескольких зон и валют – это позволило бы с высокой точностью фиксировать затраты на электроэнергию и планировать бюджет без дополнительного ПО. Если же Thermaltake выпустит версию утилиты под Linux и FreeBSD, ей и вовсе не будет цены. Надеюсь, представители компании читают Хабр – быть может, мои идеи им понравятся и утилиту все же перенесут на *nix"ы.

Tutorial

Предисловие

Простенько, но со вкусом

Дополнительные кулеры следует ставить на выдув – тогда мы добьемся проточной циркуляции воздуха спереди назад и оптимального охлаждения;
Когда будете устанавливать материнскую плату, следите за металлической перемычкой над отверстием USB 3.0 на задней панели – действуя неосторожно, ее можно загнуть и, таким образом, блокировать разъем;
Корзины для дисков крепятся одним-единственным винтом, однако установлены они достаточно жестко и сразу могут не податься. Для извлечения корзины ее необходимо потянуть по направлению от корпуса и немного вниз;
На материнской плате не предусмотрено подключение для внешних USB 3.0, можете смело прятать этот провод в нижний отсек корпуса.

Занимательная математика

Корпус: Thermaltake Core V1 – 3 764 руб.
Блок питания: как бы ни был хорош Thermaltake Smart DPS G 750W, для небольшого файлового хранилища он слишком роскошен. В будущем я планирую поставить туда Chieftec HPS-350NS – 1560 руб.
Материнская плата: GIGABYTE GA-J1800N-D2H – 4436 руб.
Оперативная память: Transcend SO-DIMM 2Gb DDR-III 1333Mhz x 2 – 3040 руб.
Охлаждение: TITAN DC FAN (80 мм, 2000 об/мин) x 2 – 404 руб.
USB-накопитель: 300 рублей.

Итого: 13 504 рубля.

Windows Server – самое ужасное решение для домашнего NAS

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\SoftwareProtectionPlatform\Activation\Manual

Если планируете выпускать домашний NAS в интернет, можно дополнительно настроить IP-фильтр:

Убедитесь в том, что LM Server находится в автоматическом режиме запуска:

Также не забудьте задать статический адрес для нашей машины в свойствах адаптера:

После приветственного окна мастера, появится список доступных. Нас интересуют “Файловые службы”:

В “Наблюдение за хранилищем” помечаем наш раздел “Данные”:

В “Параметрах отчета” задаем путь для хранения записей:

Если подключили Windows Search, выбираем индексацию тома “Данные”:

Добавим пороговое значение в 85% и зададим способ оповещения:

В результате получим:

Теперь новая квота также видна на главном экране:

Щелкнув по “Изменить свойства шаблона”, попадаем в меню настройки.

На следующем шаге задаем ее параметры (можно оставить по умолчанию):

Отказано в доступе – все работает отлично.

Насколько умен интеллектуальный блок питания?

Общий вольтаж и напряжение по каждой из подключенных линий;
Напряжение на центральном процессоре и видеокарте;
Силу тока;
Общую мощность.

С помощью круглых стрелочек можно включить режим графика, отображающего изменения в реальном времени:

Присутствует и датчик температуры БП, где можно выбрать единицы измерения по вкусу:

Перейдем к вкладке “Мои выгрузки”. Сюда загружаются сформированные приложением отчеты.

Вкладка “Анализ потребляемой электроэнергии” подскажет, насколько БП подходит для файлового хранилища:

Вместо заключения

Вопрос собирать NAS самому или купить готовый неизменно вызывает холивар в узких кругах. Вот и свежая статья Кирилла Кочеткова Выбор сетевого накопителя породила уже три страницы обсуждения . Что характерно - полностью посвящённого холивару. Кирилл IMHO по причине широчайшей практики знает тему покупных NAS лучше всех в рунете. Но не считает полезным сабжевую тему обсуждать. Придётся мне попытаться:)

IMHO вынесенный в заголовок вопрос имеет очень простой и не эмоциональный ответ: По разному, зависит от ваших потребностей и ресурсов. А эмоций ему придаёт попытка не просто выдачи универсального ответа, но навязывание этого ответа всем и каждому.

Так вот, давайте зададим себе первый вопрос - зачем вам нужен NAS? И окажется, что подавляющему большинству NAS не нужен вовсе. Да, они его могут использовать - если, к примеру, брат, cын и т.п. настроит и подарит. Но они не купят себе новый (и будут его настраивать), даже если старый исчезнет. Потребности большинства людей по просмотру кино удовлетворяются телевизором, обычным компьютером, в самом продвинутом случае - стриминговыми сервисами, iTunes и Play. По бекапу, если делают - USB диском и облачными сервисами. Так что оставим в стороне тех, кому обсуждаемая железка не нужна ни в каком виде.

А в остатке имеем многократно меньшее меньшинство, способное рассказать, зачем именно им NAS понадобился. Этот список заслуживает отдельного поста (который напишу следом), но сейчас полезнее обдумать этот список самостоятельно. Скорее всего, список окажется без экзотики, как у всех. Качать торренты, смотреть кино и слушать музыку через медиаплеер, умный телевизор или HTPC. Бекапить домашние компьютеры и мобильные устройства. Хранить домашние фотки. Тогда вам подойдёт и покупной и самосборный NAS. Если же экзотика будет в наличии (яркие примеры - виртуализация, использование конкретного программного обеспечения, не включённого в поставку готовых NAS) - то это веский аргумент в сторону самосбора. Не так чтобы это совсем нельзя на готовых NAS. Но если вам нужна виртуализация (дома!), то проблемы собрать и настроить NAS самому для вас не существует. Точно также, вроде бы обычные потребности, но по-крупному (не пара терабайт, а десять-двадцать, транскодирование видео на разные устройства и тп) поднимают требования к готовому NAS от простых домашних устройств до продвинутых, а то и корпоративных. Поднимают вместе с ценой.

Но, предположим, что у вас без экзотики. Тогда вступает в действие вопрос о ресурсах . Если вам проще доплатить , чем копаться в софте и железе - выбираем готовый NAS, их хватает. Тем более, что доплатить не так и много - грубо цену одного жёсткого диска для случая домашних конфигураций без экзотики. Если собрать и настроить самому - в удовольствие , то внимательно пересматриваем хотелки, пытаемся прикинуть запас на вырост, выбираем софт, затем по его требованиям - железо. Именно в этом порядке, не наоборот. Какой бы софт и конфиг вы ни выбрали, не боги горшки обжигают. Если вы способны выбрать железо под офисный комп и поставить туда ось, а также умеете гуглить и понимать прочитанное - то вы обладаете необходимым навыком для создания своего NAS. Кроме навыка вам понадобится время. Минимум день-два. Максимум, если это выльется в хобби - сколь угодно много. Если временной ресурс критичен - снова возвращаемся к варианту покупного.

PS Как видим - в самом выборе места для холивара нет. Он есть в психологических моментах, которые мы тут обсуждать не будем. За одним исключением. Практически всегда на старте происходит подмена понятий. И вместо сравнения яблок с яблоками, а ананасов с ананасами идёт сравнение яблок с ананасами.

Ещё несколько лет назад по железу самосборный NAS означал x86 платформу, а базовый готовый - ARM. Конечно, ARM жрёт меньше, меньше греется и много слабее по производительности. Но в последние годы появилась возможность собирать и на ARM. Например, под новый год я купил на авито за 2500+300+300+200 = 3300руб + блок питания + корпус + SD карту, нашёл в загашнике USB коробку для HDD, оставшуюся от покупки внешнего диска по цене меньше внутреннего той же модели. Поставил в коробку старый полуторатерабайтный диск, ставший не нужным в медиаплеере при наличии NAS. Настроил nas4free (с zfs!), включая робота для автоматической загрузки новых эпизодов сериалов и для передачи туда и обратно фоток и прочего через горячие папки, т.е. способом, понятным для домохозяйки. И отвёз родственникам в другой город. Аптайм подходит к 5 месяцам.

Точно также, готовый NAS нынче не обязательно на слабосильном процессоре - если у вас почему-либо нагрузка выше среднего, выбор достаточно широк. Так что ни вопрос сколько жрёт энергии ни хватит ли производительности не есть в решающий в выборе. Если случай не экзотический - оба варианта могут обеспечить требования.

По софту 99.99% готовых NAS - это сборки на основе Linux. А в самосборе можете выбрать хоть Win, от Windows 7 Embedded standard, вычищенного от всякого хлама до Win Server 2016 Tech Preview, хоть *nix во всём многообразии, от Linux до FreeBSD и Solaris. Но есть ли это сравнительное преимущество? IMHO почти наверняка - нет. Потому, что если для вашего случая не хватает софтового функционала покупного NAS - у вас, скорее, необычные требования.

PPS UPD про вопрос, который наверняка зададите - а в каком варианте больше функционала?
IMHO - одинаково, причём что практически, что теоретически.

Практически: вам не нужен весь функционал, а лишь тот, что используете. И всё, кроме экзотики во всех вариантах есть.

Теоретически: на достаточное мощном железе и в готовых и в самосборных NAS поддерживается гипервизор. Соответственно в виртуалку на самосборе можно поставить Xpenology. (Это легально, тк оная есть компиляция кодов, опубликованных по GNU лицензии. Обратного, кстати, не утверждает и Synology.) И поиметь весь функционал, который есть в DCM и отсутствует в хост системе. Точно также - наоборот, на готовый NAS в виртуалку ставим что угодно - и вперёд. Так что вопрос лишь в железе, читай - про деньги. такой подход не решает, конечно, вопрос с некими облачными сервисами производителей NAS. Но если(!) они вам нужны - вряд ли среди них есть что-то уникальное настолько, что не найдётся замена. Т.е. снова про деньги. И невеликие.

Еще никогда проблема хранения файлов не стояла так остро, как сегодня.

Появление жестких дисков объемом в 3 и даже 4ТБ, Blu-Ray дисков емкостью от 25 до 50ГБ, облачных хранилищ - не решает проблему. Вокруг нас становится все больше устройств, порождающих тяжеловесный контент вокруг: фото и видео-камеры, смартфоны, HD-телевидение и видео, игровые консоли и т.п. Мы генерируем и потребляем (в основном из интернета) сотни и тысячи гигабайт.

Это приводит к тому, что на компьютере среднестатистического пользователя хранится огромное количество файлов, на сотни гигабайт: фотоархив, коллекция любимых фильмов, игр, программ, рабочие документы и т.д.

Это все нужно не просто хранить, но и уберечь от сбоев и прочих угроз.

Псевдо-решения проблемы

Можно оснастить свой компьютер емким жестким диском. Но в этом случае встает вопрос: как и куда архивировать, скажем, данные с 3-терабайтного диска?!

Можно поставить два диска и использовать их в режиме RAID «зеркало» или просто регулярно выполнять резервное копирование с одного на другой. Это тоже не лучший вариант. Предположим, компьютер атакован вирусами: скорее всего, они заразят данные на обеих дисках.

Можно хранить важные данные на оптических дисках, организовав домашний Blu-Ray архив. Но пользоваться им будет крайне неудобно.

Сетевое хранилище - решение проблемы! Отчасти…

Network attached storage (NAS) - сетевое файловое хранилище. Но можно объяснить еще проще:

Предположим, у вас дома два или три компьютера. Скорее всего, они подключены к локальной сети (проводной или беспроводной) и к интернету. Сетевое хранилище - это специализированный компьютер, который встраивается в вашу домашнюю сеть и подключается к интернету.

В результате этого - NAS может хранить какие-либо Ваши данные, а вы можете получать к нему доступ с любого домашнего ПК или ноутбука. Забегая вперед, стоит сказать, что локальная сеть должна быть достаточно современной для того, чтобы вы могли быстро и без проблем «прокачивать» по ней десятки и сотни гигабайт между сервером и компьютерами. Но об этом - позже.

Где взять NAS?

Способ первый: покупка. Более-менее приличный NAS на 2 или 4 жестких диска можно купить за 500-800 долларов. Такой сервер будет упакован в небольшой корпус и готов к работе, что называется, «из коробки».

Однако, ПЛЮС к этим 500-800 долларов добавляется еще стоимость жестких дисков! Так как обычно NAS продаются без них.

Плюсы: вы получаете готовое устройство и тратите минимум времени.

Минусы такого решения: NAS стоит как настольный компьютер, но при этом обладает несравнимо меньшими возможностями. Фактически это просто сетевой внешний диск за большие деньги. За довольно большие деньги вы получаете ограниченный, невыгодный набор возможностей.

Мое решение: самостоятельная сборка!

Это намного дешевле покупки отдельного NAS, хоть и чуть дольше ведь вы собираете машину самостоятельно). Однако, вы получаете полноценный домашний сервер, который при желании можно использовать во всем спектре его возможностей.

ВНИМАНИЕ! Я настоятельно не рекомендую собирать домашний сервер, используя старый компьютер или старые, отработавшие свое комплектующие. Не забывайте, что файловый сервер - это хранилище ваших данных. Не поскупитесь сделать его максимально надежным, чтобы в один прекрасный день все ваши файлы не «сгорели» вместе с жесткими дисками, например, из-за сбоя в цепи питания системной платы…

Итак, мы решили собрать домашний файловый сервер. Компьютер, жесткие диски которого доступны в домашней локальной сети для использования. Соответственно, нам нужно чтобы такой компьютер был экономичным в плане энергопотребления, тихим, компактным, не выделял много тепла и обладал достаточной производительностью.

Идеальным решением исходя из этого является системная плата со встроенным в нее процессором и пассивным охлаждением, компактных размеров.

Я выбрал системную плату ASUS С-60M1-I . Она была куплена в интернет-магазине dostavka.ru:

В комплекте поставки качественное руководство пользователя, диск с драйверами, наклейка на корпус, 2 кабеля SATA и задняя панель для корпуса:

ASUS, как впрочем и всегда, укомплектовал плату очень щедро. Полные спецификации платы вы можете узнать здесь: http://www.asus.com/Motherboard/C60M1I/#specifications . Я скажу лишь о некоторых важных моментах.

При стоимости всего в 3300 рублей - она обеспечивает 80% всего того, что нам нужно для сервера.

На борту платы находится двухъядерный процессор AMD C-60 со встроенным графическим чипом. Процессор имеет частоту 1 ГГц (автоматически может увеличиваться до 1,3 ГГц). На сегодня он устанавливается в некоторые нетбуки и даже ноутбуки. Процессор класса Intel Atom D2700. Но всем известно, что Atom имеет проблемы с параллельными вычислениями, что часто сводит его производительность на «нет». А вот C-60 - лишен этого недостатка, и в добавок оснащен довольно мощной для этого класса графикой.

В наличии два слота для памяти DDR3-1066 , с возможностью установки до 8 ГБ памяти.

Плата содержит на борту 6 портов SATA 6 Гбит . Что позволяет подключить к системе целых 6 дисков(!), а не только 4, как в обычном NAS для дома.

Что САМОЕ важное - плата построена на базе UEFI , а не привычного нам BIOS. Это значит, что система сможет нормально работать с жесткими дисками более 2,2 ТБ. Она «увидит» весь их объем. Системные платы на BIOS не могут работать с жесткими дисками более 2,2 ГБ без специальных «утилит-костылей». Разумеется, использование такого рода утилит недопустимо, если мы ведем речь о надежности хранения данных и о серверах.

С-60 довольно холодный процессор, поэтому он охлаждается с помощью одного только алюминиевого радиатора. Этого достаточно, чтобы даже в момент полной загрузки температура процессора не повышалась более 50-55 градусов. Что является нормой.

Набор портов вполне стандартный, огорчает только отсутствие нового USB 3.0. А особо хочется ответить наличие полноценного гигабитного сетевого порта:

На эту плату я установил 2 модуля по 2 ГБ DDR3-1333 от Patriot:

Система Windows 7 Ultimate устанавливалась на жесткий диск WD 500GB Green, а для данных я приобрел HDD Hitachi-Toshiba на 3 ТБ:

Все это оборудование у меня питается от БП FSP на 400 Ватт, что, разумеется - с запасом.

Финальным этапом была сборка всего этого оборудования в корпус mini-ATX.

Сразу после сборки я установил на компьютер Windows 7 Ultimate (установка заняла порядка 2 часов, что нормально, учитывая низкое быстродействие процессора).

После всего этого я отключил от компьютера клавиатуру, мышь и монитор. Фактически, остался один системный блок подключенный к локальной сети по кабелю.

Достаточно запомнить локальный IP этого ПК в сети, чтобы подключатся к нему с любой машины через стандартную Windows-утилиту «Подключение к удаленному рабочему столу»:

Я намеренно не стал устанавливать специализированные операционные системы для организации файлового хранилища, типа FreeNAS. Ведь в таком случае, не было бы особого смысла собирать отдельный ПК под эти нужды. Можно было бы просто купить NAS.

А вот отдельный домашний сервер, который можно загрузить работой на ночь и оставить - это интереснее. К тому же, привычным интерфейсом Windows 7 удобно управлять.

Итого общая стоимость домашнего сервера БЕЗ жестких дисков составила 6 000 рублей.

Важное дополнение

При использовании любого сетевого хранилища очень важна пропускная способность сети. Причем, даже обычная 100 Мегабитная кабельная сеть не приводит в восторг, когда вы, скажем, выполняете архивацию со своего компьютера на домашний сервер. Передать 100 ГБ по 100 Мегабитной сети - это уже несколько часов.

Что уж говорить о Wi-Fi. Хорошо, если вы используете Wi-Fi 802.11n - в этом случае скорость сети держится в районе 100 Мегабит. А если стандарт 802.11g, где скорость редко бывает больше 30 Мегабит? Это очень, очень мало.

Идеальный вариант, когда взаимодействие с сервером происходит по кабельной сети Gigabit Ethernet . В этом случае - это действительно быстро.

Но о том, как создать такую сеть быстро и с минимальными затратами - я расскажу в отдельной статье.

В среднем, очередной пост про NAS появляется примерно раз в полгода, и рассказывает о том, как поставить систему по документации. Мы усложним задачу, привязав ее к реальному проекту и ограничив бюджет. Кроме того, мы еще и попытаемся подстелить себе соломку в тех местах, куда не еще не ступала нога молодого сисадмина, а также разрушим несколько отраслевых мифов.

Эта статья не для специалистов по серверному хранению данных, геймеров и прочих оверклокеров. На вас, коллеги, и так вся индустрия работает. Она для начинающих сисадминов, любителей UNIX-систем и энтузиастов свободного программного обеспечения. У всех накопилось старое железо. Всем нужно хранить большие объемы дома или в офисе. Но далеко не у всех есть простой доступ к серверным технологиям.

Я очень надеюсь, что вы найдете для себя несколько полезных идей и все-таки научитесь на чужих ошибках. Помните: система стоит не столько, сколько вы заплатили за железо, а сколько вы вложите потом времени и сил в тестирование и эксплуатацию.
Если не хотите читать - посмотрите ссылки и выводы в конце; может, и передумаете.

DISCLAIMER

Информация предоставляется AS-IS без какой-либо ответственности за ее использование кем-либо, где-либо и когда-либо. Все ненароком упомянутые торговые марки являются собственностью соответствующих владельцев. Некоторые из них в рекламе уже настолько не нуждаются, что я придумываю им шуточные названия.

Благодарности

Респект Андрею Александровичу Бахметьеву, инженеру и изобретателю. Я горд, что Андрей Александрович преподавал для меня в институте! Желаю ему всяческих успехов в его проектах!

Задача

Итак, есть малый бизнес-стартап, генерирующий порядка 50Гб файлов в неделю, с необходимостью их архивного хранения в течение нескольких лет. Файлы крупные (порядка 10-20 Мб каждый), обычными алгоритмами не сжимаемые. Начальный объем данных порядка 2Тб. Совсем старые данные можно хранить в оффлайне, подключая по требованию.
Нужно уложиться в весьма скромный начальный бюджет решения 500 евро (в ценах лета 2013) и двухнедельный срок на сборку и тестирование .

За эти деньги нужно построить систему, которая позволит работать с файлами небольшой группе в одной локальной сети с разных платформ (Windows, Mac OS). Требуется длительная работа без сисадмина на площадке, защита от отказов и базовые функции управления правами доступа.

Традиционные пути

Безусловно, можно купить сетевое хранилище: их делают NetApp , QNAP , Synology и другие игроки, и притом делают неплохо даже для малого бизнеса. Но наши 500 евро – это только начало разговора для пустой коробки, без самих дисков. Если у вас есть 1000-2000 евро, лучше купите готовое изделие, а мы попробуем максимально заплатить знаниями и минимально - временем и деньгами.

UPD (спойлер ред. 2 от 2014-03-08):

Если собираете из нового железа, а не из хлама

По совокупности этого поста и его комментариев, любезно предоставленных хаброкомьюнити, предлагаю следующий алгоритм для простой четырехдисковой системы:

Если двойного размера самой ёмкой из доступных моделей диска не хватает для хранимых данных, прекращаем читать спойлер (пример: модель 4Тб, требуется хранить 7Тб данных, тогда продолжаем; если требуется хранить 10Тб, тогда прекращаем)
Выбираем изделие из линейки MicroServer известного производителя серверов Харлампий-Панкрат; например, n36l, n40l, n54l, с четырьмя отсеками для дисков (главное, чтобы была поддержка ECC-памяти)
Обязательно комплектуем наш сервер памятью с контролем четности (ECC) из расчета 1Гб на каждый 1Тб хранимых данных, но не менее 8Гб (по рекомендации FreeNAS для дисков до 4Тб получается как раз всего 8Гб)
Если у нас нет ECC-памяти, немедленно прекращаем читать этот спойлер , читаем пост до конца
Выбираем производителя дисков, используя актуальный обзор отказов; например, вот этот: http://habrahabr.ru/post/209894
Выбираем недорогую линейку SATA дисков с обязательным наличием ERC , а зачем, читаем здесь: http://habrahabr.ru/post/92701
Выбираем ёмкость дисков (2Тб, 3Тб или 4Тб) из расчета, что их будет четыре, и что доступной для данных будет только половина (вторая половина на избыточность RAID)
Перед закупкой еще раз внимательно и досконально проверяем совместимость железа между собой, количества слотов, отсеков, планок и прочего, но для FreeNAS самое главное - поддержка всего железа актуальным ядром FreeBSD
Выбираем хорошую загрузочную флэшку, прочитав продолжение данного поста (часть 2: хорошие воспоминания)
Закупаем, вдыхаем ароматы нового железа, собираем, подключаем, запускаем; для ZFS обязательно выключаем все аппаратные RAID"ы
Создаем том RAIDZ2 из четырех дисков, обязательно с двойной избыточностью (на размерах тома около 12Тб есть риск повстречать злобного URE, читайте о нем в этом посте; если мы не боимся URE и все-таки собираем RAIDZ на четырех дисках, проверяем размер физического сектора - на современных дисках он 4Кб, и в этом случае получится совершенно нелепый страйп 43Кб, который еще и просадит нам скорость массива: forums.servethehome.com/hard-drives-solid-state-drives/30-4k-green-5200-7200-questions.html)
Соль, сахар, перец, jail"ы, шары, скрипты и тому подобную сметану добавляем по вкусу

А как же облачное хранение , спросите вы? На момент написания этой статьи популярные облачные хранилища для наших объемов выглядят дороже, чем хотелось бы. Например, стоимость хранения неограниченного объема данных 36 месяцев на известном сервисе Брось Бокс обойдется в пару тысяч долларов с лишним, хотя и выплачивать их можно постепенно. Конечно, есть сервисы вроде Amazon Glacier (благодарю А.М. за подсказку) или Ажурных Окон, но, во-первых, они тарифицируют не только хранение, но и обращение (как его априорно подсчитать?), а во-вторых не будем забывать, что бизнес сидит на Интернет-аплинке 10Мбит, и маневры терабайтами потребуют не только определенных усилий по управлению процессами, но и будут весьма утомительными для пользователей.

Обычно в таких случаях берут старый компьютер, докупают большие диски, ставят Linux (не обязательно, кто-то ухитряется и Windows 7), делают массив RAID5. Отлично. Всё работает хорошо примерно полгода-год, но одним солнечным утром сервер вдруг пропадает из сети без всякого предупреждения. Конечно, сисадмин уже давно работает в другой фирме (текучка кадров), резервной копии нет (объемы слишком велики), а новый сисадмин починить систему не может (при этом на чем свет стоит ругает старого сисадмина и диалект Linux YYY, ведь надо было использовать Linux ZZZ, тогда проблем бы точно не было). Все эти истории повторяются давно и одинаково, меняются только версии ОС и растут объемы данных.

Отраслевые мифы

Миф о RAID5

Самый распространенный миф, в который я и сам верил до недавнего времени – это то, что второго подряд отказа в массиве на практике не может быть по теории вероятности. А вот и может, да еще как! Смоделируем реальную ситуацию: сервер проработал пару лет, после чего в массиве отказывает диск. Пока ничего страшного, ставим новый диск, и что происходит? Ага, реконструкция массива, т.е. длительная максимальная нагрузка на уже порядком изношенные диски. В такой ситуации отказы очень даже возможны и происходят.
Но это не все. Есть еще заложенная производителем методическая вероятность ошибки чтения, которая при определенных обстоятельствах сейчас уже практически гарантирует, что RAID5 после отказа диска обратно не соберется.

Миф о терабайте

Можно, конечно, считать всех производителей дисков начинающими программистами, но один отраслевой килобайт у них принят 1000 байт, строго по системе СИ (тот, другой килобайт, на самом деле с 1998г зовут кибибайт и обозначают KiB). Однако это не всё. Дело в том, что все выпускаемые шпиндельные диски имеют уже обнаруженные на фабрике дефекты, количество которых случайно, и потому фактический доступный размер «гуляет». У бюджетных моделей он гуляет даже в пределах одной партии одинаковых изделий, причем как в большую, так и в меньшую сторону. У меня в наборе из четырех одинаковых дисков номиналом 2Тб два оказались примерно на 2Гб меньше, а другие два – примерно на 400Мб больше номинального объема. Т.е. килобайт, подобно синусу в военное время, колеблется от 999 байт 6 бит до честных 1000 байтов даже с полубитом на конце. Либо изделия поставляют к нам на рынок на протекающих подводных лодках, либо наводнение виновато, но биты куда-то деваются.

Не стоит недооценивать данный фактор: если замена отказавшего диска в массиве окажется хоть на один блок короче номинального объема, то деградировавший RAID-массив теоретически может и не собраться до оптимального состояния, и мы получим головную боль, которую можно было легко избежать вначале. Исходя из этого, больше - не значит лучше, главное - постоянство.
Я предполагаю, что производители серверного оборудования решают эту проблему, всегда делая технологический запас и одновременно искусственно занижая объем доступного пространства в прошивке диска, поэтому по определенному коду изделия у них всегда (в пределах поддержки) можно получить диск, который имеет одну и ту же ёмкость. Наверное, это одна из причин, почему диск Seagate под известной серверной торговой маркой Харлампий-Панкрат и его «родной брат» без нее – не совсем одно и то же изделие. Но это только мое предположение. Возможно, у лидеров рынка хранения данных есть в рукаве и более технологичные козыри.

Риски проекта

В любом проекте важно понять риски, ведь в конечном итоге мы строим не ради забавы, но ради успеха бизнеса. Чтобы достичь гармонии Крепсондо (простите, непрерывности бизнеса), для начала мы построим упрощенную модель рисков, которая должна учитывать вероятные сбои и их последствия.

Аппаратные

По бюджету мы не имеем доступа к серверному оборудованию, поэтому и диски, и контроллеры можем использовать только дешевые, а это территория спонтанных отказов на ровном месте. К аппаратным рискам относим: механический износ (шпиндельные диски, вентиляторы), электрический износ (особенно касается флэш-памяти), ошибки в прошивках диска или контроллера, некачественный блок питания, некачественные диски, рассыпание аппаратного RAID-массива. Риском можно считать и отсутствие комплектующих запасного имущества прибора (ЗИП) в продаже вследствие устаревания.

Программные

К программным сбоям отнесем проблемы стандартных операционных систем, которые обладают склонностью к саморазрушению и не самой лучшей способностью к самовосстановлению после отказов питания, требуя регулярного администрирования. Добавим сюда ошибки реконструкции программного RAID-массива, ошибки в драйверах контроллеров, действия пользователей (намеренные и ненамеренные), действия вредоносного кода.

Имеющееся железо

Под рукой оказался мой старый компьютер примерно 2004г. выпуска на материнской плате Socket 478 GA-8IPE1000MK , с ЦП Pentium 4 @3ГГц и 1Гб ОЗУ. На корпусе написано ZEUS, он имеет целых шесть внутренних отсеков 3.5” (по тогдашним меркам это много), один 3.5” под архаичный FDD, четыре 5.25”, два места под вентиляторы охлаждения и блок питания на 250Вт. Видеокарта ATI RADEON 8500 в свое время рендерила такие хиты, как Soldiers of Anarchy, но ее вентилятор на масляном подшипнике уже давно воет, как собака Баскервилей (конечно, когда у него вообще получается вращение). Охлаждение ЦП было решено Zalman CNPS5700D-Cu , который затягивал нагретый воздух от радиатора и через эксцентричный воздуховод выдувал его внутрь корпуса, откуда его вновь приходилось выдувать наружу вторым вентилятором.

В один из дней мне настолько надоел весь этот аэродром, что я решил выпилить его в буквальном смысле: взял электропилу и вырезал круглое отверстие в корпусе (по решетке вентилятора), нарастив воздуховод куском пластиковой бутылки из-под минеральной воды Карма Дома. Убрал второй вентилятор и понизил первому (на ЦП) обороты реостатом.

В таком слегка панковском виде вся эта материальная часть и грустила на полке до наших дней.

Дополняла мою кунсткамеру дыра на задней панели корпуса из-за вольного трактования производителем корпуса стандартов ATX: вогнать туда панель-заглушку без напильника оказалось никак невозможно, и я оставил эти попытки.

Материнская плата имела контроллер ОЗУ, который не позволял менять планки в режиме STANDBY (это когда компьютер выключен кнопкой, но блок питания включен). Там даже светодиодный индикатор специальный выведен RAM_LED, задачей которого было предупреждать сисадмина о наличии напряжения в контуре:

When RAM_LED is ON, do not install / remove DIMM from socket

Конечно, в итоге контроллер накрылся; и если не пошевелить память в разъеме определенным шаманским образом, материнка ее не видела и начинала противно пищать. В справочнике писков данный сигнал мог означать как проблему ОЗУ, так и проблему блока питания, что окончательно сбивало с толку. Для довершения картины BIOS создавал какую-то особенно кривую среду при загрузке с флэшек, из-за чего у меня категорически не загружались все производные SYSLINUX (для справки: это почти безальтернативный загрузчик CD/флэшек для огромного количества вариантов Linux).
Так к чему я это всё?

Выводы:

Такой компьютер для серверной задачи совершенно непригоден.
Молодым сисадминам категорически противопоказан секс со старым железом.

Идеи

Замена железа

Конечно, глючная мать, изношенная механика и старый блок питания совершенно не укладываются в философию Крепсондо (ой, снова простите, непрерывность бизнеса), и потому подлежат замене в первую очередь и без лишних обсуждений. Гармония Крепсондо для нас важнее, поэтому попрощаемся со старым железом, оно свою историческую миссию выполнило.
Выбор замены для Socket 478 оказался невелик: ASRoсk P4i65G . Вроде бы неплохая мать с бортовой графикой, тремя PCI, двумя SATA и шестью USB на борту. Аппаратный мониторинг сделан на базе Winbond W83627 (поддерживается в пакете lm-sensors ; это оказалось потом полезным при калибровке реостата вентилятора по температуре ЦП работающей системы).

Теперь ничего не пищит, загрузка с флэшек работает нормально, что уже радует. Бортовых ста мегабит для сети NAS маловато, поэтому один слот PCI сразу же занимаем бюджетным D-Link DGE-530T , еще два PCI оставляем на дисковые контроллеры. Обычно они имеют до четырех портов, что вместе с двумя бортовыми даст нам возможность подключить десять дисков.
Про новый блок питания я расскажу позже, пока лишь отмечу, что для моей системы на базе Socket 478 вполне хватало 250Вт. Поэтому, прикинув в уме запас мощности 200Вт на раскрутку шпиндельных дисков, я с ходу согласился на предложенный мне в магазине бюджетный источник FSP Group ATX-450PNR номиналом 450Вт. Поверхностно мне понравился большой низкооборотный 120мм вентилятор – значит, шуму будет меньше (UPD: забегая вперёд, ATX-450PNR, несмотря на все ухищрения, с поставленной задачей не справился, и я не рекомендую его использовать ; см. habrahabr.ru/post/218387).

Заодно я прихватил пару вентиляторов Zalman ZM-F1-FDB на модном гидродинамическом подшипнике: первый пойдет на кулер ЦП, второй – на обдув первой группы дисков.
Собственно, осталось выбрать самое важное.

Дискововая подсистема

Для сетевого хранилища важнейшей задачей является выбор режима массива (RAID). Поскольку бюджет решения не позволяет нам воспользоваться серверным оборудованием, вздыхаем и сразу откладываем аппаратные RAID-контроллеры, SAS и прочие Fiber Channel в сторону. Туда же откладываем и твердотельные диски. Раз у нас на кухне NAS (простите за каламбур), то тернистый путь пройдет через волшебный мир программных решений RAID на базе дешевых шпиндельных дисков SATA . Так гораздо занимательнее, но да помогут нам практики Крепсондо.

Диски

На мой субъективный взгляд, у продуктов SATA (по сравнению с SAS/FC) с выбором всё еще более запутано и сильнее перемешано с маркетингом. У шпиндельных дисков Seagate я увидел два условных ценовых диапазона, которые отличаются примерно на 40%. Верхний принято считать решением для среднего бизнеса, а нижний – для домашних пользователей и малого бизнеса. Чем же грозит использование самых дешевых дисков? По субъективным оценкам некоторых экспертов (ссылка), дешевые диски отказывают ощутимо чаще дорогих в первую же неделю эксплуатации, и по результатам года тенденция сохраняется. Осторожно приведя здесь эту таблицу, повторю, что это очень приближенная субъективная оценка одного из пользователей Интернета, без указания конкретных изделий:

По наблюдению того же пользователя, примерно один-два из дюжины годовалых дисков SATA отказывают на втором году жизни. Само собой, все SATA ощутимо ведут себя хуже, чем SAS или Fiber Channel, с этим вряд ли можно спорить. Как, впрочем, и с выделенным бюджетом, который почти не оставляет нам выбора.

Производителя Seagate я выбрал достаточно интуитивно, поэтому не буду описывать данный процесс.

UPD:
Поскольку описанные события происходили летом 2013г, то я не прочитал вот этот замечательный пост: http://habrahabr.ru/post/209894/ . Из него следует, что Seagate не самый лучший выбор, но читатель, безусловно, теперь предупрежден и вооружен. Благодарю, хаброкомьюнити, вы лучшие!

Бегло анализируя предложения в магазинах, я отметил, что цена бюджетных дисков крупного объема 4Тб почти на 90% выше предложений на 2Тб, т.е. удельная стоимость хранения гигабайта росла почти линейно от объема. Почему это так важно? Дело в том, что мне не удалось найти контроллер для шины PCI с гарантированной поддержкой накопителей 4Тб, а экспериментировать не было возможности. Это поставило перед непростым выбором: либо ограничить диски 2Тб, либо отказаться от старого железа и переходить на шину PCI Express (с покупкой нового компьютера). К счастью, почти линейная зависимость цены от ёмкости избавила от трудных решений, но читателю рекомендую всегда считать совокупную стоимость дисковой подсистемы, ибо в NAS она определяющая, и выгода от ёмких дисков может перевесить всё остальное.

Приглянулась своей ценой модель ST2000DM001 . Это был самый бюджетный вариант в линейке Seagate на 2Тб, использует новый размер сектора 4Кб и требует правильной инициализации (форматирования) файловой системы. Интересно, что представители ST2000DM001 попадаются как с двумя, так и с тремя пластинами (на картинке - вариант с двумя).

Похоже, новые владельцы проекта FreeNAS не пожалели сил на глубокий рефакторинг кода, который, вероятно, дался ценой отказа от некоторых «устаревших» функций (например, RAID5). Во всяком случае, FreeNAS выглядит сильным драйвером развития для FreeBSD, и заметен явный интерес к развитию ZFS во «фришном» ядре. Что ж, пожелаем удачи коллегам.

Если сравнивать FreeNAS и его предка-бранч NAS4free, то для меня субъективно FreeNAS выглядит сильнее, несмотря на отсутствие RAID5. Есть некое ощущение, которое непросто объяснить словами: сквозь графический интерфейс NAS4free так и веет запахом кода, требующего глубокого рефакторинга («кода с душком»). Так что же это за рефакторинг такой? Вот вам простой пример: в отличие от NAS4free, даже при работе с флэшки FreeNAS может применять изменения в конфигурации без полной перезагрузки системы. И это при том, что корневая система смонтирована в режиме read-only. Для меня это был сильный аргумент. К тому же FreeNAS перешел на хранение конфигурации в РСУБД SQlite , а NAS4free до сих пор использует простой, но не самый надежный формат XML.

RAID5 или не RAID5

Хотя UFS и софтверные RAID-массивы GEOM и не дотягивают по технологичности до ZFS с RAIDZ (на первый взгляд вообще кажется, что это соревнование набора шпал против вантового моста), но популярные режимы RAID0/1/5 в GEOM есть. Однако современный FreeNAS при этом не позволяет создавать тома RAID5, а для совместимости оставлены только простейшие режимы RAID0 (stripe) и RAID1 (зеркало).

Почему так?

На это, наверное, есть две причины, назовем их упрощенно: механическая и математическая (хотя в шпиндельных дисках они переплетены подобно корпускулярно-волновому дуализму).

Представим себе отказ/замену одного диска в массиве 10Тб спустя два года эксплуатации: процесс реконструкции в течение недели (!) будет мучить уже и так изношенные шпиндели (см. выше Миф о RAID5 ). Но при таком стрессе старые диски могут не протянуть и трех дней, повалив массив окончательно, вот тогда стресс начнется уже у нас, да еще какой.

Вы спросите: как же так, почему неделя на реконструкцию? Обратим взор на представителей двух поколений Seagate Barracuda (используем материалы http://www.storagereview.com):

Если ёмкости выросли примерно в 8 раз, то скорости лишь троекратно. Ирония, правда, в том, что априорно мы можем представить тут скорость реконструкции RAID1, и даже такой быстрый вариант на нашем винтажном PCI-контроллере будет не ахти. В массивах же RAID5 скорость вообще определяется математическими способностями процессора, и по разным оценкам составляет порядка суток на каждый Тб данных (увы, ссылок дать не могу, простите).

Но и это еще не все, дорогой читатель. Диски имеют параметр, именуемый Unrecoverable Read Error Rate, который на современных бюджетных моделях SATA составляет 1 сектор на каждые сто триллионов битов. Т.е. примерно из каждых записанных 12Тб диск один раз скажет «прости, хозяин, но выдать обратно нужный сектор совершенно никак невозможно; ошибка чтения». Это методическая ошибка, заложенная производителем и потому теоретически гарантирующая невозможность реконструкции массива RAID5 емкостью более 12Тб на дешевых дисках (справедливости ради отметим, что URE на дисках SAS, как минимум, на порядок меньше, а критический объем, соответственно, больше). Эпитафию RAID5 написал Robin Harris в своей статье Why RAID 5 stops working in 2009 .

По итогам выбора железа максимальная совокупная ёмкость наших дисков составляет 20Тб (18TiB), поэтому в очередной раз напомним себе о пути к непрерывности бизнеса через философские практики Крепсондо, вздохнем и дружно помянем RAID5.

Окончательный выбор: разборный массив

Итак, я отказываюсь и от аппаратных RAID (дорого), и от ZFS (дорого) и от софтверного RAID5 (медленно и ненадежно). Выбираю FreeNAS с томами UFS на базе технологий GEOM: просто, надежно и при необходимости ремонтируется, как автомат Калашникова. То, что надо.
Добавим USB флэшку для загрузки системы – шпиндельные диски целиком отведем для данных. Мы не хотим, чтобы торчащую снаружи загрузочную флэшку кто-то случайно выдернул, поэтому выбираем бюджетную флэшку с наименьшими габаритами (как потом выяснилось, это было роковое и необдуманное решение: http://habrahabr.ru/post/214803/).

Из вариантов Stripe и Mirror я выбираю, понятное дело, Mirror (т.е. RAID1). Итоговая дисковая система выглядит как набор из нескольких независимых томов-зеркал. Каждое зеркало собрано из пары дисков 2Тб (ограничение контроллера), инициализируется и монтируется независимо. Максимальный объем онлайн хранимых данных на десяти дисках составит около 10Тб в пяти независимых томах (точнее, 9TiB).

Хоть такой дизайн и может показаться несколько неуклюжим, но он действительно оправдан при наших объемах данных и количестве дисков: иначе мы бы получили неразборный монолит с запредельным временем реконструкции при отказах.

Добавим сюда один маленький штрих: поскольку используются дешевые потребительские диски, придется при создании томов искусственно занижать объем, чтобы не иметь потом проблем с заменой отказавших дисков новыми (с плавающей около 2Тб емкостью). Оставим в конце технологические «хвосты» для лучшего сна.

О пропускной способности вагона, груженого стриммерными кассетами

С точки зрения архивного хранения не стоит вообще расстраиваться по поводу ёмкости: массив-то у нас разборный. Исчерпав доступный объем хранимых данных на сервере онлайн в томах №№1-5, мы можем вручную отключить самый старый том №1, извлечь его диски, установить два новых диска по 2Тб и инициализировать новый том №6. Старые диски затем можно обуть в USB-конструктив и подключать по требованию бизнеса к тому же серверу FreeNAS, не разбирая при этом весь корпус. Можно их монтировать read-only. При большом желании можно подключить это и к Windows, и к Mac. В любом случае, помните: старый шпиндельный диск лучше по пустякам не трясти, а то от возраста посыплется магнитный песок из гермоблока.

Есть еще интересный сценарий с unionfs : заполненные тома переводить в режим для чтения и подкладывать «вниз» под файловую систему «верхнего» тома, тогда будет иллюзия непрерывности дискового пространства. Правда, unionfs - штука заумная и потому опасная, а вариант с read-only, наверное, единственный более-менее обкатанный.

Все, объемы архивного хранения теперь ограничены объемом шкафа или кейса, куда складываются старые диски. Если этот кейс еще и перемещать в пространстве, то полоса пропускания вообще зашкалит.

Корпусная инженерия

Подумаем немного о первичном охлаждении, ибо диски наши на 7200rpm будут тепленькими. Находим в корпусе место для обдува отсеков 3.5” и с почти хирургическим трудом приспосабливаем туда наш вентилятор Zalman ZM-F1-FDB на антивибрационных резинках, которые приходится тянуть пальцами через тонкие щели корпуса. Черт бы побрал эти потребительские корпуса с их проходами и щелями…

Вспомнил старую комедию.

Солдата спрашивают: «Почему так плохо видишь?». Тот отвечает: «Ну, есть одна глазная операция, но ее делают через задний проход, а я туда ни одного мужика не подпущу»…

Эксцентрично-зеленый пластик бутылки из-под минеральной воды Карма Дома, торчащий сзади корпуса, уже порядком намозолил глаза. Поэтому разбираем кулер CNPS5700D-Cu, берем с собой воздуховод и идем в продуктовый магазин за покупками. Примерив по очереди бутылки с минеральной водой разных марок, убеждаемся в идеальном совпадении диаметров двухлитровой бутылки Звон Аква с круглой частью воздуховода CNPS5700D-Cu (на одном заводе их отливали что ли?).

Поблагодарим компанию Штука-Школа за столь удачное совпадение, и, проведя, еще пару часов с различными острыми предметами, получаем часть воздуховода сложной формы из прозрачного пластика.

Ставим в кулер новый вентилятор ZM-F1-FDB 80мм, его гидродинамические подшипники обладают сопоставимым ресурсом, но потише звонких шариковых. В последний момент, само собой, выясняется, что отверстие на корпусе находится на полсантиметра выше, чем надо, поэтому добавляем лепестковую юбку из клейкой ленты, идею которой подсказали авиаконструкторы истребителей с изменямым вектором тяги.

Наше изделие действительно чем-то смахивает на отклоняемое сопло, но выглядит уже не так по-панковски.

Наконец, пришло время разобраться с тем самым местом, где мне десять лет назад не удалось разгадать Великий Китайский Инженерный Замысел. Напомню, речь о задней панельке на разъемы ATX, идущей в комплекте с материнской платой, точнее, о невозможности ее установить вот в это гнездо:

Оказывается, ребус вполне решается плоскогубцами, просто разогнем профиль по периметру, сантиметр за сантиметром. Панелька будет прекрасно держаться своими отверстиями на разъемах, а неровности уйдут внутрь корпуса и не нарушат нам инженерную эстетику:

Во избежание эффекта спагетти шнуры SATA прихватываем друг к другу стяжками, ибо макаронным изделиям в серверных корпусах не место. Кабели помечаем, используя маркеры для витой пары. Реостат вентилятора крепим к корпусу на оказавшейся очень к месту незанятой ножке для материнской платы. Старые диски пока стоят в корпусе для лучшей калибровки обдува, но скоро мы от них избавимся.

Руководствуясь опять же соображениями тепловой эффективности, массивы-зеркала из дисков будем собирать хотя бы через один отсек, т.е. так, чтобы диски одного массива не оказались соседями по отсекам и не грели друг друга , особенно на длинных операциях реконструкции. Диски также маркируем, хотя бы номером тома. UPD: лучше еще и серийный номер диска разместить, напечатав его на ленточном термопринтере, а при отсутствии оного просто на полоске бумаги под прозрачной клейкой лентой. Когда дисков больше двух, это бывает очень полезным при спешных и аварийных работах.

Осталось только включить питание, померять температуру и откалибровать реостаты вентиляторов под нагрузкой.