Доброго дня, дорогие Хабровчане!
Хочу поведать вам долгую и как я надеюсь увлекательную, а может быть и ставшую кому-то полезной историю сборки «деревенского суперкомпьютера» из платы ноды сервера Dell, GPU Nvidia Tesla K20 и того что было куплено то тут, то там по всяким интернеты магазинам или в компьютерных магазинах своего города.
История началась с того, что мой друг-программист, который заодно еще и астроном — занялся изучением нейросетей. Их «штатный специалист» уволился и тему повесили на самого «близкого специалиста». Я сам не программист, всего лишь «радиомеханик по ремонту вычислительной техники(с)мой диплом», потому сборка всяких интересных компьютерных железок для меня интересное и приятное занятие. Работаю я к сожалению в другой области.
Чтобы более четко сформулировать задачу я создал тему на форуме «Железные призраки прошлого» где она достаточно долго обсуждалась. Сначала была достаточно наивная идея «собрать 4-way SLI на GTX 580 3Gb» которая постепенно трансформировалась в понимание — собирать нужно сервер! Цены на материнские платы серверов безбожно кусались, пока я не наткнулся на Youtube на интересное видео про запуск китайской серверной платы на 2-х процессорах нестандартного формата.
Вот это видео:
Особенно меня в этом видео порадовала бюджетная цена системы.
Однако консультация с более сведущими товарищами, которые имели дело с китайскими серверами убедили меня — «Китайское счастье нам не надо!» По их отзывам китайские серверы были просто чудовищно ненадежны. И я стал искать на Авито варианты с серверными платами Dell. У меня два ноутбука этой фирмы и от них только положительные впечатления. Очень надежная техника.
На Авито была найдена плата ноды сервера Dell PowerEdge C6220 в процессе общения с продавцом которой — он подсказал мне отличный сайт, где была публикация о том как один умелец запускал такую плату, вот ссылка. А там нашлась ссылка и на американский форум, где на таких платах собирали мощные рабочие станции. Эта тема вот тут.
Прочитал всю тему от начала и до конца я определился с целями, задачами и путями их достижения. Задача была сформулирована так — «Собрать двухпроцессорный сервер на плате ноды Dell PowerEdge C8220 с GPU Tesla K10 или K20». Выбор на специализированные GPU пал после обсуждения с человеком для которого система собственно и собиралась — имея «карты» могущие вести длительные вычисления с двойной точностью и контролем ошибок памяти ЕСС он мог использовать их для своей научной деятельности, а не только для обучения нейросетей. Чему он собственно сильно обрадовался.
Для обсуждения и запечатления для истории процесса сборки на форуме «Железные призраки прошлого» я создал соответствующую тему, где собственно и писал о процессе и выкладывал фотографии. Желающие могут ознакомиться.
Задача была поставлена и я занялся поиском компонентов. В то время когда все началось у меня еще не было регистрации на eBay и по началу нужные запчасти покупали мои друзья, которым я оплачивал расходы на покупку и пересылку. Позднее я и сам там зарегистрировался и стал покупать напрямую, хотя иногда приходится просить помощи тех у кого есть аккаунты на Шопотаме и подобных сервисах. Не все нужные запчасти напрямую шлют из США в Россию.
Первой с еВау была куплена материнская плата Dell PowerEdge C8220 0083N0. По документации Делл она относилась к версии плат 1.2 имея 3 слота PCI-E 16x. Два обычных около кнопки включения питания и третий на другой стороне платы нестандартный, под так называемый GPGPU-райзер который включался в так называемый Edge Slot.
Фото платы, той самой 0083N0, фото с eBay.
А это уже мое фото, к плате приложена линейка для осознания масштаба.
К тому времени ко мне приехал и райзер для GPGPU в тот самый Edge Slot.
Вот фото где он подключен на пробу на свое штатное место.
Одновременно на eBay был куплен адаптер питания, с АТХ на этот разъем питания С6100. Их на еВау продают два вида, на 12 и на 18 пин. Нам нужен последний, и еще DC-DC повышающий чтобы превратить +5VSB от АТХ БП в +12VSB сервера Dell. И конечно разъем чтобы установить нужную для запуска платы перемычку и вывести с нее сигнал PS_ON. Конечно отчаянные парни могут выткать отвертку или гвоздь прямо в разъем платы, но я предпочел сделать все культурно.
Кроме того для пробного запуска платы с Алиэкспресса были куплены самые дешевые Xeon E5-2604 V1 и с еВау — пара планок памяти DDR3 ECC REG которые продавались как совместимые с Dell PowerEdge C8220. Кулеры по первости я использовал Alpine 20 Plus C0 для LGA 2011 которые пришлось доработать — были подпилены болгаркой из края которые упирались в слоты памяти, с винтов креплений были сняты пружинные шайбы, а на резьбы навинчены по паре гаек — чтобы не вкрутить винты слишком глубоко и не проломить плату. Серверные сокеты LGA 2011 устроены несколько иначе чем обычные и у винтов радиаторов там резьба должна быть короткой. Кстати кулеры неплохо работали, несмотря на то что чисто алюминиевые.
И вот, наступил тот момент когда приехали процессоры, установку из я запечатлел на фото на память.
А вот и установлены те самые алюминиевые кулеры Alpine.
Собранная и запущенная система.
К системе был подсоединен мой старый верный блок питания Чифтек 550 Вт, USB-хб на 4 устройства в который были включены клавиатура, мышка и флешка с Ubuntu, к разъему для USB-картридера на плате был подключен картридер в который я воткнул китайскую USB звуковую, еще подключил VGA-монитор и патчкорд к порту IPMI 100 мбит, который обозван Delicated-NIC. Рядом с ним два 10Gbe-порта которые работают «меди» и вполне поддерживают обычную 100/1000 сеть.
В таком виде система была запущена и оказалось что плата при запуске во первых очень долго проверяет память, а во вторых в заставке BIOS назвала себя Dell DCS 6220.
На этом первую часть своего повествования я закончу чтобы не утомлять благодарных читателей.
Хочу поведать вам долгую и как я надеюсь увлекательную, а может быть и ставшую кому-то полезной историю сборки «деревенского суперкомпьютера» из платы ноды сервера Dell, GPU Nvidia Tesla K20 и того что было куплено то тут, то там по всяким интернеты магазинам или в компьютерных магазинах своего города.
История началась с того, что мой друг-программист, который заодно еще и астроном — занялся изучением нейросетей. Их «штатный специалист» уволился и тему повесили на самого «близкого специалиста». Я сам не программист, всего лишь «радиомеханик по ремонту вычислительной техники(с)мой диплом», потому сборка всяких интересных компьютерных железок для меня интересное и приятное занятие. Работаю я к сожалению в другой области.
Чтобы более четко сформулировать задачу я создал тему на форуме «Железные призраки прошлого» где она достаточно долго обсуждалась. Сначала была достаточно наивная идея «собрать 4-way SLI на GTX 580 3Gb» которая постепенно трансформировалась в понимание — собирать нужно сервер! Цены на материнские платы серверов безбожно кусались, пока я не наткнулся на Youtube на интересное видео про запуск китайской серверной платы на 2-х процессорах нестандартного формата.
Вот это видео:
Особенно меня в этом видео порадовала бюджетная цена системы.
Однако консультация с более сведущими товарищами, которые имели дело с китайскими серверами убедили меня — «Китайское счастье нам не надо!» По их отзывам китайские серверы были просто чудовищно ненадежны. И я стал искать на Авито варианты с серверными платами Dell. У меня два ноутбука этой фирмы и от них только положительные впечатления. Очень надежная техника.
На Авито была найдена плата ноды сервера Dell PowerEdge C6220 в процессе общения с продавцом которой — он подсказал мне отличный сайт, где была публикация о том как один умелец запускал такую плату, вот ссылка. А там нашлась ссылка и на американский форум, где на таких платах собирали мощные рабочие станции. Эта тема вот тут.
Прочитал всю тему от начала и до конца я определился с целями, задачами и путями их достижения. Задача была сформулирована так — «Собрать двухпроцессорный сервер на плате ноды Dell PowerEdge C8220 с GPU Tesla K10 или K20». Выбор на специализированные GPU пал после обсуждения с человеком для которого система собственно и собиралась — имея «карты» могущие вести длительные вычисления с двойной точностью и контролем ошибок памяти ЕСС он мог использовать их для своей научной деятельности, а не только для обучения нейросетей. Чему он собственно сильно обрадовался.
Для обсуждения и запечатления для истории процесса сборки на форуме «Железные призраки прошлого» я создал соответствующую тему, где собственно и писал о процессе и выкладывал фотографии. Желающие могут ознакомиться.
Задача была поставлена и я занялся поиском компонентов. В то время когда все началось у меня еще не было регистрации на eBay и по началу нужные запчасти покупали мои друзья, которым я оплачивал расходы на покупку и пересылку. Позднее я и сам там зарегистрировался и стал покупать напрямую, хотя иногда приходится просить помощи тех у кого есть аккаунты на Шопотаме и подобных сервисах. Не все нужные запчасти напрямую шлют из США в Россию.
Первой с еВау была куплена материнская плата Dell PowerEdge C8220 0083N0. По документации Делл она относилась к версии плат 1.2 имея 3 слота PCI-E 16x. Два обычных около кнопки включения питания и третий на другой стороне платы нестандартный, под так называемый GPGPU-райзер который включался в так называемый Edge Slot.
Фото платы, той самой 0083N0, фото с eBay.
А это уже мое фото, к плате приложена линейка для осознания масштаба.
К тому времени ко мне приехал и райзер для GPGPU в тот самый Edge Slot.
Вот фото где он подключен на пробу на свое штатное место.
Одновременно на eBay был куплен адаптер питания, с АТХ на этот разъем питания С6100. Их на еВау продают два вида, на 12 и на 18 пин. Нам нужен последний, и еще DC-DC повышающий чтобы превратить +5VSB от АТХ БП в +12VSB сервера Dell. И конечно разъем чтобы установить нужную для запуска платы перемычку и вывести с нее сигнал PS_ON. Конечно отчаянные парни могут выткать отвертку или гвоздь прямо в разъем платы, но я предпочел сделать все культурно.
Кроме того для пробного запуска платы с Алиэкспресса были куплены самые дешевые Xeon E5-2604 V1 и с еВау — пара планок памяти DDR3 ECC REG которые продавались как совместимые с Dell PowerEdge C8220. Кулеры по первости я использовал Alpine 20 Plus C0 для LGA 2011 которые пришлось доработать — были подпилены болгаркой из края которые упирались в слоты памяти, с винтов креплений были сняты пружинные шайбы, а на резьбы навинчены по паре гаек — чтобы не вкрутить винты слишком глубоко и не проломить плату. Серверные сокеты LGA 2011 устроены несколько иначе чем обычные и у винтов радиаторов там резьба должна быть короткой. Кстати кулеры неплохо работали, несмотря на то что чисто алюминиевые.
И вот, наступил тот момент когда приехали процессоры, установку из я запечатлел на фото на память.
А вот и установлены те самые алюминиевые кулеры Alpine.
Собранная и запущенная система.
К системе был подсоединен мой старый верный блок питания Чифтек 550 Вт, USB-хб на 4 устройства в который были включены клавиатура, мышка и флешка с Ubuntu, к разъему для USB-картридера на плате был подключен картридер в который я воткнул китайскую USB звуковую, еще подключил VGA-монитор и патчкорд к порту IPMI 100 мбит, который обозван Delicated-NIC. Рядом с ним два 10Gbe-порта которые работают «меди» и вполне поддерживают обычную 100/1000 сеть.
В таком виде система была запущена и оказалось что плата при запуске во первых очень долго проверяет память, а во вторых в заставке BIOS назвала себя Dell DCS 6220.
На этом первую часть своего повествования я закончу чтобы не утомлять благодарных читателей.
