В 2009 году мы заехали в гражданское бомбоубежище при заводе, которое давным-давно сняли с боевого дежурства. Внутри было сухо, почти чисто, стояли окрашенные бронедвери, и терпеливо ждал своего часа мирный советский дизель.
Тогда нам казалось, что место выбрано идеально. Мы знали, что Uptime Institute не даёт свои Tier-уровни подземным сооружениям, но это нас не останавливало. Угроза там в том, что бункер создаёт единую нерезервируемую точку отказа: всё может затопить разом. Поэтому мы начали с того, что сделали дополнительную гидроизоляцию по метро-технологиям, пробуривая отверстия в бетоне и заливая туда специальный состав, проникающий в бетон и заполняющий его поры.
Разумеется, у такого особенного места есть ряд особенных нюансов в эксплуатации. Но лучше я начну рассказ в том же порядке, как мы открывали для себя детали этого размещения.
Почему именно бомбоубежище? Ответ прост: это было идеальное место с доступом к электрическим мощностям завода, близко к оптоволоконным магистралям на MSK-IX и MSK-X. А ещё не было конкуренции за место, потому что вряд ли кто-то захотел бы для себя такой офис или склад. Ну и три контура охраны, поскольку завод всё ещё непростой, что в перспективе позволяло очень легко хранить персональные данные.
Что это за бомбоубежище?
Когда-то это было гражданское убежище для сотрудников завода, которые должны были пережить первые поражающие факторы бомбардировки. Похоже, оно проектировалось и строилось до появления точных представлений о ядерном оружии, кластерных боеприпасах и так далее, поэтому по современным меркам защищает разве что от катапульты. До огромных металлических помещений, висящих глубоко под землёй на цепях на случай вибраций, ему было очень далеко. Естественно, что его списали (это называется «снятие с боевого дежурства»), и оно стало просто неиспользуемой частью производственного комплекса.
Бомбоубежище представляет собой несколько небольших комнат, разделённых металлическими дверями. На входе — шлюз с двумя гермодверями (его мы сохранили), и такие же двери отделяли части модуля друг от друга.
На фото — наш первый модуль, где сейчас сконцентрированы серверы для предоставления VDS-услуг. Ещё есть выделенные серверы с аттестацией ФСТЭК и немного другого оборудования в других модулях убежища, но в целом они отличаются разве что размером.
Что нужно было сделать
В 2009 году мы получили помещение в долговременную аренду (это тоже очень важно для ЦОДа!). Все помещения были сухими: если была бы хоть капля влаги, то брать это место мы категорически не стали бы. Закачали раствор в стены, сделали дополнительную гидроизоляцию сверху — в общем, довольно сильно провозились, но получили базовые гарантии, что стены герметичны. Сейчас мы поддерживаем стабильную влажность на уровне от 40 до 50 %, и скачков почти нет.
Вот так выглядит современный вход для людей и серверов:
После поворота — спуск к комнате для сборки оборудования к рабочему месту дежурного и админов заказчика:
Сама комната выглядит так:
Сделали замкнутую систему вентиляции: в машзале — избыточное давление, и воздух ходит по кругу, не возобновляясь. Тёплый коридор ведёт к теплообменнику, там воздух охлаждается и возвращается через холодный коридор к оборудованию. Первая трасса была фреоновая прямо до кондиционеров, дальше машзалы потребовали большей длины трассы (около 50 метров), и мы перешли на систему чиллер-фанкойл с гликолевым теплоносителем. Гликоль доставляет холод до теплообменника, теплообменник охлаждает рециркулируемый воздух, и всё повторяется.
В машзалах поддерживается избыточное давление, чтобы не было проблем с пылью. Несмотря на то, что соседние технические помещения могут быть пыльными, внутри машзала очень чисто. Вентиляция-охлаждение полностью дублирована.
Для входа внешних трасс очень подходила старая шахта лифта (лифт не ходил ещё со времён СССР). Когда-то он использовался для загрузки оборудования, но с первого взгляда стало понятно, что это будет шахта для коммуникаций, а не что-то для заноса серверов внутрь.
Электричество было от двух подстанций сразу, но нужно было построить щитовую внутри убежища и проложить трассы.
Пришлось сделать дополнительные отверстия в стенах и продолжить использовать шахту лифта.
Каждый ввод дублируется двумя дизелями. В общей сложности у нас нагрузка в пики потребляет 1 МВт, но дизелей больше нужного: один дополнительный купили от жадности, увидев слишком сладкую цену.
Первый дизель — прямо на входе:
Ещё два дизеля — в контейнерах снаружи:
Есть топливо (часто ЦОДы нашего размера не хранят собственное, а надеются на подвоз):
Ещё один дизель стоит в комнате для дизеля. Рядом стоит его советский коллега. Он, кстати, оказался вполне себе на ходу, то есть сделанным на совесть:
Пожаротушение газом на базе хладона, сигнализация типовая, не Vesda, конечно:
Под фальшполом — тоже:
Стойки завезли через полгода после того, как нога человека вновь ступила в это помещение.
Оптика
Поначалу были две оптические линии, сейчас — три независимые, проходящие тремя разными маршрутами в трёх разных канализациях. Общих участков нет, сходятся они уже в кроссовой. Вот тут виден один из входов линии:
Разумеется, имеющиеся коммуникации мы никак не использовали. А они были, конечно.
Был один яркий фейл. Один из админов настраивал свитч на MSK-IX и не сохранил конфиг по незнанию. Точнее, перезагрузил устройство, думая, что это не сбросит его состояние. На деле свитч выждал два часа, чтобы усыпить бдительность предполагаемого противника, а потом откатил конфиг до старого. Пришлось ехать в пять утра на такси, чтобы разбирать кольца.
Серверы
Оборудование — моно-Хуавей, я уже писал, почему так.
Большинство дисков — флешовые. Кое-где есть ещё HDD, но они очень редки. Из-за особенностей монолитного бетона и постоянно работающей вентиляции монотонные вибрации легко передаются по помещению в стойки, но мы гасим их через фальшпол.
На практике это означает, что нужно не только очень ответственно крепить HDD, не допуская люфта или перезатягивания креплений, но и соблюдать особые требования к вентиляторам и качеству их крепления внутри сервера. После давней проблемы с новым сервером, где плохо закреплённый вентилятор разболтал несколько дисков и привёл к разрушению RAID-массива, мы тщательно расследовали случай. Там посыпался сам диск, что в совокупности с вибрацией вентилятора вызвало повреждения соседних устройств. Заодно нашли ещё один риск — пластик на турбинах вентиляторов. Он пересыхает, лопается, турбина разваливается на две части. Все кулеры на всём оборудовании были заменены на не подверженные этой проблеме на всякий случай.
Серверы Хуавея очень удобны для администрирования на месте: они показывают коды ошибок прямо на панелях. Вот этот работает хорошо:
Если что-то случится, то он покажет конкретную проблему и её место, например, слот со сбойной плашкой памяти. Вот здесь на момент съёмки наблюдается глитч с шестым диском, но, по данным мониторинга, с ним всё в порядке, индикация только на панели. Админ как раз обсуждает с инженерами Хуавея, в чём дело.
Питание в каждую стойку приходит независимо с двух векторов.
Админская — в шаге от машзала, можно сразу же попасть к стойкам. На фото — дежурный админ Костя, про него есть вот здесь:
В админской комнате у нас ремкомплекты. Вообще-то у нас гарантия от вендора next business day, но мы закупили свой набор комплектующих, чтобы поддерживать работу серверов здесь и сейчас, а не на следующий день.
Ещё у нас там остатки фермы из одного из подземных модулей:
Куча кабелей:
Продолжение трасс:
И нечто особенное. Вот оно:
Это устройство поставили при получении лицензии ФСТЭК. Оно создаёт помеху для прослушивания. Вообще-то оно нужно для того, чтобы с оконного стекла нельзя было считать звук голоса с помощью лазера, но у нас нет окон. Но, тем не менее, во всех прилегающих к ЦОДу помещениях можно проводить важные переговоры: оборудование для электромагнитных и звуковых помех есть. При его включении работа связи и серверов не нарушается.
Лицензию мы получали целый год. У нас техзащита (то есть инфраструктура, а не разработка). Специальная компания проверяла помещения на предмет защиты с точки зрения проникновения чужих лиц. Их интересовали физическая охрана, контроль доступа. На производственном комплексе с этим очень гладко: три периметра, и даже своё оборудование завозить и вывозить достаточно сложно. Дальше интересовало, где стоит оборудование: исключена ли прослушка. Ещё аттестат подразумевает наличие аттестованных маршрутизаторов-файрволлов, которые исключают перехват информации с сервера, который этот маршрутизатор обслуживает. Эти специальные устройства не обслуживают всех клиентов, у них узкая пропускная способность. Ну и мало кому понравится, что он без спроса защищён таким образом. За этой услугой обращаются госкомпании, окологосударственные компании либо крупные компании с хорошим классом персданных. Для них это важно.
Поскольку само помещение аттестовано, мы имеем право закупить под их нужды сертифицированное оборудование (просто так защищённый коммутатор не купишь: он должен быть произведён специально). Без подобной лицензии такие работы не провести. Мы при этом исходим из того, что услуга аттестованного облака нужна большим заказчикам под узкие нужды. Есть несколько клиентов, для которых мы разработали стек от начала и до конца. И помогли с аттестацией уже готовой инсталляции, и они получили аттестат на свои облака под нормативы ФСТЭК.
Администрирование серверов при пропадании доступа можно делать вот с такой консоли:
Но у Хуавея есть удобный VLAN с сервисными портами, который можно развернуть и получать доступ сразу ко всему, поэтому тележку мы катаем относительно редко.
Итого
Мы продолжаем работы по улучшению живучести ЦОДа. Сейчас два луча питания, каждый задублирован дизелями с избытком, есть своё топливо. Две пожарные сигнализации, два набора датчиков. Вентиляция дублированная, используется воздух без обмена с внешней средой, давление избыточное. Машзалы надёжно спрятаны под землю и бетон, всё это гидроизолировано, а крыша двойная со стоками, внутри понатыканы датчики протечек. Внутри — круглосуточная смена. Снаружи — три кольца физической охраны. Две линии питания и два упса до каждого сервера. По сетевухам есть резервирование в соседние свитчи в соседних стойках. Набор для смены диска в RAID-массиве есть на месте, весь «горячий» ЗИП — тоже. Гарантия вендора.
Относительно работы внутри: благодаря тому, что мы оставили несколько гермодверей, жуткий шум вентиляции почти не передаётся в админскую. Первые пять визитов в ЦОД, конечно, имеют привкус ада из-за пугающей мрачной обстановки, но потом легко привыкнуть.
В общем, из имеющихся ресурсов выжали максимум. Можно и больше, но это увеличит цену VDS-хостинга, поэтому это разумный компромисс между зашкаливающей паранойей и экономикой. У нас есть похожие по уровню защиты ЦОДы в других странах, например, инсталляция в Швейцарии в бункере тоже с тремя кольцами охраны, но именно этот ЦОД наш, и мы его очень любим.
Ближайшие работы — перебрать питание, разложить всё аккуратнее, потому что накопился кавардак. Нужны ещё упсы для гермозоны.
Теперь вы увидели то, что скрывается под одной из десятка кнопок выбора ЦОДа для вашего виртуального сервера.
