Где-то посередине между Москвой и Санкт-Петербургом есть небольшой город Удомля. Раньше он был известен Калининской АЭС. В 2019 году рядом появилась еще одна достопримечательность – мегаЦОД «Удомля» на 4 тыс. стоек.
После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про «Удомлю». Сегодня мы решили подробно рассказать, как там все устроено.
Индустриальные пейзажи: дата-центр площадью 32 000 м² и АЭС на заднем плане. Удомля образца весны 2019.
Под катом собрали больше 40 фото инженерных систем дата-центра с подробным описанием. Тех, кто дойдет до конца, ждет приятный сюрприз.
На машине из Москвы можно добраться за 4,5 часа, из Санкт-Петербурга – за 5.
Да, ради пары юнитов, наверное, ехать сюда не захочется. А вот если вам нужен новый дом для десятков стоек, то стоит присмотреться. Места и электричества хватит, даже если вам захочется удвоить это количество в любой момент. В Москве, где, по нашему опыту, дата-центры бронируются еще на этапе строительства, такой трюк не всегда пройдет.
Кроме того, расположение дата-центра между Москвой и Питером можно использовать для георезервирования. Если основные мощности в Москве или в Питере, то сюда неплохо впишется резервная площадка.
Со всеми стандартными операциями на месте будет помогать команда smart hands. Они примут, распакуют и установят оборудование в стойках, подключат его к питанию и сети, предоставят удаленный доступ к оборудованию. В случае неисправностей помогут с диагностикой и заменят вышедшие из строя компоненты.
Первая очередь дата-центра – это 4 машинных зала, или модуля, по 205 стоек. На первом этаже работают 2 машинных зала и энергоцентр, на втором – еще два зала и хладоцентр. Идем смотреть, как тут все устроено.
Первый пост круглосуточной охраны – вход на территорию.
Идем дальше и попадаем на пропускной пункт непосредственно при входе в дата-центр.
Сотрудники охраны не только встречают клиентов и выдают пропуска, но и круглосуточно следят за видеостеной, куда выводится изображение всех внутренних помещений дата-центра и прилегающих территорий.
Путь электричества в дата-центре «Удомля»
Вид на АЭС с крыши дата-центра
Силовые шины, по которым электричество приходит от РУНН до силовых панелей ДИБП
Ряды РУНН
Несмотря на то, что под боком АЭС, в любом надежном дата-центре основным питанием считается гарантированное. В наших дата-центрах, как вы знаете, за него отвечают ДГУ, но тут используются динамические ИБП (ДИБП). Они также обеспечивают и бесперебойное питание. ДИБП зарезервированы по схеме N+1.
ДИБП марки Euro-Diesel (Kinolt) мощностью 2 МВт. Ревут так, что без беруш туда лучше не заходить
И вот как это работает. ДИБП – это связка трех основных компонентов: дизельный двигатель, синхронная электромашина и аккумулятор кинетической энергии с ротором. Все они закреплены на главном валу.
Электромашина может работать в режиме электродвигателя и генератора. Когда ДИБП питается штатно от города, электромашина – это электромотор, который крутит ротор и запасает кинетическую энергию в аккумуляторе.
Серый блок на первом плане – синхронная машина ДИБП
Дизельный двигатель ДИБП
Если городское питание пропадает, электромашина переходит в режим генератора. Благодаря накопленной кинетической энергии ротор заставляет вращаться основной вал ДИБП, электромашина продолжает работать без городского питания и напряжение на выходе не пропадает. Так обеспечивается бесперебойное питание в дата-центре. Одновременно с этим система управления ДИБП подает сигнал на запуск дизельного двигателя. Та же кинетическая энергия ротора запускает дизель и помогает ему выйти на рабочую частоту. Ротор держит обороты до одной минуты, и этого хватит, чтобы в дело вступил дизель. После запуска уже дизель вращает основной вал, а через него – и электромашину (вот наглядное видео переключения ДИБП из одного режима в другой).
В результате питание в стойках не пропадает ни на секунду.
Бак каждого дизель-генератора рассчитан на 3 часа. В дата-центре есть и свое топливохранилище на 80 тонн, которое позволит держать всю нагрузку дата-центра в течение 24 часов. На случай очень гипотетических блэкаутов (АЭС под боком этого не допустит) есть договоры с несколькими подрядчиками, которые оперативно подвезут дизельное топливо на площадку по звонку. В общем, все как положено.
Каждую неделю ДИБП самотестируются и заводят дизель. Раз в месяц проходят тесты с кратковременным отключением городской сети.
Панель управления ДИБП
Помещение ЩГП и ЩБП
«Магистрали» и «развязки» силовых кабелей
Крыша здания и своя крыша машинного зала с дренажными трубами
Вода, попадающая на крышу гермозоны, уходит по желобам в дренажный трубопровод
Каждый зал готов принять по 205 стоек средней мощностью 5 кВт.
Расстановка оборудования в зале организована по схеме холодных и горячих коридоров.
По потолку проходит разводка систем раннего пожарообнаружения Bolid и газового пожаротушения.
Датчики задымления расположены и под фальшполом. Достаточно сработать двум любым датчикам, и завоет сирена пожарной тревоги, но об этом поговорим чуть позже.
Тут же, вдоль рядов кондиционеров, расположены ленточные датчики протечек.
Каждый коридор между стойками «простреливается» камерами видеонаблюдения.
При желании, стойки можно разместить за специальным ограждением (cage) и установить на него дополнительные камеры, СКУД и датчики движения, объема и прочее.
В каждом зале 12 кондиционеров, половина из них – с пароувлажнителями. Схема резервирования N+1.
В холодном коридоре поддерживается температура в пределах 21–25 °C и влажность 40–60%.
Прецизионные кондиционеры Stulz Cyber Cool
Вокруг каждого машинного зала два кольца: «холодная» магистраль, подающая охлажденный этиленгликоль в кондиционер, и «горячая», отводящая нагретый гликоль от кондиционеров к чиллерам. Если откроем фальшпол в коридоре, то увидим опуски в машинные залы от системы холодоснабжения.
Маршрут этиленгликоля выглядит следующим образом: из кондиционера нагретый этиленгликоль попадает сначала в обратную магистраль вокруг машинного зала, а потом в общее кольцо. Затем этиленгликоль идет на насос и далее на чиллер, где и охлаждается до 10 °C. После чиллера этиленгликоль снова возвращается к кондиционеру через подающую магистраль общего кольца, аккумулирующие баки и кольцо вокруг модуля.
Схема холодоснабжения дата-центра
Вот так выглядит хладоцентр, через который проходит 100 м3 этиленгликоля
Серые емкости – это расширительные баки. Через них проходит нагретый этиленгликоль на пути к чиллеру. Летом этиленгликоль расширяется и требует дополнительного пространства.
Эти внушительные емкости – аккумулирующие баки, по 5 м3 каждый. Они обеспечивают бесперебойное охлаждение дата-центра на случай отказа чиллеров.
Охлажденный этиленгликоль из баков подается в систему, и это позволяет сохранить температуру воздуха на выходе из кондиционера на уровне 19 °C в течение 5 минут. Даже если за окном +40 °C.
Насосы системы холодоснабжения
Сетчатые карманные фильтры и баки-сепараторы для очистки этиленгликоля от механических частиц и воздуха
Тонкая красная линия на полу под трубами – это ленточные датчики протечек. Они идут по всему периметру хладоцентра.
Если какая-то из труб даст течь, то этиленгликоль уйдет по системе дренажа и попадет в специальный бак в помещении водоподготовки. Тут же стоят два бака с «запасным» этиленгликолем для подпитки системы холодоснабжения на случай крупных протечек.
И про чиллеры. На крыше работает 5 чиллеров по схеме резервирования N+1. Каждые сутки автоматика определяет, в зависимости от наработки, какой чиллер вывести в резерв.
Чиллеры марки Stulz CyberCool 2 мощностью 1096 КВт
Чиллеры поддерживают три режима:
Противопожарная система дата-центра завязана с сервером Калининской АЭС, и, если потребуется, на место за минуты приедет собственная пожарная служба станции.
На фото система пожарной сигнализации и кнопка аварийного выхода в машинном зале. Последняя нужна, если во время пожарной тревоги двери по какой-то причине не разблокировались: она разрывает питание электрозамка.
В дата-центре два телеком-ввода, которые располагаются на расстоянии более 25 метров друг от друга.
Также на площадке присутствуют операторы Раском, Telia Carrier Russia, Консист, в ближайшем будущем появится DataLine.
От Удомли можно построить канал в Москву, Санкт-Петербург или любую точку России и мира.
Сюда поступает вся информация по инженерными системам: климатические условия в зале, состояние вводов, ДИБП и т. д.
Каждые два часа дежурные совершают обход всех инфраструктурных помещений, чтобы осмотреть состояние инженерного и ИТ-оборудования.
Зона разгрузки изнутри.
Если ваш зал на втором этаже, то вот этот гидравлический грузоподъемник доставит туда любое оборудование.
Шкафчики для хранения клиентских инструментов, и не только.
В офисной части также работает столовая и кухня.
А еще тут кругом обалденная природа с лесами, озерами, реками, рыбалкой и прочим досугом на свежем воздухе. Приезжайте в гости.
Как и обещали, приятный бонус для тех, кто дошел до конца. Первые полгода аренда стойко-места в «Удомле» с подведенной мощностью 5 кВт будет бесплатной. Платите только за фактически потребленную электроэнергию. Заявку отправляйте на request@dtln.ru.
После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про «Удомлю». Сегодня мы решили подробно рассказать, как там все устроено.
Индустриальные пейзажи: дата-центр площадью 32 000 м² и АЭС на заднем плане. Удомля образца весны 2019.
Под катом собрали больше 40 фото инженерных систем дата-центра с подробным описанием. Тех, кто дойдет до конца, ждет приятный сюрприз.
О логистике
Дата-центр находится в Тверской области. Из Москвы в Удомлю дорога займет около трех часов: 1 час 45 минут на Сапсане до станции Вышний Волочек, а оттуда по предварительной заявке вас встретит шаттл и довезет до дата-центра. Из Санкт-Петербурга до Вышнего Волочка чуть дольше – 2 часа 20 минут.На машине из Москвы можно добраться за 4,5 часа, из Санкт-Петербурга – за 5.
Да, ради пары юнитов, наверное, ехать сюда не захочется. А вот если вам нужен новый дом для десятков стоек, то стоит присмотреться. Места и электричества хватит, даже если вам захочется удвоить это количество в любой момент. В Москве, где, по нашему опыту, дата-центры бронируются еще на этапе строительства, такой трюк не всегда пройдет.
Кроме того, расположение дата-центра между Москвой и Питером можно использовать для георезервирования. Если основные мощности в Москве или в Питере, то сюда неплохо впишется резервная площадка.
Со всеми стандартными операциями на месте будет помогать команда smart hands. Они примут, распакуют и установят оборудование в стойках, подключат его к питанию и сети, предоставят удаленный доступ к оборудованию. В случае неисправностей помогут с диагностикой и заменят вышедшие из строя компоненты.
Первая очередь дата-центра – это 4 машинных зала, или модуля, по 205 стоек. На первом этаже работают 2 машинных зала и энергоцентр, на втором – еще два зала и хладоцентр. Идем смотреть, как тут все устроено.
Физическая безопасность
Дата-центр занимает выделенную территорию, на которую не пройти без пропуска и документа, удостоверяющего личность. Те, кто приезжает на своем автомобиле, также получают пропуск на транспорт и только после этого могут попасть на территорию дата-центра. Для тех, у кого с пропуском все в порядке, дата-центр открыт 24х7.Первый пост круглосуточной охраны – вход на территорию.
Идем дальше и попадаем на пропускной пункт непосредственно при входе в дата-центр.
Сотрудники охраны не только встречают клиентов и выдают пропуска, но и круглосуточно следят за видеостеной, куда выводится изображение всех внутренних помещений дата-центра и прилегающих территорий.
Электроснабжение
Свой путь в дата-центр электричество начинает от АЭС. В дата-центр приходит 10 кВ на 6 понижающих трансформаторов. Далее – уже 0,4 кВ двумя независимыми маршрутами идут в распределительное устройство низкого напряжения (РУНН). Потом через ДИБП электропитание поступает на ИТ- и инженерное оборудование. К стойке подходят два независимых ввода, то есть резервирование 2N. Подробнее о том, как все устроено в части электроснабжения, расскажем в отдельной статье.Путь электричества в дата-центре «Удомля»
Вид на АЭС с крыши дата-центра
Силовые шины, по которым электричество приходит от РУНН до силовых панелей ДИБП
Ряды РУНН
Несмотря на то, что под боком АЭС, в любом надежном дата-центре основным питанием считается гарантированное. В наших дата-центрах, как вы знаете, за него отвечают ДГУ, но тут используются динамические ИБП (ДИБП). Они также обеспечивают и бесперебойное питание. ДИБП зарезервированы по схеме N+1.
ДИБП марки Euro-Diesel (Kinolt) мощностью 2 МВт. Ревут так, что без беруш туда лучше не заходить
И вот как это работает. ДИБП – это связка трех основных компонентов: дизельный двигатель, синхронная электромашина и аккумулятор кинетической энергии с ротором. Все они закреплены на главном валу.
Электромашина может работать в режиме электродвигателя и генератора. Когда ДИБП питается штатно от города, электромашина – это электромотор, который крутит ротор и запасает кинетическую энергию в аккумуляторе.
Серый блок на первом плане – синхронная машина ДИБП
Дизельный двигатель ДИБП
Если городское питание пропадает, электромашина переходит в режим генератора. Благодаря накопленной кинетической энергии ротор заставляет вращаться основной вал ДИБП, электромашина продолжает работать без городского питания и напряжение на выходе не пропадает. Так обеспечивается бесперебойное питание в дата-центре. Одновременно с этим система управления ДИБП подает сигнал на запуск дизельного двигателя. Та же кинетическая энергия ротора запускает дизель и помогает ему выйти на рабочую частоту. Ротор держит обороты до одной минуты, и этого хватит, чтобы в дело вступил дизель. После запуска уже дизель вращает основной вал, а через него – и электромашину (вот наглядное видео переключения ДИБП из одного режима в другой).
В результате питание в стойках не пропадает ни на секунду.
Бак каждого дизель-генератора рассчитан на 3 часа. В дата-центре есть и свое топливохранилище на 80 тонн, которое позволит держать всю нагрузку дата-центра в течение 24 часов. На случай очень гипотетических блэкаутов (АЭС под боком этого не допустит) есть договоры с несколькими подрядчиками, которые оперативно подвезут дизельное топливо на площадку по звонку. В общем, все как положено.
Каждую неделю ДИБП самотестируются и заводят дизель. Раз в месяц проходят тесты с кратковременным отключением городской сети.
Панель управления ДИБП
Помещение ЩГП и ЩБП
«Магистрали» и «развязки» силовых кабелей
Машинные залы
Каждый модуль располагается в гермозоне, в специальном коробе. Эти дополнительные стены и крыша защищают машинный зал от пыли, воды и огня. При приемке дата-центра гермозону традиционно проливают водой, чтобы проверить на герметичность.Крыша здания и своя крыша машинного зала с дренажными трубами
Вода, попадающая на крышу гермозоны, уходит по желобам в дренажный трубопровод
Каждый зал готов принять по 205 стоек средней мощностью 5 кВт.
Расстановка оборудования в зале организована по схеме холодных и горячих коридоров.
По потолку проходит разводка систем раннего пожарообнаружения Bolid и газового пожаротушения.
Датчики задымления расположены и под фальшполом. Достаточно сработать двум любым датчикам, и завоет сирена пожарной тревоги, но об этом поговорим чуть позже.
Тут же, вдоль рядов кондиционеров, расположены ленточные датчики протечек.
Каждый коридор между стойками «простреливается» камерами видеонаблюдения.
При желании, стойки можно разместить за специальным ограждением (cage) и установить на него дополнительные камеры, СКУД и датчики движения, объема и прочее.
Холодоснабжение
В дата-центре «Удомля» используется чиллерная схема на этиленгликоле. В машинных залах работают кондиционеры, на крыше – чиллеры, а на втором этаже находится хладоцентр с трубопроводами, системой автоматики и управления, насосами, аккумулирующими баками и пр.В каждом зале 12 кондиционеров, половина из них – с пароувлажнителями. Схема резервирования N+1.
В холодном коридоре поддерживается температура в пределах 21–25 °C и влажность 40–60%.
Прецизионные кондиционеры Stulz Cyber Cool
Вокруг каждого машинного зала два кольца: «холодная» магистраль, подающая охлажденный этиленгликоль в кондиционер, и «горячая», отводящая нагретый гликоль от кондиционеров к чиллерам. Если откроем фальшпол в коридоре, то увидим опуски в машинные залы от системы холодоснабжения.
Маршрут этиленгликоля выглядит следующим образом: из кондиционера нагретый этиленгликоль попадает сначала в обратную магистраль вокруг машинного зала, а потом в общее кольцо. Затем этиленгликоль идет на насос и далее на чиллер, где и охлаждается до 10 °C. После чиллера этиленгликоль снова возвращается к кондиционеру через подающую магистраль общего кольца, аккумулирующие баки и кольцо вокруг модуля.
Схема холодоснабжения дата-центра
Вот так выглядит хладоцентр, через который проходит 100 м3 этиленгликоля
Серые емкости – это расширительные баки. Через них проходит нагретый этиленгликоль на пути к чиллеру. Летом этиленгликоль расширяется и требует дополнительного пространства.
Эти внушительные емкости – аккумулирующие баки, по 5 м3 каждый. Они обеспечивают бесперебойное охлаждение дата-центра на случай отказа чиллеров.
Охлажденный этиленгликоль из баков подается в систему, и это позволяет сохранить температуру воздуха на выходе из кондиционера на уровне 19 °C в течение 5 минут. Даже если за окном +40 °C.
Насосы системы холодоснабжения
Сетчатые карманные фильтры и баки-сепараторы для очистки этиленгликоля от механических частиц и воздуха
Тонкая красная линия на полу под трубами – это ленточные датчики протечек. Они идут по всему периметру хладоцентра.
Если какая-то из труб даст течь, то этиленгликоль уйдет по системе дренажа и попадет в специальный бак в помещении водоподготовки. Тут же стоят два бака с «запасным» этиленгликолем для подпитки системы холодоснабжения на случай крупных протечек.
И про чиллеры. На крыше работает 5 чиллеров по схеме резервирования N+1. Каждые сутки автоматика определяет, в зависимости от наработки, какой чиллер вывести в резерв.
Чиллеры марки Stulz CyberCool 2 мощностью 1096 КВт
Чиллеры поддерживают три режима:
- компрессорный – от 12 °C;
- смешанный – при 0–12 °C;
- фрикулинг – от 0 и ниже. Этот режим подразумевает охлаждение этиленгликоля за счет работы вентиляторов, а не компрессора.
Пожарная безопасность
В дата-центре две станции газового пожаротушения. В каждом две батареи из 11 баллонов: первая основная, вторая – резерв.Противопожарная система дата-центра завязана с сервером Калининской АЭС, и, если потребуется, на место за минуты приедет собственная пожарная служба станции.
На фото система пожарной сигнализации и кнопка аварийного выхода в машинном зале. Последняя нужна, если во время пожарной тревоги двери по какой-то причине не разблокировались: она разрывает питание электрозамка.
Телеком
В дата-центр независимыми маршрутами приходят две магистрали Ростелеком. Каждая из DWDM систем имеет емкость 8 Терабит.В дата-центре два телеком-ввода, которые располагаются на расстоянии более 25 метров друг от друга.
Также на площадке присутствуют операторы Раском, Telia Carrier Russia, Консист, в ближайшем будущем появится DataLine.
От Удомли можно построить канал в Москву, Санкт-Петербург или любую точку России и мира.
Мониторинг
В центре мониторинга круглосуточно несут свой пост дежурные инженеры.Сюда поступает вся информация по инженерными системам: климатические условия в зале, состояние вводов, ДИБП и т. д.
Каждые два часа дежурные совершают обход всех инфраструктурных помещений, чтобы осмотреть состояние инженерного и ИТ-оборудования.
Вспомогательная инфраструктура
Для доставки оборудования в дата-центр предусмотрена зона разгрузки.Зона разгрузки изнутри.
Если ваш зал на втором этаже, то вот этот гидравлический грузоподъемник доставит туда любое оборудование.
Шкафчики для хранения клиентских инструментов, и не только.
Немного про быт
Для постоянного персонала можно арендовать оборудованные рабочие места в офисной части. Если же будете наезжать время от времени, то можно остановиться во временной гостинице со всеми удобствами прямо на территории дата-центра.В офисной части также работает столовая и кухня.
А еще тут кругом обалденная природа с лесами, озерами, реками, рыбалкой и прочим досугом на свежем воздухе. Приезжайте в гости.
Как и обещали, приятный бонус для тех, кто дошел до конца. Первые полгода аренда стойко-места в «Удомле» с подведенной мощностью 5 кВт будет бесплатной. Платите только за фактически потребленную электроэнергию. Заявку отправляйте на request@dtln.ru.
