Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
По России мы закупаемся в центральный офис, настраиваем оборудование и везём его по стране. По Европе сложнее, и там мы несколько раз наступали на разные грабли. Первыми граблями была попытка привезти железо из России во Франкфурт, потому что у нас тут получались цены ниже, чем все затраты на таможню и перевозку. Первый раз это закончилось тем, что перевозчик накосячил в декларации, и их машину брали со спецназом. Чтобы вернуть сервер, нам пришлось заплатить штраф, равный его стоимости, но это всё равно было лучше, чем покупать новый с доставкой за шесть недель.
Точнее, даже не так. Первый раз мы повезли два сервера сами на поезде, потому что у нас была встреча в ЦОДе. Это было, ещё когда мы ездили лично, а не проводили аудит дата-центра по финансовым и операционным показателям. В поезде европейский таможенник долго пытался убедить нас, что «персональные компьютеры потому и называются персональными, что для личного пользования», и декларировать их не надо. Дал квиточек, похожий по виду на листок туалетной бумаги. Оформили временный вывоз, то есть мы имеем право их вернуть, а если не вернём, то надо будет возместить НДС.
До Франции привезли их в поезде, дальше перегрузили в машину и поехали в Швейцарию. А вот уже во второй раз отправили перевозчиком, который, похоже, решил чуточку сэкономить, а таможня решила, что он вывозит какое-то редкое российское вычислительное оборудование.
Всё железо у нас одинаковое, чтобы упростить обслуживание: условно, поддерживаются две типовые конфигурации серверной платформы. Сейчас из-за того, что сделали с Хуавеем, будет третья. Каждый год мы закупаем железо на обновление по амортизации (сервер меняется примерно раз в пять лет плюс-минус год), расширение (рынок растёт со скоростью около 20–30 %, и нужно столько же железа, просто чтобы оставаться в той же доле) и ЗИП.
У нас четыре из 11 ЦОДов — не в России: это Цюрих, Франкфурт, Лондон и Амстердам. В России география тоже не самая простая: кроме Москвы и Петербурга, есть Казань, Новосибирск и Екатеринбург.
▍ Как покупаем
За рубежом до момента отделения Англии от Евросоюза было достаточно просто. Обращаемся к своему ритейлеру (дистрибьютору), говорим адреса ЦОДов, он везёт по ним. Своих логистов не нанимаем, потому что дистрибьютор обычно умеет доставлять и делает это хорошо. Не приходится объяснять грузчикам, чем сервер отличается от мешка с картошкой, не приходится потом искать выгруженные машины на улице под снегом, зачастую коробки приходят со сбитыми углами и так далее.
Итак, цены в разных регионах разные. Они зависят от местного НДС (увеличиваются фактически на него) и от объёма партии, точнее, той скидки, которую удаётся получить у дистрибьютора на годовой контракт. Это причина, по которой мы не покупаем в Англии, Германии, Швейцарии и Нидерландах напрямую, а везём из одной точки. Сначала это была Швейцария, где дистрибьютор давал нам хорошие условия, но потом начали возить из Амстердама.
Дело в том, что у Швейцарии — собственное таможенное пространство. Пока Великобритания не вышла из Евросоюза, ситуация была такая: покупаешь сервер в Амстердаме, даёшь адрес доставки дистрибьютору, он просто отправляет его в нужный ЦОД. Было исключение в виде Цюриха: там надо было отправлять на таможенного брокера, который возмещал НДС за вывоз сервера за пределы таможенного пространства Евросоюза, а потом платил почти этот же НДС в Швейцарии за ввоз сервера. Поскольку в Швейцарии до сих пор всё делается традиционным образом, процедура эта, похоже, требует нескольких подписей на бумаге, отчего занимает пару недель, вполне может и до месяца. Я даже не исключаю, что они ведут бумажную переписку вместо электронной почты.
Медлительность — визитная карточка Старого Света. Несмотря на то, что в Амстердаме живут голландцы, которые наиболее похожи на нас по менталитету («Он не грубый, он голландец»), но всё равно война войной, а обед по расписанию. Ровно в момент окончания рабочего дня, обычно это 18:00, они пропадают со связи до начала следующего рабочего дня. Что бы ни случилось, как бы ни горело — просто не будут отвечать до следующего рабочего момента. В России, конечно, не так: у нас всё работает даже ночью.
Естественно, при семи ЦОДах в России и четырёх за границей, партии в России у нас куда больше, и тут условия куда вкуснее. Как я уже говорил, первую пару серверов для тестовой площадки мы перевезли сами, а вот дальше наняли компанию. Потом — эпизод с маски-шоу, возмещение за сервер, смена логиста, отправка шести серверов, из которых доехало пять, а ещё один тормознули (эти тёртые калачи отправили их разными машинами). В общем, пришло понимание, что лучше не пытаться тут сэкономить, а покупать у людей, которые разбираются в европейской логистике.
Сейчас дистрибьютор выставляет нам несколько разных счетов: например, четыре сервера — в Амстердам, четыре — в Цюрих, два — во Франкфурт. Мы оплачиваем, дальше железки приходят морем (несколько недель), дистрибьютор нанимает DHL или DHL Express в зависимости от того, насколько у него горит жопа по срокам поставки. В начале кризиса полупроводников, когда ещё никто не представлял, насколько это серьёзно, подгорело у дистрибьютора настолько, что вместо спокойного путешествия морем наши платформы доставили из Китая самолётом в Амстердам за два дня вместе с таможенными операциями. Морские железки попадают в порт под Амстердамом, почти мгновенно перевозятся и проходят таможенные процедуры уже в самом Амстердаме. Дальше они попадают на склад, откуда почти сразу без хранения их забирают машины DHL и везут по странам. Таможенного брокера для Швейцарии тоже можно организовать бесшовно, прямо через дистрибьютора или логиста, чтобы был единый ответственный за доставку, а не микросервисы в духе «нет, это они виноваты».
▍ Получение железа — отдельный квест
Перевозки в России идут через центральный офис. К нам железо приезжает DHL от поставщика, дальше мы всё изучаем, настраиваем, отправляем по ЦОДам «Деловыми линиями» или СДЭК. С «Линиями» мы перестали работать с осени 2020-го, про это — ниже.
В России куда больше бюрократия в плане поставок в ЦОД. Логика заключается в следующем: когда компания что-то покупает, нужны договор на поставку, счёт на оплату, грузовая накладная (универсальный передаточный акт), товарная накладная, или ТОРГ-12. Получатель должен подписать все эти документы, чтобы поставщик убедился, что отдаёт груз именно тому, кто заказывал. Иначе получится, что он может отгрузить сервера каким-то левым людям, которые скроются в неизвестном направлении. То есть на приёме оборудования должен быть человек с печатью или оригиналом доверенности с синей печатью на получение, иначе поставщику не будет закрывающих документов. Поэтому получение и делается в центральный офис, так как гладко не прошло ни разу: всегда кто-то либо забывает какой-то документ, либо чего-то не хватает, и в итоге всё равно серверы принимает генеральный директор юрлица. Потому что попросить админа какого-то другого ЦОДа прислать копию паспорта для СДЭКа — это не самая простая задача в наших реалиях. И ещё убедиться, что в тот день, когда они решат приехать, в смене будет именно этот админ.
В Европе же всё не так. Там оферта, даже индивидуального договора обычно нет. Просто платишь по ней. Если оплатил — это означает согласие с офертой и её заключение, не платишь — не согласился и не подписал. В почте дальше просто пишешь, куда везти железо. На место приезжает экспедитор, выгружает серверы, говорит: «Вот такой-то чувак это оплатил, держите». И уезжает. Никаких бумажек, никаких актов, никаких подписей. Потому что в Европе не принято воровать.
Естественно, такое происходит не без приключений. Один раз голландцы отдали наш сервер непонятно кому. Должны были привезти в ЦОД, а привезли куда-то ещё, и там всё это приняли. Админ пишет: что-то ваши отчитались, а упаковки я в декомпрессионной зоне не вижу. В общем, голландцы день пытались понять, куда делся сервер, но потом выяснили, что они случайно отправили не на физический адрес дата-центра, а на юридический, где сидит их бухгалтерия. Там старое здание в центре города, в нём в прихожей чинно стоит наш сервер. В итоге сотрудник ЦОДа поехал и забрал его сам на машине.
В Цюрихе тоже отдельный квест по поиску железа, админ может до часа просто ходить по складу: там очень большой дата-центр и соответственно очень большой склад.
▍ Ещё одна российская особенность
В России у логистов постоянно идёт битва с сотрудниками ЦОДа за ключевой сантиметр: где начинается территория ЦОДа, кто должен затаскивать внутрь, что и как. Пару раз было: «До края борта подвину, а дальше вы сами». В Европе я ни разу не слышал про такое: либо там всё сразу обсуждается при доставке, либо просто в доставку автоматом входит занос внутрь здания.
Наши грузчики ещё очень не любят приезжать вовремя или быть пунктуальными. Часто так: договариваешься с доставкой в интервале 13:00 — 18:00. С менеджером чёткая договорённость, что грузчик за час позвонит. Не звонит в итоге. Идёшь есть в 18:00, только сел с едой около 18:20 — звонит этот товарищ:
— Я у двери, разгружайте меня.
— Ну стой жди теперь, ты же не позвонил, как договаривались.
— Разгружайте как хотите, ждать не буду.
— Ну менеджеру звони своему, пусть он приезжает и разгружает.
Он позвонил. Менеджер в итоге не приехал, грузчик дождался нас. Больше они звонить не забывали.
▍ Случай в Новосибирске
Это тот самый случай, после которого мы больше не возим ничего «Деловыми линиями». Было это осенью 2020 года, в сентябре упаковали и отправили в Новосибирск сервер. Через три дня пишем нашим админам, мол, а что там с сервером, где он? Они: а никто ничего не доставлял. Звоним в «Линии», мол, что с сервером? Они: нужна доверенность от вашего юрлица-отправителя на получение. Это очень странно, потому что обычно нужна доверенность только от ЦОДа, но никак не от отправителя. Хорошо, они упёрлись, мы сделали доверенность, отправили им. После этого они запросили ИНН и паспортные данные принимающего. Такого тоже никогда не было раньше. На той стороне — рядовой админ, он никогда не видел нас в лицо. Мы ему пишем: пришли копию ИНН и паспорта. Он:
— А на фига? Вы там что курите?
Ещё пару суток мы искали нашего менеджера — это тоже оказалось отдельной тяжёлой задачей. Попробовали всё, но оказалось, что работают только мат и досудебка в адрес руководителя филиала, тогда удаётся получить нужный контакт. После прохождения этого бардака они нашли документы, сказали, что всё хорошо, ничего не надо, всё исправим и привезём на следующий день.
На следующий день не привезли. Точнее, приехал водитель с сервером, сказал, что нужен пакет документов (который не нужен был и который менеджер обещал убрать из требований получения), и увёз обратно. Так он ездил три рабочих дня подряд — это уже был просто цирк! В итоге мы договорились с заместителем генерального директора ЦОДа, чтобы он приехал на склад «Деловых линий», там лично забрал сервер и на своей машине привёз его в ЦОД. Мы потеряли примерно две недели из-за «Деловых линий», написали большую жалобу, деньги за доставку они обещали вернуть. Но не вернули. В итоге мы зареклись с ними сотрудничать.
Пирамидка сверху как бы подсказывает, что на сервер не надо класть мешки цемента.
▍ Единственный битый сервер
Иностранная логистика по уровню доставляемости целых серверов несильно отличается от современной российской. И там и там есть специально обученные люди, которые понимают, что именно они везут, как с этим обращаться и что будет, если это ронять или прыгать с этим на кочках. Для особо одарённых есть стресс-датчики, датчики наклона и другие штуки снаружи упаковок, которые позволяют понять, не трясли ли упаковку слишком сильно и не наклоняли ли её больше, чем на заданный угол. Тем не менее в один прекрасный день приезжает вот такое в Цюрих:
Точнее, узнаём мы об этом от выездного местного админа, который привёз распаковывать и ставить железо в стойку. Его задача — всё подключить и дать нам инженерный WAN, откуда уже можно настроить всё из нашего московского офиса. В общем, он фотографирует эту коробку и спрашивает: распаковывать или сразу назад? Мы взяли тайм-аут на день посидеть подумать и договорились с вендором.
А дальше — «Поле чудес»: или мы берём деньги, или открываем «чёрный ящик». Что интересно, вендор прекрасно понимал, насколько дорого и долго менять сервер, и отлично шёл навстречу. В переписке договорились, что после вскрытия и подключения мы в любой момент всё же можем вернуть его как некондицию. Представитель Хуавея понимал, что нам нужен сервер сейчас, а не через шесть–восемь недель, а мы понимали, что они пойдут нам навстречу в плане условий. В итоге решение получилось на доверии и всех устроившее. Мы прикинули, что там внутри из строя может выйти только бэкапный HDD (для зеркалирования RAID-массива в четыре утра на случай, если массив вылетит разом, что иногда случается), потому что остальное там — SSD. Распаковали, поставили. Один из HDD в сборке не прошёл тестирование, его заменили. В середине следующего рабочего дня переписка в электронной почте про это была подкреплена официальным документом, но в Европе переписка уже сама по себе считается за обязательство, поэтому мы не беспокоились.
В итоге получилось лучше, чем «as is и страдай сам» при покупке самосборного железа или найме собственного перевозчика на вендорское.
А, да, и ещё один раз привозили битую машину. Там у процессора были погнуты ножки, а всё остальное было целым. Как им это удалось, никто не признался, но процессор поменяли сразу.
▍ Страховки
Доставка «последней мили» — всегда самое нервное и рисковое, потому что риски — не на стороне производителя. Мы всегда страхуем оборудование на стоимость самой железки плюс амортизацию: это нужно, чтобы покрыть время поставки нового железа. Мы вообще фанаты страхования. В итоге мы ни разу не попадали в страховой случай, но продолжаем страховать железо по цене один-два миллиона рублей за единицу, потому что ещё мы фанаты контролируемых рисков и статистики.
▍ «Железный занавес»
Европейская схема с одним дистрибьютором в Амстердаме и таможенным брокером для Цюриха хорошо работала, пока не случился выход Англии из Евросоюза. В итоге нарушились все таможенные процедуры. Более того, они, когда выходили, похоже, не догадались или не успели всё синхронизировать, и в итоге таможенные брокеры не способны сейчас стабильно решить задачу, как в предсказуемые сроки растаможить и затаможить обратно сервер в Лондоне. Единственный способ покупки оборудования в Лондоне — либо не покупать, либо делать там юрлицо резидента GB, которое будет вести деятельность, и уже оно будет покупать оборудование в интересах нашей компании. Это сильно усложняет жизнь бизнесу. Для Лондона это сейчас как «железный занавес». Мы пока не поставляем железо в английский ЦОД, надеясь на то, что трансграничная связность сломанного ЕС как-то срастётся к осени, и они там разберутся. Наверное. Если не будет в октябре — будем искать другие варианты.
