Как мы делали свою сеть LTE в карьере и на липецкой металлургической площадке

Вот на этих ковшах в самых холодных участках крепится по нескольку радиометок.
Они часто плавятся или отрываются, когда с ковшей убирают окалину, краны и всякое электрооборудование дают адские помехи, но сейчас мы уже уверенно считываем маркировки.

Нам нужна телеметрия с десяток тысяч датчиков, разных узлов оборудования на огромных производствах, будь то карьер или цеха. Ещё вчера и во всём мире это делалось кабелем.

Сейчас надо куда больше датчиков, в том числе — на движущиеся узлы. Например, кабелем не решить задачу определения координат электровоза, работающего в карьере, или отслеживания ковша с чугуном.

Выбор у нас был простой: промышленный Wi-Fi, всякие отдельные системы вроде LoRa/BT/etc для каждого типа задач, LTE оператора, частный LTE плюс на тесты нам дают частный 5G.

Ну и операторы строили сеть в модели 70 % download, 30 % upload, а у нас — 90 % upload.

У мобильных операторов абоненты — это люди, а у нас — датчики и механизмы. То есть основной задачей было сформировать луч не от антенны вышки до телефона, а от датчика где-то в железной трубе к антенне. Это требовало принципиально другого решения.

Забегая вперёд, скажу, что оператор расчистил нам диапазон, и мы получили свой пакет услуг передачи данных (другие абоненты мигрировали в соседние частоты), запланировали собственное покрытие, построили несколько десятков антенно-мачтовых сооружений для наружной связи, установили соты в некоторых местах внутри цехов, в особо важных и плотных местах построили своё резервированное ядро сети, поставили и запустили оконечные устройства.

И это того стоило. Ещё как стоило!

Почему не промышленный Wi-Fi или LoRa?

У нас большой опыт внедрения промышленного Wi-Fi. Он замечательный, стабильный, предсказуемый, но при этом у него есть несколько фатальных недостатков.

Во-первых, для него всё равно нужно получать частоты, что сразу же ставит квест на тот же уровень сложности, что и pLTE. Во-вторых, частоты Wi-Fi лежат в том диапазоне, где на нашем производстве — огромное количество помех, краны и т. д. шумят во всех диапазонах. Мы проводили тесты покрытия, измеряли сигнал: в условиях производственного шума именно Wi-Fi сыпется, например, когда мы включаем индукционную плавку. А LTE изначально был разработан для работы при высоком уровне шума. Ну и, в-третьих, в pLTE есть возможность выделять блоки ресурсов на каждую единицу оборудования, а Wi-Fi чисто в силу физики работает как «слушаю, потом передаю».



Кроме того, нам надо было часто двигать покрытие. Тот же карьер вырабатывается по частям, и через месяц вполне может встать задача «А поднимите-ка все свои Wi-Fi-точки и перенесите на километр влево». У pLTE радиус действия шире, чем у Wi-Fi, и если просто расставить антенны по кромке карьера, то этой проблемы не будет. Там, где pLTE объективно хуже Wi-Fi (в сложных местах покрытия), мы делаем более плотное покрытие 4G, которое позволяет снимать большие объёмы данных.

От отдельных систем типа LoRa на ряд датчиков мы отказались сразу по экономическим параметрам. Всё идёт к тому, что каждый метр производства будет обрастать «умными» устройствами, поэтому нужно строить именно инфраструктуру, чтобы внедрение новой системы не требовало подвода новых коммуникаций, а всё уже было, кроме оконечных устройств. На нужном нам количестве устройств LoRa начинает упираться в ёмкость каналов, плюс мы не можем проверить на ней получение информации: обратной связи с оконечным устройством практически нет.

Вопрос безопасности LTE против pLTE

При построении pLTE-сети мы сразу понимали, что весь трафик будет крутиться только внутри площадки. У нас завод размером с небольшой город, но за его пределы ни байта трафика беспроводной сети не выходит.

Если бы мы использовали коммерческое покрытие с корпоративными SIM-картами операторов, то тот же сигнал с датчика сначала проходил бы в радиоюнит оператора, потом попадал в коммутатор ядра его сети, потом данные шли бы обратно на нашу площадку и приземлялись через файрволл в нашу сеть. Трафик «пробегал» бы снаружи довольно большое расстояние, делал петлю и с задержкой возвращался. Это небезопасно и из-за риска компрометации трафика, и из-за необходимости его правильно шлюзовать, что потенциально могло бы стать точкой атаки.

Если мы закрываем собственную сеть, то можем построить и собственное ядро сети внутри производства. Тогда у нас не будет никакого внешнего трафика и не понадобится даже отдавать его в СОРМ: эти требования к LTE-сетям относятся только к исходящим данным.

Как мы договаривались с операторами о частотах и планировали радиопокрытие

Начали в январе 2021-го. Весь частотный ресурс LTE распределён конкурсами между федеральными операторами. Самим туда влезть нельзя: частотный ресурс уже весь распределён между операторами, и арендовать частоты тоже нельзя. Организовали конкурс на услуги беспроводной связи и из четырёх операторов выбрали одного.

Стоимость зависит от расходов оператора на дополнительное оборудование.

Кстати, поскольку территория большая, операторы арендуют у нас места на крышах цехов, где они ставят свои антенны. То есть мы платим оператору, а он платит нам за места для своих антенн.

Следующая важная вещь — оператор на территории расчистил выделенную нам полосу и буферную зону вокруг предприятия, чтобы не было конфликтов нашего оборудования и оборудования обычной сети (в том числе — клиентского). То есть наступила долгожданная тишина на территории и на некотором расстоянии от неё. Оператор гарантировал эту тишину в договоре и закрепил в нём буферную зону.

Прежде чем выбрать оператора и перед проектированием, мы проводили натурные тесты: ставили оборудование и проверяли. Подтвердили теорию.

Дальше можно было проектировать наше собственное покрытие. Мы сделали радиообследование местности. Для покрытия снаружи цехов и в карьере установили несколько десятков антенно-мачтовых сооружений вот такого типа:




Верхний ярус — pLTE-антенны, ниже — слот для коммерческого LTE, ещё ниже — для другого оборудования

Внутри цехов всё сложнее. Во-первых, они очень хорошо изолированы металлическим листом и бетоном, из которого сделаны стены. Во-вторых, этот лист отлично отражает. В-третьих, в цехах находятся люди, нагревать которых электромагнитным излучением нельзя. По сути, дальше мы использовали сразу несколько разных подходов: и распределение нескольких антенн от одного передатчика (как в бизнес-центрах), и разделение антенн по направлениям из одной точки (как на стадионах), и так далее.

Задача — получить высокий процент гарантированного покрытия даже при высокой нагрузке и при этом разместить какую-нибудь из антенн так, чтобы она не мешала рабочим цеха или движению техники.

И это при том, что наши санитарные стандарты по ЭМИ раз этак в 10 более строгие, чем принятые в США и Европе. Про эту часть я могу ещё рассказать отдельно, если интересно: там есть несколько хороших грабель.

Ядро сети

Ядро можно строить на собственном железе. Ядро строим мы как ИТ-команда, а настройку делает поставщик софта. Там всегда уникальное решение. Сложностей — куча, они относятся скорее и к архитектуре (она у нас сильно отличается от того, что использовалось раньше, в т. ч. в частных сетях), и к настройкам, и к конфигурациям.

Поставщик — отечественный.Транспортная сеть, чтобы подключить базовые станции к ядру (те каналы связи, которые нужны, чтобы беспроводная сеть заработала), у нас тоже собственная. И да, это дорого, но это многократно окупается в перспективе нескольких лет.

5G

У 5G-сети — совершенно другой ресурс, сотни ГГц в миллиметровом диапазоне. Условно есть диапазоны 26 ГГц, которые дают соты до 100 метров, как в Wi-Fi, но это в космосе, разумеется.

В городе это соты 30–40 метров радиусом, на заводе — до ста метров. Но! Есть диапазон sub-6 (ниже 6 ГГц), в котором можно строить соты с очень большим покрытием — куда больше, чем у Wi-Fi-точек. Теоретически это может подойти для карьера, но сейчас мы делаем это только для цехов на липецкой площадке.

При этом по новому законодательству любое юрлицо в России может строить свою 5G-сеть для тестовой эксплуатации в пилотных зонах в диапазоне 4,8-4,9 ГГц с полосой до 100 МГц. Всего-то нужно получить разрешение на использование частот и применять только отечественное оборудование, а отечественное оборудование на рынке в принципе есть.

Так вот, эти манипуляции по закупке и согласованию частот мы начали в марте и к осени получили разрешение на использование частот в Липецке для наших объектов. Тестовый сегмент 5G мы развернули в конвертерном цехе — это где варится сталь и ездят стальковши по железной дороге и на кранах. Краны теперь остаются в сети и передают телеметрию без ошибок.

Что ещё интересно: в этом диапазоне 200 Мбит/секунду — в среднем, 500 Мбит/секунду — в пиках. В пустой сети, естественно. Таких скоростей и таких низких задержек в LTE-сетях мы не видели. Даже с учётом собственного ядра. В 5G-сотах можно даже гнать видео с нескольких камер и не переживать.

Оконечные устройства

Очень часто Wi-Fi становится единственным выбором, когда уже есть огромный парк оконечных устройств, работающих под него. Поскольку у нас построение с нуля, то очень большой парк железа закупался под развитие, и была возможность выбрать LTE-железо. А мобильные терминалы у нас уже были с симками других операторов, и цена перехода была не очень высока.

Тысячи блютуз-маячков объединяются у нас на терминалах сбора, где уже строится мост к сети LTE.

То есть каждая низкоэнергетическая метка соединяется с каким-то приёмником рядом, а приёмник уже выступает ретранслятором в большую сеть. Альтернативой в горячих цехах была бы оптика, но из готовой инфраструктуры там только питание, а всё остальное требует очень долгих пересогласований. Это долго и дорого.

Там, где в цехах были участки вайфая, заменяем постепенно на pLTE. Ещё у нас были Wi-Fi-терминалы в пожарных оповещателях, так вот, в них по нормам — два интерфейса.

Второй — GSM. В них можно просто отдельно поменять чипсет модема, а не устройство целиком: при наличии отвёртки эникей сделает это за пару минут.


Извещатель

Ещё pLTE дал возможность нормально организовать покрытие по локомотивному парку.

Это важно для системы «предотвращение столкновений» (поезда часто идут «задом» для упрощения логистики) и отслеживания чугуновозных ковшей. У нас цеха жаловались, что отдать 12 ковшей из цеха в цех иногда означает перемешать их порядок, а отследить это сложно. В некоторых процессах важно предсказывать, какой ковш и когда приедет.


Фото с обзорной камеры

Постепенно идём по производству. До конца года планируем покрыть всё снаружи и уже начали углубляться в цеха, которым не хватает наружного покрытия. Например, его точно не хватает маслоподвалам — это подземные этажи глубиной несколько десятков метров.

Если встретим новые неожиданные грабли — расскажу, но пока всё предсказуемо и штатно. Наша команда дико довольна, потому что с такой сетью можно делать многие проекты, которые упирались в то, что нужно получать телеметрию со сложных объектов.

Теперь можно было бы вешать метки хоть на каждый сляб, если бы он не был таким горячим.