На Хабре уже были представлены инерциальные модули и автомобильные радары как одни из направлений деятельности на рынке гражданской продукции компании Миландр. Сегодня нам хотелось бы поделиться опытом работы над устройствами для другой области — учета энергоресурсов, а именно поговорить о гетерогенных PLC/RF модемах для систем АСКУЭ, используемых для передачи показаний через линии питания (PLC) и через безпроводной радио канал (RF). Как за 8 лет пройти путь от идеи до серийного производства, столкнуться с общими для области техническими ограничениями и разработать для их обхода собственное решение?
Предыстория
Восемь лет назад (в 2013 году) мы вышли на рынок приборов учета, запустив в серийное производство счетчик электрической энергии Милур-104.
Со временем стало ясно, что общий тренд направлен не на отдельные приборы учета, а на создание автоматизированных систем учета энергоресурсов. Многие производители начали закладывать в свои приборы учета различные интерфейсы для снятия показаний и удаленного управления. В качестве интерфейсов можно было встретить различные решения, начиная от классического для промышленности RS-485, до различных реализаций радиочастотных и PLC трансиверов, были даже экзотические варианты вроде Ethernet.
В основу наших следующих счетчиков (Милур 105/305) легла модульная конструкция, позволяющая добавлять интерфейс передачи данных в виде отдельной печатной платы на этапе производства, что позволило унифицировать конструкцию модельного ряда приборов учета.
Основным недостатком большинства систем АСКУЭ различных производителей были проблемы с качеством связи. Часто о необходимости автоматизированного сбора данных задумываются уже на последнем этапе, когда протягивать дополнительные кабели (даже небольшие для RS-485) уже желания или возможностей нет, поэтому выбор делался в сторону использования беспроводных/радиочастотных интерфейсов, либо использования уже существующей кабельной сети распределения электроэнергии, посредством PLC интерфейса. Для обоих способов характерна повышенная чувствительность к внешним помехам. Также, учитывая растущий спрос к приборам, произведенным во всем известной соседней стране, которые к сертификации по радиочастотгому диапазону, уровню внеполосных помех (обычно вторая и третья гармоники) и электромагнитной совместимости относятся, мягко говоря, довольно вольно, мы получаем высокую зашумленность как радиоканала, так и электросетей, что отрицательно сказывается на надежности данных каналов связи.
Гетерогенная система
В результате анализа ситуации было принято решение делать гетерогенную систему, использующую в качестве среды передачи данных совместно, как силовую линию (PLC), так и радиоканал.
Поскольку проводка является все-таки более изолированной средой передачи данных, чем радиоканал, в качестве основного интерфейса был выбран PLC.
В 2014 году Международным Союзом Электросвязи был выпущена новая версия стандарта ITU-T G.9903, более известного под названием PLC-G3, который и лег в основу PLC части гетерогенного модема.
PLC интерфейс
Физический уровень PLC реализован программно на основе собственного ЦОС процессора 1967ВН044. Это младший брат процессора 1967ВН028, который часто используется в качестве основного вычислителя радарной продукции. ЦОС Процессор 1967ВН044 обладает вдвое меньшим объемом оперативной памяти и вдвое меньшей максимальной тактовой частой, но при этом фактически является не просто мощной числодробилкой, а оснащен широким набором периферии, что позволяет использовать его в качестве основного микроконтроллера для создания изделия. При этом наличие в его системе команд инструкций для ускорения ЦОС вычислений позволяет выполнять программный синтез и разбор сигналов, необходимых для реализации физического уровня PLC.
Сам стандарт PLC-G3 разрабатывался с учетом ненадежности проводки, используемой в качестве передачи данных и поэтому содержит широкий диапазон средств для снижения вероятности возникновения ошибок, уменьшения их влияния на передаваемые данные и коррекции в случае повреждения.
Для передачи данных используется фазовая модуляция (BPSK/QPSK/8PSK), что накладывает меньшие требования к мощности передатчика по сравнению с решениями на основе частотной модуляции и позволяет работать при более низком соотношении сигнал/шум за счет увеличения вычислительных затрат на устройстве. Данные передаются одновременно по нескольким поднесущим посредством ортогонального мультиплексирования (OFDM).
За счет использования скремблера и перемежителя данные распределяются по поднесущим, что помогает избежать полной потери связи в случае возникновения помех, попадающих на часть поднесущих.
Стандарт использует одновременно линейное блочное и сверточное кодирование для увеличения надежности доставки данных.
Радиоканал
В качестве дополнительного интерфейса, а также для связи с устройствами, подключенными к изолированным электросетям или не подключенными к ним вообще, используется радиоканал в диапазоне 868МГц. Поскольку короткие волны диапазона 2.4ГГц хуже распространяются внутри помещений, а также еще на этапе начала разработки в нем уже было "довольно тесно" (а сейчас в городской черте там стало совсем печально) то выбор стоял в основном между 433 и 868МГц. Оба диапазона позволяли использование устройств общего назначения, так что делить эфир с китайской продукцией всевозможного назначения пришлось бы в любом случае, но 868МГц казался на тот момент более перспективным и в результате мы выбрали его, и как со временем оказалось — не ошиблись.
В отличии от PLC части, радиоканал на данный момент у нас реализован на готовом трансивере CC1200, производства Texas Instruments, но в будущем предполагается разработка собственной радиочастотной ИС в том числе и для данного применения.
После принятия соответствующего решения ГКРЧ в ПО модемов была добавлена поддержка десятка низкоскоростных (1.2-9.6 Кб/c) каналов в диапазоне 868,7-869,2МГц для передачи данных и двух высокоскоростных (125 Кб/c) канала в диапазоне 866-868МГц для настройки и обновления самих устройств.
Для передачи данных на физическом уровне в радиоинтерфейсе используется модуляция 2GFSK, для уменьшения ширины спектра и снижения внеполосных излучений. На физическом уровне используется FEC из стандарта IEEE 802.15.4 для повышения надежности работы канала связи. Систему каналов можно использовать как для сосуществования различных сетей на одном объекте, так и для локального разделения подсетей для снижения утилизации эфира и повышения общей пропускной способности сети.
Развертывание и проблемы
Все описанное выше разрабатывалось и тестировалось с положительными результатами на территории компании Миландр, но все самое интересное началось после установки пробных партий на реальные объекты.
В конце 2017 года была собрана первая опытная партия из нескольких PLC/RF модемов для установки в 17-этажный многоквартирный жилой дом в г. Томск. На момент отправки были некоторые опасения, касательно совместной работы с модемами квартирных радиомодулей, но реальность показала, что сложностей может оказаться больше, чем изначально предполагалось.
PLC
Теоретическая модель импеданса сети, предсказуемо не соответствует реальному сопротивлению электрической сети и степень этого несоответствия может достигать нескольких порядков на отдельных частотах.
Любой реальный объект — он "живой", на нем присутствуют люди, которые могут включать и выключать различное оборудование, и состояние среды передачи данных может значительно меняться в течении суток.
Наибольшую проблему для PLC сигнала представляют не помехи от использования бытовых приборов, а поглощение сигнала за счет входных емкостей импульсных блоков питания. В электрической сети с большим количеством ИИП уровень PLC сигнала довольно быстро опускается до отрицательных значений SNR, в таких условиях полезный сигнал еще можно вытащить (за счет использования PSK) и восстановить (за счет кодов коррекции), но даже при этом доля поврежденных пакетов начинает довольно быстро составлять более 50%.
Электрическая сеть имеет распределенную структуру и сигнал отлично без искажений проходящий бухту кабеля 300м может легко не пройти по стояку из подвала до 10 этажа обычного многоквартирного дома.
В электрической сети объекта уже могут быть PLC устройства, использующие различные диапазоны спектра и типы модуляции (например S-FSK).
RF
Существующие модели могут с неплохим приближением описать поведение радиосигнала на открытой местности, но не в закрытых помещениях со сложной геометрией. В них основную роль начинают играть переотражения сигнала от стен и перекрытий и сложение прямых и отраженных сигналов и от фаз каждой из компонент сигнала зависит степень ослабления в каждой конкретной точке пространства. Теоретически хорошую точность должна показать многолучевая модель, но для таких расчетов необходимо иметь подробные планы каждого объекта, чем маловероятно что будут заниматься перед установкой приборов учета. Физически эффект замирания проявляется в том, что в помещении образуются области, в которых стабильный радиообмен затруднен или вообще невозможен.
Счетчики электроэнергии часто устанавливаются в этажные щиты учета на лестничных площадках, которые представляют из себя, наверное, худшие условия, в которые можно поместить оборудование, использующее радиоканал — железная дверь с передней стороны и железобетон конструкций или металлические стенки ящика с трех других сторон — идеальные условия, если не для экранирования сигнала, то как минимум для его множественных переотражений.
Состояние эфира в диапазоне 868МГц на одном из объектов
В целом мы столкнулись с теми проблемами, с которыми сталкивались большинство производителей приборов учета при начале промышленного производства и для которых не существует стандартного решения. Косвенно подтверждением наличия сходных проблем можно считать отзывы о наличии проблем с качеством связи у систем АСКУЭ других производителей.
Решения
Одним из лучших решений в плане радиоканала считалось решение на основе LoRa. Для наших устройств дальность стабильной связи на открытом пространстве достигала 5-7 км, максимальная была около 10 км, для LoRa заявлялись сходные характеристики. Но поскольку специфика систем АСКУЭ в большинстве случаев предполагает установку приемопередающих устройств в помещениях, то было проведено сравнение работы радиоканала для нашей системы, состоящей из УСПД Milan IC 02 и квартирного радиомодуля и системы на основе LoRa+LoraWAN, где в качестве шлюза использовался Tektelic KONA Micro, с датчиком Tektelic KONA Home Sensor. Мощность шлюза и УСПД была установлена на +25dBm, а обоих датчиков на +14dBm, трансиверы LoRa были настроены на режим SF7/125кГц, в нашей сети использовался канал 9.6Кб/c шириной 25кГц.
Результаты измерений показали, что в условиях внутри помещений LoRa, несмотря на более надежную CSS модуляцию и большую ширину канала, фактически сталкивается с теми же проблемами переотражения и затенения, что и наше решение. Фактически не удалось получить какого-то значимого преимущества в работе какой-то из систем в тестовых условиях.
Многие производители систем учета предлагают следующие способы в качестве решения проблем качества каналов:
Установка дополнительных шлюзов и базовых станций.
Установка ретрансляторов PLC или RF сигнала.
Использование датчиков или приборов учета в качестве ретрансляторов.
Конечно, с точки зрения покупателя системы первый способ является наихудшим решением, так как ведет к дополнительным затратам. Классическая ретрансляция, реализуемая повторной отправкой принятых пакетов, проста в настройке, но значительно увеличивает нагрузку на сеть, снижает полезную утилизацию канала (при повышении общей), и при неправильной настройке может приводит к широковещательным штормам.
В качестве альтернативны было выбрано решение с честной маршрутизацией пакетов через модемы, установленные в приборы учета. Это позволяло аккуратно и надежно настроить маршруты пакетов до устройств, прямая связь с которыми была недостаточно стабильна или полностью отсутствовала. Для 17-этажного одноподъездного дома, служившего тестовым объектом, максимальная цепочка составила три промежуточных устройства между УСПД и опрашиваемым прибором. Добавление маршрутизации позволило почти полностью решить проблемы со связью с дальними от УСПД устройствами. Конфигурация модемов проводилась при помощи УСПД удаленно, постепенно записывая дерево маршрутов от ближних устройств к дальним.
Несмотря на то, что использование статической маршрутизации помогло повысить надежность каналов связи, оно было все равно промежуточным решением, так как требовало от операторов управляющих компаний знания или анализа структуры настраиваемых объектов. Помимо этого иногда приходилось сталкиваться с ситуациями, когда жильцы, уезжая на отдых, полностью отключали приборы учета установленными перед ними рубильниками/автоматами. В случае, когда такой прибор был промежуточной точкой в маршрутах для устройств, установленных выше, это приводило к потере связи сразу с целыми сегментами сети.
Поэтому параллельно с испытаниями в компании Миландр, совместно с компанией Астрософт велась разработка обновленной версии системы, основанной на отечественной ОСРВ и использующей динамическую маршрутизацию. В качестве алгоритма маршрутизации стандартом 6LoWPAN (который мы в том числе начали реализовать) предлагалось использовать алгоритм реактивной маршрутизации LOADng. Классические алгоритмы проактивной маршрутизации, применяемые в компьютерных сетях требуют регулярного обмена пакетами между каждой парой связанных устройств в сети. Поскольку сейчас реализация компьютерных сетей связи в домах уже почти однозначно ассоциируется с технологией Ethernet и витой парой, а также типом связи устройств точка-точка (порт-порт), то кажется что что проблем с поддержкой регулярного обмена пакетами не будет. Но если вспомнить, что оба используемых нами интерфейса представляют из себя общую среду передачи данных, разделяемую между всему устройствами в зоне видимости (в том числе и не принадлежащими к нашей системе), то возникает закономерный вопрос — не превысит ли трафик накладных расходов на поддержание сети трафик полезных пакетов с опросом приборов учета.
Одной из дополнительных задач для автоматизации было добавление приборов учета и датчиков в УСПД для периодического опроса. В большинстве систем АСКУЭ это возможно сделать только вручную, занеся в базу данных информацию о приборе, месте его установке, параметрах, и т. д. В нашей системе была добавлена возможность для автоматической регистрации и обнаружения устройств в сети. После включения модем запрашивает у связанного с ним прибора учета его параметры (название, тип, серийный номер) и начинает активное сканирование эфира, отправляя на выбранном канале (или каналах) запросы поиска соседних устройств. После чего происходит попытка подключения к каждой из обнаруженных сетей. При совпадении ключей и прохождении фильтрации по белым/черным спискам устройств на УСПД устройство получает логический адрес в сети и привязывается к УСПД как к координатору. При этом на УСПД появится вся информация о приборе учета и оператору будет нужно только привязать его в ручном режиме к реальному месту установки и потребителю при необходимости.
В гетерогенной сети помимо устройств с PLC/RF модемами могут также присутствовать устройства только с RF интерфейсом и с автономным или низковольтным питанием, как например квартирные радиомодули (счетчики импульсов, подключаемые к счетчикам воды, газа и тепла с импульсным выходом), датчики температуры и влажности, газосигнализаторы и т. д.
Для устройств с автономным питанием основной задачей, помимо собственно учета, является сохранение заряда батарей. Это накладывает ограничения на время работы радиомодуля даже в режиме приема, поэтому большую часть времени радио трансивер устройства находится в спящем режиме и включается только раз в определенный период для опроса показаний. Такой режим работы накладывает дополнительные требования к синхронизации времени между устройствами, так как оно неизбежно будет «уплывать» из-за погрешностей кварцевых резонаторов и сбиваться при замене элементов питания. Для решения данной задачи на канальном уровне был добавлен протокол MTP, являющийся легковесном аналогом общеизвестного алгоритма PTP. Каждое устройство раз в определенный интервал времени делает широковещательные рассылки со своим текущим временем и отдаленностью часов от координатора (stratum). Узлы сети, выбирают устройство с наименьшими удаленностью и разбросом времени и добавляются в дерево после них, становясь следующим слоем источников времени.
В обычном режиме система работает под управлением УСПД, который поочередно по графику опрашивает все датчики и приборы учета, но иногда устройствам необходимо асинхронно передать информацию к координатору, например о превышении допустимых значений, вскрытии корпуса устройства или снижении уровня заряда батарей. Можно было бы использовать выбранный ранее подход с реактивной маршрутизацией, но это добавило бы дополнительную задержку перед отправкой пакета и увеличило накладные расходы на асинхронный поиск маршрута. Но ведь в результате работы MTP у нас же уже фактически есть в каждом устройстве запись о следующем «прыжке» до координатора, которую можно использовать. Таким образом мы приходим к используемому в текущей версии модемов алгоритму ARRDP. При обращении от УСПД к устройствам используется реактивная маршрутизация, которая одновременно находит устройство по его логическому адресу (аналог ARP) и строит маршрут для него с учетом состояния PLC и RF сред. При обратном обращении, от устройств к УСПД, используется пассивная проактивная маршрутизация, использующая данные синхронизации времени для быстрой отправки пакетов, но возможно не по самому оптимальному маршруту. Применение данного подхода позволило решить большую часть проблем с надежностью каналов связи до устройств, удаленных от УСПД. Данное решение хорошо работает при плотном покрытие объекта устройствами учета, как например в жилых домах или бизнес центрах. Таким образом мы не изобрели «серебряную пулю», но создали стабильное решение для применения на большей части объектов требующих автоматизированных систем сбора данных.
Поскольку разработка системы и ее развертывание на объектах происходили параллельно, то был реализован механизм обновления модемов устройств без физического доступа к прибору и повреждения пломбировки. Так как модем является отдельным модулем, взаимодействующим с прибором учета, то его ПО не относится к метрологической части и изменение его версии (с изменением контрольной суммы) не требует повторной поверки прибора учета. Обновить ПО можно двумя способами: или используя протокол удаленной настройки и управления самого модема, посредством отправки маршрутизируемых IPv6 пакетов по гетерогенной PLC/RF сети или с использованием протокола управления канального уровня и отправки прошивки по одному из широких радиоканалов, что значительно быстрее, но требует физического нахождения рядом с обновляемым модемом.
Небольшой оффтоп об обновлении
На самом первом объекте мы столкнулись с ситуацией, когда после установки нашей системы учета управляющей компанией поставщиком электроэнергии были установлены вводные приборы учета, также использующие PLC в диапазоне CENELEC A, но с другой модуляцией (S-FSK) и с высокой утилизаций канала (более 50%). На тот момент ПО модемов не поддерживало изменение диапазона работы PLC, поэтому единственным решением было обновление прошивки всех приборов учета на объекте по каналам со скоростью в 1-10 Кб/с. Дополнительной сложностью было то, что при смене частотного диапазона PLC терялась совместимость с предыдущей версией, поэтому обновление было необходимо устанавливать, двигаясь от самых дальних приборов (с точки зрения маршрутов) к ближним. В целом процесс прошел успешно, но для сотни с небольшим приборов занял чуть более месяца.
Со стороны УСПД модем на уровне драйвера интегрирован в ОС Linux. Для обращения к устройствам на используются IPv6 адреса, включающие в себя серийный номер прибора. В УСПД модем представляется как сетевой адаптер, на который можно открыть обычный UDP сокет для обмена данными с устройствами. Для анализа сети можно использовать стандартные утилиты вроде traceroute, tcpdump, а настройки самого модема вынесены в sysfs.
Поскольку в ПО модемов также используется модульный подход, то их можно легко переконфигурировать под нужды заказчика и для применения в других системах, кроме АСКУЭ, например в качестве одной из ветвей является версия для управления светофорами на перекрестках, где полностью отключены алгоритмы маршрутизации и подтверждения сообщений и изменены настройки алгоритма множественного доступа к среде для достижения гарантированного времени доставки пакетов.
Бонус для дочитавших
