Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Представьте задачу — в лесу пропали два человека. Один из них еще подвижен, другой лежит на месте и не может пошевелиться. Известна точка, где их видели последний раз. Радиус поиска вокруг нее — 10 километров. Получается территория площадью 314 км2. У вас есть десять часов на поиск с помощью новейших технологий.
Услышав условие в первый раз, я подумал: «пфф, подержите мое пиво». Но потом увидел, как передовые решения спотыкаются обо все, что возможно и невозможно учесть. Летом я писал, как около 20 инженерных команд пытались решить задачу в десятки раз проще, но делали это на пределе возможностей, и только четыре команды справились. Лес оказался территорией скрытых подвохов, где современные технологии бессильны.
Тогда это был лишь полуфинал конкурса «Одиссея», организованного благотворительным фондом «Система» — цель которого придумать, как модернизировать поиск пропавших в дикой природе людей. В начале октября в Вологодской области прошел его финал. Четыре команды столкнулись с той самой задачей. Я отправился на место, чтобы понаблюдать за одним из конкурсных дней. И в этот раз ехал с мыслью, что задача — нерешаемая. Но я никак не ждал увидеть «Настоящий детектив» для любителей DIY-электроники.
В этом году рано выпал снег, но если живешь в Москве и поздно просыпаешься, его можно не увидеть. То, что не растает само, сто процентов раскидают рабочие. Стоит проехать от Москвы семь часов на поезде и еще пару часов на машине — и увидишь, что зима на самом деле давно началась.
Финал проходил в Сямженском районе недалеко от Вологды. Рядом с лесом и деревушкой из трех с половиной домов организаторы «Одиссеи» разбили полевой штаб — большие белые шатры с тепловыми пушками внутри. Три команды уже провели поиски в предыдущие дни. О результатах никто не говорил, они были под NDA. Но по выражениям лиц складывалось впечатление, что никто не справился.
Пока к испытанию готовилась последняя команда, остальные участники выставляли на улице свое оборудование для красивых кадров местного телевидения, показывали и объясняли, как оно работает. Команда «Находка» из Якутии гремела маяками так, что журналистам, берущим интервью, приходилось делать паузы.
Они проходили испытание за день до этого, и им досталась самая худшая погода. Снег и порывистый ветер не позволили даже запустить беспилотник. Многие маяки не удалось расставить, потому что ломался транспорт. А когда наконец сработало одно из устройств — оказалось, что ветром повалило дерево, и оно придавило кнопку. Тем не менее, за командой следят с любопытством, потому что они самые опытные поисковики.
— У меня вся команда — охотники. Они давно ждали первого снега. Увидят следы любого зверя, точно его догонят. Мне их как сторожевых собак приходилось сдерживать, — говорит Николай Находкин.
Прочесывая лес пешком, они вероятно смогли бы найти и след человека, но такую победу им бы не засчитали — это конкурс технологий. Поэтому они полагались только на свои звуковые маяки с мощнейшим пробивным звуком.
Уникальный аппарат на самом деле. Видно, что его делали люди с большим опытом. Технически он очень прост — это обыкновенная пневмо-квакушка с модулем LoRaWAN и с развернутой на ней MESH-сетью. Ее слышно за полтора километра в условиях леса. У многих других такого эффекта не возникает, хотя уровень громкости у всех примерно одинаковый. Но правильно подобранная частота и конфигурация дают такие результаты. Мною лично был зафиксирован на дистанции примерно 1200 метров звук с очень хорошим пониманием, что это действительно звук сигнала.
Они выглядят самыми не технологичными, и при этом у них наиболее простое, надежное и очень эффективное решение, скажем так, но со своими ограничениями. Мы не можем взять и с помощью этих аппаратов найти человека, который находится без сознания, то есть эти изделия применимы только в очень узком диапазоне ситуаций.
- Никита Калиновский, технический эксперт конкурса
В наш день работала последняя из четырех команд — MMS Rescue. Это обычные парни, программисты, инженеры, электронщики, которые раньше никогда не занимались поисками.
Их идея была такой — с помощью нескольких беспилотников самолетного типа разбросать над лесом сотню-другую маленьких звуковых маяков. Они связываются в одну сеть, где каждая единица — ретранслятор радиосигнала, и начинают издавать громкий звук. Потерявшийся человек должен его услышать, найти, нажать кнопку и таким образом передать сигнал о своем местонахождении.
Беспилотники в это время ведут фотосъемку. Осенний лес днем почти прозрачен, поэтому команда рассчитывала засечь на фото лежачего человека. На базе у них была обученная нейросеть, через которую прогоняли все снимки.
В полуфинале MMS Rescue разбрасывали маяки обычными квадрокоптерами — для четырех квадратных километров этого было достаточно. Чтобы покрыть 314 км2, нужна армия коптеров и, наверняка, несколько точек для запуска. Поэтому в финале они объединились с другой командой, которая до этого выбыла из конкурса, и использовали их самолеты «Альбатрос».
Старт поиска назначили на 10 утра. Перед ним в лагере была страшная суета. Вокруг ходили журналисты и гости, участники таскали оборудование на техническую проверку. Их тактика засеять лес маяками перестала казаться преувеличением, когда они привезли и выгрузили все маяки — почти пять сотен штук.
— В основе каждого лежит ардуино, как это ни странно. Наш программист Борис сделал потрясающую программу, которая управляет всем навесным оборудованием, говорит Максим, участник MMS Rescue, — У нас стоит LoRa, плата собственного проектирования с навесным оборудованием, мосфеты, стабилизаторы, GPS модуль, аккумуляторная батарейка и 12 В-сирена.
Каждый маяк стоит около 3 тысяч, при том, что у ребят каждый рубль был на счету. На разработку и производство было всего два месяца. Для большинства членов команды проект MMS Rescue — не основное занятие. Поэтому они возвращались с работ и до глубокой ночи занимались подготовкой. Когда пришли запчасти, они вручную собирали и паяли все оборудование сами. Но технического эксперта конкурса это не впечатлило:
— Их решение мне нравится меньше всего. У меня есть большие сомнения, что они потом соберут те триста маяков, которые сюда притащили. Вернее как — мы их заставим собрать, но не факт что получится. Сам поиск, скорее всего, сработает если засеять таким количеством, но ни конфигурация сбрасывания, ни конфигурация самих маяков мне не понравилась.
— Технологи маяков уменьшает количество километров, пройденных ногами. Маяки, которые будут разбросаны сейчас, предполагают дальнейший поход по лесу для сбора. И это будет дистанция, которая не уменьшает количество человеческого труда. То есть сама технология — окей, но возможно надо додумывать тактику, как разбрасывать, чтобы потом было проще собирать — говорит Георгий Сергеев из Liza Алерт.
В двухстах метрах от лагеря команда, которая занималась беспилотниками, оборудовала площадку для запуска. Пять самолетов. Каждый взлетает с помощью рогатки, несет на борту четыре маяка, разбрасывает их примерно за 15 минут, возвращается и приземляется с помощью парашюта.
Пропавшие охотники
После старта поисков лагерь начал пустеть. Журналисты разъехались, организаторы разбрелись по шатрам. Я решил остаться на весь день и следить, как команда будет работать. Часть участников по-прежнему занималась контролем беспилотников, часть села в машину и поехала по лесу расставлять маяки вдоль дорог вручную. Максим остался в лагере, чтобы следить за тем, как разворачивается сеть и принимать сигналы от маяков. Он мне рассказал подробнее об этом проекте.
— Сейчас мы смотрим, как разворачивается сеть маяков, видим маяки, которые появились в сети, что с ними происходило, когда мы увидели их в первый раз, и что происходит сейчас, видим их координаты. Таблица заполняется данными.
— Сидим и ждем сигнала?
— Грубо говоря, да. Мы просто еще ни разу не разбрасывали по 300 маяков. Поэтому смотрю, как можно использовать данные с них.
— По какому принципу вы их разбрасываете?
— У нас есть программа, которая анализирует местность и считает, где нужно сбрасывать маяки. У нее свой набор правил — вот она смотрит в лес и видит тропинку. Сначала она предложит скинуть маяки вдоль нее, а потом уже пойдет в лес, потому что чем глубже, тем меньше вероятность, что человек находится там. Это практика которую озвучивали спасательные отряды и люди, которые терялись. Я недавно читал, что пропавшего мальчика нашли в 800 метрах от своего дома. 800 метров — не 10 км.
Поэтому сначала мы ищем максимально близко к вероятной зоне входа. Если человек туда попал, то он скорее всего еще там. Если нет, то мы будем по нарастающей расширять границу поиска. Система просто растет вокруг вероятной точки присутствия человека.
Эта тактика оказалась противоположной той, что использовали опытные поисковики из «Находки». Те наоборот рассчитывали максимальное расстояние, какое человек может пройти от точки входа, расставляли маяки по периметру, а затем смыкали кольцо, уменьшая радиус поиска. При этом маяки были расставлены так, что человек не может выйти за кольцо, не услышав их.
— Что вы разрабатывали конкретно для финала?
— У нас очень много чего поменялось. Мы проводили много тестов, замеряли разные антенны в условиях леса, замеряли расстояние проходимости сигнала. На предыдущих испытаниях у нас было три маяка. Мы разносили их пешком и крепили к стволам деревьев на небольшом расстоянии. Теперь корпус адаптирован под сброс с беспилотника.
Он падает с высоты 80–100 метров со скоростью 80–100 км/ч полета беспилотника, плюс ветер. Изначально мы планировали сделать форму корпуса в виде цилиндра с торчащим вверх крылом. Хотели разместить центр тяжести в виде батарей в нижней части корпуса, а антенна бы поднималась автоматически вверх, чтобы добиваться хороших показателей общения между маяками в условиях леса.
— Но не стали этого делать?
— Да, потому что крыло, в которое мы вставляли антенну, очень мешало самолету. Поэтому пришли к форме кирпича. Плюс пытались решить вопрос по питанию, потому что каждый элемент тяжелый, надо запихать в маленький корпус минимальную массу при этом сохранив максимальное количество энергии, чтобы маяк не сдох через час.
Дорабатывали программное обеспечение. 300 маяков в одной сети могут друг друга перебивать, поэтому мы делали разносы. Там большая комплексная задача.
Надо чтобы наши сирены в 12 В орали как надо, чтобы система прожила как минимум 10 часов, чтобы ардуино не перезагружалась, когда включалась LoRa, чтобы с пищалки не было наводок, потому что там стоит повышающее устройство, которое дает 40 В из 12.
— А что делать с лежащим человеком?
— К сожалению, никто на этот вопрос достоверный ответ не дал. Казалось бы, разумнее искать с собаками по запаху вдоль поваленных деревьев. Но оказалось, что собаки находят гораздо меньше людей. Если потерявшийся лежит где-то на буреломе, теоретически его можно заснять и распознать с беспилотника. У нас летают два самолета с такой системой, мы собираем данные в воздухе и анализируем на базе.
— Как вы будете анализировать фотографии? Все отсматривать глазами?
— Нет, у нас обученная нейросеть.
— На чем?
— На данных, которые мы сами собирали.
Когда прошел полуфинал, эксперты говорили, что для поиска людей с помощью анализа фотографий надо проделать еще очень много работы. Идеальный вариант, когда беспилотник анализирует снимки в реальном времени на борту с помощью нейросети, обученной на огромном объеме данных. В реальности командами приходилось тратить очень много времени, чтобы загрузить отснятые материалы на компьютер, и еще больше — на отсмотр, потому что по-настоящему рабочего решения тогда ни у кого не было.
— Сейчас местами используются нейросетки, при чем они развернуты как на персональных компьютерах, на платах Nvidia Jetson, так и на самих летательных аппаратах. Но все это настолько сырое, настолько недоученное, говорит Никита Калиновский, — как показала практика, применение линейных алгоритмов в данных условиях сработало гораздо эффективнее, чем нейросети. То есть определение человека по пятну на изображении от тепловизора с помощью линейных алгоритмов по форме объекта дало гораздо больший эффект. Нейросеть не нашла практически ничего.
— Потому что не на чем было учить?
— Утверждали, что учили, но результаты были крайне спорные. Даже не то что спорные — их почти не было. Есть подозрение, что их либо учили неправильно, либо учили не тому. Если правильно применить нейросетки в этих условиях, то скорее всего они дадут неплохой результат, но надо понимать всю методологию поиска.
— Мы недавно запустили историю с нейронкой Билайна, говорит Григорий Сергеев, — Пока я был здесь на конкурсе, эта штука нашла в Калужской области человека. То есть, вот — реальное применение современных технологий, это действительно полезно для поиска. Но очень важно иметь носитель, который долго летает и позволяет не мазать фотографии, особенно на рассвете и закате, когда света в лесу уже практически нет, но разглядеть что-то еще можно. Если оптика позволяет, это очень хорошая история. Кроме того, все экспериментируют с тепловизорами. В принципе, тенденция правильная и идея правильная — вопрос цены всегда беспокоит.
За три дня до этого, в первый день финала, поиски вела команда «Вершина» — пожалуй, самая технологичная из финалистов. Если все полагались на звуковые маяки, главным орудием этой команды был тепловизор. Найти рыночную модель, которая способна выдать хоть какой-то результат, доработать и настроить ее — все это было отдельным приключением. В итоге, что-то получилось, и я слышал восторженные перешептывания, как в лесу тепловизором нашли бобра и нескольких лосей.
Мне очень понравилось решение этой команды именно идеологией — ребята ищут техническими средствами не привлекая наземные силы. У них был тепловизор плюс трехцветная камера. Они искали только летаками, при этом нашли людей. Не буду говорить, нашли они того, кого нужно или нет, но находили и людей, и животных. Сравнивали по координатам объект на тепловизоре и объект на трехцветной камере, и определяли что это именно по двум изображениям.
У меня есть вопросы по реализации — синхронизация тепловизора и камеры была сделана небрежно. Идеально система работала бы, будь в ней стереопара: одна монохромная камера, одна трехцветная, тепловизор, и все работают в единой системе времени. Здесь же этого не было. Фотоаппарат работал в одной системе, тепловизор — в отдельной, и у них возникали из-за этого артефакты. А будь скорость летака чуть повыше, это дало бы уже очень сильные искажения.
- Никита Калиновский, технический эксперт конкурса
Категоричнее всего про тепловизоры высказывался Григорий Сергеев. Когда я летом спрашивал его мнение об этом, он сказал, что тепловизоры — это просто фантазия, и за десять лет поисковый отряд ни разу никого с их помощью никого не нашел.
— Сегодня я вижу падение цены и появление китайских моделей. Но пока это все равно дико дорого, уронить такую штуку в два раза больнее, чем сам беспилотник. Тепловизор, который может что-то прилично показывать, стоит больше 600 тысяч. Второй мавик стоит около 120. Причем беспилотник уже может что-то показать, а для тепловизора нужны конкретные условия. Если за один тепловизор мы можем купить шесть мавиков без тепловизора, естественно мы будем действовать мавиками. Фантазировать, что мы найдем под кронами кого-то не стоит — мы никого не найдем, кроны не прозрачны для теплика.
Пока мы все это обсуждали, в лагере не было особой активности. Взлетали и садились беспилотники, где-то в дали лес обрастал маяками, но сигналов с них не поступало, хотя прошла уже половина отведенного времени.
На шестом часу я заметил, что ребята стали активно переговариваться по рациям, Максим засел за компьютер, очень встревоженный и серьезный. Я старался не лезть с расспросами, но через несколько минут он подошел ко мне сам, тихо выматерился. С маяков пришел сигнал. Но не с одного, а сразу с нескольких. Спустя время сигнал SOS трубили уже больше половины единиц.
Я бы в такой ситуации подумал, что это проблемы с ПО — не может же одинаковая механическая неисправность вылезти одновременно на таком количестве устройств.
— Мы прогоняли тесты двести раз. Никаких проблем не было. Это не может быть ПО.
Через несколько часов база была переполнена ложными сигналами и кучей ненужных данных. Если хоть один из маяков сработал по нажатию, как его определить у Макса не было идей. Тем не менее, он сел и стал вручную перебирать все, что приходило с устройств.
Теоретически, настоящий потерявшийся мог бы найти маяк, взять его с собой и пойти дальше. Тогда, возможно, ребята бы засекли передвижение на одной из единиц. Как поведет себя статист изображающий потерявшегося? Тоже возьмет или пойдет на базу без устройства?
Около шести часов в штаб прибежали ребята, которые занимались беспилотником. Они сгрузили фотографии и нашли на одной из них очень четкие следы человека.
Следы проходили тонкой полоской между деревьев и скрывались за пределами фотографии. Ребята посмотрели на координаты, сопоставили фото с картой и увидели, что она находится на самом краю их зоны полета. Следы уходят на север, туда, куда беспилотник не полетел. Фотография была сделана больше пяти часов назад. По рации кто-то спросил, который час. Ему ответили: «сейчас время нашего пролета».
Макс продолжал копаться в базе и обнаружил, что все маяки начинали сигналить через одно и то же время. В них было заложено нечто вроде отложенной активации. Чтобы кнопка не сработала во время перелета и падения, ее деактивировали на время доставки. То есть, маяк должен был ожить и начать издавать звуки через полчаса после вылета. Но вместе с активацией у всех срабатывал и сигнал SOS.
Ребята достали несколько маяков, которые не успели отправить, расковыряли, начали перебирать всю электронику, пытаясь найти, что могло пойти не так. А пойти не так могло многое. Когда электронику тестировали, она еще не была упакована в корпус, который мог выдержать сброс. Решение было найдено довольно поздно, поэтому несколько сотен маяков собирали руками в последний момент.
Макс в это время перебирал вручную все сообщения от маяков в базе. До конца поисков оставался один час.
Все нервничали, я тоже. Наконец, Макс вышел из шатра и сказал:
— Напиши там в своей статье, чтобы никогда не забывали экранировать.
Разобрав несколько маяков, парни зацепились за теорию. Поскольку корпус для маяков появился очень поздно, всю электронику приходилось упаковывать компактнее задуманного. А из-за того, что времени поджимало, ребята не успели экранировать провода.
Через несколько минут в базе нашелся сигнал с устройства, которое сработало намного позже остальных. Этот маяк был доставлен в лес не на беспилотнике, ребята принесли его сами и привязали к дереву рядом с одной из дорог. Сигнал с него поступил в полвторого, а сейчас на часах была уже половина восьмого. Если кнопку и правда нажал статист, то из-за шума сигнал от него не могли распознать несколько часов.
Тем не менее, ребята воспряли духом, быстро выписали координаты маяка и время активации и тут же побежали фиксировать находку.
На кону стояло многое, и технические эксперты отнеслись к находке с недоверием. Как среди кучи сломанных маяков, мог найтись один сработавший по-настоящему? Ребята второпях пытались объяснять.
— Давайте на шаг назад вернемся. Замена корпуса привела к тому, что у вас перестали работать сигналы после падения?
— Не совсем так.
— Это связано с корпусом?
— Это связано с тем, что кнопка SOS срабатывала до того момента, как должна срабатывать.
— Она активировалась при падении?
— Не при падении, а при срабатывании звукового сигнала. Звуковой сигнал давал пик-пик, 12 В преобразовывались в 40 В, давалась наводка на провод, и наш контроллер думал, что кнопка нажата. Это пока предположения, но очень похоже на правду.
— Очень странно. Не может она давать такие наводки. Я сильно сомневаюсь. Причина ложных срабатываний с точки зрения схемотехники?
— Я сейчас объясню, все просто. Раньше корпус был шире и расстояние между элементами было больше. В данный момент некоторые провода, в том числе провод от кнопки, проходят непосредственно рядом с вот этой штукой.
— Это трансформатор?
— Да. И не только с ним. Он поднимает на 40 В, это повышайка. Еще рядом находится антенна 1 Вт. При передаче мы получаем определенное сообщение, и тут же оно переходит в состояние SOS.
— Кнопка как у вас завязана на проц?
— Просто на GPIO повесили, с подтяжкой нижней.
— Вы повесили кнопку напрямую на порт, подтянули ее вниз и любой сигнал, который по ней проходит, сразу запрыгивает наверх, так?
— Ну, получается так.
— Тогда похоже на правду.
— Я тоже уже понял, что надо было тянуть не так.
— Не пробовали заматывать провода фольгой?
— Пробовали. У нас есть несколько таких маяков.
— Хорошо, вы увидели, что когда сигналы идут по гудку, и когда идет сигнал по антенне, у вас …
— Не совсем так. Не когда идет сигнал по гудку, а когда наступает время активации маяка. Кнопка отсечена, для того чтобы она случайно не нажалась об ветку или еще что-то там, когда летит в самолете. Там определенная временная задержка. Когда приходит время включения, активации кнопки, то включается весь маяк, как будто взяли и сомкнули ему питание. Никаких задержек, ничего, все элементы начали сразу подниматься и работать, и в этот момент происходит срабатывание кнопки.
— Почему тогда не все так срабатывают?
— Потому что есть погрешность.
— Тогда следующий вопрос. Сколько изделий работали по ложным срабатываниям? Больше половины?
— Больше.
— Как из них вы вычленяли один, который подали как координаты пропавшего?
— Наш капитан поехал на машине в наиболее вероятные зоны и разносил маяки вручную. Он взял коробку, в которой была отдельная партия маяков, и фактически расставил те маяки, у которых не было такой погрешности. Мы провели аналитику данных, которые собрали, вычленили из всех, которые не начали кричать SOS в то время, когда он должен активироваться и вышли на маяк, который начал кричать SOS гораздо позже, чем 30 минут.
— Допускаете ли вы что там сначала не было ложного срабатывания, а потом оно могло появиться?
— Ну вы знаете, больше 70 минут с момента оживления маяка он простоял. Мы проанализировали координаты — это недалеко от места, где по легенде появился человек.
За полчаса до конца поисков у команды, наконец, приняли координаты пропавшего. Похоже было на реальное чудо. В лесу гора маяков, больше половины сломались. Хуже того, половина маяков из той партии, что расставляли вручную — сломалась тоже. И на территории в 314 квадратных километров, усыпанной сломанными маяками, статист нашел рабочий.
Требовалось только это проверить. Но команда пошла праздновать возможную победу, а я, после одиннадцати часов на холоде, мог со спокойной душой покинуть лагерь.
21 октября, примерно через неделю после испытания, мне пришел пресс-релиз.
По итогам финальных испытаний проекта „Одиссея”, направленного на разработку технологий эффективного поиска пропавших в лесу, лучшим технологическим решением была признана комплексная система радиомаяков и беспилотных летательных аппаратов команды «Стратонавты». Все разработки, представленные в финале, были доработаны на средства грантового фонда АФК „Система” в размере 30 млн рублей.
Кроме Стратонавтов перспективными признали еще две команды — «Находку» из Якутии и «Вершину» с их тепловизором. «До весны 2020 года команды совместно с отрядами спасателей будут продолжать тестировать свои технические решения, участвуя в поисковых операциях в Московской, Ленинградской областях и Якутии. Это позволит им доработать свои решения под конкретные задачи поисков», — пишут организаторы.
MMS Rescue не упомянули в пресс-релизе. Координаты, которые они передали, оказались неверными — статист не находил этот маяк, и ничего не нажимал. Все-таки, это было очередное ложное срабатывание. И поскольку идея со сплошным засеиванием леса не нашла отклика у экспертов, от нее отказались.
Но и Стратонавты тоже не справились с задачей в финале. Они были лучшими и в полуфинале. Тогда на площади 4 квадратных километра команда нашла человека всего за 45 минут. Тем не менее эксперты признали их технологический комплекс лучшим.
Возможно, потому что их решение — золотая середина между всеми остальными. Это аэростат для связи, беспилотники для съемки, звуковые маяки и система, которая в реальном времени отслеживает всех поисковиков и все элементы в режиме реального времени. И как минимум эту систему можно брать и оснащать ей настоящие поисковые отряды.
— Поиск сегодня — это по-прежнему каменный век с редкими вспышками чего-то нового, — говорит Георгий Сергеев, — Разве что ходим мы не с обычными факелами, а со светодиодными. Мы пока еще не на том этапе, когда по лесу ходят человечки из Boston Dynamics, а мы курим на опушке и ждем, когда они принесут нам пропавшую бабушку. Но если не двигаться в эту сторону, не двигать всю научную мысль, ничего и не будет. Надо будоражить сообщество — нам нужны думающие люди.
