Беспилотники это круто. Можно было бы сотый раз рассказать, во сколько раз они сделают мир лучше, но вы скорее всего это уже слышали. На протяжении лет, в течении которых мне посчастливилось работать в беспилотной или около беспилотной теме, у меня сформировался некоторый опыт, система оценки и в целом общий взгляд на эту отрасль, которыми я бы хотел поделится в этой статье.
Вам не кажется, что термин «беспилотник» не совсем корректен? Движение автомобиля обеспечивается двумя большими компонентами: ведомая часть - собственно транспортное средство (ТС); ведущая часть - система принятия решений в том или ином виде, или другими словами «пилот». Быть «без пилота» значит быть только ведомой частью, т. е. ТС в состоянии покоя. Да и Self Driving переводится далеко не как «беспилотник». Мне гораздо ближе термин «автопилот».
Пилот это система принятия решений (СПР). В общем случае СПР функционирует по следующей схеме: поступающая на вход вычислителя информация обрабатывается для формирования оценки обстановки, результат оценки определяет решение по управлению ТС, решение трансформируется в физическое выполнение на уровне шасси.
Все виды пилотов на сегодняшний день можно разделить на следующие категории:
Человек (human pilot)
Человек и Автопилот (combi pilot)
Автопилот (auto pilot)
Что такое человек пояснять не нужно. Человек и автопилот (комбинированная СПР) — тоже всем давно знакомо — обычный автомобиль с продвинутыми функциями помощи вроде: автоматического парковщика, адаптивного круиз контроля и прочее, в такой комбинации автопилот принято называть ассистентом, но для меня ассистент и автопилот в данном контексте синонимы. Комбинированная система принятия решений требует прямого активного участия человека в любой фазе функционирования.
Автопилот. Обычно все делят системы по принципу «есть человек — ADAS, нет человека — Беспилот». Это не совсем правильно, особенно с точки зрения технической части. Сейчас просто условимся: все, что может принимать полный набор решений по управлению ТС (старт, стоп, езда, маневрирование), является чистым автопилотом.
Как оценить автопилот
Достаточно оценки 3 характеристик, чтобы более менее адекватно получить общую оценку качеству автопилота:
Дисрейт (disengagment rate, takeover rate)
Удельная стоимость масштабирования
Удельная стоимость инфраструктуры
Удельная стоимость инфраструктуры: сколько стоят сенсоры, вычислители и прочее дополнительное оборудование на одну единицу ТС, сколько все это потребляет, сколько стоит инфраструктура и человеко-часы обслуживания на единицу ТС.
Удельная стоимость масштабирования: сколько будет стоить заставить автопилот успешно функционировать на новом километре дороги (или площади если хотите).
Дисрейт — самый сложный для оценки и важный показатель, который суммарно характеризует качество принимаемых решений автопилотом, обычно измеряется в количестве отказов на один километр пройденного пути. Мечта каждого разработчика достичь нулевого значения. Есть ещё один очевидный нюанс: чем меньше значение дисрейта, тем больший пробег нужен чтобы подтвердить его корректность.
На практике отказ (единичный сбой) может быть отнесён к одной из следующих категорий:
1. Аппаратный отказ: что то зависло, сгорело, отвалился провод, баги в ПО и т.д. С аппаратными отказами относительно просто — их можно различными методами конечной стоимости свести к минимуму (оптимальный и надёжный технический дизайн)
2. Неоднозначность: автопилот, делая оценку, считает что что-то пошло не так, но не может понять что именно или может, но не способен принять однозначное решение. Неоднозначность это конечно грустно, но терпимо, можно всегда активировать сценарий безопасности — принять решение остановиться или призвать водителя вмешаться.
3. Ошибочное решение: самый опасный вид сбоя. Если вовремя не предотвратить — вероятность оказаться на первой полосе новостных таблоидов очень высока.
5 уровней автономности
Уровни автономности вещь хорошая, но кажется не особо практичная. Вносит больше недопониманий чем ясности, в основном из-за того, что не все понимают, что уровень в первую очередь относится к типу эксплуатации автопилота и все, но не к его возможностям. Для разработчиков автопилота, чьей целью является эксплуатация без водителя (в первую очередь роботакси и другие коммерческие перевозки) существует только один уровень — 5-ый, без вариантов. В тоже время 5-ый уровень имеет одно фундаментальное отличие от всех остальных — функцию управления в ТС в полном одиночестве выполняет автопилот, и за все его ошибки отвечает разработчик. У автопроизводителей в этом плане больше места для манёвра. Можно вполне себе удачно эксплуатировать, разрабатывать и совершенствовать свою систему автопилотирования, требуя при этом надзора от водителя. Примерно так поступает Тесла: то, что Илон Макс называет Full Self Driving его адвокаты называют ADAS 2-го уровня.
Строгая методология подсчёта дисрейта с последующим отнесением к тому или иному уровню автономности могла бы внести существенную ясность, но её нет, поэтому по сути есть всего два уровня: «можно без страховки» и «нужна страховка»
Вот как эта разница выглядит в реальной эксплуатации: клиент заказывает роботакси Waymo, роботакси начинает движение. На очередном правом повороте на дороге оказываются дорожные конусы, роботакси останавливается и ждёт.... Пассажир ждёт, проезд для других автомобилей затруднён. Проходит 10 минут, приезжает бригада помощи. Настройки автопилота жёстко «затянуты» на безопасность, ситуация которая легко решается человеком, становится непреодолимой для автопилота. Плохого в этом ничего нет, никто не пострадал, но: 1 если нет намерения держать огромный отдел адвокатов - приходится минимизировать риск за счёт строгой политики безопасности, что может негативно сказываться на юзер экспириенсе. 2 Долгий и дорогой цикл реакции на такие события. Пример сбоя в случае неоднозначности
Главное: автопилоты и там и там - одни и те же и выполняют они одни и те же действия: оценка - решение - управление. Качество их работы может быть разным, но разница обычно обусловлена подходами к технической реализации и качеством самой реализации, но никак не уровнем.
Техническая реализация
Существуют два основных подхода к решению задачи создания идеального автопилота: HD map и pure vision
Нестареющая классика - HD Map:
Наверное, каждый кто так или иначе интересовался темой беспилотников когда-нибудь слышал подобную фразу: «беспилотник должен знать где он находится, что вокруг него ....», и там же, скорее всего, упоминалось, что «знать где он находится нужно обязательно с околосантиметровой точностью». Так вот под «знанием где он находится» подразумевается как раз позиционирование в HD карте. HD карта это виртуальное 3D пространство привязанное к определенной местности реального мира. Она состоит из снятых лидарами облаков точек и размеченных внутри этих облаков объектов инфраструктуры (дороги, полосы, разметка, светофоры и прочее). Благодаря лидару и гитхабу можно как строить такие карты, так и впоследствии позиционироваться внутри этой карты. Именно эта фича считается «золотой», т.к. навигация и отслеживание окружающих объектов в такой карте относительно проста. Такой подход обычно ассоциируют с ездой по рельсам. Также элементами классического подхода являются: perception, planning, control, о которых обычно говорят в любой конференции любого разработчика автопилота. Есть устоявшееся мнение, что именно высокоточная локализация в HD картах и perception построенный на выполнении фьюжна (sensor fusion) с кучи сенсоров дает возможность реализовать автопилот для эксплуатации без водителя.
Pure vision
Адепты подхода pure vision решают задачу построения автопилота, решения которого генерируются по такой же схеме по которой их генерирует человек. Минимальный состав оборудования примитивный: камеры и вычислитель (глаза и мозг). Камеры предоставляют самый богатый источник информации об окружающем мире, и спорить с этим сложно, т.к. оптический сенсинг - эволюционный путь животного мира.
Первостепенная проблема (если не единственная) в том, что довольно сложно создать компьютерную систему, которая бы умела делать адекватную оценку оптической информации, которая на входе в вычислитель представляет собой однородный набор разноцветных точек (пикселей). Большинство участников отрасли считают что из-за отсутствия сенсоров с измерением дистанции (лидар, радар) и отсутствия высокоточной локализации в ближайшей перспективе добраться до 5-ого уровня автономности если не невозможно, то очень трудно.
Кто прав?
У классического подхода есть неоспоримое преимущество: бОльшая часть его сенсинга — это лидар. Лидар на уровне физики может выдавать легкообрабатываемую компьютерной системой информацию — расстояние до ближайшего физического препятствия, с очень высокой точностью. Более того — не просто расстояние, а 3D координаты множества точек. Вместе, точки образуют облака, которые относительно легко поддаются компьютерной обработке и делают решения целого ряда нетривиальных проблем, в первую очередь детекцию объектов, менее сложной. Второй задачей лидара является локализация в HD карте. И тут есть проблема — это не масштабируется. По крайней мере на конец 2021 года. Чтобы автопилот работающий по классической схеме мог функционировать ему нужно построить HD карту, т.е. куда бы не пришлось ехать - дорога и окружение должно быть предварительно оцифровано. Более того - карты должны быть релевантны изменениям местности. Нетрудно предположить, что цена масштабирования будет в лучшем случае линейной, в худшем — будет расти с увеличением площади покрытия с усилением. Почему многие компании (почти все) продолжают работать в этом направлении? Потому что с одной стороны — не смогли / не поверили / посчитали недостаточно надёжным pure vision, с другой — отрасль ещё достаточно молода и наверняка будут придуманы решения, которые позволят снизить стоимость масштабирования до приемлемого уровня.
По поводу неоспоримой надёжности классического подхода и вообще HD карт — я уже упоминал, что если речь идёт о HD картах то паровозиком за картой идёт околосантиметровая точность позиционирования, а следом тащится синхронизация всех сенсоров и вообще всего Бытия до миллисекунд. Обычно это все подаётся под соусом сверх безопасности: «чем точнее локализация, тем надёжнее» или «на скорости 100 км/ч автомобиль за 100 мс проезжает 2.7 м - это очень много и небезопасно» и прочее. Если смотреть с практической стороны - трейдофф получается слишком невыгодный, цена реализации и поддержки заоблачная при том, что кейсов в которых будет решать именно миллисекундная синхронизация и сантиметровая локализация - критично мало, высокая инертность системы автомобиля и законы физики сводят на нет погоню за миллисекундами. Представьте что человек, который никогда не водил машину, сел за руль и поехал по городским дорогам. И у него идеальное зрение и время реакции. Вопрос - как долго он сможет проехать без прошествия? Скорее всего недолго, потому что мало видеть - нужно уметь правильно оценивать ситуацию вцелом и иметь навык принятия оптимальных, безопасных решений. Так же под безопасность гребут обилие сенсоров: чем больше сенсоров - тем безопаснее. Опять же — человеку встроили лидар и ещё пару глаз — его езда станет в 2 раза безопасней? Маловероятно. Большая часть ДТП происходит не потому что у человека не хватает сенсоров, а из-за того, что либо система «оценка - решение» работает недостаточно качественно (случай с водителем новичком) либо банально из-за увеличенного времени реакции на ситуацию (смотреть ютуб за рулём - зло). С теоретической же стороны все гораздо проще: до тех пор пока нет другого альтернативного решения с которым можно провести сравнение можно подавать любой подход под любым соусом.
Лидеры классического подхода на сегодня: Wyamo и Appolo Go. По количеству локаций и поездок на первом месте Appolo Go, которое запустило тестирование роботакси в четырёх городах Китая. Планы тоже вдохновляющие - в следующие пару лет развернуться в 60 городах. Пока они катают со страхующим водителем (вроде бы). Помню золотые времена, когда Waymo тоже строили грандиозные планы по масштабированию флота до 60 000 автомобилей через несколько лет, но, к сожалению, на сегодняшний день они далеки от задуманного - флот насчитывает всего 700 авто. Waymo единственные кто тестирует роботакси без водителя за рулем, но у них на протяжении уже несколько лет всего одна тестовая зона. (Интересные статьи по поводу Waymo и оценки их развития - тут и тут)
Разобрались - классический подход относительно прост, практически не масштабируем, дорог, требует непростой инфраструктуры, но стэк его работы вполне понятен и реализуем и строится на известных человечеству технологиях.
В случае pure vision стоит супер нетривиальная задача, которой ранее никто не занимался, или занимался, но успеха не достиг. Но нам с вами повезло, есть человек который как раз таки специализируется на том, чтобы реализовывать и доводить до повсеместного применения проекты, которые ранее считались как минимум невыполнимыми, как максимум - безумными.
Tesla FSD
Pure vision гораздо более сложный подход в общем инженером смысле. Задача научить искусственный интеллект принимать такие же решения какие принимают лучшие водители основываясь в первую очередь только на оптической информации поступающей с видеокамер и не имеющей привязки к какой либо системе позиционирования.
Такой подход в разработке своего автопилота (FSD - Full self driving) применяет Тесла. И летом этого года Тесла серьёзным образом изменила правила игры. О чем идёт речь: как мы обычно получаем информацию об прогрессе игроков отрасли? Новости, статьи, ежегодные конференции проводимые разработчиками, на которых в основном рассказывают одно и то же, редкие, если не сказать - единичные - видео на ютубе, на которых с высоты птичьего полёта в красивой перспективе показывают как беспилотники бороздят просторы тестовых локаций. Нам с вами не остаётся ничего другого как надеяться, что подаваемая информация полна и корректна. В августе 2021 года Тесла провела свою конференцию - Tesla AI day, на которой представила свой стэк решения проблемы создания автопилота будущего. Стэк потрясный, вместе с тем сложный, направлен в первую очередь на получение обобщённого решения автопилотирования, т.е. ожидается, что где бы автопилот не оказался - независимо оказался он там первый раз или в сотый - он должен принимать решения, такие же какие бы принимал высококлассный водитель. Помимо самой конференции случилось, на мой взгляд, более важное событие - программа тестирования FSD стала доступна общественности! Владельцы Тесел с driving score 100 (рейтинг безопасного вождения) были допущены к тестированию FSD Beta на своих автомобилях в открытом мире. И это не бесплатно! Какая ирония - 1000 пользователей, желающих использовать FSD, платят Тесле 200 долларов в месяц за эту возможность. Релизы FSD выходят стабильно каждые 2-3 недели, по принципу 2 шага вперёд 1 шаг назад. Пользватели каждый день выкладывают в сеть видео с демонстрацией работы FSD и то что в них происходит по-настоящему впечатляет. Кстати, буквально несколько дней назад CEO Cruise (беспилотное подразделение GM) Дэн Аман покинул свой пост, как думаете, связаны ли эти события? (FSD против Waymo #1 #2)
Что есть Tesla FSD в цифрах:
~1М авто, на которых уже установлено оборудование для FSD
~1К активированных FSD (на октябрь 2021)
+2M авто к концу 2022 года
Супер компьютер DOJO ExoPOD в 2022, создаваемый специально под задачу увеличения пропускной способности пайплайна обучения FSD. Материалы по DOJO тут и тут
Кто то хочет посчитать сколько километров в открытом мире накатает Тесла в следующем году?
Безопасность
На сегодня говорить о 0-ом дисрейте пока рано, в ближайшей локальной перспективе это недостижимо. Именно этот факт на мой взгляд больше всего тормозит применение автопилотов без водителя. Предположить, что будет в случае серьёзного ДТП с участием автопилотируемой системы не сложно, все знают что произошло с Боингом в 2018 году. Мы тут, конечно, не про авиационные масштабы, но тем не менее — безопасность всегда на первом месте. В то же время, Илон Маск в своих интервью говорит о том, что основная задача FSD - снижение количества смертности при ДТП и что если FSD в 10 раз снизит аварийность на дорогах это будет ошеломительный результат. Но при этом 90% человек, которые из-за FSD не попали в ДТП и не пострадали - не скажут вам спасибо, они просто не будут в курсе того, что живы и здоровы благодаря автопилоту. Те же кто попадёт в 10% пострадавших - обязательно будут с вами судиться. Теперь заявление Теслы о том, что FSD является ADAS'ом 2 ого уровня звучит немного иначе, верно?
Мой прогноз на десятилетие
Если вдруг случится популяризация роботакси в мировом масштабе, то доминировать на этом поле будет Тесла или технологии автопилотирования от Теслы. Не исключено, что разработчики классического подхода тоже займут место под солнцем, в худшем случае - это будет сбор крошек со стола золотыми ложками, в лучшем - технологии не стоят на месте и возможно в скором времени случится прорыв и подход который так быстро стал «классическим» станет снова мейнстримом. Но более вероятным мне всё-таки кажется что на примере FSD будут более активно развиваться системы автопилотирования для эксплуатации в личных автомобилях под надзором человека. Сейчас в Китае, на волне бума электро автомобилей, появляется много новых автопроизводителей, некоторые из которых идут по пути Тесла. Почему это хорошо - потому что до того как мы сядем в авто без водителя - система накатает по-настоящему большой пробег в открытом мире, который в конечном счёте будет самым качественным доказательством надёжности системы.
