Обзор команд полуфиналистов $10M ANA Avatar XPRIZE

Продолжаем обзор команд полуфиналистов $10M ANA Avatar XPRIZE - четырехлетнего международного соревнования по разработке дистанционно управляемых оператором роботов-аватаров, позволяющих переносить в любую точку пространства навыки и опыт человека.

На участие в соревновании, стартовавшем в 2018 году, было подано более 1800 заявок. В полуфинал вышли 38 команд. В прошлой статье мы рассказали о 20 командах (материал по ссылке), а с оставшимися 18 предлагаем ознакомиться сейчас.

Среди вышедших в полуфинал команд многие созданы на базе известных технологических компаний, университетов, научно-исследовательских институтов и лабораторий, а некоторые во многом благодаря поддержке спонсоров. Так, примерно треть команд организована при участии ведущих университетов мира:

• Команда Northeastern - Институт экспериментальной робототехники Северо-Восточного университета, США

• Команд iCub - Итальянский институт технологий (ITT) из г. Дженоа

• Команда proRobot  - Чешский Университет из г. Градец-Кралове

• Команда SNU - Сеульский национальный университет, Южная Корея

• Команда Aham –  Индийский Научный Институт в г. Бангалор

• Команда Synapse - Университета Васэда, Япония

• Команда NimbRo -  лаборатория Автономных интеллектуальных систем в университете г. Бонн, Германия

• Команда Sant’Anna - университет Scuola Superiore Sant’Anna из г. Пиза, Италия

• Команда Janus – японский  Национальный институт передовой промышленной науки и технологии (AIST) и французский Национальный Центр Науки (CNRS). 

• Команда Human Fusions объединяет исследователей из 5 университетов США: Университет Кейс Вестерн Резер (Case Western Reserve University), Калифорнийский университет в Лос-Анджелесе (UCLA), Государственный университет в Кливленде (Cleveland State University), Университет Карнеги Меллон (Carnegie Mellon University), Вайомингский университет (University of Wyoming).

• Команда Dragon Tree Labs - единственная команда из Восточной Европы, которая представит свою систему на полуфинальных испытаниях, также сотрудничала с исследователями из МФТИ (Лаборатория КДС и Лаборатория волновых процессов и систем управления) при реализации тестового сценария управления манипулятором робота

#1 1to1Robotics LLC - США

Компания 1to1 Robotics, LLC  разрабатывает роботизированные системы для коммерческого применения в сферах здравоохранения, промышленного контроля и безопасности. При этом основной специализацией является телеробототехника - управление полуавтономными роботами на расстоянии с использованием беспроводных сетей (Wi-Fi, Bluetooth, сотовые сети), сочетая телеуправление и телеприсутствие.

Продукты компании - роботы и технологии управления для сбора данных и взаимодействия робота-аватара с окружающим миром в режиме реального времени. Команда анонсировала разработку новой системы безопасности и наблюдения, как один из вариантов использования своего робототехнического решения, будь то осмотр объекта, визит к удаленному врачу или посещение удаленной локации.

#2 Northeastern  - США

Команда Northeastern из г. Бостон (одна из 10 команд от США) сформирована на базе Института экспериментальной робототехники Северо-Восточного университета.  Это одна из наиболее подготовленных команд, среди соперничающих в соревновании $10M ANA Avatar XPRIZE.

За основу своего аватара команда Northeastern взяла ранее разработанный манипулятор для промышленного робота. На этом видео представители команды рассказывают об особенностях работы над контроллером для электродвигателей манипулятора аватара, выполненного в формате экзоскелета, обеспечивающего оперативную обратную связь, необходимые точность и мощность в зависимости от исполняемого действия, будь то рукопожатие или перемещение тяжелого предмета

А это обзорное видео о достижениях студентов и преподавателей Northeastern. Способности робота Valkyrie демонстрируются с отметки 11.30. Далее показаны различные типы манипуляторов, включая управляемые для аватаров.

Темы исследований, проводимых в этом институте, а также достижения студентов постоянно привлекают внимание специалистов и широкой прессы. «Институт экспериментальной робототехники» специализируется на разработке роботов, способных обучаться и адаптивно повторять действия партнеров – людей или других роботов. Студенты и преподаватели регулярно становятся обладателями престижных наград на международных симпозиумах, выставках и конкурсах посвященных современным технологиям. 

Специалисты из университета Northeastern зарекомендовали себя при разработке робота Valkyrie для NASA. В одной из лабораторий этого университета работают над удаленно управляемым манипулятором для роботов, которых можно будет использовать для сбора образцов в сложных условиях, например, на дне океана.

#3 BellContinuous - США

Команда BellContinuous не разглашает в сети детали создаваемого аватара. Согласно официальному сайту компания разработала мобильное приложения для помощи водителям на дорогах.  

Стартап из Северного Техаса BellContinuous утверждает, что делает поездки более безопасными с помощью простой в использовании платформы My Buddy, The Good Backseat Driver. Контролируя задние фонари и стоп-сигналы движущегося впереди автомобиля, система безопасности предупреждает водителя при опасном приближении. Для обнаружения световых сигналов приложение использует штатную камеру iPhone и доступно для загрузки на Apple Watch и iPhone.

#4 Forged Droids - США

Команда Forged Droids создана на базе робототехнической компании, которая занимается разработкой фирменной технологии дополненной реальности SuitAR, а также промышленных манипуляторов и гуманоидных роботов (проект DroidHC).

Робот DroidHC может ходить и манипулировать объектами, как человек. Его рука имеет 4 пальца, а большой палец обладает 15 степенями свободы. Робот может выполнять сложные операции, используя обычные инструменты. Изначально он ориентирован на применение в производственной среде и призван заменить человека.

DroidHC имеет целый набор новейших тактильных датчиков и обладает способностью ощущать прикосновение в нескольких зонах своего тела и рук. Он может распознавать уровень усилия при внешнем воздействии и регулировать собственное прилагаемое усилие. Это необходимо для безопасности и точности взаимодействия. Набор датчиков отслеживает положение каждой части  DroidHC в режиме реального времени. 

Голосовая система распознает речевые сигналы с любого направления. Машинное зрение RGB с частотой 100 кадров в секунду в сочетании с усовершенствованными алгоритмами позволяет роботу воспринимать мир в режиме реального времени, разрабатывать более совершенные трехмерные модели и быстрее учиться. 

Команда Forged Droids стремится создать недорогую систему: человекоподобный робот, иммерсионная система управления и обучения, а также сервис обмена информацией по обучению. 

Команда верит, что такая роботизированная система обеспечит максимальную гибкость в автоматизации  выполняемых человеком задач, расширит перспективы автоматизации небольших производств и ускоренной кастомизации. Такое решение соответствует целям $10M ANA Avatar XPRIZE. Создаваемая система предоставит возможность удаленного управления роботом для экспертов, которые не могут путешествовать, а также работать в опасных для человека условиях. Команда планирует на примере выполнения роботом задач под управлением человека научить его автономным действиям и трансляции полученных знаний через систему Robotics as a Service (RaaS).

Спонсорами проекта DroidHC является несколько компаний, включая INFINEON – всемирно известного производителя электронных компонентов. 

#5 iCub - Италия

Одним из полуфиналистов ANA Avatar XPRIZE стала команда iCub, представляющая итальянский институт технологий (ITT) из г. Дженоа. Команду iCub в соревновании $10M ANA Avatar XPRIZE возглавляет Dynamic Interaction Control (DIC), исследовательская лаборатория, цель которой позволить роботам помогать людям и сотрудничать с ними при работе в опасных условиях, в своих исследованиях они развивают платформу iCub.  

Одноименному роботу iCub уже более 10 лет,  это робот-гуманоид размером с пятилетнего ребенка (рост 104 см) был разработан для исследований в области embodied AI. Он может ползать на четвереньках, ходить и сидеть, руки разработаны для поддержки сложных навыков манипулирования предметами. На данный момент более 40 роботов iCub используются для исследований в лабораториях Европы, США, Кореи, Сингапура и Японии. Это одна из немногих платформ, которая распространяется с открытым исходным кодом по лицензии GPL - репозиторий проекта (http://www.iCub.org). Платформа iCub приближает мечту - о личном роботе-гуманоиде в каждом доме.

Этот симпатичный гуманоидный робот-аватар способен повторять жесты и манипуляции с мелкими предметами, задаваемые удаленным оператором с помощью системы телеприсутствия. Перемещение, манипуляции и передача видеосигналов реализованы с использованием виртуализатора Cyberith и шлема виртуальной реальности Oculus rift.

Базовые возможности робота-аватара iCub представлены на этом видео:

https://dic.iit.it/storage/videos/iCub-telexistence-short-low.mp4

iCub не только достаточно уверенно держится на двух ногах, но и балансирует на одной. Добиться этого помогает массив датчиков под стопой ноги робота, который контролирует распределение усилий при движениях и перемещении iCub.

Акселерометры, гироскопы и 53 прецизионных электродвигателя позволяют роботу контролировать движения отдельных частей тела. При этом робот позволяет оператору видеть и слышать все что происходит вокруг. Система технического зрения позволяет iCub автономно анализировать объекты размером более 11,5 см.

Еще более расширяет возможности аватара система контроля усилий для захватываемых предметов. iCub сможет работать с хрупкими и нежными объектами, в безопасной манере взаимодействовать с людьми.

#6 SANT’ANNA TEAM - Италия

Одним из двух представителей Италии в полуфинале ANA Avatar XPRIZE стала команда Sant’Anna, созданная на базе университета Scuola Superiore Sant’Anna из г. Пиза. Команда Sant'Anna состоит из профессоров, исследователей и группы студентов. Они используют наработки дочерних  структур университета – Института технологий связи, информации и восприятия (TeCIP) и Института биоробототехники. В Лаборатории перцепционной робототехники (PERCRO) с 1993 года работают над проблемами дистанционной тактильной связи и экзоскелетов в системах виртуальной реальности. Исследовательское направление искусственных роботизированных рук специальной лаборатории SANT’ANNA получило спонсорскую поддержку 3.7 млн евро в декабре 2018 на 3-х годовой исследовательский проект от компании INPECO SA, работающей в области автоматизации медицинских лабораторий

Итальянская команда создает полугуманоидного аватара с двумя руками, обладающего расширенными возможностями манипулирования достаточно мелкими предметами. Эта система управления получила название Sully и разрабатывается специально для конкурса, на основе существующих узлов и конструкций для роботов-манипуляторов. На данный момент робот Sully представляет собой подобную торсу человека установку на мобильной платформе.  Платформа в виде колесной мобильной базы позволяет роботу вращаться вокруг своей оси и управляется оператором при помощи педалей. На платформу установлены датчики, предотвращающие столкновения при движении. 

Две ловкие механические руки и полноценный интерфейс экзоскелета верхних конечностей обеспечивают интуитивное дистанционное управление благодаря точной тактильной обратной связи. В этой экспертизе команде помогают наработки Wearable Robotics srl. Это дочерняя компания, выделившаяся из лаборатории  PERCRO. Она входит в число ключевых игроков на рынке реабилитации и технологий носимой робототехники. Экзоскелет Alex уже запатентован, как медицинское устройство для неврологической реабилитации верхних конечностей.

#7 Roboy - Германия

Немецкая компания Roboy занимается исследованиями и разработками в области робототехники с 2013 года. Это одна из наиболее многочисленных команд среди участников $10 M ANA Avatar XPRIZE.

Костюм, перчатки и видео-шлем совместно с системой ROBOY  EXOFORCE (симулятор внешних воздействий) передают оператору аватара Roboy ощущения виртуальной реальности. Для взаимодействия с роботом используется сеть мобильной связи 5G. Аватар Roboy слышит, видит, чувствует прикосновения

#8 NimbRo - Германия

Второй из двух немецких команд в полуфинале ANA AVATAR XPRIZE стала NimbRo, созданная на базе лаборатории Автономных интеллектуальных систем в университете г. Бонн. Организационно эта лаборатория входит в состав  Computer Science Institute VI. Команда NimbRo является с 2015 года участником различных соревнований среди роботизированных систем, включая DARPA Robotics Challenge 2015 (лучшая из европейских команд), Amazon Robotics Challenge, European Robotics Challenge.

Все успехи команды основаны на исследовательской работе, которая ведется в лаборатории и отражена в большом количестве публикаций на сайте https://www.ais.uni-bonn.de/. Основные области исследований – компьютерное зрение, картографирование и локализация, планирование передвижения и манипуляции, глубокое обучение.

NimbRo разработала интуитивно понятные роботизированные системы телеприсутствия для домашних услуг, исследования космоса и реагирования на стихийные бедствия. NimbRo принимает участие в работе над проектами: Гуманоидные футбольные роботы, Сервисные роботы, Исследовательские роботы, Воздушные роботы, Складские роботы, Глубокое обучение. 

NimbRo выиграла в 2017 году Международный конкурс робототехники MBZIRC Grand Challenge и Challenge 2. Футбольные роботы NimbRo выиграли множество соревнований RoboCup Humanoid League, включая все соревнования AdultSize в 2018 и 2019 годах.

 #9 Last Mile

Last Mile – одна из восьми японских команд в полуфинале ANA AVATAR XPRIZE. Эта немногочисленная команда (всего четыре члена и руководитель) на своем сайте больше ориентирована на решение национальных проблем Японии. В частности, это старение населения и сокращение численности рабочих рук. В связи с этим остро стоит проблема роботизации, которой и занимаются  специалисты из г. Осака. На сайте отмечается, «что технология дистанционного управления, позволяющая управлять роботами даже в космосе, является перспективным решением для смягчения проблемы неравномерного распределения населения по странам».

#10 Janus - Япония

Janus – это объединенная команда на базе лабораторий JRL (Joint Robotics Laboratory) и LIRMM (Laboratoire d'Informatique, de Robotique et de Microélectronique de Montpellier) из университета г. Монпелье. В свою очередь, JRL – это совместная лаборатория на базе японского Национального института передовой промышленной науки и технологии (AIST) и французского Национального Центра Науки (CNRS). 

Сотрудники этих лабораторий обладают обширными познаниями и опытом создания человекоподобных роботов. Они занимаются исследованиями в области тактильной обратной связи, нейроинтерфейсов («мозг — компьютер»), телеуправления и телеприсутствия.

 В качестве аватара команда Janus использует двуногого робота-гиноида HRP-4C, известного также как девушка-робот Миим. Разработкой этого робота ранее занимался AIST совместно с компанией Kawada Industries 

HRP-4C считается одним из наиболее человекоподобных роботов среди существующих сегодня во всем мире гуманоидных роботов. Он имеет естественную походку, может эффективно манипулировать объектами и распознавать мимику лица собеседника.

CNRS и AIST участвовали в проекте Евросоюза Virtual Embodiment and Robotic Re-Embodiment (VERE). Где станция телеприсутствия декодирует осциллограммы мозга оператора с целью  управления движениями аватара на большом расстоянии.

#11 H2L - Япония

Стартап  H2L (Happy Hacking Life) - образованный в 2012 году на базе Токийского университета, известен своими исследованиями и разработками в области тактильных датчиков. Этот японский hardware-стартап разрабатывает технологии для расширения возможностей человека, специализируется на haptic контроллерах. Экспертиза команды H2L - в отслеживании движений пальцев и электрических стимулов мышц. 

Продукты H2L трансформируют руку человека для контроля взаимодействия с объектами VR/AR, получая тактильные ощущения. "PossessedHand" вошел в рейтинг 50 лучших изобретений по версии журнала TIME. А коммерческая версия этого продукта - "UnlimitedHand" достигла целевого финансирования на Kickstarter всего за 22 часа. «FirstVR» был впервые представлен на выставке CES2018. В FirstVR используется технология активного зондирования, которая исследуется и разрабатывается с 2014 года как контроллер взаимодействия с объектами VR/AR. Надеваемый на руку FirstVR имеет 14-канальный массив оптических датчиков, который регистрирует смещения мышц. Это позволяет системе быстро обучаться распознаванию движений руки оператора, что значительно сокращает время настройки, и даже новички могут легко управлять объектами  VR/AR. 

Надеваемое на руку устройство UnlimitedHand имеет датчик движения для контроля и передачи роботу (аватару) положения руки оператора. Проприоцептивные ощущения при взаимодействии манипулятора аватара с объектом передаются оператору за счет механизма обратной связи и электрической стимуляции мышц, создавая имитацию тактильных ощущений и позволяя оператору почувствовать прикосновение к объекту.

Можно заметить, что все достижения стартапа  H2L хорошо вписываются в конкурсное задание ANA Avatar XPRIZE. Одним из полуфиналистов H2L стала, используя собственную технологию BodySharing​, обеспечивающую пользователю эффективный интерфейс для управления роботом. Составными компонентами BodySharing являются технологии FirstVR и UnlimitedHand.

Body Sharing повышает точность захвата манипулятором робота сложных объектов за счет передачи тактильных ощущений от аватара к оператору, который способен дозировать при удаленном управлении усилие мышц и положение пальцев своей руки.

#12 Robotics Services LLC  - США

Команда Robotics Services создана по инициативе Питера Хасса, заместителя директора программы  Инициативы по робототехнике, ориентированной на человечество в Университете Брауна, г. Провиденс, штата Род-Айленд, США, где он возглавляет междисциплинарные исследования в области искусственного интеллекта, робототехники и Интернета вещей. Подробностей о разрабатываемом аватаре на сайте команды пока нет.

#13 X:Presence - Япония

В команду X:Presence входят представители от нескольких технологических компаний и научно-исследовательских институтов, занимающиеся разработками в области роботизированных систем телеприсутствия, виртуальной (VR) и смешанной (MR) реальности, лазерного сканирования и голографии, а также программного обеспечения. 

На официальном сайте X:Presence нет детальной информации о разработках, лишь констатация фактов продвижения по этапам в ANA AVATAR XPRIZE.

#14 Kimaera Dynamics - Канада

Команда Kimaera Dynamics из г. Торонто сообщает на своем официальном сайте о продолжении работы над своим аватаром. Пока это вся информация, которая есть в открытых источниках, от единственного представителя Канады в полуфинале $10M ANA Avatar XPRIZE

#15 Junnichi Suko - Япония

https://robotavatarmaking.blogspot.com/ г. Токио. Команда не раскрывает подробности работы над своим аватаром

#16 Limitless - Швейцария

https://limitlessmocap.com/  г. Лугано. Команда не раскрывает подробности работы над своим аватаром

#17 Augnition - Финляндия

https://augnition.fi/   г. Хельсинки.  Команда не раскрывает подробности работы над своим аватаром

#18 AvaDynamics - США

http://avadynamics.com/   г. Питтсбург   Команда не раскрывает подробности работы над своим аватаром

#19 Dragon Tree Labs - Россия

Команда Dragon Tree Labs - единственная команда из Восточной Европы, которая пробилась в полуфинал.

Нашего робота зовут Джони, он управляется дистанционно, а оператор наблюдает за происходящим через VR-очки. Робот-аватар оснащён колёсами и может свободно передвигаться по помещению. Для одновременного запуска нескольких нейронных сетей и параллельного выполнения задач с  задействованием ML-алгоритмов используется бортовой Edge AI компьютер, разработанный стартапом Fast Sense. На данном этапе у робота одна дистанционно управляемая активная рука. Аватар оснащен системой распознавания объектов для помощи оператору в захвате предметов. 

Сейчас команда готовится к полуфинальным тестам, которые пройдут в сентябре 2021 в США.  Среди основных решаемых сегодня задач находится обучение робота распознаванию новых объектов и обеспечение быстрой передачи сигналов управления роботом. Важным аспектом дальнейшей проработки является обеспечиваемая аватаром иммерсивность - передача ощущения присутствия и полнота обратной связи от объектов.

Если вам интересно присоединиться к нашей команде и помочь с апгрейдом аватара Джонни, пишите нам на почту hello@dtlabs.tech

Миссия нашей команды - Мы делаем доступный телепорт для учителя, врача, инженера по настройке сложного оборудования и вашего близкого, члена семьи и друга. Для всех, кто оказывается удаленным от мест, где хочется присутствовать. Для дистанционной помощи другим людям, выполнения работы, передачи опыта и навыков, обучения, заботы о другом человеке и совместных развлечений - людям помогут дистанционные тела. Это и есть доступная сегодня телепортация. 

Сейчас, чтобы оказать физический импакт, некое воздействие люди переносят свое тело в пространстве. Мы верим, что уже в ближайшем будущем для выполнения действий станет возможным просто и удобно подключититься к удаленному аватару телеприсутвия с должным уровнем физического восприятия объектов окружающего мира. Такой аватар позволит удаленному оператору максимально приближенно к реальности ощутить себя в удаленной локации, видеть то, что видит робот, слышать то, что слышит робот и взаимодействовать с объектами и другими людьми.

Dragon Tree Labs приглашает к диалогу университеты и рисерч лабы, которым интересен этот проект. Если вам близка наша цель, есть экспертиза, которая поможет воплотить в жизнь такой “телепорт” - мы будем рады работать совместно над проектом.

В разрабатываемом аватаре важно учесть социальный аспект общения робота и человека, это огромная новая область исследований психологии и социологии. Мы также открыты к сотрудничеству в этой области исследований.  

Все, кто хотят присоединиться к проекту - пишите на hello@dtlabs.tech