Nvidia создала исследовательскую группу Generalist Embodied Agent Research (GEAR), которая будет разрабатывать агентов с искусственным интеллектом и неигровых персонажей для физических и виртуальных миров.
Группу основали Джим Фэн и Юке Чжу, которые ранее сотрудничали в нескольких проектах. Так, они разработали два проекта проактивных агентов на базе искусственного интеллекта, которых внедрили в Minecraft. Другой проект касался оптимизированной техники обучения с подкреплением для роботов, призванной повысить «ловкость до сверхчеловеческого уровня». Наконец, исследователи работали над мультимодальными подсказками для спецификации задач робота.
Фэн изложил свое видение работы GEAR: «Мы верим в будущее, в котором каждая движущаяся машина будет автономной, а роботы и агенты будут такими же вездесущими, как iPhone».
Для группы набирают сотрудников, в том числе исследователей-стажёров. В компании открыты вакансии с годовым заработком до $333 тысяч.
На странице группы опубликованы четыре пункта, описывающие программу исследований. Команда GEAR указывает, что начнёт с разработки мультимодальных моделей, роботов общего назначения, агентов в виртуальных мирах, а также моделирования и синтетических данных.
Ранее Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
