Microsoft показала нейросеть, которая может похоронить классический 3D-рендеринг

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Microsoft Research представила революционную разработку — RenderFormer, нейросеть, способную выполнять все ключевые задачи компьютерной графики без традиционных методов вроде трассировки лучей или растеризации. Впервые в истории 3D-рендеринг полностью передан на плечи ИИ.

RenderFormer обучена работать с любыми трёхмерными сценами и воспроизводить реалистичное глобальное освещение, тени, отражения и передачу материалов. Вместо привычных вычислений через графический движок модель получает на вход сцену, закодированную в виде набора треугольников с информацией о геометрии, нормалях и свойствах поверхности.

 Архитектура RenderFormer
Архитектура RenderFormer

Даже источники света описываются в этом формате. Далее два трансформера берут на себя разные роли: один отвечает за эффекты, не зависящие от угла обзора, а другой — за отражения и блики. На выходе нейросеть формирует изображение, которое по качеству сопоставимо с результатами профессионального рендеринга.

Эффекты рендеринга, не зависящие от точки обзора, декодируются непосредственно из трансформатора, не зависящего от точки обзора, включая рассеянное освещение и грубые эффекты теней
Эффекты рендеринга, не зависящие от точки обзора, декодируются непосредственно из трансформатора, не зависящего от точки обзора, включая рассеянное освещение и грубые эффекты теней

Обучение модели проходило на огромном наборе Objaverse, где собраны сотни тысяч трёхмерных объектов. Сначала нейросеть тренировалась на низком разрешении, затем постепенно переходила к более сложным сценам. По данным исследователей, RenderFormer не только воспроизводит физически корректные эффекты, но и делает это быстрее и эффективнее многих традиционных алгоритмов.

Визуализация выходов внимания
Визуализация выходов внимания

Конечно, технология пока не лишена ограничений. Работа с очень сложными сценами требует огромных вычислительных ресурсов, а стабильность результата ещё не всегда идеальна. Но для экспертов по компьютерной графике очевидно: мы стоим на пороге новой эпохи, где искусственный интеллект может стать полноценным заменителем классических рендер-движков.

Rendered results of different 3D scenes generated by RenderFormer
Rendered results of different 3D scenes generated by RenderFormer

Если RenderFormer удастся масштабировать и сделать доступным в индустриальных масштабах, последствия будут колоссальными. От игровой индустрии и кино до виртуальной реальности и робототехники — везде, где требуется реалистичная графика, появится возможность создавать её быстрее, дешевле и с меньшими затратами энергии. В Microsoft уверены: нейронный рендеринг станет следующим стандартом, а RenderFormer уже сегодня показывает, как может выглядеть будущее компьютерной графики.


Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник

Источник: https://habr.com/ru/companies/bothub/news/946128/


Интересные статьи

Интересные статьи

«Яндекс 360» объявил о выходе из бета‑версии сервиса «Документы». Бета‑версия сервиса была запущена в декабре 2024 года. Как отметили в «Яндекс 360», в релизе появил...
Недавно в сети были опубликованы результаты эксперимента по сокращению рабочей недели в Исландии. Поскольку население страны небольшое, даже эксперименты национального уровня можно пров...
SWAP (своп) — это механизм виртуальной памяти, при котором часть данных из оперативной памяти (ОЗУ) перемещается на хранение на HDD (жёсткий диск), SSD (твёрдотельный накоп...
Если у вас есть интернет-магазин и вы принимаете платежи через Интернет, то с 01 июля 2017 года у вас есть онлайн-касса.
Этот пост будет из серии, об инструментах безопасности, которые доступны в Битриксе сразу «из коробки». Перечислю их все, скажу какой инструмент в какой редакции Битрикса доступен, кратко и не очень р...