Vision OS сессии WWDC2023: введение в пространственные вычисления Apple

Занимаясь уже достаточно давно iOS разработкой, имея личный опыт в разработке VR устройств и собственного комплекса фотограмметрии, в этот раз я откровенно был впечатлен долгожданным анонсом Apple гарнитуры смешанной реальности Vision Pro на WWDC2023. Компанией была представлена новая платформа, по-большому счету, со всеми уже знакомыми современными инструментами iOS-разработки. Пазлы ARKit, RealityKit и SwiftUI наконец-то сложились и я рад поделиться подборкой ссылок на ресурсы и стартовые материалы. Перед чтением, конечно полезно немного пофантазировать о будущих приложениях, которые обязательно изменят мир. Приготовьтесь начать погружение или добавляйте материал в закладки (которые вы так никогда и не прочитаете), поехали!

Итак, Apple недавно разместила подробный учебный материал и видео для разработчиков устройств смешанной реальности (MR), с использованием SDK, которое будет доступно в конце июня 2023. Вы сможете создавать несколько окон, добавлять трехмерный контент или превращать его в полностью погружающую VR/AR/MR сцену. Ваше приложение может быть показано рядом в общем пространстве или исключительно в отдельном полном пространстве. Vision Pro использует такие фреймворки, как SwiftUI, RealityKit и ARKit, для расширения пространственного вычисления и помощи разработчикам в создании приложений с глубоким погружением и захватывающих сцен. Вы можете разрабатывать приложения с использованием Vision Pro с помощью таких инструментов, как Xcode, Reality Composer Pro и Unity. Apple вскоре выпустит SDK VisionOS, связанные инструменты и документацию, чтобы предоставить разработчикам всестороннюю техническую поддержку.

Конкретно сейчас, Apple открыла доступ к большому количеству качественно сделанных видео, таких как это:

• Build great games for spatial computing https://developer.apple.com/videos/play/wwdc2023/10096/

Курс охватывает все аспекты разработки смешанной реальности (MR), включая понимание пространственного вычисления. Изучите основные элементы, составляющие пространственное вычисление - windows, volumes и spaces , и узнайте, как вы можете использовать эти элементы для создания захватывающих и погружающих опытов.

Обзор возможностей пространственных вычислений

Vision OS предоставляет бесконечное 3D-пространство для создания новых интерактивных и захватывающих впечатлений. Вы можете открыть для себя основы пространственных вычислений - windows, volumes, spaces - и узнаете, как можете использовать эти элементы при разработке приложений. Исследуйте, новые инструменты от Apple, такие как Xcode 15 и новый Reality Composer Pro.

Разработчики могут создавать множество окон, добавлять 3D-контент или превращать его в полностью погружающую сцену. Платформа использует SwiftUI, RealityKit и ARKit для расширения пространственных вычислений, помогая разработчикам создавать увлекательные приложения с глубоким погружением. Vision OS также акцентирует внимание на дизайне доступности, обеспечивая комфорт и удобство взаимодействия для всех пользователей:

• Get started with building apps for spatial computing https://developer.apple.com/videos/play/wwdc2023/10260/

Дизайн для VisionOS

Разработка приложений, игр и впечатлений для пространственных вычислений в Vision OS требует понимания новых элементов и компонентов.

Узнайте, как вы можете создавать отличные приложения, игры и впечатления для пространственных вычислений, откройте для себя новые возможности ввода и компоненты. Будь то ваш первый опыт в создании пространственных впечатлений или вы уже много лет разрабатываете полностью погруженные приложения, вы сможете создавать волшебные героические моменты, очаровывающие звуковые пейзажи, человекоориентированный пользовательский интерфейс и многое другое с помощью visionOS. Цель заключается в помощи пользователям оставаться в курсе своего окружения, исследуя абсолютно новые миры:

• Principles of spatial design https://developer.apple.com/videos/play/wwdc2023/10072/

• Create accessible spatial experiences https://developer.apple.com/videos/play/wwdc2023/10034/

• Develop your first immersive app  https://developer.apple.com/videos/play/wwdc2023/10203/

Разработка с помощью Xcode 15

Несмотря не нелюбовь многих iOS разработчиков к XCode(и есть за что), вы все-такие можете начать разрабатывать для visionOS с его помощью пока не подоспеют альтернативные IDE. Вам покажут, как добавить visionOS к вашим существующим проектам или создать полностью новое приложение, прототипировать в предварительном просмотре Xcode и импортировать контент из Reality Composer Pro. Также вы можете использовать симулятор visionOS для оценки ваших опытов в различных симулированных сценах и условиях освещения. Узнайте, как создавать тесты и визуализации для изучения столкновений, затемнений и понимания сцены для вашего пространственного контента, а также оптимизировать его производительность и эффективность.

Погружение в SwiftUI и RealityKit

Чтобы получить максимум от Vision OS, вам понадобится изучение SwiftUI и RealityKit. Эти инструменты позволяют разработчикам создавать потрясающие впечатления в пространственных элементах Vision OS: windows, volumes и spaces. От понимания API 3D-моделей до рендеринга 3D-контента с использованием RealityView, эти углубленные сессии подготовят разработчиков к созданию захватывающих впечатлений:

• Meet SwiftUI for spatial computing https://developer.apple.com/videos/play/wwdc2023/10109

• Тake SwiftUI to the next dimension https://developer.apple.com/videos/play/wwdc2023/10113

• Go beyond the window with SwiftUI https://developer.apple.com/videos/play/wwdc2023/10111/

• Elevate your windowed app for spatial computing https://developer.apple.com/videos/play/wwdc2023/10110/

• Develop your first immersive app  https://developer.apple.com/videos/play/wwdc2023/10203/

• Build spatial experiences with RealityKit https://developer.apple.com/videos/play/wwdc2023/10080

• Enhance your spatial computing app with RealityKit  https://developer.apple.com/videos/play/wwdc2023/10081

Reality Composer Pro

Reality Composer Pro - новый инструмент для предварительного просмотра и подготовки трехмерного контента для приложений на Vision OS. Reality Composer Pro доступен вместе с Xcode и может помочь вам импортировать и организовывать ресурсы, такие как трехмерные модели, материалы и звуки. И, самое главное, он тесно интегрируется с процессом сборки в Xcode для предварительного просмотра и оптимизации ваших ресурсов VisionOS. Разработчики смогут изучить использование этого инструмента для создания захватывающего контента, добавления материалов к объектам и активации контента Reality Composer Pro в Xcode. Вы также можете изучить последние обновления Universal Scene Description (USD) на платформах Apple:

• Meet Reality Composer Pro https://developer.apple.com/videos/play/wwdc2023/10083/

• Work with Reality Composer Pro content in Xcode https://developer.apple.com/videos/play/wwdc2023/10273/

• Explore materials in Reality Composer Pro https://developer.apple.com/videos/play/wwdc2023/10202/

• Explore the USD ecosystem https://developer.apple.com/videos/play/wwdc2023/10086/

Начало работы в Vision OS c Unity

Приложения VisionOS можно создавать прямо в Unity. Разработчики Unity могут использовать свои существующие 3D-сцены и ресурсы для создания приложений или игр для Vision OS благодаря глубокой интеграции между Unity и фреймворками Apple. Unity предлагает все преимущества разработки для платформы Apple, включая доступ к нативному вводу и функциям смешанной реальности:

• Create immersive Unity apps https://developer.apple.com/videos/play/wwdc2023/10088/

• Bring your Unity VR app to a fully immersive space https://developer.apple.com/videos/play/wwdc2023/10093

Помимо Unity VisionOS предлагает платформу для создания захватывающих моментов в играх и медиа-приложениях. Разработчики научатся использовать RealityKit для отображения 3D-контента, исследуют аспекты дизайна визуальных и движущихся элементов, а также научатся использовать Metal или Unity для создания полностью погружающих впечатлений:

• Discover Metal for immersive apps https://developer.apple.com/videos/play/wwdc2023/10089/

Разработка совместных и продуктивных приложений

Совместное использование и сотрудничество составляют важную часть visionOS, предлагая опыт в приложениях и играх, который позволяет людям чувствовать себя присутствующими, будто они находятся в одном пространстве. По умолчанию, люди могут делиться окном любого приложения с другими участниками видеозвонка в FaceTime, точно так же, как на Mac. Однако, при использовании фреймворка GroupActivities, вы можете создавать коллаборативные опыты следующего поколения.
Начните проектирование и разработку для SharePlay на Apple Vision Pro, изучив типы общих активностей, которые вы можете создавать в своем приложении. Узнайте, как установить общий контекст между участниками ваших опытов и как вы можете поддерживать еще более значимые взаимодействия в вашем приложении:

• Build spatial SharePlay experiences https://developer.apple.com/videos/play/wwdc2023/10087

• Design spatial SharePlay experiences https://developer.apple.com/videos/play/wwdc2023/10075

• Add SharePlay to your app https://developer.apple.com/videos/play/wwdc2023/10239

Работ с Web

С помощью Vision OS веб-контент можно воспринимать совершенно новым образом. Разработчики узнают, как оптимизировать свой сайт для пространственных вычислений, понять модель ввода для этой платформы и использовать функции разработчика Safari для прототипирования и тестирования своих опытов.

• Meet Safari for spatial computing https://developer.apple.com/videos/play/wwdc2023/10279/

• Rediscover Safari developer features https://developer.apple.com/videos/play/wwdc2023/10262

• What’s new in CSS https://developer.apple.com/videos/play/wwdc2023/10121

• What’s new in Safari extensions https://developer.apple.com/videos/play/wwdc2023/10119/

• Rediscover Safari developer features https://developer.apple.com/videos/play/wwdc2023/10262/

Также появились изменения для быстрого просмотра 3D-контента (QuickLook), с которыми можно ознакомиться здесь:

• Discover Quick Look for spatial computing https://developer.apple.com/videos/play/wwdc2023/10085/

• Create 3D models for Quick Look spatial experiences https://developer.apple.com/videos/play/wwdc2023/10274/

• Explore enhancements to RoomPlan https://developer.apple.com/videos/play/wwdc2023/10192

Работа iPhone и iPad приложение в Vision OS

Существующие iOS и iPadOS приложения могут быть запущены в Vision OS. Разработчики узнают о зависимостях фреймворков и взаимодействии с приложениями, разработанными для iPad. Они также научатся оптимизировать общий опыт использования для приложений на iPad и iPhone, а также улучшать визуальную составляющую:

• Run your iPad and iPhone apps in the Shared Space https://developer.apple.com/videos/play/wwdc2023/10090/

• Enhance your iPad and iPhone apps for the Shared Space https://developer.apple.com/videos/play/wwdc2023/10094/

Заключение

За последние 10-15 лет, в целом, никаких принципиальных изменений в мобильных не было. Мы наблюдали как смартфоны становились тоньше, мощнее, камеры чётче, потом смартфоны снова стали толстыми и тяжелыми и неприлично выросли размеры экранов. Да, мобильные телефоны и приложения вошли довольно плотно в жизни людей и прошли путь Web. Пока рано предрекать гарантированный успех или провал новой платформы, однако, это действительно интересная и ёмкая технология, которая на долгие годы вперед задаст развитие мобильным технологиям и вычислений. Сейчас возможно уникальное время, а выводы которые можно будет сделать только спустя годы.

В любом случае, для многих Vision OS - это как глоток свежего воздуха, где самые необычные фантазии приложений с учетом пространственного опыта могут реализоваться в сверх-интересные проекты с головокружительными историями. И по-моему, именно сейчас эта точка отсчета.

В своём ТГ канале я также периодически рассказываю об аспектах разработки для VisionOS и продуктовые кейсы в более сжатом формате.