Занимаясь уже достаточно давно iOS разработкой, имея личный опыт в разработке VR устройств и собственного комплекса фотограмметрии, в этот раз я откровенно был впечатлен долгожданным анонсом Apple гарнитуры смешанной реальности Vision Pro на WWDC2023. Компанией была представлена новая платформа, по-большому счету, со всеми уже знакомыми современными инструментами iOS-разработки. Пазлы ARKit, RealityKit и SwiftUI наконец-то сложились и я рад поделиться подборкой ссылок на ресурсы и стартовые материалы. Перед чтением, конечно полезно немного пофантазировать о будущих приложениях, которые обязательно изменят мир. Приготовьтесь начать погружение или добавляйте материал в закладки (которые вы так никогда и не прочитаете), поехали!
Итак, Apple недавно разместила подробный учебный материал и видео для разработчиков устройств смешанной реальности (MR), с использованием SDK, которое будет доступно в конце июня 2023. Вы сможете создавать несколько окон, добавлять трехмерный контент или превращать его в полностью погружающую VR/AR/MR сцену. Ваше приложение может быть показано рядом в общем пространстве или исключительно в отдельном полном пространстве. Vision Pro использует такие фреймворки, как SwiftUI, RealityKit и ARKit, для расширения пространственного вычисления и помощи разработчикам в создании приложений с глубоким погружением и захватывающих сцен. Вы можете разрабатывать приложения с использованием Vision Pro с помощью таких инструментов, как Xcode, Reality Composer Pro и Unity. Apple вскоре выпустит SDK VisionOS, связанные инструменты и документацию, чтобы предоставить разработчикам всестороннюю техническую поддержку.
Конкретно сейчас, Apple открыла доступ к большому количеству качественно сделанных видео, таких как это:
Build great games for spatial computing https://developer.apple.com/videos/play/wwdc2023/10096/
Курс охватывает все аспекты разработки смешанной реальности (MR), включая понимание пространственного вычисления. Изучите основные элементы, составляющие пространственное вычисление - windows, volumes и spaces , и узнайте, как вы можете использовать эти элементы для создания захватывающих и погружающих опытов.
Обзор возможностей пространственных вычислений
Vision OS предоставляет бесконечное 3D-пространство для создания новых интерактивных и захватывающих впечатлений. Вы можете открыть для себя основы пространственных вычислений - windows, volumes, spaces - и узнаете, как можете использовать эти элементы при разработке приложений. Исследуйте, новые инструменты от Apple, такие как Xcode 15 и новый Reality Composer Pro.
Разработчики могут создавать множество окон, добавлять 3D-контент или превращать его в полностью погружающую сцену. Платформа использует SwiftUI, RealityKit и ARKit для расширения пространственных вычислений, помогая разработчикам создавать увлекательные приложения с глубоким погружением. Vision OS также акцентирует внимание на дизайне доступности, обеспечивая комфорт и удобство взаимодействия для всех пользователей:
Get started with building apps for spatial computing https://developer.apple.com/videos/play/wwdc2023/10260/
Дизайн для VisionOS
Разработка приложений, игр и впечатлений для пространственных вычислений в Vision OS требует понимания новых элементов и компонентов.
Узнайте, как вы можете создавать отличные приложения, игры и впечатления для пространственных вычислений, откройте для себя новые возможности ввода и компоненты. Будь то ваш первый опыт в создании пространственных впечатлений или вы уже много лет разрабатываете полностью погруженные приложения, вы сможете создавать волшебные героические моменты, очаровывающие звуковые пейзажи, человекоориентированный пользовательский интерфейс и многое другое с помощью visionOS. Цель заключается в помощи пользователям оставаться в курсе своего окружения, исследуя абсолютно новые миры:
Principles of spatial design https://developer.apple.com/videos/play/wwdc2023/10072/
Create accessible spatial experiences https://developer.apple.com/videos/play/wwdc2023/10034/
Develop your first immersive app https://developer.apple.com/videos/play/wwdc2023/10203/
Разработка с помощью Xcode 15
Несмотря не нелюбовь многих iOS разработчиков к XCode(и есть за что), вы все-такие можете начать разрабатывать для visionOS с его помощью пока не подоспеют альтернативные IDE. Вам покажут, как добавить visionOS к вашим существующим проектам или создать полностью новое приложение, прототипировать в предварительном просмотре Xcode и импортировать контент из Reality Composer Pro. Также вы можете использовать симулятор visionOS для оценки ваших опытов в различных симулированных сценах и условиях освещения. Узнайте, как создавать тесты и визуализации для изучения столкновений, затемнений и понимания сцены для вашего пространственного контента, а также оптимизировать его производительность и эффективность.
Погружение в SwiftUI и RealityKit
Чтобы получить максимум от Vision OS, вам понадобится изучение SwiftUI и RealityKit. Эти инструменты позволяют разработчикам создавать потрясающие впечатления в пространственных элементах Vision OS: windows, volumes и spaces. От понимания API 3D-моделей до рендеринга 3D-контента с использованием RealityView, эти углубленные сессии подготовят разработчиков к созданию захватывающих впечатлений:
Meet SwiftUI for spatial computing https://developer.apple.com/videos/play/wwdc2023/10109
Тake SwiftUI to the next dimension https://developer.apple.com/videos/play/wwdc2023/10113
Go beyond the window with SwiftUI https://developer.apple.com/videos/play/wwdc2023/10111/
Elevate your windowed app for spatial computing https://developer.apple.com/videos/play/wwdc2023/10110/
Develop your first immersive app https://developer.apple.com/videos/play/wwdc2023/10203/
Build spatial experiences with RealityKit https://developer.apple.com/videos/play/wwdc2023/10080
Enhance your spatial computing app with RealityKit https://developer.apple.com/videos/play/wwdc2023/10081
Reality Composer Pro
Reality Composer Pro - новый инструмент для предварительного просмотра и подготовки трехмерного контента для приложений на Vision OS. Reality Composer Pro доступен вместе с Xcode и может помочь вам импортировать и организовывать ресурсы, такие как трехмерные модели, материалы и звуки. И, самое главное, он тесно интегрируется с процессом сборки в Xcode для предварительного просмотра и оптимизации ваших ресурсов VisionOS. Разработчики смогут изучить использование этого инструмента для создания захватывающего контента, добавления материалов к объектам и активации контента Reality Composer Pro в Xcode. Вы также можете изучить последние обновления Universal Scene Description (USD) на платформах Apple:
Meet Reality Composer Pro https://developer.apple.com/videos/play/wwdc2023/10083/
Work with Reality Composer Pro content in Xcode https://developer.apple.com/videos/play/wwdc2023/10273/
Explore materials in Reality Composer Pro https://developer.apple.com/videos/play/wwdc2023/10202/
Explore the USD ecosystem https://developer.apple.com/videos/play/wwdc2023/10086/
Начало работы в Vision OS c Unity
Приложения VisionOS можно создавать прямо в Unity. Разработчики Unity могут использовать свои существующие 3D-сцены и ресурсы для создания приложений или игр для Vision OS благодаря глубокой интеграции между Unity и фреймворками Apple. Unity предлагает все преимущества разработки для платформы Apple, включая доступ к нативному вводу и функциям смешанной реальности:
Create immersive Unity apps https://developer.apple.com/videos/play/wwdc2023/10088/
Bring your Unity VR app to a fully immersive space https://developer.apple.com/videos/play/wwdc2023/10093
Помимо Unity VisionOS предлагает платформу для создания захватывающих моментов в играх и медиа-приложениях. Разработчики научатся использовать RealityKit для отображения 3D-контента, исследуют аспекты дизайна визуальных и движущихся элементов, а также научатся использовать Metal или Unity для создания полностью погружающих впечатлений:
Discover Metal for immersive apps https://developer.apple.com/videos/play/wwdc2023/10089/
Разработка совместных и продуктивных приложений
Совместное использование и сотрудничество составляют важную часть visionOS, предлагая опыт в приложениях и играх, который позволяет людям чувствовать себя присутствующими, будто они находятся в одном пространстве. По умолчанию, люди могут делиться окном любого приложения с другими участниками видеозвонка в FaceTime, точно так же, как на Mac. Однако, при использовании фреймворка GroupActivities, вы можете создавать коллаборативные опыты следующего поколения.
Начните проектирование и разработку для SharePlay на Apple Vision Pro, изучив типы общих активностей, которые вы можете создавать в своем приложении. Узнайте, как установить общий контекст между участниками ваших опытов и как вы можете поддерживать еще более значимые взаимодействия в вашем приложении:
Build spatial SharePlay experiences https://developer.apple.com/videos/play/wwdc2023/10087
Design spatial SharePlay experiences https://developer.apple.com/videos/play/wwdc2023/10075
Add SharePlay to your app https://developer.apple.com/videos/play/wwdc2023/10239
Работ с Web
С помощью Vision OS веб-контент можно воспринимать совершенно новым образом. Разработчики узнают, как оптимизировать свой сайт для пространственных вычислений, понять модель ввода для этой платформы и использовать функции разработчика Safari для прототипирования и тестирования своих опытов.
Meet Safari for spatial computing https://developer.apple.com/videos/play/wwdc2023/10279/
Rediscover Safari developer features https://developer.apple.com/videos/play/wwdc2023/10262
What’s new in CSS https://developer.apple.com/videos/play/wwdc2023/10121
What’s new in Safari extensions https://developer.apple.com/videos/play/wwdc2023/10119/
Rediscover Safari developer features https://developer.apple.com/videos/play/wwdc2023/10262/
Также появились изменения для быстрого просмотра 3D-контента (QuickLook), с которыми можно ознакомиться здесь:
Discover Quick Look for spatial computing https://developer.apple.com/videos/play/wwdc2023/10085/
Create 3D models for Quick Look spatial experiences https://developer.apple.com/videos/play/wwdc2023/10274/
Explore enhancements to RoomPlan https://developer.apple.com/videos/play/wwdc2023/10192
Работа iPhone и iPad приложение в Vision OS
Существующие iOS и iPadOS приложения могут быть запущены в Vision OS. Разработчики узнают о зависимостях фреймворков и взаимодействии с приложениями, разработанными для iPad. Они также научатся оптимизировать общий опыт использования для приложений на iPad и iPhone, а также улучшать визуальную составляющую:
Run your iPad and iPhone apps in the Shared Space https://developer.apple.com/videos/play/wwdc2023/10090/
Enhance your iPad and iPhone apps for the Shared Space https://developer.apple.com/videos/play/wwdc2023/10094/
Заключение
За последние 10-15 лет, в целом, никаких принципиальных изменений в мобильных не было. Мы наблюдали как смартфоны становились тоньше, мощнее, камеры чётче, потом смартфоны снова стали толстыми и тяжелыми и неприлично выросли размеры экранов. Да, мобильные телефоны и приложения вошли довольно плотно в жизни людей и прошли путь Web. Пока рано предрекать гарантированный успех или провал новой платформы, однако, это действительно интересная и ёмкая технология, которая на долгие годы вперед задаст развитие мобильным технологиям и вычислений. Сейчас возможно уникальное время, а выводы которые можно будет сделать только спустя годы.
В любом случае, для многих Vision OS - это как глоток свежего воздуха, где самые необычные фантазии приложений с учетом пространственного опыта могут реализоваться в сверх-интересные проекты с головокружительными историями. И по-моему, именно сейчас эта точка отсчета.
В своём ТГ канале я также периодически рассказываю об аспектах разработки для VisionOS и продуктовые кейсы в более сжатом формате.
