Ремастеринг «Звёздного пути» нейросетями до 1080p и 4K

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.


В качестве небольшого любительского проекта я поэкспериментировал с нейросетями AI Gigapixel для апскейла одного из моих любимых научно-фантастических сериалов — Star Trek: Deep Space Nine (DS9), в русском переводе «Звёздный путь: Глубокий космос 9».

Перспективы Deep Space Nine


Так же, как Final Fantasy 7, где я делаю апскейл фонов, текстур и видео в моде Remako, DS9 лишён планов на выпуск HD-версии. В то время как популярные сезоны Original Series и The Next Generation (TNG) в основном сняты на плёнку, DS9 снимался в середине 90-х годов в цифровом формате с визуальными эффектами (космические битвы и т. д.).

Аналоговую плёнку можно заново отсканировать с более высоким разрешением, но с цифровым видео такое не получится. Ремастеринг сериала становится гораздо более дорогостоящим: это одна из причин, почему его не выпустили в HD.

Ремастеринг DS9 с машинным обучением


Я подумал, что здесь можно с пользой применить нейросети. С помощью таких инструментов, как AI Gigapixel, кадры низкого разрешения DS9 можно масштабировать до высокой чёткости: 1080p или 4K. Они никогда не сравнятся с хорошим ремастерингом, но это шаг в правильном направлении.

Поэтому я попробовал на парочке кадров, что получается. Результаты великолепны. AI Gigapixel использует нейронные сети, обученные на реальных фотографиях. Они хорошо подходят для апскейла рендеров видеоигр Final Fantasy, но также удивительно качественно отмасштабировали кадры и спецэффекты DS9.

Вот несколько примеров:


Оригинальное разрешение 480p (нажмите, чтобы увеличить)


Улучшенное разрешение 1080p (нажмите, чтобы увеличить)


Оригинальное разрешение 480p (нажмите, чтобы увеличить)


Улучшенное разрешение 1080p (нажмите, чтобы увеличить)

Эти отдельные кадры выглядели многообещающе. На первом наборе изображений обслуживающий персонал станции в скафандрах представляет собой лишь несколько пятен. После апскейла проявились гораздо более чёткие фигуры.

Крупный план руки тоже улучшился. Морщины и складки на коже выглядят гораздо более детализированными, а бейсбольный мяч лучше демонстрирует блеск и замысловатую прошивку.

Видео


Однако настоящая проверка — как нейросети справятся с последовательностью кадров, то есть видео. Появятся ли артефакты и другие проблемы? В конце концов, AI Gigapixel создана для апскейла отдельных изображений и не учитывает отношения между отдельными кадрами видео.

Для проверки я решил обработать часть эпизода «Жертва ангелов» 6-го сезона. Это отличная серия про Войну Доминиона, где есть и эпические космические битвы, и более личные моменты лицом к лицу.

Более подробно об этом процессе расскажу в будущих статьях, но если вкратце: извлечение и масштабирование кадров, а затем генерация из них нового видео заняла около двух дней. Это обработка первых пяти минут эпизода (резюме, начальная сцена и вступление). Вполне нормальное время для ПК среднего и высокого класса с общедоступным ПО.

Результат привел меня в благоговейный трепет. Он выглядел лучше, чем я надеялся. Никаких проблем и артефактов. Поскольку (движущиеся) изображения стоят более тысячи слов, вот два видеоролика для сравнения.

Первый демонстрирует ситуацию «до и после» на неподвижных кадрах.


Второй сравнивает два видео. Обратите внимание, насколько чётче выглядит улучшенная версия.


Настоятельно рекомендую смотреть эти видео через приложение YouTube на телевизоре, если это возможно. Это даёт лучшее ощущение, как будет выглядеть улучшенный DS9 непосредственно на ТВ.

Сравнения — это хорошо, но как выглядит реальное видео? Вот первые пять минут эпизода в полном объёме с разрешением 1080p:


Что насчёт 4К?


Честно говоря, не знаю. Хотя я могу увеличить масштаб до 4K, у меня нет телевизора или монитора с таким разрешением, чтобы проверить улучшения. Тем не менее, я записал это видео. Интересно услышать мнение людей с оборудованием 4K, выглядит ли оно лучше по сравнению с версией 1080p.

Рендеринг почти расплавил мой компьютер, так как он намного интенсивнее, чем 1080p, поэтому ограничимся только этим примером 4K.


Что дальше?


Поскольку я не владею правами на DS9, то не могу делать с сериалом что хочу. Я бы выпустил полные эпизоды, но это просто юридически невозможно. Данные видео служат скорее доказательством концепции, чтобы правообладатели из CBS взглянули на машинное обучение и нейронные сети для возможного ремастеринга DS9, который немного приблизит наш любимый фильм к эпохе HD.

Представьте, что может сделать профессиональная команда с мощным оборудованием, специально обученными нейронными сетями (возможно, обучив её на сезоне TNG — на наборе данных из оригинальных кадров и кадров после ремастеринга) и доступом к SD-исходникам вместо DVDRip, как у меня.

Ну а я со своей стороны могу более подробно рассказать о процессе апскейла, как я его проводил, что станет темой будущей статьи.

Дайте знать, что вы думаете об этом.
Источник: https://habr.com/ru/post/444642/#habracut

Интересные статьи

Интересные статьи

Читая недавно очередную статью про апскейл (Upscale — масштабирование изображения до более высокого разрешения), на этот раз про коммерческий продукт Topaz AI Gigapixel, я оставил комментарий сле...
Некоторое время назад мне довелось пройти больше десятка собеседований на позицию php-программиста (битрикс). К удивлению, требования в различных организациях отличаются совсем незначительно и...
С версии 12.0 в Bitrix Framework доступно создание резервных копий в автоматическом режиме. Задание параметров автоматического резервного копирования производится в Административной части на странице ...
Основанная в 1998 году компания «Битрикс» заявила о себе в 2001 году, запустив первый в России интернет-магазин программного обеспечения Softkey.ru.
Практически все коммерческие интернет-ресурсы создаются на уникальных платформах соответствующего типа. Среди них наибольшее распространение получил Битрикс24.