Обзор статьи «StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени»

Ссылка на статью

Ссылка на код

StreamDiffusion — это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавление (sequential denoising) на более быстрый пакетный процесс и вводит параллельную очередь ввода-вывода для более плавной работы.

В конвейере также используется новый метод Residual Classifier-Free Guidance (RCFG), позволяющий сократить количество этапов шумоподавления и повысить общую скорость работы. Кроме того, он включает стохастический фильтр сходства (Stochastic Similarity Filter) для повышения энергоэффективности. В целом StreamDiffusion может похвастаться 1,5-кратным ускорением обработки и 2,05-кратным увеличения скорости при использовании RCFG, достигая 91,07 кадров в секунду на графическом процессоре RTX4090. Кроме того, значительно снижается энергопотребление, что делает его более эффективным решением для генерации изображений в реальном времени.

Конвейер StreamDiffusion

Пакетирование шагов шумоподавления

Традиционные диффузионные модели основаны на последовательных шагах шумоподавления, которые линейно увеличивают время обработки с каждым дополнительным шагом, особенно в рамках U-Net. Однако для изображений с более высокой точностью требуется больше шагов шумоподавления, что приводит к увеличению времени задержки.

Stream Batch решает эту проблему, заменив последовательное удаление шума на пакетный процесс. Каждый пакет состоит из определенного количества шагов шумоподавления последовательных изображений, что позволяет каждому элементу в пакете продвинуться на один шаг в последовательности шумоподавления за один проход U-Net. Этот метод позволяет более рационально преобразовывать входные изображения на заданном временном интервале в результаты их преобразования в изображения на будущем временном интервале.

Такой подход ощутимо сокращает необходимость в многократных выводах U-Net и позволяет избежать линейной эскалации времени обработки с ростом числа шагов. Главный компромисс смещается от соотношения времени обработки и качества генерации к соотношению емкости VRAM и качества генерации. При достаточном объеме VRAM памяти высококачественные изображения могут быть получены за один цикл обработки U-Net, что позволяет добиться практически полного устранения проблемы задержки, вызванной увеличением количества шагов шумоподавления.

Residual Classifier-Free Guidance

Традиционная Classifier-Free Guidance улучшает генерацию изображений путем корректировки влияния условий, но сама по себе требует вычислительных затрат на многократное прохождение через модель U-Net для каждого вывода. Residual Classifier-Free Guidance решает эту проблему, вводя понятие виртуального остаточного шума (virtual residual noise), который используется для предсказания скрытого представления исходного входного изображения в заданной точке процесса генерации. Этот метод позволяет эффективно генерировать изображения, отличающиеся от исходных в зависимости от степени соответствия, без необходимости дополнительных вычислений с помощью U-Net. Этот процесс называется Self-Negative RCFG.

Кроме того, RCFG можно использовать для отклонения от любого отрицательного условия, вычисляя отрицательный условный остаточный шум только один раз на первом шаге шумоподавления и используя его в течение всего процесса (Onetime-Negative RCFG). Этот метод значительно снижает вычислительную нагрузку, требуя всего n или n+1 U-Net вычислений для Self-Negative и Onetime-Negative RCFG соответственно, по сравнению с 2n вычислениями, требуемыми для обычного CFG. Это делает RCFG заметно более эффективным, сохраняя или повышая качество генерируемых изображений.

Очередь ввода-вывода

Высокоскоростные системы генерации изображений оптимизируются за счет смещения задач, не требующих обработки нейронной сетью, таких как предварительная и постобработка изображений, на параллельную обработку вне основного конвейера. Входные изображения подвергаются таким операциям, как изменение размера, тензорное преобразование и нормализация. Чтобы согласовать различные скорости обработки человеческих данных и пропускную способность модели, авторы реализовали систему на основе очередей ввода-вывода. Эти очереди обрабатывают входные тензоры для диффузионных моделей, которые затем проходят через вариационный автокодировщик (VAE) для формирования изображения. Выходные тензоры из вариационного автокодировщика попадают в выходную очередь для постобработки и преобразования формата, после чего отправляются на клиент рендеринга. Эта стратегия повышает эффективность системы и ускоряет генерацию изображений.

Стохастический фильтр сходства

Для решения проблемы генерации избыточных изображений и растраты ресурсов графического процессора в сценариях с минимальными изменениями или статичным окружением была предложена стратегия под названием стохастический фильтр сходства (Stochastic Similarity Filter). Стохастический фильтр сходства работает путем вычисления геометрического коэффициента сходства (cosine similarity) между текущим входным изображением и предшествующим эталонным изображением. На основе этого сходства рассчитывается вероятность пропуска процессов VAE и U-Net для сокращения ненужных вычислений. Если сходство велико, что свидетельствует о незначительных изменениях между кадрами, конвейер с большей вероятностью пропустит обработку, экономя вычислительные ресурсы. Этот механизм позволяет эффективно работать как в динамичных сценах, где обработка идет полным ходом, так и в статичных, где интенсивность обработки может быть снижена. В отличие от метода жесткого порога, который может привести к обрыву видео, вероятностный подход SSF обеспечивает более плавную генерацию видео, адаптируясь к изменяющейся динамике сцены без ущерба для восприятия.

Предварительные вычисления

Оптимизация архитектуры U-Net в системах генерации изображений, особенно для интерактивных или потоковых юзкейсов, включает предварительное вычисление и кэширование вставки текстовой подсказки (prompt), которая остается неизменной на протяжении всех кадров. Эти кэшированные данные используются для вычисления пар "ключ-значение" в U-Net, которые сохраняются и обновляются только при изменении входного запроса. Кроме того, гауссовский шум для каждого шага шумоподавления предварительно дискретизируется и кэшируется, что обеспечивает постоянство шума на всех временных промежутках и повышает эффективность при решении задач, связанных с переходом от изображения к изображению. Коэффициенты силы шума для каждого шага шумоподавления также вычисляются предварительно, что позволяет уменьшить накладные расходы в юзкейсах с высокой частотой кадров. Для Latent Consistency моделей необходимые функции предварительно вычисляются для всех шагов шумоподавления или же устанавливаются в константы, что позволяет избежать повторных вычислений в процессе вывода.

Ускорение модели и миниатюрного автоэнкодер

Движки U-Net и VAE построены с использованием TensorRT. Для дальнейшей оптимизации скорости авторы используют статические размеры пакетов и фиксированные размеры входных данных, что оптимизирует вычислительный граф и распределение памяти для конкретных размеров входных данных, благодаря чему время обработки сокращается. Однако такой подход ограничивает гибкость, так как для обработки изображений различной формы или с использованием различных размеров пакетов потребуется создание нового движка, адаптированного под эти конкретные размеры.

Кроме того, в системе используется миниатюрный автоэнкодер (Tiny AutoEncoder), представляющий собой оптимизированную и эффективную альтернативу традиционному автоэнкодеру Stable Diffusion. TAESD особенно эффективен при быстром преобразовании латентов в полноразмерные изображения и выполнении процессов декодирования при значительно меньших вычислительных требованиях.

Эксперименты

Пакетное шумоподавление в сравнении с последовательным циклом U-Net: Реализация стратегии пакетного шумоподавления значительно улучшает время обработки, достигая 50%-ного сокращения по сравнению с обычным последовательным циклом U-Net. Это улучшение наблюдается даже при использовании TensorRT, что указывает на то, что Stream Batch подход повышает эффективность оригинального последовательного конвейера диффузии на различных этапах шумоподавления.

Таблица 1: Сравнение среднего времени вывода при различных шагах шумоподавления с коэффициентами ускорения. (GPU: NVIDIA RTX4090, CPU: Core i9-13900K, ОС: Ubuntu22.04.3 LTS) 

Сравнение с AutoPipelineForImage2Image: Предложенный конвейер демонстрирует значительное увеличение скорости по сравнению с AutoPipelineForImage2Image от Huggingface. С помощью TensorRT StreamDiffusion достигает ускорения не менее чем в 13 раз при выполнении 10 шагов шумоподавления и до 59,6 раз при выполнении одного шага шумоподавления. Без TensorRT ускорение все еще заметно, достигая 29,7 раза при одношаговом шумоподавлении и 8,3 раза при 10 шагах.

Таблица 2: Сравнение среднего времени вывода на разных этапах шумоподавления среди различных методов CFG

Конвейеры StreamDiffusion с RCFG в сравнении с обычным CFG: При сравнении StreamDiffusion с RCFG с обычным CFG дополнительные вычисления для Self-Negative RCFG минимальны, что приводит к незначительному изменению времени вывода. Onetime-Negative RCFG требует дополнительных вычислений U-Net только на первом шаге, что приводит к схожему времени вывода с обычным CFG для одного шага, но показывает большее преимущество при увеличении числа шагов шумоподавления. При пяти шагах шумоподавления Self-Negative RCFG показывает улучшение скорости в 2,05 раза, а Onetime-Negative RCFG — в 1,79 раза по сравнению с обычной CFG.

Исследование абляции

Таблица 3. Влияние различных модулей на среднее время вывода на разных этапах шумоподавления. Проверка влияния отключения различных модулей на процесс генерации изображений.

Качественные результаты

Конвейер StreamDiffusion демонстрирует свою эффективность в преобразовании изображений в реальном времени, подходящем для различных приложений, таких как игровая графика в реальном времени, фильтры камеры, преобразование лиц и рисование с помощью ИИ. Он обеспечивает низкую пропускную способность при использовании входных данных в реальном времени, таких как камеры или снимки экрана, сохраняя при этом высокое качество генерации изображений в соответствии с заданными текстовыми указаниями.

Используя RCFG, конвейер демонстрирует улучшенное согласование сгенерированных изображений с условиями подсказки по сравнению с CFG. RCFG улучшает модификации изображения, такие как изменение цвета или добавление элементов, постоянно обращаясь к скрытому значению входного изображения и первоначально сэмплированному шуму. Это приводит к более сильному влиянию подсказки и более выраженным изменениям, хотя и может увеличить контрастность изображения. Регулировка величины вектора виртуального остаточного шума может уменьшить этот эффект.

Возможности конвейера распространяются не только на стандартную генерацию текста в изображение, но и на высококачественные изображения, быстро созданные с помощью модели sd-turbo. На RTX 4090 с процессором Core i9-13900K конвейер может генерировать со скоростью более 100 кадров в секунду и до 150 изображений в секунду при больших объемах пакетов. Хотя использование открытых моделей, объединенных с LCM-LoRA для получения более разнообразных выражений, снижает скорость примерно до 40 кадров в секунду, оно по-прежнему обеспечивает гибкость и высокое качество генерации.

Что общего между недавними прорывами в области искусственного интеллекта, DALLE и Stable Diffusion?

Оба они используют компоненты архитектуры CLIP. Следовательно, если вы хотите понять, как работают эти модели, понимание CLIP является обязательным условием.

На открытом уроке ”CLIP или история о том, подружить картинки и текст" мы поговорим про CLIP-модели, как они устроены и в чем их особенность. Разберём, каким образом можно объяснить модели, что изображено на картинке. Узнаем, как можно применять CLIP-модель для решения самых разнообразных задач: от классификации до семантического поиска по картинкам. Урок пройдет 25 января, записаться можно по ссылке.