Алгоритм коррекции геометрических искажений, вносимых объективом «рыбий глаз» в изображения и видео

Введение

К настоящему времени фото и видеокамеры с объективами "рыбий глаз" получили очень широкое распространение. Это обусловлено тем, что такое монокоробочное решение в отличие от применения нескольких стационарных или меньшего числа поворотных камер позволяет охватывать область зрения в половину от полного телесного угла (угол обзора 180° по горизонтали и вертикали), а иногда даже и более. В то же время из-за существенных вносимых таким объективом в получаемые изображения или видеокадры геометрических искажений для удобства восприятия получаемой полезной информации приходится использовать цифровую обработку исходных данных, компенсирующую такие искажения. В частности, ставшим уже классическим подходом к решению указанной проблемы является модель Brown–Conrady. Однако до сих пор предлагаются все новые и новые способы решения этой проблемы. И связано это со следующими обстоятельствами. Дело в том, что полная коррекция геометрических искажений сопряжена с соответствующим проецированием изображения со сферической или сфероподобной поверхности на плоскость. А это, в свою очередь, при сохранении пространственного разрешения в центральной области изображения ведет к резкому увеличению размеров "выпрямленного" изображения. Так что приходится это выпрямленное изображение подрезать по периметру и, соответственно, частично терять то даваемое объективом "рыбий глаз" преимущество по полю зрения. И поскольку принципиально невозможно одновременное удовлетворение трех противоречащих друг другу требований (неуменьшение пространственного разрешения изображения, неувеличение размера изображения в пикселях и полная компенсация геометрических искажений), то разработка все более и более сбалансированных моделей является весьма актуальной темой и будет оставаться таковой и в будущем.

Теория и полученные результаты

Рассмотрим одну из таких наиболее часто используемых на практике оптических схем объектива "рыбий глаз", как эквидистантная схема, которая при качественных оптических компонентах имеет лишь радиальную составляющую бочкообразной дисторсии. Её коррекцию в более общей форме по сравнению с классическим представлением в виде степенного ряда по r можно осуществить с помощью равенства

$\begin{equation} \boldsymbol{\mathrm{r}}_{s} =\boldsymbol{\mathrm{r}}_{p} f(r_{p} ). (1) \end{equation}$

Это равенство однозначно ставит в соответствие значение яркости пикселя для выровненного монохромного изображения (или три значения яркости для выровненного цветного изображения), характеризуемого (характеризуемых) отсчитываемым от центра изображения радиус-вектором r_p = (x_p,y_p), со значением яркости пикселя (значениями яркости пикселей) для исходного изображения, которое характеризуется (которые характеризуются) отсчитываемым от центра изображения радиус-вектором r_s = (x_s,y_s). То есть, равенство (1) с помощью функции f задает правило пересчета принадлежащих плоскости пикселей с координатами r_p через принадлежащие полусфере пиксели с соответствующими координатами r_s.

Для рассматриваемой оптической схемы можно получить строгое аналитическое выражение для функции f. Оно имеет следующий вид:

$\begin{equation} f(r)=\frac{2R_{0} }{\pi r} \arctan \left(\frac{\pi r}{2R_{0} } \right). (2) \end{equation}$

Здесь R₀ = 2r₀, r₀ (R₀) – это радиус (в пикселях), отвечающий углу pi/4 (pi/2) радиан на исходном изображении относительно оси симметрии объектива. Этот параметр уникален для каждой конкретной оптической системы. Равенство (2), очевидно, может быть разложено в ряд Тейлора с оставлением нескольких членов ряда и перенормировкой коэффициентов перед ними для представления функции f в стандартном по модели Brown–Conrady виде. Однако далее будет рассматриваться именно точное выражение для функции f.

Рисунок 1 – Функция преобразования координат из rp в rs согласно равенству (2) при R0 = 1

Согласно рис.1 при условии сохранения исходного пространственного разрешения (здесь и далее имеется ввиду центральная часть изображения) и его размеров после коррекции дисторсии угол обзора оптической системы со 180° сужается до 115° (см. результат на рис.2).

Рисунок 2 – Полная коррекция дисторсии согласно равенству (2) для rp <= R0

Если же увеличить размер выходного изображения по площади вчетверо при сохранении пространственного разрешения, то угол обзора оптической системы увеличится до 145°. Однако дальнейшее значительное увеличение размеров изображения не приводит к существенному увеличению угла обзора. Чтобы разрешить указанное противоречие необходимо модифицировать функцию f в F так, чтобы, с одной стороны, она была максимально близка к исходной в окрестности нуля по r_s, а с другой стороны, для минимизации вторичных искажений была максимально линейной в окрестности единицы по r_s. Таким требованиям, в частности, очень хорошо удовлетворяет функция F в виде

$\begin{equation} F(r)=\frac{2R_{0} }{\pi r} \arctan\left(\frac{4\pi R_{0}^{2} r}{8R_{0}^{3} -r^{3} } \right)+\frac{2R_{0} }{r} \Theta \left(\frac{r}{2R_{0} } -1\right), (3) \end{equation}$ $\begin{equation} \left\{\begin{array}{l} {\Theta (x)=0,\; x\le 0,} \\ {\Theta (x)=1,\; x>0.} \end{array}\right. (4) \end{equation}$

Хотя использование равенства (3) вместо равенства (2) при увеличении площади изображения вчетверо и сохранении пространственного разрешения или при сохранении размеров изображения и уменьшения вдвое пространственного разрешения позволяет зафиксировать широкий угол обзора (180°), в то же время, такая модификация функции f не устраняет бочкообразную дисторсию периферической части изображения (см. рис.3).

Рисунок 3 – Неполная коррекция дисторсии согласно равенству (3) для rp <= 2R0

Чтобы устранить бочкообразную дисторсию периферической части изображения может быть использована существенно нелинейная по r деформация окружностей в квадраты со сглаженными углами в разной степени в зависимости от r (в идеале, по внешнему периметру изображения окружность должна деформироваться в квадрат). Далее приведены выражения, с помощью которых можно осуществлять соответствующую попиксельную трансформацию

$\begin{equation} \boldsymbol{\mathrm{r}}_{t} =\boldsymbol{\mathrm{r}}_{p} G\left(\frac{x_{p}^{2} y_{p}^{2} }{r_{p}^{2} } ,\cos \left(\frac{\pi }{2} S\left(\frac{x_{p}^{2} }{4R_{0}^{2} } ,\frac{y_{p}^{2} }{4R_{0}^{2} } ,1 + \tan \left({\frac{\pi r_{p}^{2} }{16R_{0}^{2} } }\right) \right)\right)\right), (5) \end{equation}$ $\begin{equation} G\left(w,z\right)=\sqrt{\frac{4wz}{(1+z)-\left((1+z)(1+z-8wz)\right)^{1 / 2} } }, (6) \end{equation}$

Для окончательной коррекции остаточной дисторсии к полученному с помощью равенства (5) промежуточному результату ещё необходимо применить равенства (1) и (3) в виде

$\begin{equation} \boldsymbol{\mathrm{r}}_{s} =\boldsymbol{\mathrm{r}}_{t} F(r_{t} ). (8) \end{equation}$

Ниже на рисунках представлены результаты последовательных трансформаций изображений согласно приведенным равенствам (5) и (8) с учетом равенств (3), (4) и (6).

Рисунок 4 – Коррекция дисторсии первого изображения

Рисунок 5 – Коррекция дисторсии второго изображения

Как видно из этих рисунков, при сохранении пространственного разрешения с увеличением площади исходного изображения всего вчетверо, а также сохранении широкого угла обзора (180°) бочкообразная дисторсия весьма эффективно подавляется по всему полю изображения.

Черные области на всех представленных изображениях отвечают переходам между r_s и r_p, когда вычисляемый вектор r_s лежит за пределами исходного изображения.

Источник: https://habr.com/ru/post/568654/

Вернуться к списку

Интересные статьи

Кто же ты такой, алгоритм?

Сегодня довольно легко столкнутся с недобросовестными школьными учебниками, в частности с учебниками по информатике. В главах, посвященных алгоритмам, вы можете найти неп...

Освещение в VFX и видеоиграх: сравнение подходов к рендерингу

Сяоя Чжао — художница по спецэффектам, успевшая поработать как в кинопроизводстве, так и в игровой разработке (Halo Infinite), и над созданием рекламных кампаний для таких брендов, ка...

Производительность PHP-бэкенда. Видео с Badoo PHP Meetup #3

Привет! Готовы материалы с Badoo PHP Meetup #3, традиционной неформальной встречи сообщества. Напомню, в этот раз мы обсуждали проблемы производительности бэкенда на PHP и их решение в разных ком...

SMILE нельзя LASIK. О лазерной коррекции зрения

История о том, как я прозрел 10 лет я носил линзы при близорукости -4 диоптрии и думал про коррекцию, но в один момент щелкнуло, сделал, доволен как слон. При моей близорукости это стоит до 100 ...

ИИ научился создавать видео с одного кадра. Старые картины теперь можно сделать живыми

Технология из Гарри Поттера дошла до наших дней. Теперь для создания полноценного видео человека достаточно одной его картинки или фотографии. Исследователи машинного обучения из «Сколково» и...