Ректификация (выравнивание) изображений — это процесс преобразования, который используется для проецирования изображений на общую плоскость. Этот процесс имеет несколько степеней свободы и имеется много стратегий для преобразования изображений в общую плоскость. Ректификация изображений применяется в для упрощения задачи поиска соответствующих точек между изображениями (то есть проблемы ), а также в геоинформационных системах (ГИС) для объединения изображений, полученных с разных ракурсов, в единую картографическую систему координат.

В компьютерном зрении

использует два или более изображения с известными относительными положениями камер, которые показывают объект с разных точек обзора. Затем для каждого пиксела определяется глубина соответствующей точки сцены (то есть расстояние от камеры) сначала путём поиска соответствующих пикселов (то есть пикселов, показывающих одну и ту же точку сцены) на другом изображении (или изображениях), а затем применения триангуляции к найденным соответствиям для определения их глубины. Поиск соответствий в стереозрении ограничен — соответствие каждого пиксела на другом изображении может быть найдено только на линии, называемой эпиполярной линией. Если два изображения копланарны, то есть они были получены таким образом, что правая камера смещена только горизонтально по сравнению с левой камерой (не приближаясь к объекту и не вращаясь), то эпиполярная линия каждого пикселя будет горизонтальной и на той же вертикальной позиции, что и этот пиксел. Однако в общих случаях (когда камера приближается к объекту или вращается) эпиполярные линии будут наклонными. Ректификация изображений искажает оба изображения таким образом, что они выглядят так, как будто были получены только с горизонтальным смещением, и в результате все эпиполярные линии становятся горизонтальными, что несколько упрощает процесс стереосоответствия. Однако выравнивание не меняет принципиально процесс стереосоответствия — он по-прежнему ищет по линиям, наклонным до выравнивания и горизонтальным после него..

Ректификация изображений эквивалентна также (и чаще используется) альтернативой идеальной копланарности камер. Даже при использовании высокоточного оборудования выравнивание изображений обычно выполняется, поскольку поддержание идеальной копланарности между камерами может быть непрактичным.

Ректификация изображений может быть осуществлена только с двумя изображениям, одновременная ректификация более двух изображений в общем случае невозможна.

Преобразование

Если выравниваемые изображения получены от пар камер без геометрических искажений, этот расчёт легко выполнить с помощью линейного преобразования. Вращение по осям X и Y помещает изображения в одну плоскость, масштабирование делает размеры кадров изображений одинаковыми, а вращение по оси Z и корректировки перекоса обеспечивают прямое выравнивание рядов пикселов изображения. Жёсткое выравнивание камер должно быть известно (путём калибровки), и коэффициенты калибровки используются преобразованием.

При выполнении преобразования, если сами камеры откалиброваны по внутренним параметрам, обеспечивает связь между камерами. Более общий случай (без калибровки камеры) представлен . Если фундаментальная матрица неизвестна, необходимо найти предварительные соответствия точек между стереоизображениями для облегчения её извлечения.

Алгоритмы Имеется три главных категории алгоритмов ректификации изображений — планарная ректификация, цилиндрическая ректификация и полярная ректификация.

Детали имплементации Все выравненные изображения удовлетворяют следующим двум условиям: Все эпиполярные прямые параллельны горизонтальной оси. Соответствующие точки имеют одни и те же вертикальные координаты.

Чтобы преобразовать исходную пару изображений в выравненную, необходимо найти проективное преобразование H. На H накладываются ограничения, чтобы удовлетворить двум вышеуказанным свойствам. Например, требование параллельности эпиполярных линий горизонтальной оси означает, что эпиполюсы должны отображаться в бесконечную точку [1,0,0]T в однородных координатах. Даже с этими ограничениями H всё ещё имеет четыре степени свободы. Также необходимо найти соответствующее H' для выравнивания второго изображения в паре. Неправильный выбор H и H' может привести к тому, что выравненные изображения будут значительно изменены в масштабе или сильно искажены.

Имеется много различных стратегий выбора проективного преобразования H для каждого изображения из всех возможных решений. Один из продвинутых методов заключается в минимизации разницы или суммы квадратов разностей соответствующих точек по горизонтальной оси выравненной пары изображений. Другой метод заключается в разделении H на специализированное проективное преобразование, преобразование подобия и сдвиговое преобразование для минимизации искажений изображения. Один простой метод заключается в повороте обоих изображений так, чтобы они выглядели перпендикулярными линии, соединяющей их общие оптические центры, скручивании оптических осей так, чтобы горизонтальная ось каждого изображения указывала в направлении оптического центра другого изображения, и, наконец, масштабировании меньшего изображения для соответствия по линиям. Этот процесс демонстрируется в следующем примере.

Пример

Наша модель для этого примера основана на паре изображений, которые представляют точку P трёхмерного пространства. Точка соответствует пикселам p и p' в пикселных координатах кажого изображения. O и O' представляют оптические центры каждой камеры, с известными матрицами камер и (предполагаем, что начало мировых координат находится в первой камере). Мы кратко опишем и представим результаты простого подхода к поиску проективных преобразований H и H' , которые выравнивают пару изображений в нашем примере.

Сначала вычислим эпиполюсы e и e' на каждом изображении:

Затем найдем проективное преобразование H1, которое поворачивает наше первое изображение так, чтобы оно стало параллельным базовой линии, соединяющей O и O' (строка 2, столбец 1). Этот поворот можно найти, используя векторное произведение между исходной и желаемой оптическими осями. Далее найдём проективное преобразование H2, которое берёт повёрнутое изображение и вращает его так, чтобы горизонтальная ось совпала с базовой линией. При правильном расчёте это второе преобразование должно отобразить e в бесконечность по оси (строка 3, столбец 1). Наконец, определим как проективное преобразование для выравнивания первого изображения.

Третьим шагом, посредством эквивалентной операции, мы можем найти H' для выравнивания второго изображения (столбец 2). Отметим, что H'1 должно повернуть оптическую ось второго изображения так, чтобы она стала параллельна преобразованной оптической оси первого изображения. Одна из стратегий заключается в выборе плоскости, параллельной линии, где пересекаются две исходные оптические оси, чтобы минимизировать искажения в процессе перепроецирования. В данном примере мы просто определяем H' с использованием матрицы поворота R и начального проективного преобразования H как .

Наконец, мы масштабируем оба изображения до одинакового приблизительного разрешения и выравниваем теперь горизонтальные эпиполярные точки для упрощения горизонтального поиска соответствий (строка 4).

Отметим, что возможно выполнение этого и подобных алгоритмов без матриц параметров камер M and M' . Всё, что требуется, — это набор из семи или более соответствий между изображениями для вычисления фундаментальных матриц и эпиполярных точек.

В геоинформационной системе

Ректификация изображений в системе ГИС преобразует изображения в стандартную картографическую систему координат. Это достигается путём сопоставления опорных точек на местности в картографической системе с точками на изображении. Эти опорные точки используются для расчёта необходимых преобразований изображения.

Основные трудности в этом процессе возникают: когда точность картографических точек неизвестна когда на изображениях отсутствуют чётко идентифицируемые точки, соответствующие точкам на картах.

Карты, используемые с ректифицированными изображениями, являются нетопографическими. Однако изображения, которые будут использоваться, могут содержать искажения, вызванные рельефом местности. Ортотрансформирование изображений дополнительно устраняет эти эффекты.

Ректификация изображений является стандартной функцией, доступной в пакетах программного обеспечения ГИС.

См. также

Диспаратность

Геоинформационная система

Проективное преобразование Регистрация изображения Фотограмметрия Регистрация множеств точек Способ «резинового листа» Программное исправление искажений, вызванных линзами Стереоскопический фотоаппарат Стереоскопическое зрение

References

Литература для дальнейшего чтения Computing Rectifying Homographies for Stereo Vision by Charles Loop and Zhengyou Zhang (April 8, 1999) Microsoft Research Computer Vision: Algorithms and Applications, Section 11.1.1 "Rectification" by Richard Szeliski (September 3, 2010) Springer

Категория:Геоинформационные системы Категория:Геометрия в компьютерном зрении Категория:Обработка изображений