Теория масштабного пространства представляет собой основу для представления сигналов в разных , разработанную сообществами, занимающимися компьютерным зрением, обработкой изображений и обработкой сигналов. Она имеет общие корни с физикой и биологическим зрением. Это формальная теория для работы со структурами изображений в различных , которая представляет изображение как однопараметрическое семейство сглаженных изображений. Это семейство, называемое представлением в масштабном пространстве, параметризуется размером сглаживающего ядра, используемого для подавления мелкомасштабных структур. Параметр в этом семействе называется коэффициент масштаба, и он означает, что структуры изображения пространственным размером меньше примерно в значительной степени сглажены на уровне масштабного пространства с масштабом .
Основным типом масштабного пространства является линейное (гауссово) масштабное пространство, которое широко применимо и обладает привлекательным свойством выводимости из небольшого набора . Соответствующая структура масштабного пространства включает теорию операторов гауссовых производных, которые могут служить основой для выражения широкого класса визуальных операций для компьютерных систем, обрабатывающих визуальную информацию. Эта структура также позволяет сделать визуальные операции инвариантыми к масштабу, что необходимо для работы с вариациями размеров, которые могут возникать в данных изображений, поскольку объекты в реальном мире могут иметь разные размеры, а также расстояние между объектом и камерой может быть неизвестно и меняться в зависимости от обстоятельств.
Определение Понятие масштабного пространства применима к сигналам с любым количеством переменных. Чаще всего в литературе она встречается применительно к двухмерным изображениям, что и будет рассмотрено здесь. Рассмотрим изображение , где — это значение оттенка серого пикселя в позиции . Линейное (гауссово) представление масштабного пространства для — это семейство производных сигналов определяемых свёрткой с двухмерным гауссовым ядром
так что ,
где точка с запятой в аргументах означает, что свёртка выполняется только по переменным , а коэффициент масштаба после точки с запятой просто указывает, какой уровень масштаба определяется. Это определение работает для непрерывного диапазона масштабов , но, обычно, рассматривается лишь конечное множество уровней в представлении в масштабном пространстве.
Коэффициент масштаба является дисперсией фильтра Гаусса и в пределе при фильтр становится импульсной функцией, так что . Это означает, что масштабное пространство на уровне — это само изображение . По мере увеличения пространство является результатом сглаживания со всё бо́льшим фильтром, тем самым удаляя всё больше деталей, содержащихся в изображении. Поскольку стандартное отклонение фильтра равно , детали, значительно меньшие этого значения, в значительной степени удаляются из изображения при коэффициенте масштаба . Графические иллюстрации можно увидеть на следующих рисунках.
Почему фильтр Гаусса? При создании многомасштабного представления возникает вопрос: можно ли использовать любой низкочастотный фильтр g с параметром t, определяющим его ширину, для генерации масштабного пространства? Ответ отрицательный, поскольку крайне важно, чтобы сглаживающий фильтр не создавал новых ложных структур на грубых масштабах, которые не соответствуют упрощениям соответствующих структур на более тонких масштабах. В литературе по масштабным пространствам этот критерий был сформулирован различными способами в точных математических терминах.
Заключение из нескольких различных аксиоматических выводов состоит в том, что гауссово масштабное пространство представляет собой канонический способ генерации пространства, основанный на существенном требовании, что новые структуры не должны создаваться при переходе от тонкого масштаба к любому более грубому масштабу. Условия, называемые , которые использовались для вывода уникальности гауссова ядра, включают , , структуру полугруппы, отсутствие усиления локальных экстремумов, масштабную инвариантность и . В работах уникальность, заявленная в аргументах, основанных на масштабной инвариантности, подвергалась критике, и были предложены альтернативные самоподобные ядра масштабного пространства. Гауссово ядро, однако, является единственным выбором согласно аксиоматике масштабного пространства, основанной на причинности или на отсутствии усиления локальных экстремумов.
Альтернативное определение Эквивалентно, семейство масштабных пространств можно определить как решение уравнения диффузии (например, в терминах уравнения теплопроводности),
с начальным условием . Эта формулировка представления в масштабном пространстве L означает, что значения интенсивности изображения f можно интерпретировать как «распределение температуры» в плоскости, а процесс, порождающий представление пространства масштабов как функцию от t, соответствует диффузии тепла в плоскости изображения с течением времени t (при условии, что теплопроводность материала равна произвольно выбранной константе ). Хотя эта связь может показаться поверхностной для читателя, незнакомого с дифференциальными уравнениями, на самом деле основная формулировка масштабного пространства в терминах отсутствия усиления локальных экстремумов выражается через условие знака частных производных в 2+1-мерном объёме, образованном масштабным пространством, то есть в рамках дифференциальных уравнений в частных производных. Более того, детальный анализ дискретного случая показывает, что уравнение диффузии обеспечивает объединяющее звено между непрерывными и дискретными масштабными пространствами, которое также обобщается на нелинейные масштабные пространства, например, с помощью . Следовательно, можно сказать, что основным способом генерации масштабного пространства является уравнение диффузии, а гауссово ядро возникает как функция Грина этого конкретного дифференциального уравнения в частных производных.
Мотивация Побуждение для генерации представления в масштабном пространстве обусловлена фундаментальным наблюдением, что объекты реального мира состоят из различных структур на разных . Это означает, что реальные объекты, в отличие от идеализированных математических сущностей вроде точек или прямых, могут выглядеть по-разному в зависимости от масштаба наблюдения. Например, понятие «дерево» уместно при рассмотрении в масштабе метров, тогда как понятия «листья» и «молекулы» разумнее рассматривать при более мелких масштабах. Для системы компьютерного зрения, анализирующей неизвестную сцену, невозможно априори знать, какие подходят для описания интересующих структур в данных изображения. Следовательно, единственно разумный подход — рассматривать описания на множестве масштабов, чтобы уловить возможные неизвестные вариации масштаба. В пределе представление в масштабном пространстве охватывает описания на всех возможных масштабах.
Другая причина возникновения концепции масштабного пространства проистекает из процесса проведения физических измерений реальных данных. Чтобы извлечь какую-либо информацию из процесса измерения, необходимо применять к данным операторы не бесконечно малого размера. Во многих областях информатики и прикладной математики размер оператора измерения игнорируется при теоретическом моделировании задачи и, напротив, явно учитывается необходимость конечного размера операторов изображения как неотъемлемой части любого измерения, а также любой другой операции, зависящей от реального измерения.
Имеется тесная связь между теорией масштабного пространства и биологическим зрением. Многие операции масштабного пространства демонстрируют значительное сходство с профилями рецептивных полей, зарегистрированными в сетчатке млекопитающих и на ранних этапах зрительной коры. В этом смысле каркас масштабного пространства можно рассматривать как теоретически обоснованную парадигму для раннего зрения, которая к тому же была тщательно проверена алгоритмами и экспериментами.
Гауссовы производные
На любом уровне масштабирования в масштабном пространстве можно применить операторы локальных производных к представлению в масштабном пространстве:
Благодаря коммутативности оператора дифференцирования и оператора гауссова сглаживания, такие производные в масштабном пространстве могут быть эквивалентно вычислены путём свёртки исходного изображения с операторами гауссовых производных. По этой причине их часто называют гауссовыми производными:
Единственность операторов гауссовых производных как локальных операций, полученных из представления в масштабном пространстве, можно получить с помощью аксиоматических выводов, аналогичных тем, что используются для обоснования единственности гауссова ядра для сглаживания масштабного пространства.
Визуальный фронтенд Эти операторы гауссовых производных могут быть объединены линейными или нелинейными операторами для создания более широкого спектра детекторов признаков, многие из которых хорошо моделируются дифференциальной геометрией. В частности, инвариантность (или, точнее, ковариантность) к локальным геометрическим преобразованиям, таким как вращения или аффинные преобразования, может быть получена либо рассмотрением дифференциальных инвариантов при соответствующем классе преобразований, либо нормализацией операторов гауссовых производных к локально определённой системе координат (например, на основе предпочтительной ориентации в области изображения), либо применением предпочтительного локального аффинного преобразования к локальному фрагменту изображения (для дальнейших деталей см. статью ).
Когда операторы гауссовых производных и дифференциальные инварианты используются таким образом в качестве базовых детекторов признаков на нескольких масштабах, незадействованные первые стадии визуальной обработки часто называют визуальным фронтендом. Этот общий подход применяется к широкому кругу задач в компьютерном зрении, включая выделение признаков, классификацию признаков, , сопоставление изображений, , вычисление параметров формы предмета и распознавание объектов. Множество операторов гауссовых производных до определённого порядка часто называют и он представляет собой базовый тип признака в рамках структуры масштабного пространства.
Примеры детекторов Используя идею представления визуальных операций в терминах дифференциальных инвариантов, вычисленных в разных масштабах с помощью операторов гауссовых производных, можно определить детектор краёв из множества точек, которые удовлетворяют требованию, что величина градиента
достигает локального максимума в направлении градиента
Исходя из дифференциальной геометрии можно показать, что этот дифференциальный детектор краёв можно эквивалентно выразить посредством переходами через ноль дифференциального инварианта второго порядка
,
удовлетворяющие определённому знаковому условию для дифференциального инварианта третьего порядка:
Аналогично, мультимасштабные детекторы пятен для заданного фиксированного масштаба могут быть получены из локальных максимумов и минимумов либо оператора Лапласа (также называемого лаплассианом гауссиана)
,
либо определителя матрицы Гессе
Подобным образом, детекторы углов, гребней и впадин могут быть представлены как локальные максимумы, минимумы или нулевые пересечения многомасштабных дифференциальных инвариантов, определённых на основе гауссовых производных. Однако алгебраические выражения для операторов выделения углов и гребней несколько сложнее, и для получения более подробной информации читателю следует обратиться к статьям, посвящённым выделению углов и выделению гребней.
Операции в масштабном пространстве также часто используются для реализации методов «от грубого к детальному», в частности, для таких задач, как сопоставление изображений и .
Выбор масштаба