Признак — это фрагмент информации о содержимом изображения в компьютерном зрении и при обработке изображений. Обычно признак указывает на наличие определённых свойств в конкретной области. Признаками могут быть специфические структуры, такие как точки, края или объекты. Они также могут быть результатом общих операций с соседними пикселями или применения или обнаружения признаков к изображению. Другие примеры признаков включают информацию о движении в последовательностях изображений или о формах, определяемых кривыми или границами между различными областями изображения.

В более широком смысле, признак — это любая информация, имеющая отношение к решению вычислительной задачи, связанной с конкретным приложением. Это то же самое значение, в целом, что и признак в машинном обучении и распознавани образов, хотя обработка изображений располагает очень сложным набором признаков. Концепция признака очень общая, и выбор признаков в конкретной системе компьютерного зрения может сильно зависеть от решаемой задачи..

Определение Единого или точного определения понятия «признак» не существует, и его конкретное значение часто зависит от решаемой задачи или типа приложения. Тем не менее, признак обычно определяется как «интересная» часть изображения, и именно признаки служат отправной точкой для многих алгоритмов компьютерного зрения.

Поскольку признаки являются начальной точкой и основными примитивами для последующих алгоритмов, качество всего алгоритма часто напрямую зависит от качества его детектора признаков. Следовательно, желательным свойством детектора признаков является повторяемость — будет или нет один и тот же признак обнаружен на двух и более различных изображениях одной и той же сцены.

Обнаружение признаков — это низкоуровневая операция обработки изображений. То есть, она обычно выполняется как первая операция над изображением и исследует каждый пиксель, чтобы определить наличие признака в этом пикселе. Если это часть более крупного алгоритма, то алгоритм, как правило, будет исследовать изображение только в областях, где обнаружены признаки. В качестве встроенного предварительного условия для обнаружения признаков входное изображение обычно сглаживается («размывается») по Гауссу с масштабным представлением, и вычисляется одно или несколько изображений признаков, часто выраженных через операции локальной производной изображения.

Иногда, когда обнаружение признаков требует значительных вычислительных ресурсов, а время ограничено, для управления этапом обнаружения признаков может использоваться алгоритм более высокого уровня. Это позволяет искать признаки только в определённых частях изображения.

Существует множество алгоритмов компьютерного зрения, в которых обнаружение признаков является первым шагом. В результате было разработано большое количество детекторов признаков. Они значительно различаются по типам обнаруживаемых признаков, вычислительной сложности и повторяемости.

Когда признаки определяются на основе операций в локальной окрестности изображения, что обычно называют извлечением признаков, можно разделить подходы к обнаружению признаков на те, которые принимают решение, присутствует признак данного типа в данной точке изображения, или нет (то есть, бинарный результат), и на те, которые выдают небинарные данные. Это различие становится актуальным, когда обнаруженные признаки относительно редки. Несмотря на то, что принимаются локальные решения, выходной сигнал этапа обнаружения признаков не обязательно является бинарным изображением. Результат часто представляется в виде наборов (связанных или несвязанных) координат точек изображения, где были обнаружены признаки, иногда с субпиксельной точностью.

Когда извлечение признаков происходит без локального принятия решений, результат часто называют изображением признаков. Таким образом, изображение признаков можно рассматривать как изображение в том смысле, что оно является функцией тех же пространственных (или временны́х) переменных, что и исходное изображение, но значения пикселей в нем содержат информацию о признаках изображения, а не об интенсивности или цвете. Это означает, что изображение признаков может обрабатываться аналогично обычному изображению, полученному от датчика изображения. Изображения признаков также часто вычисляются как интегрированный шаг в алгоритмах обнаружения признаков.

Вектора признаков и пространства признаков В некоторых приложениях недостаточно извлечь только один тип признака для получения нужной информации из изображения. Вместо этого извлекаются два или более различных признака, что приводит к получению двух или более дескрипторов признаков в каждой точке изображения. Распространённой практикой является организация информации, предоставляемой всеми этими дескрипторами, как элементов одного вектора, который обычно называют вектором признаков. Множество всех возможных векторов признаков образует пространство признаков.

В качестве распространённого примера векторов признаков можно привести задачу классификации каждой точки изображения по определённому классу. Если предположить, что для каждой точки изображения существует соответствующий вектор признаков, сформированный на основе подходящего набора признаков, и что классы хорошо разделены в соответствующем пространстве признаков, то классификация каждой точки изображения может быть выполнена с помощью стандартных методов.

Другой, связанный пример возникает при обработке изображений с помощью нейронных сетей. Входные данные, подаваемые в нейронную сеть, часто представлены в виде вектора признаков для каждой точки изображения, где вектор строится на основе нескольких различных признаков, извлечённых из изображения. На этапе обучения сеть сама может определить, какие комбинации различных признаков полезны для решения поставленной задачи.

Типы Края

Края (границы) — это точки, где существует граница между двумя областями изображения. В общем случае край может иметь практически произвольную форму и включать соединения. На практике края обычно определяются как множества точек изображения, обладающих сильной величиной градиента. Кроме того, некоторые распространённые алгоритмы затем объединяют точки с высоким градиентом, чтобы сформировать более полное описание края. Эти алгоритмы обычно накладывают некоторые ограничения на свойства края, такие как форма, гладкость и значение градиента.

Локально края имеют одномерную структуру.

Углы/точки интереса

Термины «углы» и «точки интереса» часто используются как взаимозаменяемые и обозначают точечные особенности изображения, обладающие локальной двумерной структурой. Название «угол» возникло потому, что ранние алгоритмы сначала находили границы объектов, а затем анализировали их на предмет резких изменений направления. Позднее эти алгоритмы развились, и явное обнаружение границ стало ненужным; например, они стали искать области с высокой кривизной градиента изображения. Было замечено, что так называемые углы обнаруживались и в тех частях изображения, которые не являлись углами в традиционном понимании (например, небольшое яркое пятно на тёмном фоне). Такие точки часто называют точками интереса, но термин «угол» используется по традиции.

Пятна / области точек интереса

Пятна (блобы) обеспечивают дополнительное описание структуры изображения в терминах областей как противопоставление углам, которые более точечные. Тем не менее, дескрипторы пятен часто могут содержать предпочтительную точку (локальный максимум отклика оператора или центр тяжести), что означает, что многие детекторы пятен также можно рассматривать как операторы точек интереса. Детекторы пятен способны обнаруживать области изображения, которые слишком гладкие для обнаружения детекторами углов.

Рассмотрим уменьшение изображения с последующим распознавание углов. Детектор будет реагировать на точки, которые выглядят острыми на уменьшенном изображении, но могут быть гладкими на исходном. Именно в этот момент разница в детекторе углов и детекторе пятен становится несколько нечёткой. В значительной степени это различие можно устранить, введя соответствующее понятие масштаба. Тем не менее, из-за их реакций на различные типы структур изображения в разных масштабах распознаватели пятен с помощью фильтров LoG и DoH также упоминаются в статье об обнаружении углов.

Гребни

Для вытянутых объектов понятие гребней является естественным инструментом. Гребень, вычисленный из изображения в градациях серого, можно рассматривать как обобщение срединной оси. С практической точки зрения, гребень можно представить как одномерную кривую, представляющую ось симметрии, и, кроме того, имеющую атрибут локальной ширины гребня, связанный с каждой его точкой. К сожалению, однако, алгоритмически сложнее извлекать признаки гребней из общих классов изображений в градациях серого, чем признаки краёв, углов или пятен. Тем не менее, описатели гребней часто используются для извлечения дорог на аэрофотоснимках и для извлечения кровеносных сосудов на медицинских изображениях — см. статью Выделение гребней.

Распознавание

Распознавание признаков включает методы вычисления абстракций информации об изображении и принятия локальных решений в каждой точке изображения о наличии или отсутствии признака заданного типа. Полученные признаки представляют собой подмножества области изображения, часто в виде отдельных точек, непрерывных кривых или связанных областей.

Извлечение признаков иногда выполняется в нескольких масштабах. Одним из таких методов является масштабно-инвариантное преобразование признаков (, SIFT).

+ Детекторы признаков и их классификация:Детектор признакаГраницаУглыПятнаГребни Кэнни Собель Харриса и Стефенс/Плессей SUSAN Ши - Томаси Кривизна линий уровня FAST Лапласиан гауссиана Разность гауссианов Определитель гессиана Гессианова мера важности признака Главная кривизна гребня Уровни яркости пятен

Извлечение

После обнаружения признаков вокруг них может быть извлечен локальный фрагмент изображения. Это извлечение может включать значительный объём обработки изображений. Результат известен как дескриптор признака или вектор признака. Среди подходов, используемых для описания признаков, можно упомянуть и локальные гистограммы (см. статью Преобразование признаков, инвариантное к масштабу для примера локального гистограммного дескриптора). Помимо такой атрибутивной информации, сам этап обнаружения признаков может предоставлять дополнительные атрибуты, такие как ориентация края и величина градиента при обнаружении краёв, а также полярность и сила пятна при обнаружении пятен.

Низкоуровневые Выделение границ Выделение углов Выделение пятен Выделение гребней Преобразование признаков, инвариантное к масштабу

Кривизна Выделение границ, изменение интенсивности, автокорреляция.

Движущееся изображение Датчик движения. Зонные, дифференциальные. .

На основе формы

Выделение пятен

Преобразование Хафа Прямые Окружности/эллипсы Объекты произвольной формы (обобщённое преобразование Хафа) Работы с любыми параметризованными признаками (переменные классов, выделение кластеров и т.д.) Обобщённое преобразование Хафа

Гибкие методы Деформируемые параметризованные формы Активные контуры (змеи)

Представление

Специфичный признак изображения, определённый в терминах конкретной структуры в данных изображения, может быть представлен по-разному. Например, край может быть представлен как булева переменная, которая в каждой точке изображения описывает, принадлежит ли эта точка краю. Альтернативно, мы можем вместо этого использовать представление, которое задаёт меру достоверности вместо булева утверждения о принадлежности краю, и комбинировать его с информацией об ориентации края. Аналогично, цвет области можно описать как среднее значение (три скалярных величины) или как гистограмму цвета (три функции).