У математиці структу́рний те́нзор (), відомий також як ма́триця дру́гого моме́нту (), — це матриця, яку виводять з градієнта функції. Він описує розподіл градієнта в заданому околі навколо точки, та робить цю інформацію інваріантною щодо координат спостереження. Структурний тензор часто використовують в обробці зображень та комп'ютерному баченні. J. Bigun and G. Granlund (1986), Optimal Orientation Detection of Linear Symmetry. Tech. Report LiTH-ISY-I-0828, Computer Vision Laboratory, Linkoping University, Sweden 1986; Thesis Report, Linkoping studies in science and technology No. 85, 1986.
Двовимірний структурний тензор
Неперервний варіант
Для функції двох змінних структурний тензор — це матриця 2×2
де та — частинні похідні відносно x та y; інтеграли пробігають площину ; а w — деяка фіксована «віконна функція» (така як гауссове розмиття), розподіл двох змінних. Зверніть увагу, що матриця сама є функцією .
Наведену вище формулу можливо також записати як , де — матрицезначна функція, визначена як
Якщо градієнт функції розглядати як матрицю 2×1 (одностовпчикову), де позначує операцію транспонування, яке перетворює рядковий вектор на стовпчиковий, то матрицю можливо записати як матричний добуток або тензорний чи зовнішній добуток . Проте зауважте, що структурний тензор неможливо розкладати таким чином у загальному випадку, за винятком, коли — дельта-функція Дірака.
Дискретний варіант
В обробці зображень та інших подібних застосуваннях функцію зазвичай задають дискретним масивом зразків , де p — пара цілих індексів. Двовимірний структурний тензор у заданому пікселі зазвичай вважають дискретною сумою
Тут індекс підсумовування r пробігає скінченний набір пар індексів («вікно», зазвичай для деякого m), а w[r] — фіксована «віконна вага», яка залежить від r, така, що сума всіх ваг становить 1. Значення — частинні похідні, взяті в пікселі p; які, наприклад, можна оцінювати з за формулами скінченних різниць.
Формулу структурного тензора можливо також записати як , де — матрицезначний масив, такий, що
Інтерпретація
Важливість двовимірного структурного тензора випливає з факту узагальнювання власними значеннями (які можливо впорядковувати так, що ) та відповідними власними векторами розподілу градієнта функції у вікні, визначеному з центром в .
А саме, якщо , то (або ) — це напрямок, максимально узгоджений із градієнтом у вікні.
Зокрема, якщо , то градієнт завжди кратний (додатний, від'ємний або нульовий); це справджується тоді й лише тоді, коли у вікні змінюється вздовж напрямку , але є сталою вздовж . Цю умову власних значень також називають умовою лінійної симетрії, оскільки тоді ізолінії складаються з паралельних прямих, тобто існує одновимірна функція , яка може породжувати двовимірну функцію як для деякого сталого вектора та координат .
З іншого боку, якщо , то градієнт у вікні не має переважного напрямку; це відбувається, наприклад, коли зображення в цьому вікні має обертову симетрію. Цю умову власних значень також називають збалансованим тілом (), або умовою напрямкової рівноваги (), оскільки вона виконується тоді, коли всі напрямки градієнта у вікні однаково часті/імовірні.
Крім того, умова трапляється тоді й лише тоді, коли функція в межах стала ().
Загальніше, значення для k =1 чи k =2 — це -зважене усереднення в околі p квадрата похідної за напрямком . Відносна розбіжність між двома власними значеннями є покажчиком ступеню анізотропності градієнта у вікні, а саме того, наскільки сильно він схильний до певного напрямку (і його протилежності). Цей атрибут можливо кількісно виразити когере́нтністю (), визначеною як
якщо . Ця величина дорівнює 1, коли градієнт повністю вирівняний, і 0, якщо він не має переважного напрямку. Формула не визначена, навіть у границі, коли зображення у вікні стале (). Деякі автори визначають її в такому випадку як 0.
Зауважте, що усереднення градієнта всередині вікна не є добрим покажчиком анізотропії. Паралельні, але протилежно спрямовані градієнтні вектори в цьому усередненні нейтралізуються, тоді як у структурному тензорі вони належним чином додаються. Ось чому для оптимізації напрямку в усередненні структурного тензора використовують замість .
Розширюючи ефективний радіус віконної функції (тобто, збільшуючи її дисперсію), можливо робити структурний тензор стійкішим до шуму ціною зниження просторової роздільності.T. Lindeberg (1993), Scale-Space Theory in Computer Vision. Kluwer Academic Publishers, (докладні формулювання того, як багатомасштабна матриця другого моменту/структурний тензор визначає істинне та однозначно визначене багатомасштабне подання напрямкових даних, див. у розділах 14.4.1 та 14.2.3 на сторінках 359—360 та 355—356). Формальну основу цієї властивості описано докладніше нижче, де показано, що багатомасштабне формулювання структурного тензора, яке називають багатомасштабним структурним тензором, становить істинне багатомасштабне подання напрямкових даних за варіацій просторового обширу віконної функції.
Комплексний варіант
Інтерпретація та втілення двовимірного структурного тензора стають особливо доступними за залучення комплексних чисел. Структурний тензор складається з трьох дійсних чисел
де , , а , де для дискретного подання інтеграли можливо замінити підсумовуваннями. З використанням тотожності Парсеваля стає ясно, що ці три дійсні числа є моментами другого порядку спектрального розподілу енергії . Тоді наступний комплексний момент другого порядку спектрального розподілу енергії можливо записати як
де , — напрямковий кут старшого власного вектора структурного тензора, , тоді як та — найбільш і найменш значущі власні значення. З цього випливає, що містить як певність () , так і оптимальний напрямок у подвоєнокутовому поданні, оскільки це комплексне число, що складається з двох дійсних чисел. Звідси також випливає, що якщо градієнт подано комплексним числом, та перевідображено піднесенням до квадрату (тобто, кути аргументу комплексного градієнта подвоєно), то усереднення діє як оптимізатор у цій відображеній області, оскільки воно безпосередньо забезпечує як оптимальний напрямок (у подвоєнокутовому поданні), так і пов'язану з цим певність. Відтак, комплексне число показує, наскільки лінійна структура (лінійна симетрія) присутня в зображенні , а це комплексне число отримують безпосередньо усереднюванням градієнта в його (комплексному) повоєнокутовому поданні без явного обчислення власних значень і власних векторів.
Так само, можливо отримувати наступний комплексний момент другого порядку спектрального розподілу енергії , який завжди дійсний, бо дійсна,
де та , як і раніше, — власні значення. Зауважте, що цього разу величину комплексного градієнту піднесено до квадрату (що завжди дійсний).
Проте розкладання структурного тензора на його власні вектори дає його тензорні складові як
де — одинична матриця у двох вимірах, оскільки ці два власні вектори завжди перпендикулярні (й дають у сумі одиницю). Перший член у крайньому виразі цього розкладу, , подає складову лінійної симетрії структурного тензора, що містить всю напрямкову інформацію (як матриця рангу 1), тоді як другий член подає складову збалансованого тіла тензора, яка не містить жодної інформації про напрямок (містячи одиничну ). Тоді знати, скільки напрямкової інформації в , — те саме, що перевіряти, наскільки велика порівняно з .
Очевидно, що — комплексний еквівалент першого члена в тензорному розкладі, тоді якце еквівалент другого члена. Таким чином, ці два скаляри, що складаються з трьох дійсних чисел,
де — (комплексний) градієнтний фільтр, а — згортка, становлять комплексне подання двовимірного структурного тензора. Як обговорювалося тут і в інших місцях, визначає локальне зображення, що зазвичай є гауссіаном (з певною дисперсією, що визначає зовнішній масштаб), а — параметр (внутрішнього масштабу), що визначає ефективний діапазон частот, у якому оцінюють спрямування .
Елегантність комплексного подання випливає з того, що дві складові структурного тензора можливо отримувати як усереднення, і незалежно. Своєю чергою, це означає, що та можливо використовувати в масштабопросторовому поданні для опису свідчення наявності унікального спрямування та свідчення альтернативної гіпотези, наявності кількох збалансованих спрямувань, без обчислення власних векторів і власних значень. Існування такого функціоналу, як піднесення комплексних чисел у квадрат, для структурних тензорів розмірністю понад два досі показано не було. У Бігуна 91 було заявлено з належною аргументацією, що це через те, що комплексні числа є комутативними алгебрами, тоді як кватерніони, можливий кандидат для побудови такого функціоналу, становлять некомутативну алгебру.
Комплексне подання структурного тензора часто використовують в аналізі відбитків пальців, щоб отримувати карти напрямків, що містять певності, які, своєю чергою, використовують для їхнього покращення, щоби знаходити розташування глобальних (ядра та дельти) та локальних (мінуції) сингулярностей, а також для автоматичного оцінювання якості відбитків.
Тривимірний структурний тензор
Визначення
Структурний тензор можливо визначити також і для функції трьох змінних p =(x, y, z) абсолютно аналогічним чином. А саме, в безперервному варіанті маємо , де
де — три частинні похідні , а інтеграл пробігає .
У дискретному варіанті , де
а сума пробігає скінченну множину тривимірних індексів, зазвичай для деякого m.
Інтерпретація
Як і у двовимірному випадку, власні значення матриці та відповідні власні вектори узагальнюють розподіл напрямків градієнта в околі p, визначеному вікном . Цю інформацію можливо унаочнити як еліпсоїд, півосі якого дорівнюють власним значенням і спрямовані вздовж відповідних власних векторів.
Зокрема, якщо еліпсоїд розтягнуто вздовж лише однієї з осей, як сигару (тобто, якщо набагато більше як за , так і за ), це означає, що градієнт у вікні переважно узгоджується з напрямком , так, що ізоповерхні схильні бути пласкими та перпендикулярними до цього вектора. Така ситуація виникає, наприклад, коли p лежить на тонкій пластиноподібній ознаці або на гладкій межі між двома областями з контрастними значеннями.
Якщо еліпсоїд сплющено лише в одному напрямку, як млинець (тобто, якщо набагато менше як за , так і за ), це означає, що напрямки градієнта розсіяні, але перпендикулярні , так, що ізоповерхні схильні бути як труби, паралельні цьому вектору. Така ситуація виникає, наприклад, коли p лежить на тонкій лінієподібній ознаці, або на гострому куті межі між двома областями з контрастними значеннями.
Нарешті, якщо еліпсоїд приблизно сферичний (тобто, якщо ), це означає, що напрямки градієнта у вікні розподілено більш-менш рівномірно, без явної переваги; так, що функція в цьому околі переважно ізотропна. Це відбувається, наприклад, коли функція має в околі p. Зокрема, якщо еліпсоїд вироджується в точку (тобто, якщо три власні значення дорівнюють нулю), це означає, що у вікні стала (має нульовий градієнт).
Багатомасштабний структурний тензор
Структурний тензор — важливий інструмент у масштабопросторовому аналізі. Багатомасшта́бний структу́рний те́нзор (або багатомасшта́бна ма́триця дру́гого моме́нту, ) функції , на відміну від інших однопараметрових масштабних просторів, демонструє описувач зображення, який визначають двома параметрами масштабу. Один параметр масштабу, який називають локальним масштабом () , необхідний для визначання рівня попереднього згладжування при обчисленні градієнта зображення . Інший параметр масштабу, який називають масштабом інтегрування () , необхідний для визначання просторового обширу віконної функції , яка визначає ваги для області простору, над якою накопичують складові зовнішнього добутку градієнта на самого себе.