У комп'ютерному зорі та комп'ютерній графіці об'ємна відбудова або 3D-реконструкція — це процес охоплення форми і зовнішнього вигляду реальних об'єктів. Цей процес може бути виконаний або активними або пасивними методами.Moons, Theo, Luc Van Gool, and Maarten Vergauwen. «3D reconstruction from multiple images part 1: Principles.» Foundations and Trends in Computer Graphics and Vision 4.4 (2010): 287—404. Якщо моделі дозволено змінювати свою форму в часі, це називається нежорсткою або Zollhöfer, Michael, et al. «Real-time non-rigid reconstruction using an RGB-D camera link=.» ACM Transactions on Graphics 33.4 (2014): 156..
Мотивація та застосування Дослідження 3D реконструкції завжди було важко досяжною метою. За допомогою об'ємної відбудови можна визначити 3D-контури будь-якого об'єкта, а також дізнатися тривимірні координати будь-якої точки контуру. Об'ємна відбудова об'єктів є загально науковою проблемою і основною технологією широкого спектра областей, таких як автоматизоване проєктування (CAGD), комп'ютерна графіка, комп'ютерна анімація, комп'ютерний зір, медична візуалізація, , віртуальна реальність, цифрові медіа і т. д. Наприклад, інформація про ураження пацієнтів може бути представлена в тривимірному вигляді на комп'ютері, що пропонує новий і точний підхід в діагностиці, що має життєво важливе клінічне значення. Цифрові моделі рельєфу місцевості можуть бути відновлені за допомогою таких методів, як повітряна лазерна альтиметріяVosselman, George, and Sander Dijkman. «3D building model reconstruction from point clouds and ground planslink=.» International archives of photogrammetry remote sensing and spatial information sciences 34.3/W4 (2001): 37-44. або радар із синтезованою апертуроюColesanti, Carlo, and Janusz Wasowski. «Investigating landslides with space-borne Synthetic Aperture Radar (SAR) interferometry.» Engineering geology 88.3-4 (2006): 173—199..
Активні методи Активні методи 3D-реконструкції безпосередньо вимірюють відстань до поверхні або проєктують на неї відомий сигнал, а потім аналізують його відбиття. До таких засобів належать лазерні далекоміри, камери часу прольоту та системи структурованого світла. У системі структурованого світла проєктор створює на об'єкті заздалегідь відомий візерунок, а камера реєструє його деформацію на поверхні. За зміною положення смуг чи інших елементів візерунка обчислюють глибину та формують карту глибин. Послідовне проєктування кількох візерунків зазвичай забезпечує точніші вимірювання нерухомих об'єктів, тоді як одноразові схеми придатніші для рухомих сцен. Точність результату залежить, зокрема, від калібрування камери й проєктора, властивостей поверхні та зовнішнього освітлення.
Пасивні методи Пасивні методи не випромінюють спеціального сигналу в напрямку об'єкта, а використовують світло, відбите або випромінене самою сценою. Вхідними даними можуть бути одна фотографія, кілька зображень із різних точок огляду або відеопослідовність. Геометрію сцени відновлюють за такими ознаками, як бінокулярна невідповідність, рух камери, силуети, текстура чи затінення. У стереоскопічних і багаторакурсних системах спочатку знаходять відповідні точки на різних зображеннях, а потім обчислюють їхні просторові координати методом тріангуляції. Реконструкція ускладнюється на однорідних поверхнях без виразної текстури, у затінених ділянках та в областях, які видно не на всіх знімках. Багаторакурсні методи поєднують інформацію з багатьох камер або положень камери й можуть створювати щільні хмари точок та моделі поверхні.
Методи за монокулярними ознаками Монокулярні методи відновлюють форму сцени за одним зображенням або за послідовністю кадрів, отриманих однією камерою. Джерелами інформації про глибину можуть бути контури об’єктів, перспектива, зміни текстури та розподіл освітленості. На відміну від стереоскопічних методів, тут немає двох одночасних ракурсів, тому для однозначного відновлення геометрії доводиться вводити припущення про поверхню, освітлення або будову сцени.
Форма за затіненням використовує зміни яскравості на поверхні для оцінювання її орієнтації та глибини. У класичній постановці припускають відомий напрямок освітлення, ламбертівське відбиття та плавну поверхню. За цих умов із яскравості пікселів оцінюють нормалі поверхні, а потім відновлюють її форму. Невідоме освітлення, тіні, відблиски та неоднорідний колір об’єкта роблять задачу неоднозначною й можуть погіршувати результат.
Фотометричне стерео визначає орієнтацію поверхні за кількома зображеннями, зробленими з незмінного положення камери, але за різних напрямків освітлення. Порівняння яскравості тієї самої точки на різних кадрах дає змогу оцінити її нормаль. Після цього поле нормалей інтегрують, щоб отримати форму поверхні. Метод потребує відомих або оцінених параметрів освітлення та моделі відбиття матеріалу.
Форма за текстурою спирається на перспективні зміни повторюваних елементів текстури. Однакові елементи на похиленій поверхні проєктуються з різним розміром, щільністю та видовженням, і ці зміни використовують для оцінювання орієнтації та кривини поверхні. Метод найкраще працює, коли текстурні елементи можна надійно розпізнати, а їхній розподіл на реальній поверхні має передбачувані статистичні властивості.
Параметризація оберненої глибини У комп’ютерному зорі параметризацію оберненої глибини застосовують у методах відновлення тривимірної структури за кількома зображеннями, зокрема в монокулярній одночасній локалізації та картографуванні (SLAM).
У цій параметризації точку задають напрямком на неї з камери, у якій її вперше побачили, та оберненою глибиною — величиною, оберненою до відстані вздовж цього напрямку. Такий підхід дає змогу представляти точки з малим паралаксом і зазвичай краще описувати їхню невизначеність під час початкового оцінювання. Похибку глибини можна моделювати нормальним розподілом у координаті оберненої глибини, що зручно, зокрема, для фільтрів Калмана. Недолік підходу — більші витрати пам’яті: у розглянутій схемі точку представляють шістьма параметрами замість трьох у декартовому поданні.
Бінокулярне стереобачення Бінокулярне стереобачення відновлює просторову структуру сцени за двома зображеннями, отриманими з різних точок спостереження. Метод наслідує один із механізмів людського зору: що ближче розташований об’єкт, то помітніше зміщується його проєкція відносно віддаленого тла під час переходу від одного ракурсу до іншого. У комп’ютерному зорі це зміщення називають бінокулярною невідповідністю, або диспаритетом.
Стереопару можуть утворювати дві синхронізовані камери або одна камера, яка послідовно знімає нерухому сцену з різних положень. Камери не обов’язково мають бути однаковими чи мати паралельні оптичні осі: достатньо визначити їхні внутрішні та зовнішні параметри, а зображення за потреби ректифікувати. Після ректифікації відповідні точки шукають уздовж тих самих рядків зображень, що істотно спрощує обчислення.
Результатом зіставлення може бути розріджена множина тривимірних точок або щільна карта диспаритетів, з якої обчислюють карту глибин. Стереоскопічні методи добре працюють на текстурованих поверхнях, де відповідні ділянки легко розпізнати в обох кадрах. Натомість однорідні поверхні, повторювані візерунки, відблиски та області, видимі лише одній камері, створюють неоднозначності. Збільшення базової відстані між камерами підвищує чутливість до глибини на великих відстанях, але водночас ускладнює пошук відповідностей, збільшує ділянки оклюзій і може зменшувати спільне поле зору камер.
Геометрична модель
У найпростішій ректифікованій моделі оптичні осі двох камер паралельні, фокусні відстані однакові, а центри проєкції розділені базовою відстанню . Нехай просторова точка проєктується в точки і на лівому та правому зображеннях. Після ректифікації їхні вертикальні координати збігаються: . Для камери з фокусною відстанню координати проєкцій задовольняють співвідношення
Диспаритет визначають як . Звідси глибина точки обернено пропорційна диспаритету:
Координати точки відносно лівої камери можна обчислити як
Таким чином, для відновлення тривимірних координат потрібно знати параметри стереосистеми та знайти положення тієї самої точки на обох зображеннях. У загальному випадку, коли камери не утворюють ідеальної паралельної пари, відповідності обмежуються епіполярною геометрією, а просторові координати визначають тріангуляцією.
Здобуття зображень Отримання 2D цифрового зображення є джерелом інформації для 3D реконструкції. Зазвичай використовується 3D-реконструкція заснована на двох або більше зображеннях, хоча в деяких випадках вона може використовувати тільки одне зображення. Існують різні типи методів отримання зображень, які залежать від випадків і цілей конкретного додатка. Необхідно враховувати не тільки вимоги програми, але і візуальну невідповідність, освітленість, продуктивність камери і особливість сценарію.
Калібрування камери
Калібрування камери у стереобаченні полягає у визначенні перетворення між координатами точок зображення P1 (u1, v1) та P2 (u2, v2) та координатою відповідної точки P (xp, yp, zp) у 3D-просторі. Калібрування камери є основною частиною 3D-реконструкції за допомогою стереобачення. Калібрування включає визначення внутрішніх (фокальна відстань, принципова точка камери) та зовнішніх (обертання та зсув) параметрів камери, що ставить за кінцеву мету визначення матриць камери необхідних для подальшої тріангуляції.
Виділення ознак Першим кроком реконструкції тривимірного об'єкта є пошук на зображеннях характерних локальних ознак, що зберігаються при просторових перетвореннях (обертання та переміщення камери) та зміні умов освітлення і тому можуть бути знайдені на інших зображеннях об'єкта. Як правило для цього використовуються SIFT ознаки. У випадку об'єктів із слабко вираженою текстурою визначення ознак може бути складною задачею, в таких випадках доводиться використовувати фотометричні методи.
Стерео відповідність Стерео відповідність полягає у співставленні визначених на попередньому кроці ознак зображень, тобто у знаходженні пар точок зображень P1 (u1, v1) та P2 (u2, v2) яким відповідає одна й та сама тривимірна точка об'єкта. Слід звернути увагу, що зовнішні фактори, наприклад, освітлення, шум, фізичні характеристики поверхні і т. д. сильно впливають на знаходження відповідностей.
Відновлення У випадку точного визначення відповідностей на зображеннях та параметрів камери неважко визначити положення відповідної точки у тривимірному просторі за допомогою тріангуляції. Однак у зв'язку з тим, що на точність виділення та співставлення ознак впливає велика кількість зовнішніх факторів, а параметри камери не завжди можливо визначити точно, на практиці використовуються методи пошуку оптимального розв'язку, що мінімізує сумарну похибку, наприклад МНК чи RANSAC. Часто параметри камери невідомі, тоді визначення тривимірних координат точок та параметрів камер ведуться із використанням оптимізаційних підходів спрямованих на зменшення загальної похибки проєкції тривимірних точок на зображення, ця техніка відома як налаштування пучка.
3D-реконструкція медичних зображень Клінічна процедура діагностики, спостереження за пацієнтами, хірургічна операція за допомогою комп'ютера, хірургічне планування тощо сприяють точним 3D-моделям бажаної частини анатомії людини. Основна мотивація 3D реконструкції містить:
Підвищену точність завдяки багаторазовій агрегації. Детальну оцінку поверхні. Може використовуватися для планування, моделювання, керівництва чи іншим чином допомагати хірургу у виконанні медичної процедури. Можна визначити точне положення та орієнтацію анатомії пацієнта. Допомагає в ряді клінічних областей, таких як планування променевої терапії та перевірка лікування, хірургія хребта, заміна стегна, нейроінтервенції та аортальне стентування.
Додатки:
3D-реконструкція має застосування у багатьох сферах. В таких як:
Тротуарна техніка Медицина Реконструкція відеозображення на вільному огляді
Містобудування
Ігри та віртуальний туризм
Археологія