Обро́бка зобра́жень — будь-яка форма обробки інформації, для якої вхідні дані представлені м, наприклад, фотографіями або відеокадрами. Обробляння зображень може здійснюватися як для отримання зображення на виході (наприклад, підготовка до поліграфічного тиражування, до телетрансляції і т. д.), так і для отримання іншої інформації (наприклад, розпізнання тексту, підрахунок числа і типу клітин в полі мікроскопа і т. д.). Крім статичних двомірних зображень, обробляти потрібно також зображення, що змінюються з часом, наприклад відео.

Історія Ще в середині XX століття обробка зображень була здебільшого аналоговою і виконувалась оптичними пристроями. Подібні оптичні методи досі важливі, в таких областях як, наприклад, голографія. Тим не менш, з різким зростанням продуктивності комп'ютерів, ці методи все в більшій мірі витіснялися методами цифрової обробки зображень. Методи цифрової обробки зображень зазвичай є більш точними, надійними, гнучкими і простими в реалізації, ніж аналогові методи. У цифровій обробці зображень широко застосовується спеціалізоване обладнання, таке як процесори з конвеєрною обробкою інструкцій та багатопроцесорні системи. Особливою мірою це стосується систем обробки відео. Обробка зображень виконується також за допомогою програмних засобів комп'ютерної математики, наприклад, MATLAB, Mathcad, Maple, Mathematica і інш. Для цього в них використовуються як базові засоби, так і пакети розширення Image Processing.

Багато методів цифрової обробки зображень, або цифрової обробки зображень, як її часто називали, були розроблені в 1960-х роках у лабораторіях Белла, лабораторії реактивного руху, Массачусетському технологічному інституті, University_of_Maryland,_College_Park та кількох інших дослідницьких установах, із застосуванням до супутникових зображень, перетворення стандартів дротових фото, медичних зображень, відеотелефону, розпізнавання символів та покращення фотографій. Метою ранньої обробки зображень було покращення якості зображення. Це було спрямовано на людей, щоб покращити візуальний ефект людей. При обробці зображень на вході виходить зображення низької якості, а на виході – зображення покращеної якості. Загальна обробка зображень включає покращення зображення, відновлення, кодування та стиснення. Першою успішною заявкою стала Американська лабораторія реактивного руху (JPL). Вони використовували такі методи обробки зображень, як геометрична корекція, трансформація градації, видалення шуму тощо на тисячах місячних фотографій, надісланих космічним детектором Ranger 7 у 1964 році, враховуючи положення Сонця та оточення Місяця. Вплив успішного комп’ютерного картографування карти поверхні Місяця був успішним. Пізніше було виконано більш складну обробку зображень майже 100 000 фотографій, надісланих назад космічним кораблем, щоб отримати топографічну карту, кольорову карту та панорамну мозаїку Місяця, що дозволило досягти надзвичайних результатів і закласти міцну основу для висадки людини на Землю. Місяць.

Однак вартість обробки була досить високою з обчислювальним обладнанням того часу. Це змінилося в 1970-х роках, коли цифрова обробка зображень поширилася, оскільки стали доступними дешевші комп’ютери та спеціальне обладнання. Це призвело до того, що зображення оброблялися в режимі реального часу для деяких спеціальних проблем, таких як перетворення телевізійних стандартів. У міру того, як комп’ютери загального призначення стали швидшими, вони почали виконувати роль спеціального апаратного забезпечення для всіх операцій, крім найбільш спеціалізованих і інтенсивних комп’ютерних операцій. З появою швидких комп’ютерів і сигнальних процесорів у 2000-х роках цифрова обробка зображень стала найпоширенішою формою обробки зображень і зазвичай використовується, оскільки це не лише найуніверсальніший метод, але й найдешевший. Аналогова обробка зображень

В аналоговій обробці зображення опрацьовують безпосередньо як фізичний сигнал; зокрема, оптична система може виконувати операції зі світловими хвилями, що несуть зображення об’єкта. На відміну від цього, цифрова обробка працює з числовим поданням зображення, наприклад із масивом пікселів, за допомогою цифрового комп’ютера.

Деякі математичні операції мають відповідники і в цифровій, і в оптичній обробці зображень. Наприклад, фазову кореляцію для суміщення мікроскопічних зображень обчислюють на основі перетворення Фур’є. У мікроскопії з Фур’є-фазовим контрастом використовують оптичну систему з рідкокристалічним елементом, а властивість лінзи виконувати Фур’є-перетворення лежить в основі методів просторової фільтрації оптичних сигналів.

Датчики зображення

Основою для сучасних датчиків зображення є технологія метал-оксид-напівпровідник (MOS), яка бере свій початок із винаходу MOSFET (MOS-польового транзистора) Мохамедом М. Аталлою та Давоном Кангом у Bell Labs у 1959 році. Це призвело до розробки цифрових напівпровідникових датчиків зображення, включаючи пристрій із зарядовим зв'язком (CCD), а пізніше датчик CMOS.

Пристрій із зарядовим зв’язком був винайдений Уіллардом С. Бойлем і Джорджем Е. Смітом у Bell Labs у 1969 році. Досліджуючи технологію MOS, вони зрозуміли, що електричний заряд є аналогією магнітної бульбашки і що він може зберігатися на крихітному MOS-конденсаторі. Оскільки виготовити серію MOS-конденсаторів у ряд було досить просто, вони підключили до них відповідну напругу, щоб заряд міг передаватись від одного до іншого.CCD - це напівпровідникова схема, яка пізніше була використана в перших цифрових відеокамерах для телевізійного мовлення.

Активний піксельний сенсор NMOS (APS) був винайдений Olympus у Японії в середині 1980-х років. Це стало можливим завдяки прогресу у виготовленні МОП-напівпровідникових пристроїв, коли масштабування МОП-транзисторів досягало менших мікронних, а потім субмікронних рівнів. NMOS APS був виготовлений командою Цутому Накамури на Olympus у 1985 році. Датчик CMOS з активними пікселями (CMOS-датчик) пізніше був розроблений командою Еріка Фоссума в Лабораторії реактивного руху НАСА в 1993 році. До 2007 року продажі датчиків CMOS перевищили датчики CCD.

Фільтрація

Цифрові фільтри використовуються для розмиття та підсилення цифрових зображень. Фільтрацію можна виконати за допомогою:

• конволюції з спеціально розробленими ядрами (масивами фільтрів) в просторовому домені.

• маскування конкретних частотних областей в частотному (Фур'є) домені.

Конвеєр обробки зображень

Конвеєр обробки зображень або конвеєр відео — це набір компонентів, які використовують між джерелом зображення (наприклад, камерою, сканером або рушієм рендерингу комп'ютерної гри) та засобом його відтворення (наприклад, телевізором, монітором, принтером чи кінопроєкційним екраном), а також для проміжної цифрової обробки зображень, що складається з двох або більше окремих блоків. Конвеєр може бути реалізований як комп'ютерне програмне забезпечення, на цифровому сигнальному процесорі, на FPGA або як ASIC з фіксованими функціями. Багато тих самих операцій можна виконувати й за допомогою аналогових схем.

До типових компонентів належать корекція даних сенсора зображення, зокрема демозаїкування даних із сенсора з фільтром Баєра, шумозниження, масштабування зображення, гамма-корекція, підвищення якості зображення, перетворення колірного простору (наприклад, між RGB, YUV і YCbCr), колірна субдискретизація, перетворення частоти кадрів, стиснення зображень або стиснення відео (наприклад, за допомогою JPEG), а також зберігання та передавання даних.

Конвеєр обробки зображень може бути зорієнтований на візуально приємний результат, колориметричну точність, гнучкість, низьку вартість, невелике навантаження на процесор або тривалий час автономної роботи, а також на зменшення потрібної пропускної здатності чи розміру файлу.

Деякі операції є лінійними, однак лінійність сама по собі не означає, що їх можна виконувати в довільному порядку без зміни результату: це справджується лише для операцій, які комутують. Крім того, цифрові комп'ютери виконують обчислення з обмеженою числовою точністю, тому порядок операцій може впливати на результат. Інші компоненти можуть бути нелінійними або змінюватися з часом. Тому послідовність блоків зазвичай обирають з огляду на потрібну точність, вартість обладнання та обчислювальне навантаження.

Цифровий сигнальний процесор (DSP)

Основна стаття: Цифровий сигнальний процесор

Електронна обробка сигналів стала революцією завдяки широкому впровадженню технології MOS у 1970-х роках.Технологія інтегральних схем MOS була основою для перших однокристальних мікропроцесорів і мікроконтролерів на початку 1970-х років , а потім перших однокристальних мікросхем цифрового сигнального процесора (DSP) наприкінці 1970-х років. Мікросхеми DSP з тих пір широко використовуються в цифровій обробці зображень.

Алгоритм стиснення зображення дискретного косинусного перетворення (DCT) широко реалізований у мікросхемах DSP, і багато компаній розробляють мікросхеми DSP на основі технології DCT. DCT широко використовуються для кодування, декодування, кодування відео, кодування аудіо, мультиплексування, сигналів керування, сигналізації, аналого-цифрового перетворення, форматування яскравості та відмінностей кольорів, а також форматів кольорів, таких як YUV444 та YUV411. DCT також використовуються для таких операцій кодування, як оцінка руху, компенсація руху, міжкадрове передбачення, квантування, перцептивне зважування, ентропійне кодування, змінне кодування та вектори руху, а також операцій декодування, таких як зворотна операція між різними форматами кольорів (YIQ, YUV і RGB) для відображення. DCT також широко використовуються для мікросхем кодера/декодера телебачення високої чіткості (HDTV).

Медична візуалізація

Додаткова інформація: Медична візуалізація

У 1972 році інженер британської компанії EMI Housfield винайшов рентгенівський комп'ютерний томограф для діагностики голови, який прийнято називати КТ (комп'ютерна томографія). Метод КТ-ядра базується на проекції розрізу голови людини та обробляється комп’ютером для реконструкції зображення поперечного перерізу, що називається реконструкцією зображення. У 1975 році EMI успішно розробила пристрій КТ для всього тіла, який отримав чітке томографічне зображення різних частин людського тіла. У 1979 році ця діагностична методика отримала Нобелівську премію.Технологія обробки цифрових зображень для медичних застосувань була введена до Зали слави космічних технологій Space Foundation у 1994 році.

Основні методи обробки сигналів

Більшість методів обробки одновимірних сигналів (наприклад, медіанний фільтр) застосовні і до двомірних сигналів, якими є зображення. Деякі з цих одновимірних методів значно ускладнюються з переходом до двовимірних сигналів. Обробка зображень вносить сюди кілька нових понять, таких як зв'язність і ротаційна інваріантність, які мають сенс тільки для двомірних сигналів. У обробці сигналів широко використовуються перетворення Фур'є, а також вейвлет-перетворення і фільтр Габора. Обробку зображень поділяють на обробку в просторовій області (перетворення яскравості, гама-корекція і т. д.) і частотній (перетворення Фур'є, і т. д.). Перетворення Фур'є дискретної функції (зображення) просторових координат є періодичним по просторових частотах з періодом 2pi.

Цифрова обробка зображень дозволяє використовувати складніші алгоритми, а отже, може запропонувати як більш складний результат у простих завданнях, так і реалізацію методів, які були б неможливі за допомогою аналогових засобів.

Обробка зображень для відтворення Типові завдання Геометричні перетворення, такі як обертання і масштабування. Колірна корекція: зміна яскравості і контрасту, квантування кольору, перетворення в інший колірний простір. Порівняння двох і більше зображень. Як окремий випадок — знаходження кореляції між зображенням і зразком, наприклад, в детекторі банкнот. Комбінування зображень різними способами. Інтерполяція і згладжування. Поділ зображення на області (сегментація зображень), наприклад, для спрощення передачі каналами зв'язку.