Камера подій, також відома як нейроморфна камера, кремнієва сітківка або датчик динамічного зору , є датчиком зображення, який реагує на локальні зміни яскравості. Камери для подій не знімають зображення за допомогою затвора, як це роблять звичайні (кадрові) камери. Натомість кожен піксель усередині камери подій працює незалежно й асинхронно, повідомляючи про зміну яскравості, лише коли вона відбувається.

Функціональний опис Пікселі камери подій незалежно реагують на зміни яскравості, коли вони відбуваються. Кожен піксель зберігає контрольний рівень яскравості та постійно порівнює його з поточним рівнем яскравості. Якщо різниця в яскравості перевищує порогове значення, цей піксель переписує свій контрольний рівень і генерує подію, яка містить адресу пікселя та мітку часу. Події також можуть містити полярність (збільшення або зменшення) зміни яскравості або миттєве вимірювання рівня освітленості. Таким чином, камери подій видають асинхронний потік подій, викликаних зміною освітлення сцени.

Камери подій мають часову роздільну здатність порядку мікросекунд, динамічний діапазон 120 дБ, а також менше недо/перевитримку та розмиття руху, ніж у кадрових камер. Це дозволяє їм точніше відстежувати рух об’єкта та камери (оптичний потік). Вони дають інформацію в градаціях сірого. Спочатку (2014) роздільна здатність була обмежена 100 пікселями. Пізніше роздільна здатність досягла 640x480 у 2019 році. Оскільки окремі пікселі спрацьовують незалежно, камери подій виглядають придатними для інтеграції з асинхронними обчислювальними архітектурами, такими як нейроморфні обчислення. Незалежність пікселів дозволяє цим камерам справлятися зі сценами з яскраво та слабко освітленими областями без необхідності їх усереднення. +Типові характеристики датчика зображення Датчик Динамічний діапазон (дБ) Еквівалент частоти кадрів* (fps) Просторова роздільна здатність (МП) Енерго-споживання (мВт) Людське око 30–40 200-300 - 10 Камера DSLR високого класу ( Nikon D850 ) 44,6 120 2–8 - Надшвидкісна камера (Phantom v2640) 64 12 500 0,3–4 - Камера подій 120 1 000 000 0,1–0,2 30 *Вказує на часову роздільну здатність, оскільки очі людини та камери подій не виводять кадри.

Типи Датчики часового контрасту (такі як DVS (датчик динамічного бачення) або sDVS (чутливий DVS)) генерують події, які вказують на полярність (збільшення або зменшення яскравості), тоді як датчики часового зображення вказують миттєву інтенсивність світла кожної події. DAVIS (Динамічний і активний піксельний датчик зору) містить глобальний датчик активного пікселя затвора (APS) на додаток до динамічного датчика зору (DVS), який використовує той самий масив фотодатчиків. Таким чином, він має можливість створювати кадри зображень разом із подіями. Багато камер подій додатково мають інерційний вимірювальний блок (IMU). +Камери подійНазваВивід подіїНаявність кадрівКолірIMUВиробникКомерційна доступністьРоздільна здатністьDVS128ПолярністьНіНіНіInivationНі128x128sDVS128ПолярністьНіНіНіCSICНі128x128DAVIS240ПолярністьТакНіТакInivationТак240x180DAVIS346ПолярністьТакНіТакInivationТак346 x 260DVXplorerПолярністьНіНіТакInivationТак640 x 480SEESПолярністьТакНіТакInsightnessТакMetavision Packaged Generation 3 SensorПолярністьНіНіНіPropheseeТак640x480SilkyEvCam camera (Prophesee Gen 3)ПолярністьНіНіНіCentury Arks / PropheseeТак640×480VisionCamEB camera (Prophesee Gen 3) ПолярністьНіНіНіImago Technologies / PropheseeТак640×480Samsung DVSПолярністьНіНіТакSamsungТак640×480OnboardПолярністьНіНіТакPropheseeНі640×480CelexІнтенсивністьТакНіТакCelePixelТак64x64IMX636 sensorПолярністьТакНіНіSony / PropheseeТак1280x720EVK3 camera (IMX636 ES/ Prophesee Gen 3.1)ПолярністьНіНіНіPropheseeТак1280x720 / 640×480EVK4 camera (IMX636 ES)ПолярністьНіНіНіPropheseeТак1280x720IMX637 sensorПолярністьТакНіНіSony / PropheseeНі640x512

Ретиноморфні сенсори

Іншим класом датчиків подій є так звані ретиноморфні датчики. Хоча термін ретиноморфний використовувався для загального опису датчиків подій, у 2020 році він був прийнятий як назва конкретної конструкції датчика на основі послідовного з’єднання резистора та фоточутливого конденсатора. Ці конденсатори відрізняються від фотоконденсаторів, які використовуються для накопичення сонячної енергії , і натомість призначені для зміни ємності під час освітлення. Вони незначно заряджаються/розряджаються при зміні ємності, але в інших випадках залишаються в рівновазі. Коли світлочутливий конденсатор встановлюється послідовно з резистором і вхідна напруга прикладається до ланцюга, результатом є датчик, який видає напругу, коли інтенсивність світла змінюється, але в іншому випадку не змінюється.

На відміну від інших датчиків подій (як правило, фотодіода та деяких інших елементів схеми), ці датчики виробляють сигнал природньо. Тому їх можна вважати єдиним пристроєм, який дає такий самий результат, як невелика схема в інших камерах подій. Ретиноморфні сенсори на сьогоднішній день вивчалися лише в дослідницькому середовищі.

Алгоритми

Відновлення зображення Відновлення зображення з подій має потенціал для створення зображень і відео з широким динамічним діапазоном, високою тимчасовою роздільною здатністю та зменшеним розмиттям руху. Відновлення зображення може бути досягнуте за допомогою часового згладжування, наприклад високочастотного або додаткового фільтра. Альтернативні методи включають оптимізацію та градієнтну оцінку з подальшим інтегруванням Пуассона.

Просторові згортки Концепція просторової згортки, керованої подіями, була представлена в 1999 році (до DVS), але пізніше була узагальнена під час проекту ЄС CAVIAR (під час якого було винайдено DVS) шляхом проектування довільного ядра згортки для кожної події навколо координати події в масиві пікселів інтегрування та запуску. Розширення до багатоядерних згорток, керованих подіями дозволяє створювати керовані подіями глибокі згорткові нейронні мережі.

Виявлення та відстеження руху Сегментація та виявлення рухомих об'єктів, які спостерігає камера подій, може здатися тривіальним завданням, оскільки це робить сенсор безпосередньо на мікросхемі. Однак ці задачі є складними, оскільки події несуть мало інформації і не містять корисних візуальних функцій, таких як текстура та колір. Ці завдання стають ще більш складними з огляду на рухому камеру , оскільки події запускаються всюди на площині зображення, спричинені рухомими об’єктами та статичною сценою (чий видимий рух викликаний рухом камери). Деякі з останніх підходів до вирішення цієї проблеми пропонують включення моделей компенсації руху і традиційних алгоритмів кластеризації.

Потенційні застосування Типові сценарії, коли камери подій мають переваги перед традиційними камерами включають системи взаємодії в реальному часі, такі як автономні транспортні засоби, робототехніка , носима електроніка . Камери подій також використовуються для розпізнавання об’єктів, спостереження і моніторингу тощо . Збройні сили США розглядають інфрачервоні та інші камери подій через їхнє менше енергоспоживання та менше виділення тепла.

Див. також Нейроморфні обчислення

Rolling shutter

Література