Neurodata Lab — проектная компания и исследовательская лаборатория в области аффективных наук и когнитивных технологий. Neurodata Lab специализируется на разработке систем для распознавания и синтеза эмоций, детекции и анализа движений, неинвазивных методов измерения физиологических сигналов, сборе и анализе аффективных данных.

Описание и история Neurodata Lab была основана в апреле 2016 года. Компания является центром компетенций в области эмоционального искусственного интеллекта и аффективных наук и осуществляет деятельность на международных рынках, имеет представительства в России, Италии, Швейцарии и США. В июле 2017 года компания привлекла 1,3 млн долларов США. В марте 2018 года Neurodata Lab совместно с университетом ИТМО провела первую в России конференцию по эмоциональному искусственному интеллекту. 9 октября 2018 года Neurodata Lab объявила о партнерстве с робототехнической компанией Promobot. Нейросетевые технологии Neurodata Lab позволят роботам Promobot распознавать 20 эмоций и когнитивных состояний, адаптировать стратегию общения в зависимости от эмоционального состояния собеседника, а также отвечать в более живой манере благодаря технологии синтеза эмоционального ответа. 1 ноября робот определял 7 эмоций посетителей выставки TechDay Росбанка. 14 февраля 2019 года Росбанк начал тестирование нейросетевой технологии распознавания эмоций в голосе клиента, разработанной компанией Neurodata Lab, как часть пилотного проекта по анализу удовлетворенности клиентским сервисом в режиме реального времени. 26 сентября 2019 года опубликована препринт-версия совместного исследования ирландских (Dublin City University, Queen’s University Belfast), британских (University College London) и немецких (University of Bremen) ученых под общим руководством Дамьена Дюпре (Damien Dupré), посвященного анализу и сравнению существующих решений в области детекции и распознавания эмоций по лицу (при этом учитывались как сыгранные, так и спонтанные экспрессии), разрабатываемых компаниями — лидерами на рынке Emotion AI. Алгоритмы от Neurodata Lab по результатам исследования вошли в глобальный топ-3 по полноте, точности и корректности распознавания.

Технологии Программное обеспечение Neurodata Lab для распознавания эмоций не требует носимых датчиков или специального оборудования, кроме веб-камеры и микрофона. Технология обнаруживает, распознает и анализирует эмоциональное и социальное поведение, используя нейронные сети, компьютерное зрение и методы глубокого обучения.

Эмоциональные вычисления Эмоции могут проявляться по нескольких каналам (модальностям): мимике и микроэкспрессиям лица, глазодвигательной активности, голосовым характеристикам, движениям и позиции тела, а также выражаться через физиологию вроде учащенного сердцебиения. Точность распознавания эмоций по каждой модальности в отдельности в среднем на 9,8 % ниже точности в системах для совокупного анализа данных, поступающих по всем каналам одновременно (в 85 % случаев). Такой мультимодальный подход положен в основу технологий Neurodata Lab.

Индустрия технологий для детекции эмоций и сформировавшийся под нее рынок получили название эмоциональных, или аффективных, вычислений. В более широком понимании обучение машин распознаванию и синтезу эмоций является частью большого проекта по созданию эмоционального искусственного интеллекта.

Бизнес-применение Технологии распознавания эмоций применяются в различных сферах: банковской и страховой отраслях, ритейле, автомобильной отрасли, игровой индустрии, коммуникациях, робототехнике, нейромаркетинге, безопасности, цифровой медицине.

Проекты и продукты

Распознавание эмоций Ключевая технология Neurodata Lab позволяет распознавать 20 аффективных и когнитивных состояний.

Трекинг Несколько трекеров составляют основу технологии Neurodata Lab для распознавания эмоций:

Face Tracker: распознавание лица в кадре, а также его отдельных элементов (положения глаз, рта, носа, и других нейросетевых признаков, не поддающихся общепринятой трактовке). Диаризация для определения наличия человеческой речи в аудиопотоке, а также вычленения голоса говорящего, если в момент речи присутствует несколько голосов. Body Tracker: отслеживание движений тела и рук в видеопотоке. Eye Tracker: Извлечение данных о движении глаз. Heart Rate Tracker: Определение пульса с помощью видеокамеры. Respiration Rate Tracker: Определение частоты дыхания с помощью видеокамеры.

Онлайн платформы Emotion Miner — глобальная платформа по онлайн-аннотированию видеофайлов — сбора, разметки, анализа и процессинга эмоциональных данных на основе англоязычных видеофрагментов, извлеченных из существующего публичного контента (интервью, дебаты, ток-шоу и др.).

Аффективные датасеты RAMAS — первый в мире русскоязычный мультимодальный аффективный набор данных. Доступен для бесплатного использования для академических учреждений, университетов, лабораторий и некоммерческих организаций в исследовательских целях.

Emotion Miner Data Corpus — датасет, собранный по итогам работы платформы Emotion Miner. На сегодняшний день Emotion Miner Data Corpus — один из крупнейших размеченных мультимодальных эмоциональных видеодатасетов.

Научная деятельность С момента создания Neurodata Lab выстраивает коллаборации с академическими институтами, университетами, лабораториями и профильными центрами компетенций в США, Европе и России, и активно участвуют в крупных зарубежных конференциях, публикуют академические статьи. По состоянию на 2018 год компания развивала несколько коллабораций с рядом университетов и научных лабораторий, как в России, так и за рубежом, в том числе вела совместные проекты с ВШЭ, МГУ, ИТМО, СколТехом и университетами Ульма, Глазго, Женевы, Генуи.

Публикации и конференции Classification of affective and social behaviors in public interaction for affective computing and social signal processing RAMAS: Russian Multimodal Corpus of Dyadic Interaction for studying emotion recognition Automatic detection of multi-speaker fragments with high time resolution Kinematic predictors for the moving hand illusion Recognition of mixed facial emotion has correlates in eye movement parameters Multimodal Approach to Engagement and Disengagement Detection with Highly Imbalanced In-the-Wild Data

Примечания

Категория:Компании