Beorg Smart Vision — российская модульная платформа и технология для оцифровки документов, распознавания изображений, идентификации личности и фримиум разметки данныхКомпания «Биорг» открывает ИИ-разработчикам доступ к платформе разметки данных в целях развития алгоритмов машинного обучения. Разработана российской компанией "Биорг", резидентом фонда "Сколково" (ВЭБ.РФ) с применением технологий компьютерного зрения, машинного обучения и краудсорсингового сервиса для верификации. Платформа предназначена для обработки сложных, в том числе рукописных, архивных документов и формирования наборов данных для обучения моделей искусственного интеллекта (ИИ). Входит в реестр отечественного ПО Минцифры РФ «Биорг Processing: smart vision», реестровая запись №9998 от 02.04.2021.
Описание Согласно российскому изданию об информационных технологиях CnewsИИ и краудсорсинг: обзор сервиса по распознаванию и оцифровке документов для государства и бизнеса. Cnews и информации на сайте разработчикаСайт компании "Биорг", платформа работает на базе двух основных модулей: для автоматического распознавания данных с помощью каскада нейросетей и для верификации значений, распознанных с низким порогом уверенности.
Сочетание технологий ИИ и краудсорсинга позволяет переводить в электронный вид архивы и обрабатывать сложные рукописные формы, паспорта, чертежи и иные документы, где полностью автоматическое распознавание может давать недостаточно высокую точность.
Подход соответствует распространённой модели human-in-the-loop, когда участие человека сохраняется как механизм контроля качества и дообучения алгоритмов. Разработчик системы указывает, что система предоставляется по SaaS-модели, и ориентирована на обработку документов, изображений, наборов данных (дата-сетов) с контролем качества результата на уровне свыше 99%.
Принцип работы модульной платформы Beorg Основной принцип работы платформы заключается в использовании единого гибридного цифрового пространства для управления циклом обработки данных, где нейросетевые алгоритмы для автоматического распознавания связаны с краудсорсинговым модулем.
В таком сценарии значения, распознанные с низким порогом уверенности, переходят на верификацию нескольким операторам, людям. Операторы обрабатывают символы, с которыми не справилась система, таким образом, создают небольшие датасеты и и проводят дополнительно обучение системы.
Процесс начинается со сканирования/фотографирования документа, после чего внутренние алгоритмы применяются для очистки изображения, выравнивания текста и точного определения границ полей формы. Далее происходит этап оптического распознавания символов, который преобразует изображение текста в машиночитаемый формат.
В отдельных сценариях после распознавания и проверки данных система переходит к этапу идентификации личности физического лица. Он может включать сравнение данных из документа, удостоверяющего личность, документа с информацией, полученной из баз данных, а также анализ фотографии для подтверждения ее подлинности.
Таким образом, платформа способна не просто считывать данные с документа, но и верифицировать их соответствие реальным данным человека, что является критически важным для применения в финансовой сфере, юридических процедурах и при оказании государственных услуг.
Техническое решение Платформа реализована как нейросетевой конвейер с модулем верификации необходимых данных.
1. Сеть высокого разрешения (HRNet) Свёрточная нейронная сеть для обнаружения ключевых точек в документе, чтобы преобразовать перспективы с помощью классических алгоритмов компьютерного зрения.
2. Сверточная сеть на основе более быстрых регионов (Faster R-CNN) Предназначена для обнаружения объектов, состоит из двух модулей. Первый представляет собой глубокую полностью свёрточную сеть, которая предлагает регионы (сеть предложений регионов), а второй модуль — это детектор Fast R-CNN, который использует предложенные регионы. Все вместе это можно определить, как определение и обработка гипотез. Сеть одна из самых точных по сей день. Её применяют для обнаружения слов для распознавания на уточненном изображении документа.
3. Рекуррентная свёрточная нейронная сеть с вниманием Луонга (R-CNN) Принимает изображение в качестве входных данных, а затем передает извлеченные визуальные функции высокого уровня в стек рекуррентных слоев для распознавания обнаруженных слов на уточненном изображении документа.
4. Трансформаторная свёрточная нейронная сеть (Tr-CNN) Cверточную нейронную сеть-трансформер используют для сквозного распознавания уточненного изображения.
Весь конвейер выглядит следующим образом:
1. Исходное изображение документа передается через HRNet, чтобы обнаружить ключевые точки на изображении и выполнить преобразование перспективы для уточнения документа.
2. Уточненное изображение поступает в Faster R-CNN, чтобы обнаружить слова и отсортировать их по полям.
3. Изображения слов извлекаются из уточненного изображения документа, используются обнаруженные координаты каждого слова.
4. Извлеченное слово-изображение проходит через R-CNN с вниманием Луонга (мультипликативное внимание) к распознаванию каждого слова. Выбранный тип внимания на практике намного быстрее и экономичнее с точки зрения памяти, поскольку его можно реализовать в виде высокооптимизированного кода умножения матриц.
5. Изображение из 1 проходит через Transformer-CNN для сквозного распознавания.
6. Объединение данных из нескольких обработки.
История развития Beorg Smart Vision разработали в качестве инструмента преобразования в электронный машиночитаемый формат структурированных и неструктурированных наборов аналоговых данных: формализованных документов вроде паспорта и водительского удостоверения и свободные формы вроде рукописных справок и архивных документов.
Проекты по оцифровке выполнялись в рамках общего тренда на цифровизацию, связанного с развитием Национального проекта “Цифровая экономика”, цифрового госуправления и цифровой трансформацией бизнеса.
Цель, которую поставил перед собой разработчик платформы: распознавать любые типы данных с высоким качеством, несмотря на существующие технологические ограничения современных систем, а также готовить качественные массивы данных (датасеты) для обучения моделей искусственного интеллекта.
Сочетание автоматического распознавания и верификации данных с помощью операторов позволило сначала решать задачи, где машинное извлечение данных было недостаточно надёжным, а затем использовать накопленные результаты для дальнейшего обучения и повышения качества моделей.
Проекты оцифровки архивов Одним из ранних и заметных направлений применения платформы на первых этапах в открытых источниках названа оцифровка архивов органов ЗАГС.
Компания «Биорг» занималась оцифровкой архивов региональных органов ЗАГС с 2018 года. За это время были переведены в электронный вид основные сведения о населении Саратовской, Ивановской, Тамбовской областей, а также Севастополя, Сахалина и Владивостока. Завершающими стали самые крупные проекты – для Московской области и Красноярского края. Многие из этих работ были завершены досрочно благодаря интеллектуальной платформе Beorg Smart Vision.
В процессе реализации проектов оцифровки искусственный интеллект обучили на датасете объемом примерно 1 млрд сведений, было оцифровано 43 млн акта гражданского состоянияРезидент «Сколково» оцифровал более 43 миллионов архивных записей по всей России. Только в Тамбовской области было оцифровано 1 млн записей с 1926 по 1999 год. "Биорг" совместно с жителями Тамбовской области оцифровали записи актов гражданского состояния региона
Целью оцифровки актов гражданского состояния было формирование единого реестра данных о населении, благодаря которому Правительство РФ смогло в том числе назначать гражданам льготы и выплаты в период пандемии COVID-19.
На этом этапе в краудсорсинговом модуле платформы решали задачи верификации данных, которые были распознаны на китайском, японском и старотатарском языках. Для специфической доменной верификации и разметки были приглашены узкопрофильные специалисты, лингвисты.
Обычные наборы данных помогали размечать обученные операторы, находящиеся в разных регионах России. Значительной частью операторов стали молодые и будущие мамы, которые ушли в декретный отпуск и искали способ дополнительного онлайн-заработка. За социальный аспект бизнеса разработчик платформы компания “Биорг” была отмечена наградой “Лучшие социальные проекты”.
По данным “Биорг”, на платформе в период с 2018 по 2022 год частично и удаленно из разных регионов было задействовано более пятидесяти тысяч человекИскусственный интеллект, разработанный в РФ, будет проверять потенциальных заемщиков финансовых организаций.
Потоковая оцифровка документов В публикациях о платформе также упоминаются проекты по автоматизации документооборота и распознаванию сложных комплектов документов для трудоустройства"Агропромкомплектация" повысила скорость работы отдела кадров с помощью ИИ, оформления кредитовИИ от резидента «Сколково» будет оцифровывать документы в SBI Банке, оцифровка входящей корреспонденции и обращений граждан для государственных структурИИ помогает Росаккредитации быстрее обрабатывать корреспонденцию и бизнеса.
В этих случаях Beorg Smart Vision описывают как инструмент ускорения обработки больших массивов документов и снижения доли ручного труда на рутинных этапах. Ежемесячно на платформе обрабатывают до 4 млн. полей с персональными даннымиРоссийский ИИ сократил время оформления на работу до 10 минут.
Цифровые помощники на базе технологий Beorg В 2022 году стало известно, что Росреестр запустил пилотное тестирование цифрового помощника регистратора “Ева”В Великом Новгороде начались испытания «Цифрового помощника регистратора» - системы на базе искусственного интеллекта, которая помогает государственному регистратору имущественных прав автоматически проверить комплект документов “договор + доверенность” на предмет соответствия формальным требованиям.
Регистратор "Ева" проводит предварительную проверку пакета документов за 15 секунд, предзаполняет электронные формы заявлений, дает моментальную обратную связь и позволяет предотвратить ошибки, обусловленные человеческим фактором. Помощник подсказывает регистратору, можно ли отправить документ на следующий этап регистрации или в них допущены ошибки и документы надо вернуть заявителю на доработку. Важно, что финальное решение в этом процессе принимал именно человек, а система лишь ускоряла рутинные процесса сверки данныхЦифрового помощника для регистрации прав собственности на жилье запустят во всех регионах.
По заявлениям компании “Биорг”, в основу первой версии технологии “Ева” легли наработки Beorg Smart VisionИнформированность и доверие россиян к технологиям ИИ повысились за последний годТехнологии искусственного интеллекта в экономике РФ — проекты БИОРГ в 2022 году. В частности, с помощью платформы “Биорг” провели необходимую NER-разметку для обучения системы распознавания естественного языка, которая должна была считывать данные из комплекта документов так же, как это делает человек.
Упоминание “Биорг” как разработчика системы отсутствует в официальных пресс-релизах Росреестра.
В том же году на базе платформы Beorg Smart Vision провели пилотный проект в Архангельской области по автоматическому распознаванию и обработке конкурсных документов для госзакупок. Решение на основе компьютерного зрения, нейросетевого распознавания и верификации данных помогло снизить срок обработки документов с 14 до трех днейРазработка резидента "Сколково" поможет ускорить проведение госзакупок в три-четыре раза.
Актуальное состояние
Разметка данных По мере развития платформы акцент смещался от ручной верификации к более высокой доле автоматического распознавания, а роль операторов всё чаще сводится к контролю спорных полей и сложных сценариев.