Что такое ABBYY Vantage и как мы придумали платформу для тех, кто не умеет кодить

ABBYY представила Vantage – low-code/no-code платформу нового поколения для интеллектуальной обработки документов с набором готовых обученных когнитивных сервисов (навыков или скиллов) для распознавания, классификации и извлечения данных из документов любой сложности.

Это значимое событие по ряду причин. Во-первых, в разработке мы использовали самый современный стек технологий (REST API, Cloud-native, микросервисная архитектура с Docker-контейнерами, которые управляются с помощью Kubernetes). Во-вторых, запустили Marketplace – онлайн-площадку, на которой клиенты могут приобретать готовые навыки для обработки документов и обмениваться ими с другими компаниями. В-третьих, добавили в продукт машинное обучение на стороне клиента. То есть система сама постоянно дообучается и повышает качество работы сервисов на основании того, как с ней взаимодействует клиент. Например, когда вносит исправления в результаты распознавания. Но обо всем по порядку.

Мы расскажем о разных составляющих Vantage в серии постов. Первый из них об общей концепции платформы. В этом посте мы покажем интерфейс и обозначим технологии, которые используются в платформе. Скорее под кат!

От AI для продвинутых пользователей к low-code/no-code

Времена меняются, как меняются и запросы наших клиентов. Все больше компаний хотят использовать готовые решения «из коробки», которые не требуют сложных доработок и обучения моделей, а также навыков программирования у сотрудников и армии опытных разработчиков. Именно таким low-code решением и стала платформа ABBYY Vantage.

Vantage вобрала в себя лучшие передовые технологии искусственного интеллекта для распознавания текста, извлечения информации и классификации документов, но при этом он значительно проще для пользователя, чем существующие на рынке решения. Так, в составе Vantage – большой набор уже готовых навыков (микросервисов, упакованных в контейнеры Kubernetes, которые позволяют технологии автоматически обрабатывать информацию из разных источников), рассчитанных под различные потребности компаний. Например, это могут быть такие скиллы, как распознавание определенного типа документа: счета-фактуры, паспорта, транспортной накладной. Или скилл классификации, когда система определяет тип документа. При этом, для того чтобы начать использовать эти навыки, знания программирования клиенту не нужны. Достаточно подключить нужные микросервисы и обрабатывать документы так, как это нужно сотруднику для решения его задачи.

Концепция Vantage чем-то напоминает кубики в конструкторе. Сначала пользователь определяет источник, из которого документы – сканы или фотографии – поступают на обработку в платформу. Каждый кубик в процессе – это активность, то есть действие, которое Vantage должен совершить: классифицировать, извлечь те или иные поля, обучить систему на этих документах и так далее. Из этих кубиков складывается skill, или когнитивный навык. Мы используем этот термин, потому что skills работают с информацией из любых носителей так, как это бы сделал человек.

Когнитивные навыки, в том числе разработанные заказчиками и партнерами ABBYY, собраны на онлайн-площадке ABBYY Marketplace. На текущий момент на ней доступно 30 навыков для документов на различных языках. Таким образом, каждый пользователь Vantage может делиться собственными скиллами или выбирать те, которые ему нужны, и, если нужно, докупить новые, как дополнения в компьютерных играх.

Пользовательский интерфейс

Vantage – cloud-native решение, все его сервисы доступны в облаке. Для работы сотруднику нужно ввести логин и пароль на сайте продукта, загрузить файлы (счета-фактуры, акты, накладные или другие документы из горячей папки, хранилища или электронной почты), и через несколько секунд технология уже покажет первые результаты извлечения полей.

Ниже наглядно расскажем, как работать с интерфейсом Vantage (по ссылке – видео, где рассказывается подробнее).

Для старта работы пользователю необходимо нажать на большую синюю кнопку в центре поля и загрузить документы, информацию из которых нужно извлечь (Рисунок 1).

Во время загрузки система, еще даже до каких-либо настроек, уже начала обрабатывать файл и самостоятельно выделять главные поля (Рисунок 2, №1).

Если система не смогла определить тип загруженного документа, то пользователь может его выбрать из предложенного списка, кликнув по кнопке №2, Рисунок 2.

Если для таких типов документов в изначальные настройки Vantage не загружены нужные навыки, то пользователь может их найти на ABBYY Marketplace, кликнув по кнопке №3, Рисунок 2.

Если же нужный навык отсутствует и в Marketplace, то пользователь может самостоятельно его создать (Рисунок 2, №4) за пару минут, разметив лишь один файл – для начала обучения системы этого будет достаточно. При этом скилл создается без какого-либо кодинга – на загруженном документе пользователю нужно выделить необходимые для извлечения поля и назвать их (Рисунок 3, № 4). Далее он нажимает кнопку Train (Рисунок 3, № 5), и система готова работать с новым типом файлов в полном объеме.

Магазин когнитивных навыков

ABBYY Marketplace – одна из важных составляющих Vantage. Это универсальный «магазин», с помощью которого продукт можно постоянно совершенствовать и дополнять – актуальная информация автоматически подгружается в профиль каждого пользователя.

Кроме того, любой пользователь может создать свой собственный навык, которого еще нет в системе, и по желанию опубликовать его на Marketplace. После того, как навык пройдет предварительную проверку, им смогут пользоваться другие клиенты Vantage. Чем больше страниц они обработают с помощью этого скилла, тем больше будет гонорар пользователя, который его опубликовал. Стоит отметить, что для создания нового скилла также не требуются углубленные знания программирования. По нашей оценке, Citizen Developer сможет справиться с этой задачей.

Рабочий стол бизнес-процесса

Каждый пользователь может построить из скиллов свой бизнес-процесс. Это можно сделать на рабочем столе Process Skill с помощью блок-схем, каждая из которых в свою очередь тоже настраивается (Рисунок 4).

Вначале нужно настроить порядок обработки документа (например, Input-Classify-Extract-Review-Output).

К примеру, в блоке Input можно настроить Shared Folder, которая будет содержать файлы для извлечения информации. В блоках классификации и экстракции пользователь выбирает нужные документные скиллы (их может быть больше одного). А с помощью Review можно определить, в каких случаях необходима проверка документов.

Главная особенность такой блочной настройки заключается в ее простоте и понятном для любого пользователя интерфейсе. Кроме того, здесь также заложена возможность расширять настройки скиллов с помощью несложного кодирования.

Технологии в Vantage

С пользовательской частью Vantage немного разобрались, теперь расскажем о ее главных технологических составляющих. Обзор будет краткий, поскольку про каждую фичу мы расскажем на Хабре чуть позже отдельным постом. Так что stay tuned