Быстрый старт в видеоаналитику: Опыт использования OpenVINO Toolkit в хакатонах

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

image alt

Всем привет! Мы активные студенты НГТУ им. Р.Е. Алексеева, и мы хотим рассказать о своем опыте участия в хакатонах и создании IT-решений с использованием набора инструментов Intel – OpenVINO (Open Visual Inference & Neural Network Optimization) – отличной палочки-выручалочки при разработке систем видеоаналитики.


Для начала расскажем немного о себе. Мы студенты 3 курса ИРИТ, кафедра «Информатика и систем управления» – Татьяна Бородина, Тимофей Карклин, Александр Зенкин и Владимир Салтыков. С 1 курса мы активно участвуем в различных конкурсах IT-сферы, создав команду MirITeam[Прим. модератора: ссылка убрана, чтобы не нарушать правила. Google it.] – команду молодых и целеустремленных ребят. Мы разрабатываем стартапы в области компьютерного зрения и видеоаналитики, выступаем на научных конференциях и очень любим Хакатоны, их атмосферу и дух соревнования, где быстро нужно разработать хорошее, качественное решение, привнести в него «изюминку», и успешно (из опыта – это очень и очень важно) защитить свой проект перед жюри. Это ценный опыт реализации инновационных идей, получения новых знаний и качеств и, конечно же, командного сотрудничества.


Поделимся впечатлениями о последнем хакатоне, где мы участвовали –региональном этапе Всероссийского конкурса «Цифровой прорыв», где в рамках кейса ПАО «Ростелеком» мы занялись разработкой системы мониторинга за поведением студента во время экзамена год назад и предположить не могли, что это будет актуально и даже прикольно – сами выступаем в рамках испытуемых.


Итак, наш кейс и его защита выглядит так.


Все ушли на удаленку. И даже учебные заведения. Зачеты, экзамены и сессии никто не отменял. И если в оффлайн экзамене существует тысяча способов списать, чтобы преподаватель не заметил, то при сдаче экзамена онлайн способов списать в разы больше. Эту проблему мы и предлагаем решить в рамках хакатона с помощью машинного обучения и компьютерного зрения.


Наша система использует инструментарий Intel в виде моделей OpenVINO для видеоаналитики (о них мы расскажем чуть более подробно ниже), работу с процессами компьютера, контроль кликов и скроллингов, а также ближайшие соединения по протоколу Bluetooth. Использование последних методов исключает не только возможность использования таких сторонних ресурсов, как открытые вкладки браузера с подсказками, любые текстовые инструменты, но и использование дополнительных систем связи (Discord, Skype, Zoom и т.п.). Обнаружение всех этих «аномалий» поведения максимально исключает использование уловок и значительно повышает честность сдачи дистанционного экзамена.


image alt

После того, как мы поставили перед собой задачу, требующую решения, началось обсуждение способов анализа параметров студента – и сразу всем в голову пришло одно и тоже – это классный случай использования библиотеки OpenVINO и репозитория предварительно обученных моделей Open Model Zoo это наш помощник и даже преданный «сообщник» в кейсе по анализу параметров студента.
Мы использовали каскад из глубоких моделей (facial-landmarks-35-adas, head-pose-estimation-adas, open-closed-eye, gaze-estimation-adas), что в режиме реального времени позволило находить ключевые точки лица и анализировать такие параметры студента, как положение головы и направление движения его глаз. Кроме того, для аутентификации студента и исключения появления посторонних людей в кадре мы использовали Single Shot MultiBox Detector, а именно его Caffe реализацию для быстрого переобучения под конкретного человека и сравнения с полученным с камеры через метод опорных векторов (SVM алгоритм).


Сама система контроля процесса сдачи экзамена разработана в виде веб-сервиса с окном для фиксации нарушений, строкой иконок, подсвечивающихся при обнаружении аномалии поведения, а также непосредственно самого видео, полученного с веб-камеры или подключенной камеры телефона в режиме реального времени.


image alt

Не забыли мы и преподавателей – смотреть на экран и запоминать «значки» нарушений им совсем не нужно, пусть лучше доброжелательно и внимательно слушают ответы студентов и объективно оценивают их поведение. В нашей системе мы разработали удобный для них инструмент – после завершения работы система выдает отчет со статистикой по разным нарушениям, каждый из которых для удобства анализа подсвечен разными цветами, что даст возможность преподавателю также не ошибиться, рассмотреть каждое их них и принять итоговое решение по оценке знаний студента, убрав субъективность.


С нами согласятся многие — для нас, студентов, в условиях конкуренции на рынке труда и желании реализоваться в профессии, главное – получить знания, но при этом так же важно получить объективную оценку наших знаний. Кроме того, разработанная система позволяет в чем-то облегчить труд преподавателей, хотя бы на экзаменах.


По итогу наш проект вошел в шорт-лист и прошел во Всероссийский финал конкурса «Цифровой прорыв», где мы еще поборемся за звание победителей. Сам проект на данный момент дорабатывается: дополняется интерфейс и его функциональность. Но система уже и сейчас является жизнеспособной. Надеемся в ближайшее время опробовать нашу систему на кафедре «Информатика и системы управления», а позже, возможно, ранжировать на наш институт радиоэлектроники и информационных технологий и весь университет, город и даже страну.


По итогу разработчикам мы очень советуем заглядывать в репозиторий c готовыми демо-приложениями и моделями OpenVINO не только в рамках конкурсов с использованием компьютерного зрения и видеоаналитики, но и при построении серьезных приложений, ну а студентам напомним слова Бенджамина Франклина: «Незнание не стыдно, стыдно не стремиться к знаниям».

Источник: https://habr.com/ru/post/523882/

Интересные статьи

Интересные статьи

Один из ключевых сценариев работы в CRM это общение с клиентом в удобном для него канале. По почте, по телефону, по SMS или в мессенджере. Особенно выделяется WhatsApp — интеграцию с ...
Привет, Хабр! Уже довольно давно я пишу свой игровой фреймворк — такой pet project для души. А так как для души нужно выбирать что-то, что нравится (а в данном случае — на чём нравится писать)...
Данная статья будет интересна тем, кто хочет: увеличить продолжительность работы ИБП от аккумулятора увеличить выносливость автономного источника энергии при некачественном питании С...
Если вы много путешествуете и являетесь разработчиком сайтов, игр, видеоэффектов или чего-то подобного, то наверняка знаете, что во многих странах приветстуют стартапы из этой области. Есть даже ...
JavaScript – это один из языков с динамической типизацией. Такие языки удобны для быстрой разработки приложений, но когда несколько команд берутся за разработку одного большого проекта, лучше...