Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Всем привет! Сегодня расскажем и покажем, как машинное обучение и компьютерное зрение в очередной раз помогает в решении различных задач. В этот раз наша команда приняла участие в кейсе от ООО «Финкейс» в рамках конкурса «Цифровой прорыв» Северо-Кавказского IT-хаба.
Нам предложили разработать прототип интеллектуальной системы по определению качества ремонта квартир на основе алгоритмов компьютерного зрения с использованием инструментария Intel – OpenVINO (Open Visual Inference & Neural Network Optimization).
Кейс:
При оценке любого объекта недвижимости мы сталкиваемся с задачей определения качества ремонта квартир. Качество отделки является одним из важных параметров ценообразования, который, к сожалению, часто не указывают в информации об объекте. Требуется разработать алгоритм оценки, позволяющий по фотографии определить наличие ремонта и качество отделки для последующего использования результата при оценке стоимости объектов.
Для решения задачи было реализовано два классификатора: первый для определения типа ремонта (без отделки, косметический ремонт, стандартный ремонт и ремонт класса люкс), второй – для определения типа помещения. Для обучения классификатора по типу ремонта использовалась модель нейронной сети Resnet50. Для ее обучения мы собрали датасет около 50 тысяч фотографий. Обучили и сконвертировали её в ONNX, а из ONNX уже в OpenVINO.
Для конвертации нашей ONNX модели в формат OpenVINO при помощи инструмента Model Optimizer использовалась следующая команда:
python3 mo.py --input_model <INPUT_MODEL>.onnxЗатем реализовали код для запуска модели в фреймворке OpenVINO. По итогу точность распознавания составила 93%. Исследования продолжаются, поэтому на данный момент собираемся для классификаций помещений по типу ремонта взять модель Resnet152 (если хотите узнать результат, напишите в комментариях, поделимся).
Для второго классификатора, то есть для определения типа помещения использовался инструментарий Monk. Они имеют огромную базу предобученных моделей. Искренне советуем заглянуть и познакомиться!
Для более детальной оценки стоимости недвижимости было решено проводить дополнительно оценку стоимости мебели и предметов декора в квартире. Для этого была использована предобученная модель на наборе данных для анализа сцен MIT ADE20K.
В результате в качестве функционала был реализованы 2 классификатора, определяющие с точностью 93% тип помещения (спальня, кухня, ванная комната, гостиная) и тип ремонта (люкс, стандартный ремонт, косметический ремонт, без отделки). А для более детальной скоринговой оценки недвижимости реализована автоматическая оценка стоимости мебели и предметов декора в квартире. Для более детальной скоринговой-оценки недвижимости реализовали автоматическую оценку стоимости мебели и предметов декора в квартире. Для начала сегментируются все объекты на изображении и выделяются их контуры, можно рассмотреть это на представленном выше изображении. После чего формируется список найденных объектов для оценки. Стоимость каждого найденного объекта интерьера определяется с помощью API Яндекса, суммируя их, получается общая стоимость интерьера помещения.
По завершении выполнения алгоритма система выдает типы комнаты и ремонта, найденные объекты и их суммарная стоимость. Проект на данный момент дорабатывается: проводятся исследования в области применения и использования других нейросетевых алгоритмов для классификации объектов, дополняется интерфейс и его функциональность. Но система и сейчас имеет рабочую версию для демонстрации результатов.
В результате защиты проекта наша команда ISUvision (Божко Мария, Сторожева Ксения, Рязановский Владимир, Данилов Руслан, группа 19-ИСТ-1, ИРИТ) с руководителем команды – Багировым Мираббасом Бахтияровичем была признана достойной участия в финале Всероссийского конкурса «Цифровой прорыв».
Спасибо за внимание! Советуем заглянуть в другую нашу статью и познакомиться с нашим опытом использования инструментария Intel – OpenVINO не только на хакатонах, но и для решения настоящих бизнес задач.
