Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает.


/ Unsplash / Randy Fath

Проблема черного ящика


Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением, такие системы выбирают ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.

Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.

Чтобы объяснить, как машинный алгоритм пришел к тому или иному выводу, инженеры используют апостериорные методики или интерпретируемые модели вроде деревьев решений. В первом случае входные и выходные данные используют для аппроксимации «мыслительного процесса» алгоритма. Точность таких методик оставляет желать лучшего.

Деревья решений — более точный подход, но работает только с категорированными данными. Поэтому для сложных проблем компьютерного зрения неудобен.

Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.

Как работает система


ATMSeer построен на базе Auto-Tuned Models (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.

ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.

Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.

Интерфейс инструмента инженеры MIT показали в следующем видео. В нем же они разобрали несколько юзкейсов.


Контрольная панель ATMSeer дает возможность управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.

Перспективы


Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили, что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.

Также новая система поможет компаниям удовлетворить требования GDPR. Общий регламент по защите данных требует от алгоритмов машинного обучения прозрачности. Разработчики интеллектуальной системы должны быть в состоянии объяснить принимаемые алгоритмами решения. Это нужно для того, чтобы пользователи в полной мере могли понять, как система обрабатывает их персональные данные.


/ Unsplash / Esther Jiao

В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.

Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.

Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано.



Материалы из нашего корпоративного блога:

  • Управление ИТ-проектами – 5 вызовов и их преодоление
  • Искусственный интеллект классифицирует запросы в ServiceNow
  • IT Operations Management: как управлять ИТ-инфраструктурой

И блога на Хабре:

  • Agent Intelligence от ServiceNow — нейронные сети на службе у техподдержки
  • Знакомство с ITSM: 10 хабратопиков и экспертных материалов для «погружения» в тему
Источник: https://habr.com/ru/company/it-guild/blog/459030/#habracut

Интересные статьи

Интересные статьи

Мы разбирали старые письма и наткнулись на статью, которую писал Илья Сегалович iseg для журнала «Мир Internet» в далёком 2002 году. В ней он сравнивает интернет и поисковые системы с чудесами св...
На прошлой неделе произошло сразу три интересных события в сфере информационной безопасности: была закрыта эксплуатируемая уязвимость в Whatsapp, для критической уязвимости в Windows выпустили па...
Привет Хабр. Наверное многие, приобретающие часы или метеостанцию, видели на упаковке логотип Radio Controlled Clock или даже Atomic Clock. Это весьма удобно, ведь достаточно поставить часы на...
Довольно часто владельцы сайтов просят поставить на свои проекты индикаторы курсов валют и их динамику. Можно воспользоваться готовыми информерами, но они не всегда позволяют должным образом настроить...
Как обновить ядро 1С-Битрикс без единой секунды простоя и с гарантией работоспособности платформы? Если вы не можете закрыть сайт на техобслуживание, и не хотите экстренно разворачивать сайт из бэкапа...