Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.
В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает.


/ Unsplash / Randy Fath

Проблема черного ящика


Автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры. Используя метод обучения с подкреплением, такие системы выбирают ИИ-модели, которые больше других подходят для решения той или иной задачи. Например, для автоматизации службы технической поддержки. Но AutoML-системы действуют как черные ящики, то есть их методы скрыты от пользователей.

Эта особенность значительно усложняет отладку алгоритмов машинного обучения. И, например, в случае с системами автопилотирования, последствия могут быть фатальными. В 2016 году Tesla на автопилоте впервые стала участником смертельного ДТП, столкнувшись с большим грузовиком. Причина аварии достоверно неизвестна. У экспертов есть только предположение — алгоритм перепутал высокий грузовик с дорожным знаком, установленном на нижнем крае эстакады. И ошибку до сих пор не устранили — в начале марта в США вновь произошла аналогичная авария.

Чтобы объяснить, как машинный алгоритм пришел к тому или иному выводу, инженеры используют апостериорные методики или интерпретируемые модели вроде деревьев решений. В первом случае входные и выходные данные используют для аппроксимации «мыслительного процесса» алгоритма. Точность таких методик оставляет желать лучшего.

Деревья решений — более точный подход, но работает только с категорированными данными. Поэтому для сложных проблем компьютерного зрения неудобен.

Исправить ситуацию решили инженеры из MIT, Гонконгского университета науки и технологии и Чжэцзянского университета. Они представили инструмент для визуализации процессов, происходящих внутри черного ящика. Его назвали ATMSeer.

Как работает система


ATMSeer построен на базе Auto-Tuned Models (ATM). Это — автоматизированная система машинного обучения, которая ищет наиболее эффективные модели для решения конкретных задач (например, поиск объектов). Система произвольным образом выбирает тип алгоритма — нейросеть, деревья решений, «случайный лес» или логистическая регрессия. Таким же образом определяет гиперпараметры модели — размер дерева или число слоев нейронной сети.

ATM проводит серию экспериментов с тестовыми данными, автоматически подстраивая гиперпараметры и оценивая производительность. На основе этой информации она выбирает следующую модель, которая может показать лучшие результаты.

Каждая модель представляется в виде своеобразной «единицы информации» с переменными: алгоритм, гиперпараметры, производительность. Переменные отображаются на соответствующих графиках и схемах. Далее, инженеры могут вручную править эти параметры и в реальном времени мониторить изменения в интеллектуальной системе.

Интерфейс инструмента инженеры MIT показали в следующем видео. В нем же они разобрали несколько юзкейсов.


Контрольная панель ATMSeer дает возможность управлять процессом обучения и загружать новые своды данных. Там же отображаются показатели производительности всех моделей по шкале от нуля до десяти.

Перспективы


Инженеры говорят, что новый инструмент поспособствует развитию области машинного обучения, сделав работу с интеллектуальными алгоритмами более прозрачной. Ряд специалистов по МО уже отметили, что с ATMSeer они более уверены в корректности своих моделей, сгенерированных AutoML.

Также новая система поможет компаниям удовлетворить требования GDPR. Общий регламент по защите данных требует от алгоритмов машинного обучения прозрачности. Разработчики интеллектуальной системы должны быть в состоянии объяснить принимаемые алгоритмами решения. Это нужно для того, чтобы пользователи в полной мере могли понять, как система обрабатывает их персональные данные.


/ Unsplash / Esther Jiao

В будущем можно ожидать появления большего числа инструментов, позволяющих заглянуть в черный ящик. К примеру, инженеры из MIT уже работают над еще одним решением. Оно поможет студентам-медикам тренировать навыки составления анамнеза.

Кроме MIT, в этой области работает IBM. Совместно с коллегами из Гарварда они представили инструмент Seq2Seq-Vis. Он визуализирует процесс принятия решений при машинном переводе с одного языка на другой. Система показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть. Так, проще определить, произошла ли ошибка из-за неправильных исходных данных или алгоритма поиска.

Инструменты, которые делают алгоритмы машинного обучения более прозрачными, также найдут применение в сфере ITSM при внедрении службы Service Desk. Системы помогут с обучением интеллектуальных чат-ботов, и позволят избежать ситуаций, когда те ведут себя не так, как задумано.



Материалы из нашего корпоративного блога:

  • Управление ИТ-проектами – 5 вызовов и их преодоление
  • Искусственный интеллект классифицирует запросы в ServiceNow
  • IT Operations Management: как управлять ИТ-инфраструктурой

И блога на Хабре:

  • Agent Intelligence от ServiceNow — нейронные сети на службе у техподдержки
  • Знакомство с ITSM: 10 хабратопиков и экспертных материалов для «погружения» в тему
Источник: https://habr.com/ru/company/it-guild/blog/459030/


Интересные статьи

Интересные статьи

Долгое время считалось, что классический метод аутентификации, основанный на комбинации логина и пароля, весьма надёжен. Однако сейчас утверждать такое уже не представляе...
У всех есть любимые книжки про магию. У кого-то это Толкин, у кого-то — Пратчетт, у кого-то, как у меня, Макс Фрай. Сегодня я расскажу вам о моей любимой IT-магии — о BPF и соврем...
Сравнивать CRM системы – дело неблагодарное. Очень уж сильно они отличаются в целях создания, реализации, в деталях.
Если честно, к Д7 у меня несколько неоднозначное отношение. В некоторых местах я попискиваю от восторга, а в некоторых хочется топать ногами и ругаться неприличными словами.
Какой орган самый важный в организме человека? Романтики скажут сердце, прагматики — мозг, а реалисты скажут все. И это так, ведь организм человека это слаженный механизм, состоящий из множес...