Объяснимый искусственный интеллект: понимание черного ящика

Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!

Черный квадрат — знаковая картина русского художника Казимира Малевича. Первая версия написана в 1915 году. Черный квадрат впечатляет искусствоведов и сегодня, но на своих современников не произвел впечатления и хранился в таких плохих условиях, что сильно потрескался и обветшал.

Сложные алгоритмы машинного обучения могут быть математическим произведением искусства, но если эти «алгоритмы черного ящика», которые мы не видим, не смогут произвести впечатление и завоевать доверие пользователей, они могут быть проигнорированы, как Черный квадрат Малевича. Как сделать все понятнее для юзеров — в материале под катом.

Значительный успех машинного обучения привел к всплеску в приложениях искусственного интеллекта. Достижения в машинном обучении и рост вычислительных мощностей привели к разработке интеллектуальных систем, которые применяются, чтобы рекомендовать фильм, диагностировать злокачественную опухоль, принимать инвестиционные решения или вести машину без водителя. Однако эффективность этих систем ограничена невозможностью объяснить решения и действия пользователю. Множество таких приложений, применяющих ML, работают «внутри черного ящика», предлагая небольшое, если вообще заметное, объяснение того, как они достигают результатов.

Вековая проблема

Проблема объяснения машинного обучения очень распространена, с ней сталкивалось большинство специалистов по данным. В опросе на Kaggle из 7000 специалистов по обработке данных, четыре из семи главных «барьеров, с которыми сталкиваются на работе», не технические, но связаны с «проблемами последней мили»:

Нет управленческой и финансовой поддержки
Нет четких ответов на вопросы
Результаты не учитываются в принятии решений
Объяснимость науки о данных

И мы сталкиваемся с этой проблемой вот уже более ста лет. В 1914 году Willard C. Brinton начал писать свою знаковую книгу Графическое изображение фактов с описания «проблемы последней мили»:

Раз за разом случается, что какой-нибудь невежественный или самонадеянный член совета директоров нарушает тщательно продуманный план человека, который знает факты, просто потому, что человек с фактами не может представить их достаточно понятно, чтобы преодолеть сопротивление…. Эффективная презентация подобна собору на фундаменте данных.

Компромисс точности и объяснимости

Специалистам приходится иметь дело с компромиссом между интерпретируемостью и точностью, то есть между сложными моделями, работающими с разноплановыми данными, и менее сложными моделями, которые легче интерпретировать, но которые менее точны.

При работе с большими разноплановыми наборами данных необходимо использовать все эти переменные для построения модели и получения точных результатов. По мере использования большего числа переменных их связь с целевой переменной и взаимодействие между различными независимыми переменными делают модель все более сложной.

Нецелесообразно моделировать нелинейные зависимости с помощью линейных моделей и ожидать точных результатов

Так должны ли мы построить точную модель или пожертвовать точностью и построить интерпретируемую модель?

Есть сильные движущие факторы с обеих сторон. При больших объемах данных у безвредного приложения для принятия решений, типа рекомендательной системы фильмов, высокоточная модель черного ящика является жизнеспособным вариантом. Однако в критически важных системах для принятия инвестиционных решений или в медицинской диагностике объяснимость может быть важнее.

Нормативные требования также могут повлиять на ваше решение. Если модели банковского кредитования и мошенничества являются черными ящиками, то регуляторы не могут их рассмотреть или понять. Если такие алгоритмы не будут точно оценивать риски, то финансовая система может оказаться под угрозой, как мы видели во время финансового кризиса 2008 года. Неудивительно, что многие регулирующие органы настаивают на том, чтобы модели кредитования и риска поддавались интерпретации.

Программа XAI от DARPA

Агентство перспективных оборонных исследовательских проектов (DARPA) Министерства обороны Соединенных Штатов, ответственное за разработку новых технологий, постоянно проводит программу Explainable AI (XAI).

Принципы XAI

Программа eXplainable AI (XAI) направлена на создание набора методов машинного обучения, которые:

Создают более объяснимые модели, сохраняя при этом высокий уровень обучаемости (точности прогнозов);
Дают людям возможность взвешенно доверять и эффективно управлять новым поколением партнеров с искусственным интеллектом.

Одиннадцать команд XAI исследуют широкий спектр методов и подходов разработки объяснимых моделей и эффективных интерфейсов объяснения.

Разработчики системы XAI, подходы и проблемные области

Это постоянная программа, и потребуется несколько лет, чтобы ее результаты были поняты, приняты и доступны на популярных языках программирования, таких как Python и R.

Что мы имеем сейчас?

LIME (локально интерпретируемая модельно-агностическое объяснение) объясняет классификатор для конкретного единичного экземпляра и поэтому подходит для локального рассмотрения. Интуитивно понятно, что объяснение — это локальное линейное приближение поведения модели. Хотя модель может быть очень сложной в глобальном масштабе, ее легче приближать в непосредственной близости от конкретного случая.

LIME аппроксимирует локальный линейный суррогат сложной модели

SHAP (Аддитивное объяснение Шепли) — еще один метод объяснения индивидуальных прогнозов. SHAP основан на игре теоретически оптимальных значений Шепли. Техническое определение значения Шепли — это “средний предельный вклад значения характеристики во все возможные коалициям...”

SHAP определяет предельный вклад каждой функции в достижение выходного значения, начиная с базового значения.

Другими словами, значения Шепли рассматривают все возможные прогнозы экземпляра с использованием всех возможных комбинаций входных данных. Благодаря такому исчерпывающему подходу SHAP может гарантировать согласованность и локальную точность.

LIME против SHAP

LIME создает суррогатную модель локально вокруг единицы, прогноз которой вы хотите понять. Таким образом, он по своей сути локален. Значения Шепли делают декомпозицию окончательного прогноза на вклады каждого признака. Так зачем кому-то использовать LIME? LIME работает быстро, а SHAP требуют много времени из-за их исчерпывающих вычислений.

Другие варианты

Помимо LIME и SHAP, есть и другие инструменты искусственного интеллекта для лучшего объяснения ваших моделей.

AIX360 от IBM — расширяемый набор инструментов, который предлагает исчерпывающий набор возможностей для улучшения объяснимости вашей модели. Соответствующий пакет Python AI Explainability 360 включает в себя алгоритмы, охватывающие различные метрики объяснений наряду с посредническими метриками объяснимости
What-if предоставляет инструменты для визуального исследования поведения обученных моделей с помощью минимального количества кода.

Построение доверия с заинтересованными сторонами

Проводя параллель с разработкой рецептурных лекарств, мы принимаем назначенные врачом лекарства потому, что доверяем квалификации врача и доверяем строгости клинических испытаний, которые препарат прошел до выхода на рынок. Регулирующие органы, такие как FDA, определили процессы и протоколы, чтобы обеспечить безопасность и эффективность лекарств.

Точно так, если мы следуем строгому процессу и гарантируем, что каждая модель прошла одни и те же этапы выдвижения гипотез, проверки и тестирования, то можем выстроить доверие с заинтересованными сторонами бизнеса в том, что касается эффективности моделей машинного обучения. Таким образом, модель должна приниматься и уверенно интегрироваться в бизнес как обычные процессы.

Обуздать искусственный интеллект и машинное обучение можно под чутким руководством наших менторов. А промокод HABR дает дополнительную скидку 10%, которая суммируется со скидкой на баннере.