Всем привет!
Однажды у руководства возник вопрос, готов ли я взять ответственность за качество прогнозов модели.
С одной стороны вопрос простой и требует ответа «да/нет». С другой — сложилось понимание, что качество сильно зависит от того, как его рассчитать. Без формализации бизнес-метрики отвечать на этот вопрос очень не хотелось.
Так я столкнулся с культурой работы с данными в компании и услышал от менеджмента фразу «data-driven подход». Хорошую статью про этот подход написали X5 Tech.
Меня зовут Родион, я занимаюсь улучшением бизнес-процессов компаний с помощью данных. Сегодня хочу поделиться опытом внедрения машинного обучения: как компании работают с бизнес-метриками и данными, где в иерархии потребностей компании находится ML и как довести проект до реальной бизнес-пользы.
Рождение ML
Многие компании осознают потенциальную ценность данных, но слабо представляют себе реальный процесс добычи ценности. Это приводит менеджмент к очевидному решению — нужно взять дашборд, вывести на него разные метрики, каждое утро на них смотреть, иногда делать отчеты об их изменении и причинах. С точки зрения бизнеса цель благая — измерять что-то, на что потом будем влиять.
С появлением такого дашборда хочется посмотреть на метрики и объяснить их колебания: мы ввели промо, из-за чего увеличился средний чек. В этот момент кто-то предлагает внедрить машинное обучение, ведь это так стильно, модно, молодежно. Идея манит своими перспективами — можно столько полезных вещей автоматизировать.
Я наблюдал пробу пера аналитика, который в свободное время освоил инструментарий машинного обучения. По результатам его работы имеем презентацию с графиками о том, как изменились метрики после применения модели, и восхищенные комментарии про потенциал роста продаж. Иногда после такой презентации даже принимаются важные решения, фиксируются KPI в виде «рост выручки на 148%» и назначаются ответственные за достижение столь масштабной цели. Существует большая вероятность цель не достичь, но движение к ней будет «вопреки и изо всех сил».
В этот момент давайте остановимся и попробуем понять возможные причины провала такой стратегии. Каждый описанный этап может проходить за неделю, а может длиться месяцами. На каждом этапе компания живет с мыслью, что обозначенный план действительно приведет ее к цели. Сложно было бы жить в убеждении, что текущие проекты бесполезны и не приведут к результатам.
Может произойти так, что выручка действительно покажет рост на 148%, в этот момент усиливается вера в правильность избранного пути. Здесь важно понимать контекст менеджмента: в момент принятия решения о внедрении нового инструмента у нас всегда будет неполная информация. В каком-то смысле одна из функций менеджмента в том, чтобы принимать решения в состоянии неопределенности разной степени и нести за эти решения ответственность в разных формах. В этих условиях мы смотрим на презентацию с графиками и чувствуем в руках тяжесть чемодана с деньгами, который нам принесет машинное обучение.
Такой момент я бы назвал моментом рождения ML в компании: мы уже потрогали новую технологию и даже сделали небольшой проект, надо продолжать!
Жизнь с ML
Естественно, при принятии решения хочется быть уверенным в результатах, ведь мало кто готов отдавать на волю случая свою репутацию/положение/выручку и другие блага. Устранением неопределенности руководствуются, когда возникает идея внедрить дашборды, начинать измерять метрики «до-после» и внедрять ML.
Сейчас мы подошли к вопросу потребностей компании. Ежедневно компании сталкиваются с рисками и неопределенностью, многие стремятся определить их, немногим это удается и еще меньше компаний стараются устранить риски там, где это возможно. Существует потребность в устранении неопределенности, закрыть которую можно в том числе с помощью данных. Потребность может не до конца осознаваться менеджментом, но от того она не перестает существовать. Эта же потребность толкает компании на внедрение data-driven подхода «так, как умеем», а вслед за «успешным» data-driven можно внедрить и ML.
Теперь у нас есть несколько проектов с машинным обучением, а может быть, мы собрали целую команду ML-инженеров. Наступает эпоха «жизни с ML в компании». Эпоха надежд и веры в лучшее будущее. Каждый хочет прикоснуться к этому инструменту, возникает непреодолимое желание как можно чаще его использовать, появляется все больше и больше инициатив. Вслед множится количество проектов и через год-два их становится слишком много. Все это происходит с разной степенью системности.
В результате часть проектов уходит в стол, часть продолжает работать, еще какую-то часть переделывают.
Компании не нужен ML
И тут наступает сложный период в жизни компании. Как любой организм, компания при угрозе перераспределяет ресурсы в пользу своего выживания. А это значит, что компании надо оценить «успешный успех» проектов с машинным обучением и понять, помогут ли они в будущем выживании. Такая оценка, вероятно, коснется почти всех проектов и, если компания будет смотреть на метрики «до-после», то угадать проект-жертву почти невозможно. Ведь большинство методов, применяемых во время оценки, мало чем отличаются от случайных. Проблему качественной оценки результата проекта мы обсудим в следующих статьях.
Этот этап жизни я бы назвал «смертью ML в компании», когда из-за случайных колебаний «среднего чека» закрывается множество хороших проектов.
Возможно, зрелая компания проведет работу над ошибками и поймет причины такой судьбы некоторых проектов. Но все это будет потом. А сейчас менеджмент осознает сумму убытков от проектов, которые «не взлетели», и выбирает курс без ML.
Как же так получилось?
Если посмотреть на ML как на инструмент для закрытия потребностей компании, то, на мой взгляд, данные и их качество находятся на первой ступени в иерархии потребностей. На второй ступени находится аналитика в широком смысле. На третьей — ML. И вся эта пирамида потребностей базируются на бизнес-процессах компании.
Когда мы слышим про успехи внедрения ML «быстро и не дорого», это выглядит так:
Но эволюцию не обмануть. Неполное удовлетворение потребности низкого уровня приведет к невозможности удовлетворения более высокоуровневых потребностей.
Мы можем сколь угодно долго и упорно строить дашборды, но какой в этом смысл, если данные ошибочны? Еще меньше смысла обретает машинное обучение в условиях, когда мы не можем оценить эффект от внедрения того или иного решения. И самое страшное, когда мы не имеем зрелых бизнес-процессов для управления проектами, решения принимаем случайно и не делаем работу над ошибками.
К какому выводу я пришел?
Позвольте вашим проектам эволюционировать естественным образом без стероидов «эффективного менеджмента». Потратьте время на удовлетворение базовых потребностей и создавайте проекты на крепком фундаменте. В этом случае компания сможет получать реальную пользу от данных.
Два вечных вопроса: кто виноват и что делать?
Про виноватых ответить не смогу, это тема отдельной статьи.
Что делать? За каждую задачу в компании отвечают люди со своими убеждениями, страхами и надеждами. Это часто забывают, когда речь идет про построение бизнес-процессов, но человеческий фактор всегда будет служить частью культурной среды компании, а значит о ней стоит заботиться, прикладывать усилия к созданию и поддержанию зрелой культуры работы с данными в разных плоскостях. Это можно сделать разными способами, например через инфо-встречи с рассказами про данные, про лучшие практики работы с ними и, что более важно, про их влияние на цели людей, которые прикасаются к данным.
Есть еще множество аспектов, которые не были освещены в этой статье и будут освещены в следующих. Дальше мы порассуждаем о том, как выявить места применения ML внутри компании, о важности командной работы и почему машинное обучение невозможно забыть.
А как у тебя в компании оценивают проекты? Пиши в комментарии свою боль, говорят, от этого становится легче :)
P.S. Иногда я пишу возникающие мысли в тг-канал «Заметки дата-сатаниста»: https://t.me/my_datascience
