Как рождается, живет и умирает машинное обучение внутри компании?

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Всем привет! 

Однажды у руководства возник вопрос, готов ли я взять ответственность за качество прогнозов модели. 

С одной стороны вопрос простой и требует ответа «да/нет». С другой — сложилось понимание, что качество сильно зависит от того, как его рассчитать. Без формализации бизнес-метрики отвечать на этот вопрос очень не хотелось.

Так я столкнулся с культурой работы с данными в компании и услышал от менеджмента фразу «data-driven подход». Хорошую статью про этот подход написали X5 Tech.

Меня зовут Родион, я занимаюсь улучшением бизнес-процессов компаний с помощью данных. Сегодня хочу поделиться опытом внедрения машинного обучения: как компании работают с бизнес-метриками и данными, где в иерархии потребностей компании находится ML и как довести проект до реальной бизнес-пользы. 

Рождение ML

Многие компании осознают потенциальную ценность данных, но слабо представляют себе реальный процесс добычи ценности. Это приводит менеджмент к очевидному решению — нужно взять дашборд, вывести на него разные метрики, каждое утро на них смотреть, иногда делать отчеты об их изменении и причинах. С точки зрения бизнеса цель благая — измерять что-то, на что потом будем влиять.

С появлением такого дашборда хочется посмотреть на метрики и объяснить их колебания: мы ввели промо, из-за чего увеличился средний чек. В этот момент кто-то предлагает внедрить машинное обучение, ведь это так стильно, модно, молодежно. Идея манит своими перспективами — можно столько полезных вещей автоматизировать. 

Я наблюдал пробу пера аналитика, который в свободное время освоил инструментарий машинного обучения. По результатам его работы имеем презентацию с графиками о том, как изменились метрики после применения модели, и восхищенные комментарии про потенциал роста продаж. Иногда после такой презентации даже принимаются важные решения, фиксируются KPI в виде «рост выручки на 148%» и назначаются ответственные за достижение столь масштабной цели. Существует большая вероятность цель не достичь, но движение к ней будет «вопреки и изо всех сил». 

В этот момент давайте остановимся и попробуем понять возможные причины провала такой стратегии. Каждый описанный этап может проходить за неделю, а может длиться месяцами. На каждом этапе компания живет с мыслью, что обозначенный план действительно приведет ее к цели. Сложно было бы жить в убеждении, что текущие проекты бесполезны и не приведут к результатам. 

Может произойти так, что выручка действительно покажет рост на 148%, в этот момент усиливается вера в правильность избранного пути. Здесь важно понимать контекст менеджмента: в момент принятия решения о внедрении нового инструмента у нас всегда будет неполная информация. В каком-то смысле одна из функций менеджмента в том, чтобы принимать решения в состоянии неопределенности разной степени и нести за эти решения ответственность в разных формах. В этих условиях мы смотрим на презентацию с графиками и чувствуем в руках тяжесть чемодана с деньгами, который нам принесет машинное обучение. 

Такой момент я бы назвал моментом рождения ML в компании: мы уже потрогали новую технологию и даже сделали небольшой проект, надо продолжать! 

Жизнь с ML

Естественно, при принятии решения хочется быть уверенным в результатах, ведь мало кто готов отдавать на волю случая свою репутацию/положение/выручку и другие блага. Устранением неопределенности руководствуются, когда возникает идея внедрить дашборды, начинать измерять метрики «до-после» и внедрять ML. 

Сейчас мы подошли к вопросу потребностей компании. Ежедневно компании сталкиваются с рисками и неопределенностью, многие стремятся определить их, немногим это удается и еще меньше компаний стараются устранить риски там, где это возможно. Существует потребность в устранении неопределенности, закрыть которую можно в том числе с помощью данных. Потребность может не до конца осознаваться менеджментом, но от того она не перестает существовать. Эта же потребность толкает компании на внедрение data-driven подхода «так, как умеем», а вслед за «успешным» data-driven можно внедрить и ML. 

Теперь у нас есть несколько проектов с машинным обучением, а может быть, мы собрали целую команду ML-инженеров. Наступает эпоха «жизни с ML в компании». Эпоха надежд и веры в лучшее будущее. Каждый хочет прикоснуться к этому инструменту, возникает непреодолимое желание как можно чаще его использовать, появляется все больше и больше инициатив. Вслед множится количество проектов и через год-два их становится слишком много. Все это происходит с разной степенью системности. 

В результате часть проектов уходит в стол, часть продолжает работать, еще какую-то часть переделывают. 

Компании не нужен ML

И тут наступает сложный период в жизни компании. Как любой организм, компания при угрозе перераспределяет ресурсы в пользу своего выживания. А это значит, что  компании надо оценить «успешный успех» проектов с машинным обучением и понять, помогут ли они в будущем выживании. Такая оценка, вероятно, коснется почти всех проектов и, если компания будет смотреть на метрики «до-после», то угадать проект-жертву почти невозможно. Ведь большинство методов, применяемых во время оценки, мало чем отличаются от случайных. Проблему качественной оценки результата проекта мы обсудим в следующих статьях.

Этот этап жизни я бы назвал «смертью  ML в компании», когда из-за случайных колебаний «среднего чека» закрывается множество хороших проектов. 

Возможно, зрелая компания проведет работу над ошибками и поймет причины такой судьбы некоторых проектов. Но все это будет потом. А сейчас менеджмент осознает сумму убытков от проектов, которые «не взлетели», и выбирает курс без ML.  

Как же так получилось? 

Если посмотреть на ML как на инструмент для закрытия потребностей компании, то, на мой взгляд, данные и их качество находятся на первой ступени в иерархии потребностей. На второй ступени находится аналитика в широком смысле. На третьей — ML. И вся эта пирамида потребностей базируются на бизнес-процессах компании.  

Когда мы слышим про успехи внедрения ML «быстро и не дорого», это выглядит так:

Но эволюцию не обмануть. Неполное удовлетворение потребности низкого уровня приведет к невозможности удовлетворения более высокоуровневых потребностей. 

Мы можем сколь угодно долго и упорно строить дашборды, но какой в этом смысл, если данные ошибочны? Еще меньше смысла обретает машинное обучение в условиях, когда мы не можем оценить эффект от внедрения того или иного решения. И самое страшное, когда мы не имеем зрелых бизнес-процессов для управления проектами, решения принимаем случайно и не делаем работу над ошибками. 

К какому выводу я пришел?

Позвольте вашим проектам эволюционировать естественным образом без стероидов «эффективного менеджмента». Потратьте время на удовлетворение базовых потребностей и создавайте проекты на крепком фундаменте. В этом случае компания сможет получать реальную пользу от данных.

Два вечных вопроса: кто виноват и что делать? 

Про виноватых ответить не смогу, это тема отдельной статьи. 

Что делать? За каждую задачу в компании отвечают люди со своими убеждениями, страхами и надеждами. Это часто забывают, когда речь идет про построение бизнес-процессов, но человеческий фактор всегда будет служить частью культурной среды компании, а значит о ней стоит заботиться, прикладывать усилия к созданию и поддержанию зрелой культуры работы с данными в разных плоскостях. Это можно сделать разными способами, например через инфо-встречи с рассказами про данные, про лучшие практики работы с ними и, что более важно, про их влияние на цели людей, которые прикасаются к данным. 

Есть еще множество аспектов, которые не были освещены в этой статье и будут освещены в следующих. Дальше мы порассуждаем о том, как выявить места применения ML внутри компании, о важности командной работы и почему машинное обучение невозможно забыть. 

А как у тебя в компании оценивают проекты? Пиши в комментарии свою боль, говорят, от этого становится легче :)

P.S. Иногда я пишу возникающие мысли в тг-канал «Заметки дата-сатаниста»: https://t.me/my_datascience

Источник: https://habr.com/ru/company/garage8/blog/712812/

Интересные статьи

Интересные статьи

Ознакомившись с работой JTAG в общих чертах и написав файл BSDL для воображаемой микросхемы в предыдущей статье, можно рассмотреть работу модуля JTAG внутри микросхем более детально. Для этого мы нап...
Нам отрубили все каналы европейского сырья для биохимии. Вот возьмём гель для УЗИ, который мы делаем в огромных количествах и который очень нужен стране. Он состоит из полимера, воды, консерва...
Не все то золото, что блестит. Этой фразой можно описать и ситуацию, и человека. Но во время золотой лихорадки она приобретает более буквальный смысл. За многие годы существования наш...
В настоящее время существует множество видов навигации автономных беспилотных аппаратов и роботов.  В целом их можно разделить на навигацию внутри помещений – indoor...
От скорости сайта зависит многое: количество отказов, брошенных корзин. Согласно исследованию Google, большинство посетителей не ждёт загрузки больше 3 секунд и уходит к конкурентам. Бывает, что сайт ...