Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Привет, Хабр! Меня зовут Андрей Ткаченко, я руковожу направлением прогнозирования промо в «Магните». Наша команда запускает цикл статей: мы приоткроем дверь в мир процессов, технологий и алгоритмов крупного российского ритейла, а также поделимся собственным опытом прогнозирования промо.
Во вводной статье мы расскажем о разнице между промо и регулярными продажами, о команде и истории развития направления прогнозирования в «Магните», а также объясним, почему качественный прогноз промо важен для бизнеса.
Мы привыкли к большому количеству желтых ценников в магазинах у дома, но так было не всегда. За последние десять лет промо в российском ритейле как инструмент стимулирования спроса пережил революцию. В 2010 году на этапе становления и бурного развития торговых сетей в России цели промо акций были ограничены: сокращение срока вывода новинки на рынок, компенсация шероховатостей планирования объёмов производства либо попытка привлечь дополнительного покупателя невиданной ранее низкой ценой на условный картофель, о которой сообщали в объявлении на ближайшей остановке общественного транспорта… Объёмы промо-предложения были незначительны, как и само количество акций.
За прошедшие годы промо преодолело длинный путь и превратилось в отдельный мир со своими законами и проблемами внутри сложившейся системы ритейла. Доля промо-продаж выросла с ~10% на старте до ~40%, появилось множество различных промо-механик и способов коммуникаций с покупателями, большинство крупных компаний помимо обычного промо запустили собственные программы лояльности. Последовательно растущая от года к году доля промо-продаж заставила компании уделять процессам организации, планирования и прогнозирования всё больше внимания.
А пока вернёмся к магазину у дома: с точки зрения покупателя, товар с жёлтым ценником мало чем отличается от стоящего рядом аналога, кроме привлекательной цены. Но мало кто знает, что для торговой сети процесс попадания этого товара на полку – отдельная, не лишённая драматизма, история.
Регулярные продажи VS промо
В случае с регулярными продажами мы имеем дело с поддержанием товарного запаса на ассортимент, имеющий стабильный спрос. Каждый магазин выступает в роли локального склада, на который ежедневно необходимо привозить такой объём товара, который покроет среднюю дневную потребность + страховой запас*. Горизонт прогнозирования — небольшой, менее семи дней, логистическая возможность пополнения — ежедневно или раз в два дня.
*Страховой запас
запас товара, сформированный на случай непредвиденных обстоятельств (на случай внезапно выросшего спроса, задержки поставок или проблем на производстве). В нашем случае является расчётным параметром на базе индивидуальной статистики продаж для каждого магазина-товара
В случае с промо ситуация сложнее, потому что каждая промо-акция — в сущности, аномалия с точки зрения регулярных продаж. Поддерживать страховой запас на уровне промо-продаж по каждой товарной позиции нецелесообразно — в магазине не хватит места. Кроме того, после окончания акции спрос на товар может резко упасть и весь избыток рискует быть списанным по истечении сроков годности, либо надолго зависнуть в статусе неликвида. При этом проведение промо требует дополнительной подготовки как со стороны поставщика (планирование объёмов производства, распределение по региональным складам), так и со стороны торговых сетей (публикации в каталогах, внешняя реклама, информирование сотрудников о механике проведения акции), что напрямую влияет на плечо прогноза*.
*Плечо прогноза
временной отрезок между моментом расчёта прогноза и прогнозируемым периодом.
Качество прогнозирования промо влияет на имидж компании и лояльность покупателей. Так, если человек не нашел в магазине батон бренда X, он без раздумий выберет из лежащих на полках аналогов по сопоставимой цене. Совсем другая ситуация, если клиент идёт за покупками, увидев рекламу на ТВ и заинтересовавшись выгодным предложением, и с разочарованием видит в магазине пустую полку с одиноким жёлтым ценником.
Итак, мы определились, что правильное планирование и прогнозирование объёмов промо-продаж:
это залог успешных акций и программ лояльности;
положительно влияет на NPS*;
существенно отличается от регулярных продаж с точки зрения механики, целей и требований;
влияет на финансовую составляющую современного ритейла (охватывает около половины всех продаж).
*NPS (Net Promoter Score)
индекс, с помощью которого определяют лояльность клиента товару или бренду (индекс готовности рекомендовать) и оценивают готовность вновь совершать покупки.
Что из себя представляет промо-прогноз в «Магните»
Глобальная цель нашей команды — создание высокопроизводительного сервиса прогнозирования (в первую очередь, «ядра» или Back-end части) с единым окном входа, который способен в течение нескольких минут возвращать результат расчёта заказчику. Кроме того, сервис должен быть гибким, чтобы быстро подстраиваться под изменения в поведении покупателей, рыночной конъюнктуры, появление новых видов маркетинговой активности и механик промо, а также под краткосрочные и долгосрочные цели компании. В роли заказчика может выступать любое подразделение, которому нужен расчёт прогноза. Например, помимо еженедельных промо, на расчёт в июне может прийти план новогоднего объёма продаж сезонных инаутов* для планирования производства поставщика.
*Инаут
товар вне регулярной ассортиментной матрицы, введённый с экспериментальными целями без точного понимания его дальнейшей вероятности постоянного присутствия в матрице.
Цель нижнего уровня для прогнозирования промо — ответить на вопрос: «Какое количество конкретного товара мы продадим в отдельно взятом магазине в течение промо-периода при заданных параметрах?». Звучит как тривиальная задача, но на практике всё не так просто (об этом — в следующих статьях).
Как развивался промо-прогноз в «Магните»
Прогнозирование промо выделяется в отдельное направление.
Модели: ручной расчёт на базе исторических данных
Примерно в 2015 году мы поняли, что нужно выделить промо из общих систем прогнозирования из-за существенных отличий в процессах. Это помогло повысить качество прогноза за счёт создания надстроек и адаптации существующих систем прогнозирования и пополнения под специфику промо.
«Коробочные решения» от контрагентов.
Модели: Линейные модели
В 2018 году внедрили один из существующих на рынке готовых инструментов прогнозирования промо-спроса, что позволило сделать быстрый рывок за счёт применения более современных технических решений.
Плюсы: | Минусы: |
позволило быстро догнать рынок при накопленном отставании в технологиях | постоянные затраты на поддержку и доработку |
поддержка решения усилиями небольшой команды | отсутствие возможности внедрения быстрых доработок своими силами |
потеря центра экспертизы внутри компании |
Самостоятельная доработка и адаптация готового решения.
Модели: Линейные модели
В конце 2018 года мы начали развивать готовое решение силами своей команды.
Плюсы: | Минусы: |
нарастили экспертизу | моральное устаревание решения |
смогли внедрять быстрые доработки | нет потенциала роста ключевых метрик прогноза |
Разработка и внедрение алгоритмов на базе ML.
Модели: Линейные модели, Мультипликативные модели, ML алгоритмы на базе градиентного бустинга и другие
В середине 2019 году мы усилили команду и начали разрабатывать собственные решения на базе ML, а также провели ревизию и пересобрали с нуля существующие, чтобы повысить их эффективность и устранить накопленные баги. Кроме того, мы реализовали сервисный подход к прогнозированию — то есть объединили все алгоритмы и разработки в общий pipeline с единым окном входа для пользователей, тем самым создав первую версию прогнозной машины.
Плюсы: | Минусы: |
современное решение | усложнилась интерпретация результатов (актуально для стека ML) при взаимодействии с бизнесом |
возможность дорабатывать и адаптировать технологии на ходу | появилась необходимость формировать сильную команду (Data + бизнес) |
возможность быстро реагировать на актуальные потребности бизнеса | |
возможность масштабировать разработки | |
принцип «одного окна» |
Адаптивный подход к прогнозированию товарных категорий и разработка алгоритмов на основе нейросетей.
Модели: Линейные модели, Мультипликативные модели, ML алгоритмы на базе градиентного бустинга, нейросети и другое
В 2021 году мы повысили эффективность стека боевых алгоритмов и инструментов аналитического блока, сформировали устойчивый цикл жизни и развития алгоритмов. Запустили процесс разработки и тестирования нейросетей с собственной архитектурой.
Плюсы: | Минусы: |
индивидуальный подход к прогнозу отдельных товарных групп на уровне моделей для достижения бизнес-целей. Например, для товаров с коротким сроком годности и стабильным потреблением нельзя допускать профицитный прогноз. Необходимо, чтобы они всегда были свежими + не рос объём списаний, и при этом полка не должна пустовать. Для товаров с длительными сроками хранения и волатильным спросом приоритетом будет наличие на полке. | появилась необходимость наращивать вычислительные мощности |
повышение качества прогнозирования благодаря возможности учитывать большее количество признаков и моделировать пространство решений вне статистики наблюдений | усложнился технологический стек |
Наша команда и организация рабочего процесса
Прежде чем прийти к нынешнему состоянию команда прогнозирования пережила несколько этапов трансформации и роста. Сейчас базовые роли в команде прогнозирования делятся на три направления:
Data scientist – отвечает за разработку и развитие алгоритмов, тестирование гипотез.
Data engineer – отвечает за внедрение алгоритмов в pipeline, поддержку работы сервиса прогнозирования, настройку потоков данных.
Data/Business analytic – отвечает формирование гипотез и валидацию результатов тестов.
У каждого участника команды есть набор уникальных навыков, знаний и опыта, которые могут быть на стыке разных областей, с уклоном в одно из направлений.
Важное преимущество нашей команды — каждое из направлений формировалось на базе сотрудников, имеющих большой опыт работы в «Магните»:
во-первых, это позволяет проще и быстрее обучать новых участников команды
во-вторых, сотрудники знают особенности учёта данных компании и построения корпоративного хранилища
в-третьих, знание внутренних процессов и опыт работы в разных подразделениях компании позволяет сразу отсеивать заведомо ложные гипотезы и находить оригинальные решения сложных проблем.
Рабочий процесс выстроен на базе продуктового подхода, адаптированного к реалиям крупного ритейла и корпоративной культуры «Магнита». Сам продукт обособлен от операционной деятельности компании, что позволяет нам работать в комфортном двухнедельном цикле спринтов-релизов. Ведение Backlog’a, планирование и контроль текущих задач осуществляется в Jira. Команды DS и DE практически не контактируют с пользователями, заказчиками, смежными подразделениями. В зависимости от специфики вопроса внешними коммуникациями занимаются владельцы продукта и бизнес-аналитики блока.
В этой статье мы дали общее представление о работе нашего подразделения, а в следующем материале расскажем об особенностях и проблемах прогнозирования промо, а также подробнее остановимся на стеке технологий и пайплайне.
P.S. О каком аспекте из жизни команды рассказать в следующих постах? Предлагайте свои варианты и задавайте вопросы в комментариях!
