Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Этот перевод создан для телеграм-канала Инжиниринг Данных. И, так как, одной из задач создателей телеграм-канала и аналитического курса DataLearn является популяризация грамотной работы с данными, мы выкладываем переводы в общий доступ. Мой стрим переводов будет касаться анализа, прогнозирования, продуктовой аналитики и работы с метриками. Бизнес литературу полезно читать, чтобы не забывать про контекст, цели и человеческую составляющую сервисов. Помним, что конечные цели должны быть измеримы и контролируемы. Как раз об этом поговорим в статье Седрика Чина.
Содержание
Как Amazon думает о метриках
Жизненный цикл метрик в Amazon
Как Amazon использует метрики
Это конспект одной лишь главы из Working Backwards (Работай, начиная с конца), первой книги, которая описывает, как работает Амазон изнутри. Советую приобрести книгу, потому что этот конспект будет более полезным, если его читать вместе с историями из самой книги.
Я ждал такую книгу, как Working Backwards, очень и очень долго. Если посмотреть со стороны и подумать, Амазон — невероятно эффективная компания. Они начали с продажи книг, но уже добились лидирующих позиций на огромном количестве рынков: электронная комерция, облачные технологии, интернет-видеосервисы, электронные книги, оборудование для умного дома, сервисы доставки до конечного потребителя. Есть все предпосылки к тому, что в течение следующего десятилетия Амазон продолжит укреплять свои позиции на многих из этих рынков; он также, вероятнее всего, расширится и на новые.
Working Backwards — первая книга, объясняющая как Амазон всего этого добивается. Книга была написана ветеранами Амазона, Колином Брайаром и Биллом Карром, которые были свидетелями создания многих основополагающих техник. Главная причина того, что Амазон способен делать то, что он делает, приводимая Брайаром и Карром, заключается в следовании: а) набору принципов лидерства, воспринимаемых со всей серьезностью (актуальный список принципов можно найти здесь) б) набору из пяти механизмов — процессов, которые позволяют Амазону делать то, что они делают. Такими механизмами являются:
Процесс The Bar Raiser — процесс найма, который обеспечивает Амазон высококвалифицированными кадрами, соответствующими всем лидерским принципам.
Модель The Single Threaded Leadership — децентрализованная структура организации, которая позволяет Амазону разворачивать рынки, выходить на новые рынки и доминировать на них.
Доклады The 6-Pager Narrative — альтернатива презентациям в Powerpoint на деловых встречах, которая позволяет руководству усваивать, синтезировать и оценивать сложные потоки информации (и позволяет Безосу поддерживать осведомленность обо всей децентрализованной организации).
Процесс The Working Backwards. Процесс заключается в том, что команды должны написать пресс-релиз и список часто задаваемых вопросов прежде, чем начать проект. Это позволяет компании делать ставку на действительно стоящие идеи.
Подход входных и выходных показателей Input and Output metrics — объясняет как Амазон измеряет, анализирует и достигает необходимого уровня метрик внутри компании.
Этот пост будет сфокусирован только на последней теме, в конце концов, это блог о бизнес-аналитике, написанный компанией бизнес-аналитики. Одержимость метриками — это как раз про нас. Но здесь, я бы хотел подчеркнуть силу этих идей. Книга Брайара и Карра основательно объясняет почему Амазон может делать то, что они делают. Вам следует купить книгу и прочитать их истории.
Как Амазон думает о метриках
Самая полезная вещь, которую вы вынесите из книги Working Backwards — идея о том, что хороший управляющий должен измерять организацию, которой он руководит. Если вы не будете измерять, вы не будете знать, что у вас происходит. Если вы не знаете, что у вас происходит, вы не можете быть хорошим управляющим — вы не знаете на чем сосредоточить свое внимание, чтобы получить желаемый результат.
Амазон делит метрики на 2 типа: контролируемые входные метрики и метрики на выходе. В индустрии они известны как опережающие и запаздывающие показатели, но Амазон любит использовать собственные словечки, эм, ну это же Безос. Однако, думаю, что выражение «контролируемые входные метрики» — это особенно хороший способ формулировки: он как бы подчеркивает, что опережающие показатели стоят внимания только в случаях, когда они являются контролируемыми.
Согласно Брайару и Карру, Амазон думает о своих показателях в двух широких смыслах:
Во первых, Амазон формулирует(определяет) и прокручивает каждую метрику по особому жизненному циклу метрик.
Во вторых, Амазон презентует свои показатели на собраниях, называемых Еженедельные Бизнес Ревью (Weekly Business Review, далее WBR), что спускается на всю организацию: топ-менеджмент собирается каждую неделю на полномасштабный WBR, затрагивающий всю компанию, а за ними и каждый департамент, команда по цепочке.
Мы изучим каждую идею по очереди.
Жизненный цикл метрик Амазона
Как Амазон создает свои метрики? Если отвечать коротко, у них для этого есть целый процесс, метод улучшения, называемый DMAIC, который они скопировали из концепции «Шесть Сигм». Аббревиатура расшифровывается как Define (определите), Measure (измеряйте), Analyze (анализируйте), Improve (улучшайте), Control (контролируйте). Авторы говорят, что если вы хотите внедрить схожие с Амазоном еженедельные встречи WBR, то вам нужно пройти через этапы DMAIC в правильном порядке, не пропуская ни один шаг. (Где-то в книге упоминается, что команды, которые не проходят этапы DMAIC в точном порядке, спотыкаются позже. Урок усвоен.)
Давайте взглянем на каждый этап по очереди:
Определите
Почти каждая метрика, презентуемая на встрече руководителей WBR, соответствует одному из элементов знаменитого «маховика» Амазона:
Когда-то эту диаграмму нарисовал Безос на салфетке в 2001 году, вдохновленный концепцией маховика из книги Джима Коллинза «От хорошего к великому». Брайар и Карр подчеркивают, что маховик на столько важен, что он располагается в самом начале каталога показателей на встречах руководства WBR. Маховик устанавливает контекст для каждой метрики, которую Амазон отслеживает в своем розничном бизнесе.
Устанавливайте верные контролируемые входные показатели
Первая вещь, которую делает Амазон — это определяет список правильных контролируемых входных метрик. Это удивительно сложно и требует повторяющегося процесса проб и ошибок. Авторы приводят следующий пример:
Когда в Амазоне мы начали переходить от книг на другие категории, мы допустили ошибку, выбирая входные показатели, ориентированные на выбор, то есть на то, сколько товаров Амазон выставил на продажу. Каждая позиция описана на странице объявления, которая включает описание товара, картинки, рекомендации пользователей, доступность (например, готов к отправке через 24ч), цена и блок «купить» или кнопка. Одной из метрик, которую мы изначально выбрали для оценки выбора, было количество созданных объявлений, так как предполагали, что чем больше объявлений, тем лучше выбор.
Как только мы определили метрику, она тут же повлияла на действия ритейл команд. Они стали чрезмерно сосредоточены на добавлении новых страниц объявлений с подробностями — каждая команда добавила в свои категории десятки, сотни и даже тысячи товаров, которые ранее не были доступны на Амазоне.
(…) В скоре мы увидели, что рост страниц объявлений, казалось бы, увеличение выбора, не привел к росту продаж, нашей метрики на выходе. Анализ показал, что в погоне за увеличением количества товаров, команды иногда покупали продукты, которые не пользовались высоким спросом.
Когда мы поняли, что команды выбрали неправильную входную метрику, а это было обнаружено в процессе еженедельных докладов WBR, мы изменили показатель, чтобы он отражал потребительский спрос. После нескольких встреч WBR, мы задались вопросом: «Если мы продолжим работать над изменением метрики выбора, в том виде, как она определена сейчас, приведет ли это к желаемому результату?». По мере того как мы собирали больше данных и наблюдали за положением дел, эта конкретная метрика выбора через некоторое время эволюционировала от:
- количества карточек объявлений, которую мы улучшали
- к количеству просмотров карточек объявлений (вы не получите одобрения из-за новой страницы объявления, если покупатели ее не просматривают), которая затем стала
- долей просмотров объявлений продуктов, которые были на складе (вы не получите лояльность, если добавляете товары, но не сможете поддерживать их запасы на складе), что в конечном итоге вывелось к:
- проценту просмотров объявлений продуктов, которые были на складе готовыми к отправке в течение 2ух дней до клиента, впоследствии ее назвали метрикой управления запасами 'Fast Track In Stock’ (прим. дословно, быстрый путь на складе).
Авторы здесь говорят, что для того, чтобы получить правильный набор контролируемых входных метрик, вам нужно будет тестировать и дискутировать, будьте готовы совершать множество итераций и того и другого! Авторы поясняют, что даже этот путь не был таким уверенным, как вы могли бы подумать — Безос был обеспокоен тем, что метрика быстрого роста запасов была слишком узкой, но Джефф Уилк настаивал, что такая метрика приведет к обширным систематическим улучшениям. Безос согласился попробовать, и Уилке оказался прав.
Однако, самое главное, на что необходимо обратить внимание — это на то, что такой процесс совершается для каждой входной метрики, которую использует Амазон. Это сотни человеко-часов только на итерации по используемым входным метрикам.
Амазон тратит сотни человеко-часов на итерации по правильным входным метрикам.
Приготовьтесь делать то же самое для своей компании.
Измеряйте
Этап измерения — это ступень, где вы настраиваете инструментарий для аналитики: закупаете все необходимое и отлаживаете окружение для измерения выбранных метрик. Брайар и Карр выделяют следующие 3 шага на этой стадии:
Во-первых, невероятно важно и необходимо избавиться от предубеждений в ваших метриках, если вы хотите открыть самую потаенную правду о своем бизнесе. Амазон оказывает всяческую поддержку своему финансовому отделу, чтобы те беспристрастно вскрывали и рапортовали правду. Это делается потому что руководители бизнес-подразделений заинтересованы выбирать показатели (или настраивать показатели!) таким образом, чтобы выглядеть лучше.
Во-вторых, планируйте аудит метрик. Амазон требует от блюстителей метрик проведения регулярных ревизий метрик, для того чтобы убедиться, что метриками измеряется то, что на самом деле должно отслеживаться. В основе такого требования лежит предположение о том, что со временем что-то приведет к смещению вашей метрики и, следовательно, к искажению чисел.
В-третьих, найдите время и инвестируйте в инструменты для своего бизнеса. Кажется, это достаточно просто сделать: вы тратите деньги на людей и сервисы для создания бизнес-аналитики, и на этом ваша работа кончается, так? Но авторы подчеркивают, что в ваших интересах использовать правильные инструменты, какими бы они ни были для бизнеса, а ведь иногда правильные — это наиболее сложные!
В пример дается показатель Амазона «в наличии». Метрика «в наличии» звучит простой для измерения, пока вы не увидите как много там возможных способов вычислить в наличии ли товар. И что же вам делать? Посмотрим со стороны, вопрос, на который мы на самом деле хотим ответить следующий: «какой процент моих товаров готовы к покупке и незамедлительной отправке?».
Вы можете измерить это несколькими способами. Авторы приводят только два:
Вы делаете snapshot (копию) каталога каждый день в 11 вечера, определяете, какие товары есть на складе, а затем оцениваете каждую позицию, рисуя график 30-ти дневных продаж.
Каждый раз, когда пользователь заходит на страницу товара, веб-приложение увеличивает «Общее количество отображенных страниц товара», и если соответствующий продукт доступен, веб-приложение увеличивает «Общее количество отображенных страниц товара в наличии». В конце дня вы делите «Общее количество отображенных страниц товара в наличии» на «Общее количество отображенных страниц товара» и получаете общий показатель для товаров в наличии в тот день.
Авторы утверждают, что вторая метрика лучше, потому что она отражает то, что видит клиент. Так что, несмотря на то, что этот способ дороже в реализации (вам нужно будет попросить инженеров написать код, сделать расчеты и хранить каждое событие в базе данных!), вам следует стиснуть зубы и вложиться, потому что это наиболее точная метрика, которую бизнес должен знать.
Анализируйте
На этой стадии жизненного цикла метрик вы дорабатываете устойчивое понимание всей подноготной метрики. Авторы говорят, внутри Амазона существует много разных названий для этой ступени, например, «снижаем вариативность», «делаем процесс более предсказуемым», «берем процесс под контроль»
Чарли Белл, старший вице-президент AWS (Amazon Web Services), однажды сказал: «Когда вы сталкиваетесь с проблемой, вероятность того, что вы сразу видите корень этой проблемы стремится к нулю, потому что обычно оказывается, что за каждым происшествием скрывается очень интересная история.»
Он здесь имеет в виду, что часто, если вы сталкиваетесь со странным поведением метрики, то вы тратите время на поиск причин такого поведения. Как и Тойота, Амазон использует метод «5 почему», чтобы добраться до первопричины аномалий ( они называют этот процесс «Исправление ошибок» COE (‘Correction of Errors’), результатом COE является документ, описывающий настоящий корень проблемы аномалии в соответствующей метрике).
Для каждой метрики, которую вы определяете, должен быть выделен период на развитие глубокого понимания того, как она работает.
Но сам смысл, стоящий за ступенью анализа, важнее. Брайар и Карр говорят, что для каждой новой метрики обязательно будет период, когда нужно будет развить глубокое понимание того, как она работает, какие ее первоисточники, как выглядят ее естественные колебания, доверительный интервал и так далее. Это позволит вам перейти на следующий этап, которым будет:
Улучшайте
Как только вы развили твердое, устойчивое понимание вашего процесса и показателей, вы наконец готовы начать улучшать оговоренный процесс. Например, если ваша метрика «в наличии» равна 95%, вы можете задаться вопросом: «Что нужно сделать, чтобы поднять ее до 97%»?
Причина того, что стадия улучшения идет после определения, измерения и анализа, состоит в том, что теперь вы будете делать изменения на прочном фундаменте понимания. В Амазоне были отделы, которые пытались улучшать свои процессы без полного цикла определения, измерения и анализа. Почти всегда это приводило к большому количеству беспорядочных действий с маленькими или незначительными результатами.
Авторы отмечают, что если вы со временем постепенно улучшаете этот процесс, то ранее используемая метрика может перестать давать полезную информацию. В таких случаях совершенно нормально удалить ее с ваших дашбордов.
Контролируйте
Наконец, метрика переходит в устойчивое состояние, в фазу контроля. Этот этап про то, чтобы убедиться, что ваши процессы отлажено работают и производительность со временем не падает. В некоторых командах Амазона метрики настолько хорошо контролируются и процессы так налажены, что встречи WBR становятся встречами - исключениями, вместо регулярных еженедельных встреч для обсуждения каждой метрики. Сотрудники встречаются лишь для обсуждения аномалий.
Еще одна вещь, которая случается на стадии контроля — это то, что аналитики могут обнаружить процессы, которые могут быть полностью автоматизированы. В конце концов, если процесс достаточно хорошо изучен и решения предсказуемы, то скорее всего он может быть заменен программным обеспечением. Предсказания и покупки на Амазон — два примера, где процессы сейчас полностью автоматизированы — хотя, на автоматизацию ушли годы синхронизации категорий покупателей и разработчиков для того, чтобы автоматизировать покупки миллионов товаров на Амазоне.
Как Амазон использует метрики
Как я ранее уже упоминал, Амазон использует метрики, рассматривая их на еженедельных бизнес-ревью WBR.
Блюстители метрик следят за показателями ежедневно. От них требуется знать, что является естественным отклонением, а что аномальным, чтобы не тратить лишнее время на WBR.
На собраниях WBR самого высокого уровня (Безос и его команда топ-менеджеров, S-team) бизнес-ревью WBR охватываются все наиболее важные показатели компании из «колоды показателей» — презентации, состоящей из сотни графиков, диаграмм и таблиц. На заре Амазона, вся «колода» показателей печаталась на бумаге. Сейчас они либо напечатаны, либо хранятся на электронных носителях.
Существует ряд интересных свойств у «колоды» метрик, которые стоит обсудить. Вот, например:
«Колода» показателей представляет собой сквозной взгляд на бизнес. Это сделано намеренно — авторы пишут: «в то время, как департаменты, показанные на диаграммах, — просты и раздельны, бизнес-деятельность такой не является. В «колоде» представлен последовательный, комплексный обзор бизнеса за каждую неделю, составленный по пользовательскому пути на Амазоне. Такой последовательный переход с темы на тему может выявить взаимосвязь, на первый взгляд, абсолютно независимых событий.»
«Колода» состоит в основном из диаграмм, графиков и таблиц. Поскольку необходимо рассмотреть сотни иллюстраций к данным, текстовые заметки слишком сильно замедлят ход встречи. Двумя примечательными отступами от этого правила являются отчеты об исключительных случаях и байки «Голос клиента», их разрешено добавлять на «доску» метрик.
Не существует идеального количества метрик для ревью. Амазон и сам постоянно добавляет, модифицирует и исключает метрики из доски для встреч WBR, согласно изменению требований бизнеса.
Основной фокус на возникающих закономерностях. Вам необходимы повторяющиеся паттерны, характерное поведение графиков, и лучше их знать задолго до того, как они появятся в квартальных или годовых отчетах.
Графики обычно строятся рядом с сопоставимыми величинами за предыдущий период. Метрики обретают смысл в сравнении с предыдущими периодами, вам нужно честное сопоставление яблок с яблоками (например, вы скорее будете сравнивать праздничные дни с предыдущим праздничным периодом, чем с тихими будними днями).
Графики имеют 2 и более временные шкалы, например, 6-ти недельную и 12-ти месячную. Мелкие, но важные проблемы обычно видны на более коротких промежутках; потому что они, как правило, сглаживаются на более длинных.
Байки и отчеты по исключениям вплетены в «колоду» метрик. Единственными исключением из правила «диаграммы, графики и таблицы» являются показательные истории и разбор исключительных случаев. О которых, много позже.
WBR является фрактальным методом — высшее руководство собирается на WBR, так же как и все отделы и команды. Некоторые показатели отслеживаемы в режиме реального времени (например, те, которые необходимы для обнаружения сбоев), остальные обновляются ежечасно или ежедневно; это в основном зависит от потребностей команды. В конце концов, показатели сертифицируются финансовым отделом, который уполномочен проверять эти показатели, и он же, присутствует на встречах WBR высшего уровня.
С учетом этой информации, мы можем, наконец, перейти к самим еженедельным бизнес ревью WBR.
Проведение встреч WBR
Амазон посвящает огромное количество времени подготовке к гладкому проведению встреч WBR. Еженедельный ритм позволяет поддерживать темп нескольких вещей. Он гарантирует, что менеджеров оповещают о проблемах как можно скорее. Он гарантирует, что из недели в неделю встречи плавно перетекают одна в другую. Со временем, Амазон оставил несколько оптимальных методик:
Метрики форматируются единым и привычным образом. Авторы утверждают, что «хорошая колода настроена однообразно — дизайн графиков, временные шкалы, цветовая палитра, набор символов (текущий год, предыдущий год, цели) и, где это возможно, одинаковое количество графиков на странице. Некоторые данные, естественно, можно по-разному представить, но их тоже выводят в требуемом стандартном виде.
Такое редактирование означает, что руководители Амазона могут просматривать один и тот же набор данных каждую неделю в одном и том же формате и в одном и том же порядке, чтобы иметь возможность беспрепятственно видеть целостную, сквозную картину бизнеса. Со временем, такое единообразие приводит к общей способности выделять тенденции, ловить аномалии и поддерживать процесс непрекращающейся проверки. Таким образом, WBR должен становиться все более эффективным.
На встречах WBR фокус идет на отклонения, ожидаемое поведение игнорируется. Время встреч на бизнес-ревью WBR — бесценно. Если дела идут в пределах ожидаемых изменений, руководители направлений говорят: «здесь нечего смотреть» и продолжают доклад. Главной целью встречи является обсудить исключительные случаи и действия, связанные с ними.
Руководители направлений заведуют метриками и ответственны объяснять отклонения в них. В то время как финансовый отдел обязан сертифицировать метрики, демонстрация каждой метрики — ответственность только соответствующего ей руководителя. Владельцы продукта обязаны детально знать свои показатели; к тому времени как они участвуют во встрече WBR с топ-менеджерами, руководители направлений должны иметь аргументы (или хотябы промежуточные результаты расследования) для обоснования аномалии.
Руководителям, которые не подготовились должным образом перед встречей WBR, делается строгий выговор. Если они не знают причин аномалии, им следует сказать: «Я не знаю, мы все еще анализируем данные, но мы вернемся к вам с информацией.» Догадки на месте или выдумывание причин, также приведет к выговору.
Операционные и стратегические обсуждения проводятся отдельно. Время WBR драгоценно. Это тактическое оперативное совещание, а не стратегическое. Новые стратегии, продуктовые изменения и предстоящие релизы не допускаются к обсуждению во время встречи.
Амазон старается не запугивать (хотя у них это не очень хорошо получается). Успех требует такой среды, в которой люди не чувствуют себя уязвимо в моменте, когда говорят о чем-то, что пошло не так в их области. Авторы признают, что Амазон не всегда хорошо справляется с созданием безопасной среды для признания ошибок, но они работают над этим.
Амазон делает переход от метрики к метрике простым. Еще раз, время WBR драгоценно. Количество исполнительных директоров и владельцев продуктов, собравшихся в одной комнате, делает встречу WBR уровня топ-менеджмента самым дорогим и влиятельным собранием Амазона. Это значит, что переходы от одной области колоды метрик к другой области должны быть максимально беспрепятственными.
Также, у Амазона есть несколько интересных способов представления данных:
Амазон выводит недельные и месячные показатели на одном графике. Как было упомянуто ранее, Амазон строит 6-ти недельный график и 12-ти месячный. Смысл представления показателей таким образом заключается в том, что график выглядит как увеличенная версия одних и тех же данных. Возьмем, к примеру, этот график:
Серая линия — предыдущий год, черная — текущий год
Левый график, вон те 6 точек, показывает последние 6 недель
Правый график, из 12-ти точек, показывает весь год месяц за месяцем
Этот встроенный «зум» добавляет ясность, как бы усиливает самые последние данные, которые график 12-ти месяцев помещает в контекст.
Амазон следит за трендами ежегодных изменений. Посмотрите на следующий график из ежемесячного бизнес ревью (да, такие существуют; это, на самом деле, ежемесячная версия WBR):
WBR):
На графике фактическая ежемесячная выручка сравнивается и с запланированной выручкой, и с выручкой за предыдущий год. График выглядит так, как будто вы выполняете план и растете с приличной скоростью из года в год …
До тех пор пока вы не добавите сравнение темпа роста с предыдущим годом на правую ось Y:
Без пунктирной линии годового изменения (YOY), вы можете и не заметить, что текущие и прогнозируемые тренды медленно сходятся на первом графике. Однако, с добавленным графиком изменения темпа роста от года к году, вы легко можете заметить, что рост замедлился на 67% с января, даже без намеков на выход на плато. В данном конкретном случае бизнес выглядит здоровым, но на горизонте маячат проблемы.
Метрики на выходе показывают результаты, входные метрики дают рекомендации. График выше — пример выходной метрики. Это отличное напоминание о том, что показатели на выходе — не реактивные. Например, недостаточно знать, что рост по сравнению с предыдущим годом замедлился, вам также нужно знать какие факторы способствовали замедлению. Брайар и Карр отмечают, что если выходная метрика будет располагаться рядом с входными метриками, такими как "новые клиенты", "доход от новых клиентов" и "доход от существующих клиентов", вы сможете обнаружить сигнал намного раньше, и с более четким призывом к действию.
Не каждая диаграмма/график сравнивается с целями. График выше содержит цели. Но естественно, не каждый график должен включать цели, например, процент пользователей ОС Android и iOS — не является показателем, основанным на целях, и поэтому цели могут быть исключены из визуализации.
Амазон объединяет данные и яркие эпизоды, чтобы осветить случай целиком. Однако, наиболее интересный аспект колоды показателей — это использование баек. Авторы пишут:
Амазон применяет множество техник, чтобы показательные истории точно дошли до команд, которые владеют и управляют сервисом. Одним из примеров является программа, называемая «Голос клиента». Отдел по работе с клиентами CS изо дня в день собирает и подводит итоги обратной связи покупателей и презентует ее во время WBR, но не обязательно каждую неделю. Выбранный отзыв не обязательно отражает наиболее распространенную жалобу, служба поддержки свободна выбирать, о чем рассказывать. Часто очень больно слышать истории на ревью WBR, потому что они подсвечивают как сильно мы подвели клиентов. Но они всегда дают нам обучающий опыт и возможность становиться лучше.
Яркие эпизоды могут выявить самые разнообразные и странные проблемы. Например,
Один случай из программы «Голоса клиента» был об инциденте, когда наше ПО заблокировало несколько кредитных карт из-за нескольких предварительных снятий по 1$ в качестве пре-авторизаций, обычно это происходит только единожды за заказ. Деньги с клиентов не снимались, и срок действия таких пре-авторизаций истекает через несколько дней, но пока заявки висели на рассмотрении, деньги считались снятыми с кредитной карты. Обычно это бы не возымело никакого эффекта на пользователя. Однако, одна клиентка написала, что сразу после покупки на Амазоне она пошла за лекарством для своего ребенка, но ее карта была заблокирована. Покупательница потребовала, чтобы мы помогли решить эту проблему, чтобы та смогла купить необходимое ребенку лекарство. Сперва, расследование по ее жалобе вскрыло, что edge-case баг (другими словами, редчайшая ошибка) превысил лимит ее кредитной карты. Множество компаний отклонили бы такие случаи как выбросы, не заслуживающие внимания, исходя из предположения, что подобное случается редко и слишком дорого для исправления. В Амазон такими случаями регулярно занимались, потому что они могли повториться и потому что расследования часто выявляли дополнительные смежные проблемы, которые необходимо было решать. То, что на первый взгляд казалось лишь редким случаем, оказывалось более значимым. Ошибка вызывала проблемы в других областях, которые мы изначально не заметили. Мы быстро устранили проблему для клиентки и для всех других пострадавших клиентов.
В дополнение к таким рассказам, Амазон так же использует отчеты по исключениям для выявления проблем. Например, каждый продукт, продаваемый на Амазоне, имеет свою «прибыль от вложений», далее CP (‘contribution profit’). Прибыль от вложений — деньги, которые Амазон зарабатывает после продажи товара и вычета различных затрат на этот товар. У Амазон есть отчет по исключениям по прибыли CP, в котором перечислены топ-10 продуктов с отрицательным CP (те, которые не принесли прибыли) по каждой категории за предыдущую неделю. Глубокий анализ этих десяти продуктов, которые часто меняются от недели к неделе, может дать полезную информацию о проблемах в бизнесе, которые могут потребовать действий.
Авторы приходят к выводу, что данные и яркие эпизоды составляют «мощную комбинацию, когда они согласованы, а когда это не так, они являются ценной проверкой друг для друга.»
Подводим итоги
Самый значимый совет, который я вынес из книги Working Backwards, заключается в том, что если вы хотите быть хорошим управляющим, вам необходимо измерять свои процессы. На самом деле, как говорит Брайяр, на первом этапе собеседования:
«Просто подумайте о бизнесе, как о процессе. Это может быть сложный процесс, но по сути, он выдает такие результаты, как выручка и прибыль, количество клиентов и темпы роста. Чтобы вам быть хорошим управленцем, не достаточно фокусироваться только на этих выходных метриках — вам нужно определить контролируемые входные показатели. Многие говорят, что Амазон особо не заботится о прибыли или росте. Думаю, данные говорят об обратном, но что действительно правда, так это то, что бОльшая часть внимания уделяется входным метрикам: если вы что-то делаете, вы должны это правильно контролировать, и тогда вы увидите желаемые результаты в выходных метриках. Лучшие управленцы, которых я видел, очень четко понимают, какие «кнопки» нажимать и какие «рычаги» использовать, чтобы получить результат, который они хотят. Они понимают процессы.(восклицательный знак)»
Working Backwards — фантастическая книга. Она ни на что не похожа, она дает представление о том, как на самом деле выглядит прогрессивная, принимающая решения на основе данных компания изнутри. Купите ее, прочитайте ее, расскажите о ней своим коллегам — не могу подобрать слов, как рекомендую ее.
В продолжение: Я написал пост, в котором подробно объяснил, почему я считаю понятие "контролируемые входные показатели" Амазона таким замечательным. Читайте его здесь.
