Упущенный импакт tNPS: потенциал, как основа ранжирования

Привет, Хабр! Меня зовут Сергей Барановский, я руководитель проектов по аналитике в Блоке по клиентскому опыту и сервису МТС.

Сегодня поговорим о том, что такое NPS, чем упущенный импакт отличается от обычного и как он может помочь при расстановке приоритетов.

Сколько всего скрывается под аббревиатурой NPS! Геймеры подумают, что это сокращение означает New PlayStation, нервные трудоголики прочитают как Need Powerful Sedative, но на самом деле NPS расшифровывается как Net Promoter Score – индекс потребительской лояльности. Эта метрика показывает отношение потребителей к бренду. Для большинства компаний (и для нас в том числе) она стала частью жизни. До такой степени, что не нужно приводить формулу расчета, она навеки отпечаталась на коре головного мозга, словно тибетская мантра.

Тем же, кто не знаком с NPS, поведаю методику расчета.

Touchpoint NPS, или сокращенно tNPS, считается аналогичным способом. Разница лишь в том, что NPS отражает общий уровень взаимодействия с компанией, а tNPS – это оценка конкретного опыта использования товара, услуги или сервиса.

Для примера возьмем клиентский центр МТС (в целях конспирации все последующие бизнес-показатели будут обозначены условно). Каждый день к нам в колл-центр обращаются десятки тысяч клиентов. На выходе мы имеем вот такой набор:

• оценка клиентом общения с оператором, из которого мы получаем tNPS;

• причины обращения клиента, сгруппированные в темы;

• иные показатели, которые не так важны для нашего исследования.

Для сотрудника, курирующего деятельность клиентского центра, наблюдение за динамикой tNPS – привычное дело. Условимся, что в ходе анализа сотрудник должен присвоить приоритет каждой теме, с которой обратился клиент. Высокий приоритет означает, что проработка темы в потенциале может дать наибольший прирост показателя tNPS. На одном из подходов расстановки приоритетов мы и остановимся подробнее.

В классическом виде таблица с динамикой tNPS выглядит так. Назовем такое представление данных «Динамика tNPS»:

Разберем плюсы и минусы.

Плюсы:

• простота (не требуется дополнительных разъяснений для понимания, как работать с этими данными);

• чистые показатели (обычный tNPS без изысков, который можно пересылать без разъяснения контекста).

Минусы:

• отсутствие приоритета (нет понимания, какая тема имеет большую значимость, а какая – меньшую).

Так как в рамках статьи наша задача состоит в приоритизации тем, то отсутствие приоритета – это существенный минус. Разберем проблему приоритета на конкретном примере. Исходя из таблицы, в третий день наибольшим потенциалом для проработки обладает Тема 4, так как у нее самый низкий tNPS – 43%. Но так ли это? Рассмотрим общее количество оценок, участвующих в расчете tNPS, в том же разрезе по темам и дням:

Видно, что в третий день Тема 4 имеет всего 14 оценок, когда как у Темы 1 целых 70 оценок. Что лучше для общего tNPS: проработать Тему 4 с самым низким tNPS, но с небольшим количеством оценок или же проработать Тему 1 с более высоким tNPS, но с куда большим количеством оценок? Прямая логика улучшения клиентского опыта говорит, что нужно подтягивать темы с наиболее низким tNPS до приемлемого уровня. Но если целью стоит повышение общей удовлетворенности клиентов – нужно отдавать приоритет тем темам, которые внесут наибольший импакт в прирост общего tNPS.

Импакт tNPS показывает, сколько процентных пунктов tNPS вносит та или иная тема в общий tNPS. Соответственно, сумма импакта tNPS по всем темам будет равна общему tNPS. Для расчета импакта нужно умножить tNPS темы на ее долю в количестве оценок:

tNPS_имп = tNPS_тема * Доля_тема

Такое представление данных назовем «Динамика импакта tNPS»:

Разберем плюсы и минусы этого представления.

Плюсы:

• состав (сразу видно, насколько та или иная тема влияет на общий tNPS).

Минусы:

• сложность (нужно держать в голове, что показатели по темам нельзя использовать в качестве показателя tNPS, это именно импакт tNPS, который в отрыве от таблицы будет больше запутывать, чем помогать);

• приоритет (нет понимания, какая тема имеет большую значимость, а какая – меньшую).

Итак, мы взяли обычный tNPS, провели с ним манипуляции и на выходе получили таблицу, которая имеет больше минусов, чем плюсов. Почему так произошло? Рассмотрим на примере Темы 5. С третьего по пятый день импакт tNPS по ней снизился с 13 п.п. до 1 п.п. Но как изменился приоритет Темы 5 из-за такого снижения? Представим, что мы не знаем ни tNPS, ни доли оценок, и нам приходится оперировать только показателем импакта. Возникает проблема, которую иллюстрирует график ниже. На нем показаны все возможные сочетания tNPS и доли оценок, дающие импакт tNPS = 1 п.п.:

Нам интересно работать с темой, которая имеет большой объем и низкий tNPS. Такая тема дает больший рычаг воздействия на показатель общего tNPS. А вот темы с небольшим объемом и высоким tNPS – крайне неинтересны, с ними и так все в порядке. Таким образом, руководствоваться одной лишь метрикой импакта tNPS для определения приоритетных тем невозможно.

При расчете импакта tNPS мы смотрим на текущий вклад темы в общий tNPS. Подойдем к расчету импакта tNPS с другой стороны – посчитаем не текущий вклад темы, а упущенный. Упущенный импакт tNPS – это то, насколько бы процентных пунктов прирос общий tNPS, если бы при текущем количестве оценок тема имела бы 100% tNPS. Расчет упущенного импакта очень похож на расчет обычного импакта, только вместо tNPS мы используем (1 - tNPS), то есть недостающее до 100% значение tNPS:

tNPS_уп.имп = (1 - tNPS_тема) * Доля_тема

Назовем такое представление данных «Динамика упущенного импакта tNPS»:

Разберем его плюсы и минусы.

Плюсы:

• приоритет (сразу можно выделить высокоприоритетные темы).

Минусы:

• сложность (объяснять суть упущенного импакта tNPS еще сложнее, чем простого импакта tNPS).

Мы добились того, что при взгляде на таблицу можем сразу приоритизировать темы. Так, на пятый день Тема 2 и Тема 3 имеют 18 п.п. упущенного импакта tNPS. Посмотрим на все показатели сразу:

Тема 2 имела низкий tNPS = -6% и получила низкую долю оценок = 17%. У Темы 3 высокий tNPS = 59% и высокая доля оценок = 44%. И тут мы уже сами решаем, какой подход нам ближе при равном потенциале: поднимать и так достойный tNPS по популярной теме, либо взять тему с меньшим весом, но с низким tNPS. Построим еще раз график, на котором показаны все возможные сочетания tNPS и доли оценок. Но теперь вместо импакта tNPS используем упущенный импакт tNPS = 1 п.п.:

Как видно, при упущенном импакте tNPS = 1 п.п. нет ни одного сочетания tNPS и доли оценок, которые нам были бы интересны (в отличие от обычного импакта). Так что при приоритизации тем мы можем оперировать только упущенным импактом tNPS.

В заключение хочется рассмотреть альтернативные способы визуализации упущенного импакта tNPS. Первый вариант – это гистограмма с накоплением упущенного импакта tNPS. В таком представлении данных сразу можно видеть суммарный потенциал роста tNPS, а также динамику по интересующим темам:

Второй вариант интереснее. Ранее, рассматривая плюсы и минусы упущенного импакта tNPS, мы подчеркнули, что сотрудник может испытывать трудности при использовании нестандартного показателя. В качестве альтернативы можно использовать стандартный показатель tNPS, но при этом делать заливку данных по показателям упущенного импакта tNPS:

Так сотрудник будет видеть привычный ему показатель tNPS, а заливка будет служить подсказкой, какая тема приоритетней. В Excel вопрос совмещения одних данных с заливкой по другим данным может быть решен с помощью вставки связанного рисунка: берем таблицу с упущенным импактом tNPS, делаем заливку по показателям, скрываем значения (например, просто уменьшая шрифт до 1), копируем показатели из таблицы tNPS и делаем вставку связанного рисунка поверх заливки. В более гибких средах, скорей всего, можно обойтись без таких «костылей», а задать параметры заливки прямо в коде.

Вот и все. Конечно, вы можете сказать, что куда проще и эффективнее выводить таблицы с tNPS и количеством оценок, и принимать решение просто сопоставляя показатели из двух таблиц. Но ведь когда-то и показатель tNPS мог казаться излишним: вместо одной метрики мы могли анализировать распределение всех оценок. В наше время данные – это новая нефть. Но когда этой «нефти» становится слишком много – нужно уметь ее перерабатывать, чтобы при меньшем объеме сохранялся, а то и вырастал суммарный КПД.

С удовольствием отвечу на ваши вопросы в комментариях к статье, там же жду ваши истории о работе с tNPS!