Автор: Ричард Миллингтон (Richard Millington)
Еще в 2018 году я стоял на сцене на саммите CMX и спрашивал аудиторию, считают ли они важным доказать рентабельность инвестиций своего сообщества.
Примерно половина рук в комнате поднялась.
Превосходно!
Затем я спросил, сколько из них могут доказать рентабельность инвестиций своего сообщества.
Протянутые руки начали слабеть. Через несколько секунд лишь полдюжины рук остались поднятыми в воздухе среди моря угрюмых лиц.
Теперь пришло время для рывка.
Если большинство из вас считает важным измерять ROI сообщества, но почти никто не может этого сделать, насколько это может быть важно?
Я имею в виду, если бы это было действительно критично — критично для жизни и смерти — разве любой, кто не смог бы доказать рентабельность инвестиций, остался бы без работы?
Либо мы все стояли на конвейерной ленте скотобойни, ожидая своей очереди, чтобы получить отбивную, либо мы все сильно ошибались насчет рентабельности инвестиций.
Возможно, измерение ROI не так важно, как мы думаем, по крайней мере, не так, как мы себе это представляем.
Возможно, есть лучший способ?
Неделю назад я провел вебинар Community-Driven Impact, чтобы поделиться лучшим подходом.
Это, кажется, резонировало, поэтому я поделюсь основными моментами здесь
Что мы измеряем, если не ROI (рентабельность инвестиций)?
Никто не заявляет, что мы должны быть свободны от оков измерения.
Измерение, в конечном счете, связано с наличием правильных данных для принятия правильных решений.
На уровне ROI это решения о том, должны ли общественные программы иметь больше или меньше финансирования.
Если мы ничего не измеряем, мы ничего не можем доказать (то есть нет ресурсов).
Нам нужны измерения. Мы должны нести ответственность за результаты.
Самое главное, нам нужны измерения, чтобы показать невероятную ценность работы, которую мы делаем.
Проблема в том, что рентабельность инвестиций — это показатель эффективности, которому более 100 лет, из ушедшей эпохи.
ROI был разработан в менее сложном мире материальных продуктов и более медленного принятия решений. Имело смысл использовать рентабельность инвестиций при рассмотрении крупных капиталовложений («стоит ли нам строить новый завод?»), это менее эффективно в сегодняшнюю эпоху неосязаемой, ориентированной на услуги и быстрого принятия решений.
Конечно, можно измерить ROI сообществ, но это ужасно сложно, занимает огромное количество времени, а результат редко бывает таким точным или убедительным, как вы думаете.
Большинство людей, говоря о рентабельности инвестиций, не имеют в виду процент прибыли на каждый потраченный доллар. Что они имеют в виду: какая польза от этого?
Если вы не продаете членство в сообществе, ваше сообщество на несколько уровней удалено от показателей уровня прибыли. Нет смысла использовать показатели уровня прибыли для оценки сообщества.
Мой аргумент двоякий.
Мы должны измерять результаты, на которые сообщество может и оказывает непосредственное влияние.
Мы должны измерять эти результаты, используя методологию, разработанную специально для сообщества.
Вот почему мы недавно начали использовать новый показатель для измерения сообщества.
Это оценка, которую я хочу представить вам сегодня.
Мы называем это воздействием сообщества (Community Driven Impact).
Проблема с существующими типами измерений
Проблема почти всех показателей ценности сообщества в том, что они не предназначены для сообщества.
Каждый метод, как вы можете видеть ниже, жертвует точностью ради простоты и должен выбирать между причинно-следственной связью и корреляцией. Ни один из них не близок к отличному результату.
Методы измерения влияния сообщества
Контролируемые эксперименты могут показать отличные результаты, но их проведение невероятно сложно и дорого.
Сравнение участников с не членами помогает установить приоритеты, но не показывает причинно-следственную связь.
Отклонение звонков ужасно неточное. Оценки «посетителей отклоненных билетов» варьируются от 1 из 20 до 1 из 500. Никто точно не знает, получил ли посетитель ответ на свой вопрос или нет. Опросы могут помочь, но страдают от предвзятости выборки.
NPS может показать изменение отношения, но это показатель адвокации (advocacy). Вы можете помочь участнику решить проблему, но это не повысит вероятность того, что он порекомендует бренд друзьям (честно говоря, как часто вы действительно рекомендуете какой-либо бренд друзьям?).
Нам нужен другой метод измерений. Измерение, которое напрямую показывает уникальное влияние сообщества. Измерение, о котором будут заботиться коллеги. Измерение, которое легко настроить и легче понять.
Именно здесь имеет значение Community Driven Impact (влияние сообщества).
Представляем Community Driven Impact (влияние сообщества)
Community Driven Impact — это показатель, который объединяет две ключевые вещи, которые люди действительно хотят знать о вашем сообществе.
Какое влияние сообщество оказывает на участников? (Среднее влияние участника - Average Member Impact)
Сколько человек посещает сообщество? (Охват - Reach)
Этот метод умножает охват (reach) на среднее влияние участников(Average Member Impact), чтобы получить оценку Community Driven Impact (влияния сообщества).
Охват относительно просто рассчитать. Это количество людей, которые посещают сообщество в любой момент времени.
Вы можете установить порог для этого, если хотите (т. е. пропускать посещения менее 30 секунд), но рекомендуется общий охват.
Более сложная часть — это расчет среднего влияния участников (Average Member Impact).
Average Member Impact (AMI)
Average Member Impact - это среднее влияние, непосредственно оказываемое сообществом на каждого отдельного участника.
Как измерять Average Member Impact
Простой метод заключается в адаптации вопроса Net Promoter Score (NPS) для конкретных целей сообщества.
Мы просто спрашиваем наших участников, как они ощутили влияние сообщества.
Проще говоря, мы спрашиваем: «Как сообщество повлияло на вас или достигнутый результат?»
Вы можете адаптировать этот вопрос практически для любого желаемого результата. Например:
Как сообщество [бренда] повлияло на вашу способность достичь [результата]?
Как сообщество [бренда] повлияло на вашу вероятность использования [функций продукта]?
Как сообщество [бренда] повлияло на ваши [результаты продукта]?
Как сообщество [бренда] повлияло на ваше решение [приобрести продукт]?
Как сообщество повлияло на ваше удовлетворение?
Вы даже можете адаптировать этот вопрос к таким показателям, как отклонение вызовов.
«Приблизительно сколько раз сообщество спасало вас от обращения в службу поддержки?»
Магия этого подхода заключается в том, что вопрос невероятно гибкий, он позволяет участникам установить причинно-следственную связь и легко получить хорошие данные.
Вы можете собирать эти данные с помощью голосований или опросов каждый месяц/квартал и усреднять результаты с течением времени, как показано на диаграмме ниже:
Насколько этот метод точный?
Я уже слышу критику.
«Но участники не дают точных ответов на вопросы опроса!»
«Члены сообщества могут по-разному интерпретировать вопрос!»
«Вы можете страдать от предвзятости к автоответам!»
«Что, если участники не могут вспомнить или вспомнить свое прошлое поведение?»
Это обоснованная критика. Результаты не будут на 100% точными.
Но вот вам ложка дегтя: показатель такой же точный, как и большинство других показателей, на которые вы смотрите.
Каждая точка данных, на которую вы когда-либо обращали внимание, основана на большом количестве предположений, порабощенных большим количеством предубеждений. Ключ в том, чтобы сбалансировать практичность и предвзятость, чтобы найти оптимальный результат.
Основное отличие этого подхода в том, что мы не используем черный ящик сложных формул, чтобы показать влияние сообщества. Мы используем полностью прозрачный метод, чтобы показать влияние сообщества, используя показатель, предназначенный для сообщества.
Невозможно критиковать этот метод, по-прежнему поддерживая NPS или CSAT как действительный показатель успеха.
Вопрос AMI заставляет людей напрямую связывать свой опыт в сообществе с желаемым результатом и делать оценку. Это снимает с нас бремя причинно-следственной связи и позволяет участникам подчеркнуть, какое влияние (если таковое имеется) сообщество оказало на их поведение.
Проблема в том, что люди, как правило, не умеют объяснять, что движет их поведением. Например, люди утверждают, что реклама на них не влияет, но продолжают покупать у крупнейших рекламодателей.
Это не делает поведенческие опросы недействительными, а вместо этого показывает, что все поведенческие опросы влекут за собой определенный уровень неопределенности. Мы должны признать эту неопределенность и указать на нее в наших результатах.
Основное преимущество расчета AMI заключается в том, что нам не нужно прибегать к статистическому вуду, чтобы связать сообщество с результатом, это прямой вопрос, требующий прямого, вдумчивого ответа. Предполагать, что участники сообщества не могут этого понять, значит очень плохо думать о них.
Расчет Community Driven Impact (влияние сообщества)
Показатель Community Driven Impact (влияния сообщества) – это ваш средний показатель воздействия участников, умноженный на общее количество посетителей в месяц.
Короче говоря, он измеряет, скольких людей охватывает сообщество и какое влияние оно на них оказывает.
Например:
Оценка AMI 2,7 с 10 000 посетителей в месяц соответствует оценке воздействия сообщества, равной 27 000.
Оценка AMI 4,1 с 7 000 посетителей в месяц соответствует оценке воздействия сообщества, равной 28 700.
Приведенный выше пример показывает важность балансировки двух показателей друг против друга. Небольшое сообщество с более высоким влиянием столь же ценно, как и более крупное сообщество с меньшим влиянием.
Ничего страшного, если какой-либо из показателей упадет, если показатель Community Driven Impact (влияния сообщества) остается постоянным (или увеличивается).
В конечном счете, оценка CDI — это то, что действительно имеет значение. Он сочетает в себе ценность как охвата, так и воздействия, поэтому люди могут оценивать успех сообщества с течением времени, как вы можете видеть на графике ниже.
Выше вы можете увидеть, как изменения в охвате и среднем воздействии участников влияют на оценку Community Driven Impact(CDI).
В этом примере мы видим, что сообщество со временем приносит больше пользы.
Эти данные раскрывают важные идеи
Эти показатели также помогут вам проанализировать, что происходит в сообществе.
Например, клиент наблюдал долгосрочное снижение числа посетителей в месяц, но увеличение среднего воздействия участников.
Когда мы начали сегментировать оценку AMI по типам участников, мы заметили сильную связь между сроком пребывания участника сообщества и оценкой AMI.
Показатель AMI увеличивался, потому что люди с более низким AMI покидали сообщество.
Мы обнаружили, что сообщество все больше угождало прихотям ветеранов за счет других. Клиент собирался закончить с крошечной группой супер-счастливых участников. Не идеально.
Обычно рекомендуется сравнить средний показатель воздействия на участников по следующим сегментам.
Местоположение/язык участника.
Срок участия в сообществе.
Тип участника.
Активность участников.
Удовлетворенность участников.
Обычно вы заметите сегменты участников с более низким или более высоким CDI. Здесь вы можете сосредоточить свои усилия для достижения наибольшего эффекта. Вот как вы строите стратегию, основанную на данных.
В этом примере вы можете видеть, что некоторые группы преуспевают и их следует развивать, другие нуждаются в улучшении, а некоторые могут не подходить для сообщества.
Если вы используете всплывающий опрос, вы также можете увидеть, меняется ли оценка AMI в зависимости от того, где в сообществе появляется опрос. Вы даже можете обнаружить, что оценка AMI зависит от категории обсуждения, которое просматривают люди.
Это говорит о том, что вы можете сосредоточиться на определенных функциях или категориях, чтобы повысить оценку CDI.
Что влияет на ваш показатель CDI?
Когда у вас есть простая оценка для измерения успеха сообщества, вы можете начать измерять все, что вы делаете, по этой оценке.
Например, если вы меняете платформу сообщества, добавляете новую программу геймификации, проводите больше мероприятий, представляете новую программу адаптации, нанимаете больше сотрудников или увеличиваете бюджет сообщества, вы можете измерить успех всего этого с помощью наблюдения за оценку Community Driven Impact.
Любители статистики среди вас также могут провести множественный регрессионный анализ, чтобы увидеть, какие конкретные вещи больше всего влияют на оценку воздействия сообщества. Это может включать:
Количество постов.
Среднее время до первого ответа.
Количество принятых решений (техника accepted solutions для support-сообществ).
Количество сообщений, на которые ответил суперпользователь
Отсутствие суперпользователей
Количество мероприятий
и так далее…
Вы можете начать видеть, каковы статистически значимые прогнозы оценки CDI, и использовать их в качестве основных целей для улучшения вашей стратегии сообщества. Объедините это с качественной информацией из интервью с участниками, и вы сможете составить четкую картину того, что вам нужно изменить в сообществе и почему.
Вы также можете обнаружить, что многое из того, что вы делаете, не оказывает никакого влияния, и вы можете остановить эти действия. Вы также можете заметить, что другие вещи тесно связаны между собой, и разработать программы для изменения этих показателей.
Например, если количество суперпользователей сильно коррелирует со средним временем до первого ответа, а среднее время до первого ответа коррелирует с CDI, вы можете уделить больше внимания привлечению суперпользователей за счет других действий, которые не влияют на CDI.
Воздействие, ориентированное на сообщество (Community Driven Impact), лежит в основе стратегии сообщества, основанной на данных
Вот как вы составляете по-настоящему основанную на данных стратегию сообщества.
Никаких догадок или ошибочных предположений. Вы определяете цель, изучаете, что влияет на эту цель, и разрабатываете правильные программы для воздействия на эти факторы.
Также будут пробы и ошибки. Все данные основаны на некоторых предположениях, которые подвержены ошибкам и предвзятости. Но это процесс проб и ошибок, который в конечном итоге всегда приводит к правильному результату.
Имея единую метрику для управления своими усилиями, вы можете определить, какими должны быть результаты сообщества, и согласовать все свои действия для достижения этого результата.
