Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Чтобы анкета опроса клиентов принесла пользу, недостаточно просто придумать вопросы и потом собрать данные. Уже на этапе создания анкетной формы могут возникать трудности, которые потом могут привести к недостаточному или ложному результату.
Антибюрократический манифест «Закон Паркинсона» от 1958 г. описывает проблемы анкетных форм смешно и наглядно.
Согласно Паркинсону, формы создаются так:
Сначала за дело берётся специалист по двусмысленности:
имя и фамилия;
адрес;
место жительства;
когда и почему натурализовались;
положение.
Слова «место жительства» после слова «адрес» понятны разве что специалисту по международному праву, а намеки о натурализации не понятны никому. Наконец, над графой «положение» заполняющий анкету будет долго ломать голову, не зная, написать ли ему «адмирал» (в отставке), «женат», «гражданин США» или «директор-распорядитель».
Затем его сменяет специалист по ненужным вопросам:
№ удостоверения личности или паспорта;
имя и фамилия дедушки;
девичья фамилия бабушки;
какие прививки сделаны, когда и почему;
подробности (все).
Завершает дело специалист по жаргону:
Укажите, какими особыми обстоятельствами (253) обосновано получение разрешения, в отношении которого сделан запрос в связи с периодом квоты, к которому относится предыдущее заявление (143), а также когда, как и почему отклонены какие бы то ни было заявления стороны (сторон) какими бы то ни было инстанциями на основании подраздела VII (35) или же по иной причине, а также подвергалось ли обжалованию данное или предыдущее решение, и если да, то почему и с каким результатом.
В наше время любой менеджер среднего звена легко справится с обязанностями всех троих, что мы порой и видим в опросах самых разных проектов, включая собственные.
Как изжить эти роли и перестать пить коньяк по утрам начать делать опросы, которые респонденты смогут пройти? Если вы не дипломированный социолог, вам может пригодиться мой опыт погружения в эту сферу.
Итак, что сделать перед тем, как запилить опрос?
Признать, что опросы — отдельный вид экспертизы
Маркетинговый интернет-опрос — частный случай социологического исследования. Проводить такие исследования люди учатся в вузах по 4 года и более. Учебный план МГУ по направлению «Социология» только на «Методологию и методику социологического исследования» отводит 468 академических часов.
Вдумайтесь: опрос про удобство доставки можно провести не как обычно, а с опорой на науку.
Изучить матчасть
Даже беглое знакомство с теорией социологических исследований поможет поделить задачу на последовательные шаги, позволит избежать грубейших логических ошибок, а, возможно, и вызовет вопрос: «А что, так можно было?»
Попробую в упрощённой форме объяснить понятия, которые мне показались базовыми при знакомстве с теорией социсследований — я изучала эту теорию в основном по методичке Волгоградского государственного технического университета.
Техническое задание
Исследование начинается с постановки проблемы. Логично выбирать проблему, решение которой будет иметь наибольшую практическую значимость.
Следующий шаг — выдвижение гипотез. Предполагаем, что может быть решением или причиной данной проблемы. Гипотеза — это не нечто очевидное («Время доставки важно для клиента» — это не гипотеза, это очевидный факт). И она должна быть в принципе проверяемой методом социологического исследования.
Важно определиться с аудиторией опроса. Скажем, вы можете провести опрос не по всей базе подписчиков, а только по покупателям. Соответственно, проблема и гипотезы должны быть сформулированы именно для этой аудитории.
Вопросы и ответы
Индикаторы вопросов
Затем нужно определиться с индикаторами — доступными для наблюдения и измерения характеристиками объекта исследования. Отвечать на вопросы анкеты будут люди разного возраста, профессий, люди с разным уровнем образования, жизненным опытом и установками. Но при этом требуется, чтобы эти различия как можно меньше влияли на толкование вопросов. Индикаторы должны базироваться на категориях, одинаково понимаемых носителями информации.
Различают индикаторы следующих типов:
фактический (констатирующий) регистрирует наличие или отсутствие событий, явлений, свойств;
количественный регистрирует количественную характеристику явления (частоту, размер, масштабность свойств);
оценочный показывает оценку респондентом качественного состояния, степени проявления свойств, зрелости, значимости событий и явлений;
прогностический регистрирует субъективные представления респондента о будущих состояниях объектов, тенденциях их изменений, последствиях событий.
Шкалы ответов
Индикаторы смогут выполнить свою функцию лишь тогда, когда будут дополнены шкалами, которые обеспечат фиксацию и последующую математическую обработку информации. Анкета опроса клиентов может содержать шкалу в виде вариантов ответов на закрытые и полузакрытые вопросы, а может не включаться в анкету (в случае открытых вопросов) — тогда она сформируется на этапе анализа результатов.
Основное требование к шкалам — полнота и чувствительность. Это значит, что в шкалу нужно включить набор показателей, достаточный для фиксации разных состояний, свойств, оценок.
К шкале давности первого использования марки Smashbox можно придраться:
нет варианта «Не помню» — шкала неполная,
вариант «В течение этого года» можно трактовать по-разному;
есть ли принципиальная разница между вариантами «1-2 года назад» и «3-4 года назад», не слишком ли шкала чувствительна?
Шкала конечных потребителей «Кофтёнышей» тоже вызывает вопросы:
Если существуют взрослые «Кофтёныши», то их можно заказывать не только себе, но и сестре/брату, подруге, мужу? Почему вопрос про взрослых не вынесен отдельно?
Приравнивание крестника к племяннику — интересное решение. Не то чтобы сомнительное, но просто — почему? Гораздо логичнее было бы объединение своего ребёнка и своих внуков.
А шкалу частоты открытия писем в исполнении Greenpeace хочется отметить за последний вариант: он прикольный.
Разработка шкал — самая трудоёмкая часть работы по составлению анкеты!
Классификация вопросов
Отобранные индикаторы и составленные шкалы остаётся только отредактировать — придать формулировкам вид вопросов. Вопросы можно классифицировать по функциям (основные и вспомогательные) и конструкции (открытые, закрытые, матричные).
Основные и вспомогательные вопросы
Основные (предметные) вопросы позволяют получать информацию, необходимую для проверки рабочей гипотезы, и социально-демографические данные респондента.
Вспомогательные (функциональные) вопросы могут быть разных видов.
Контактные — мотивирующие респондента дать искренний ответ.В маркетинговых онлайн-опросах контактный вопрос встретишь не часто. Честно говоря, старожилы и не припомнят таких. Это грустно, но даёт нам повод придумать свой вариант. Например, опрос от магазина домашних квестов для детских праздников я бы начала так: С каким чувством вы начинаете подготовку детского Дня рождения?
Ощущаю себя в цейтноте. Меня греет только мысль о бокале вина, который я выпью, когда приглашённые дети разойдутся.
Обещаю себе в следующий раз взять отпуск минимум за неделю до.
Боюсь, что приглашённые не придут.
Боюсь, что ребёнок заболеет, и всё сорвётся.
Не знаю, что придумать, — всё уже было (не у нас, так у детей друзей).
И ещё несколько вариантов для тех, кто (ну, вдруг) молодец и получает от подготовки удовольствие. Контактный вопрос должен раскрепостить респондента, дать ему почувствовать, что по ту сторону анкеты — тоже люди, они чувствуют его боли, им не всё равно. При этом практическую ценность из распределения ответов извлечь вряд ли удастся.
Вопросы-фильтры — разделяют информацию для разных категорий респондентов.
Вопросы о поле и возрасте могут играть роль основных, а могут использоваться в качестве фильтров — в тех случаях, когда нужно увидеть разницу в ответах на основные вопросы у людей разного пола и возраста.
Контрольные — для проверки искренности ответов на предыдущие вопросы.
В опросе Smashbox есть вопрос с длинным перечнем магазинов, где пользователь может покупать косметику. Обратите внимание на первый вариант ответа — «Сайт Smashbox.ru».
Чуть ниже размещён другой вопрос на тему мест покупки, и выглядит он так:
Смысловая нагрузка у вопросов разная. Покупать обычно и купить хотя бы один раз — это разные вещи. Тем не менее часть респондентов может отметить Smashbox.ru в первом вопросе и ответить «Нет» во втором — это говорит о нечестности или невнимательности респондента, либо о том, что места покупки не являются для него тем фактом жизни, который стоит запоминать (грубо говоря, где застало желание купить, там и покупает).
Это хороший пример того, что, даже не создавая контрольных вопросов специально, вы можете исключить какую-то часть полученных анкет из статистики — просто на основании противоречий в ответах на разные вопросы.
Вопросы-«ловушки» позволяют в целом оценить искренность и добросовестность респондента. В содержании таких вопросов обычно фигурируют события и явления, которых в реальности не было и нет.
Движение Fridays for future из опроса Greenpeace существует. Но если бы его не было, его стоило бы придумать и вставить вопрос о нём в анкету в качестве ловушки. Если респондент окажется знакомым с несуществующим движением, его ответы придётся признать неискренними и исключить из статистики.
Открытые и закрытые вопросы
Открытые вопросы не дополняются вариантами ответов. Ответы на такие вопросы более индивидуализированы и разнообразны. Они позволяют установить весь спектр представлений респондента по исследуемой проблеме. Однако результаты ответов на такие вопросы сложнее обрабатывать и интерпретировать.
Закрытые вопросы удобны в обработке и позволяют направить исследование вглубь, создать несколько веток, но при этом ограничивают свободу самовыражения респондентов. В полузакрытых вопросах кроме предлагаемых вариантов предоставляется возможность дать свой ответ.
Закрытые и полузакрытые вопросы по конструкции могут быть альтернативными, неальтернативными, матричными.
Альтернативный вопрос допускает выбор только одного варианта ответа из предлагаемых (если бы респондент выбрал два и более вариантов, ответ стал бы противоречивым).
Неальтернативный (вариативный) вопрос допускает выбор нескольких вариантов ответов, (несколько ответов не создадут противоречие).
Матричный вопрос — сведённый в таблицу набор однотипных по конструкции закрытых (полузакрытых) вопросов с общей шкалой.
Анкета опроса клиентов: форма и содержание
Анкета опроса клиентов состоит из:
вводной части (обращения к респонденту с кратким разъяснением темы исследования и техники заполнения анкеты);
Пример вводной части в исполнении Алгоритмики
основной части (одного или нескольких смысловых блоков вопросов, составленных согласно рабочей гипотезе, а также блока вопросов, направленных на получение данных о самом респонденте);
заключительной части (обращения к респонденту со словами благодарности за уделённое время и предоставленную информацию).
Заключительная часть от Bang Bang Education выглядит слишком лаконичной. Но, с другой стороны, а что ещё нужно было сказать?
Результат исследования
Ответы на вопросы сами по себе не являются результатом исследования. Данные необходимо обработать, проанализировать, интерпретировать и упаковать в удобную для восприятия форму.
Представьте, что вы получили 500 ответов на открытый вопрос. Что с ними делать? Можно сгруппировать близкие друг другу ответы-суждения, т. е. сформировать шкалу. Можно протегировать все ответы и дать сводную информацию по тегам.
Как проанализировать данные опроса
Методов анализа данных много
Группировка данных может быть простой (по одному признаку) и перекрёстной (по двум признакам). Если простая группировка имеет линейную, одномерную форму, то перекрёстная приобретает форму таблицы. Ещё более сложную форму приобретает многомерная классификация (кластерный анализ).
Чтобы установить взаимосвязи между переменными, выполняют математические расчёты: от простейших (вычисление абсолютных величин, средних арифметических, процентирования) до вычисления различных коэффициентов и индексов, например, коэффициента корреляции.
Обработанные результаты позволяют понять, констатировать наличие или отсутствие фактов, причинно-следственных связей между ними, форм проявления, тенденций изменения. Эту картину необходимо сравнить с рабочими гипотезами и сделать выводы об их подтверждении (или степени подтверждения).
Встать на место респондента и аналитика
Теория может казаться сложной и скучной, но она лишь формализует подход к задаче, который диктует нам элементарная логика.
Вот пример вопроса, который по форме и по сути предполагает возможность выбора нескольких вариантов ответа, а технически — только один.
Теория даёт нам терминологию для описания этой ситуации: вопрос должен был быть технически реализован как неальтернативный. Если бы автор опроса был знаком с теорией, он знал бы о существовании таких тонких мест и обращал бы большее внимание на это.
Но устранить логическую ошибку помогла бы и такая простая практика: поставить себя на место респондента и попробовать самостоятельно пройти созданный опрос.
Ещё одна нелогичная анкета опроса клиентов, в которой вопроса два, а ответ один:
Какие на самом деле могут быть варианты:
Шкала не соответствует вопросу — и не надо быть социологом, чтобы выявить ошибку. Достаточно попробовать ответить на вопрос как респондент или представить себя в роли аналитика и попытаться проанализировать ответы.
Но некоторые вещи труднодостижимы, если ты совсем не знаком с теорией. Сейчас общим местом стало обещание скидки за прохождение опроса. Наверное, многие задумывались о том, насколько честны респонденты и не тыкают ли они куда попало, лишь бы поскорее добраться до промокода. Анкета опроса клиентов может включать в себя вопрос-«ловушку» и не учитывать тех респондентов, которые «попались». Знание матчасти позволяет не доходить до таких практик своим умом через пробы и ошибки, а пользоваться достижениями человечества.
Подумать над подачей
Выше уже упоминалось, что стандартная структура анкеты содержит вступление-приветствие и заключение-благодарность. Это важная часть подачи, но не вся. Стоит подумать и о том, при каких обстоятельствах и в какой форме пользователю предложат пройти опрос — во всплывающем виджете сразу при заходе на сайт, в email-рассылке или в SMS? Это часть опыта пользователя, которая тоже влияет на качество ответов.
Хорошо помогает общая насмотренность. Обращайте внимание на то, как другие бренды приглашают вас пройти опрос, проходите эти опросы, фиксируйте ошибки и удачные приёмы и используйте этот опыт в своей работе. О некоторых интересных практиках проведения опросов мы поговорим в cледующий раз.
