Привет, Хабр! Меня зовут Евгения Савельева, я руковожу отделом UX-исследований в Иви. С коллегами мы шутим: исследования как сериал - всегда есть что-то, что узнаешь только в следующей серии. А еще, по результатам исследований у нас самые интересные встречи! Решили рассказать, как устроены UX-исследования* в Иви: благодаря им растут не просто метрики, а нечто более важное – любовь пользователей.
Во многих компаниях UX-исследователи работают либо как агентства внутри компании, либо исследователь прикреплен к продуктовой команде. У нас получился гибридный подход: с одной стороны, наш UX-отдел универсален и делает исследования для всех. С другой, исследователи довольно сильно интегрированы в процесс разработки продукта.
В этой статье я расскажу о наших процессах, их влиянии на эффективность работы, а также о лайфхаках, как небольшая команда исследователей из двух человек может успевать делать все необходимое.
*Что такое UX-исследования
User Research, UX-исследования, продуктовые исследования или исследования пользовательского опыта - все это синонимы, обозначающие исследования аудитории продукта и удобства интерфейсов. Наиболее популярные форматы - интервью с людьми, юзабилити-тестирования (с модератором или без), построение Customer Journey Map (визуализация пути клиента от момента осознания потребности до пользования продуктом).
Онлайн-кинотеатры - высококонкурентная среда, и в первую очередь мы конкурируем не с коллегами по рынку, а с “пиратскими” сервисами. Иви появился на рынке, когда платить за контент в интернете воспринималось как что-то очень странное. Постепенно, все менялось, люди начинали воспринимать контент по подписке как равноценный обмен: они получали высокое качество, легкий поиск и удобный просмотр, что разительно отличалось от их опыта с пиратскими сервисами/торрентами. Чтобы кардинально отличаться от “пиратского” рынка, потребовалось опираться на потребности пользователей.
Мы уже писали о том, как в Иви работает программа бета-тестирования и как мы измеряем пользовательский опыт.
Мы по-прежнему измеряем Contact Rate (обращения в support) и NPS, а вот в отделе UX-исследований многое изменилось: исследователи стали больше интегрированы в продуктовые команды, оставаясь при этом независимыми и объективными.
Какие используем методы
UX-исследователи в Иви универсальные «бойцы»: делают исследования как в качественной, так и в количественной методологиях. Преимущество такого подхода - в гибкости выбора метода, более подходящего для задач заказчика, нет ограничений по специализации или доступным инструментам. Например, если нужно выбрать один из вариантов дизайна, количественный опрос будет точнее и быстрее, чем 10-12 юзабилити-тестов. И нам не нужно ждать, пока опрос проведут коллеги - можем сделать все сами.
Наши заказчики (обычно это продакт-менеджеры, дизайнеры) с богатой фантазией и опытом: умеют так озадачить, что не заскучаешь. Поэтому нужно владеть широким арсеналом методик, чтобы решать все возникающие задачи. Основные методы и методики, которыми мы работаем:
Юзабилити-тесты. Чаще всего делаем модерируемые, в офисе или удаленно по Zoom. Измеряем эффективность сценариев, проверяем гипотезы, либо делаем разведку, нет ли проблем в новых флоу.
Глубинные интервью. Например, мы поняли, что плохо знаем аудиторию, которая смотрит сериалы, а не фильмы, и проводили интервью, чтобы уточнить их портрет - мотивацию, паттерны смотрения, что им важно в сервисе, как выбирают сериалы. С помощью интервью тестируем также новые идеи, чтобы не реализовать что-то ненужное аудитории.
Фокус-группы. Собираем группы, если по тематике исследования важна групповая динамика. Например, один респондент ответил на вопрос, а другие подхватили и стали развивать тему. Также фокус-группы помогают сделать исследование быстрее при большом размере выборки.
Опросы. Например, делаем тесты первого клика (для проверки навигации), замеры удовлетворенности новыми функциями, выбор лучшего дизайна, исследования паттернов поведения. Используем методики Кано, карточной сортировки.
Customer Journey Map. Для построения карт собираем данные с помощью глубинных интервью, дневников, видеодневников. Можем прямо на интервью попросить респондента открыть свое приложение и показать, как он там что-то делает, либо записать на видео, как пользуется нашим сервисом. Это помогает добиться более точных данных, чем просто рассказы по памяти.
Дневники также делаем и отдельно: например, респондент каждый день в течение недели записывает в дневник, что и как он смотрел, почему выбрал именно это, какие эмоции испытывал. Так мы лучше понимаем, кому что подходит, почему какой-то контент успешнее, а другой менее популярен.
Desk Research (кабинетное исследование). Смотрим, как устроен рынок конкурентов и диджитал продуктов в целом, чтобы повышать насмотренность. Иви один из лидеров рынка и у нас нет необходимости слепо копировать другие сервисы. Но мы должны знать, в чем другие сервисы лучше нас, чтобы понять, что можно сделать, чтобы это изменить.
У нас кроссплатформенные продуктовые команды, поэтому и исследования зачастую затрагивают сразу несколько платформ. Особенно интересно исследовать платформу SmartTV, которая отличается паттернами взаимодействия - все взаимодействие происходит через пульт, и это накладывает отпечаток. Например, если на других платформах люди с легкостью ищут все через поиск, и вообще быстрее перемещаются по сервису, то на SmartTV взаимодействие совсем другое: пультом перемещаться или писать поисковый запрос дольше и сложнее. Другой пример: на сайте или в мобильном приложении пользователь может одним кликом нажать нужную кнопку, на SmartTV ему придется перемещаться по приложению, нажимая кнопки на пульте. Поэтому на SmartTV чаще могут возникнуть проблемы там, где на других платформах все отлично. Чтобы протестировать приложение на SmartTV, мы приглашаем людей в офис и предлагаем им на наших глазах повзаимодействовать с телевизором и с нашим приложением.
Разные методы помогают переключаться и не выгорать: нет конвейера из одинаковых исследований. Сегодня ты пишешь анкету и запускаешь опрос, завтра проводишь в Zoom глубинку, чтобы построить CJM, а на следующей неделе встречаешь респондентов в офисе, чтобы сделать юзабилити-тестирование приложения Иви на SmartTV. Это наши обычные будни: мозг прокачивается на все сто и мы постоянно получаем новые впечатления и опыт.
Как планируем
Задач всегда больше, чем можно успеть сделать. Наш секрет эффективности в расстановке приоритетов. Чтобы не выгорать от потока задач, мы ввели месячное планирование: в конце месяца собираем заявки на следующий, затем прикидываем методы и трудоемкость, и выбираем самое важное на ближайший месяц. Расставить приоритеты помогает директор по продукту. Наши постоянные заказчики привыкли, что заявки на исследования нужно создавать заранее, а не тогда, когда уже все горит. В итоге все довольны: мы работаем спокойно по плану, а самое важное всегда делаем быстро, не накапливаем бесконечную очередь из задач, в которой важное может затеряться.
Конечно, срочные заявки берем и вне плана: простое в параллель к текущему, сложное – с переносом сроков текущего. При планировании месяца мы оставляем немного «воздуха» для подобных задач, которые могут появиться внезапно и не могут ждать следующего месяца.
С кем тесно общаемся
Мы очень тесно сотрудничаем с отделом маркетинговых исследований. При проведении UX-исследований синхронизируемся с маркетинговыми исследователями: у нас единый подход к целевой аудитории, к ее социально-демографическим характеристикам и сегментам. Это повышает точность набора целевой аудитории на UX-исследования, согласуется с целями бизнеса и маркетинга. Есть и другие плюшки от регулярного взаимодействия:
У нас не дублируются одинаковые исследования от разных заказчиков, т.к. раз в неделю на синках мы регулярно делимся, кто чем занимается сейчас и какие планы на будущее. Если видим, что исследования похожи, то объединяем их в одно
Советуемся по методикам, тем самым повышаем качество работы и обогащаем друг друга знаниями
Учитываем интерфейс в связке с другими факторами, не в отрыве от маркетинговых коммуникаций, тем самым более глубоко копаем
Иногда мы передаем задачи друг другу: так, если мы считаем, что задача больше маркетинговая, чем продуктовая, то отдадим этот проект коллегам, и наоборот
Также обратную связь от пользователей собирает ряд других коллег:
Отдел контентной аналитики собирает данные по контенту - например, насколько какой контент популярен, каким сегментам что лучше подойдет
Отдел бета-тестирований тестирует новые функции среди бета-тестеров, чтобы проверить продукт на максимально широком парке устройств; иногда мы делаем совместные исследования
Продуктовые аналитики собирают данные о реальном поведении пользователей. Если в данных что-то непонятно и надо прокопать глубже, то по результатам продуктовой аналитики делаем UX-исследования, чтобы понять логику поведения
Служба поддержки ежедневно получает тысячи обращений. Мы регулярно смотрим статистику по обращениям, чтобы быть в курсе продуктовых проблем
Общение с коллегами из этих подразделений помогает при формировании гипотез UX-исследований смотреть на продукт комплексно. Ведь пользователи не воспринимают в Иви интерфейс в отрыве от контента или своего устройства, для них это все в итоге влияет на единое впечатление.
Как ищем респондентов
У нас есть два источника, чтобы приглашать респондентов на исследования: внутренний и внешний. Внутренний – это собственная база пользователей. Наши пользователи очень отзывчивые и лояльные, с удовольствием готовы проходить недлинные опросы, чтобы поделиться обратной связью. Обычно высылаем им письма с приглашением поучаствовать на email – самый ненавязчивый канал связи. Если беспокоить потенциальных респондентов пушами в телефоне с призывом пройти опрос – это может привести к отключениям уведомлений, и тогда пользователи вообще не увидят никаких наших пушей, например, персональных рекомендаций с фильмами. Стараемся также учитывать частоту и не беспокоить пользователей слишком часто: шлем опросы одним и тем же людям не чаще, чем раз в месяц.
Если же требуется что-то посложнее, например, подключиться в Zoom на юзабилити-тестирование, длинное интервью или посетить наш офис, то за такие исследования выплачивается вознаграждение. Тогда мы используем внешний рекрут. Своего рекрутера в штате у нас нет, поэтому пользуемся услугами подрядчика. У нас есть рекрутер, с которым мы давно сотрудничаем: у нас довольно сложная для понимания категория, поэтому важно было максимально плотно наладить сотрудничество. Например, если рекрутер сам не пользуется онлайн-кинотеатрами, не пользуется SmartTV, сначала он может плохо понимать наш рынок, а для рекрута подходящих людей важно досконально разобраться в нашей категории. Поэтому мы проводили подробный инструктаж, после чего наш рекрутер стал понимать все возможные варианты нашей целевой аудитории.
Также делаем количественные тесты с внешним рекрутом, когда нам нужно посмотреть более широкую аудиторию, чем наши подписчики: пользуемся услугами самых больших онлайн-панелей от агентств OMI и Тибурон.
Как делимся результатами
Исследованиями в Иви интересуются все: в первую очередь, конечно, сотрудники отдела продукта – наши заказчики. Но также мы заметили интерес и у широкой аудитории: директора, тестировщики, системные администраторы, разработчики, даже специалисты документооборота и финансисты.
Поэтому у нас есть несколько уровней распространения информации.
Самый близкий уровень - это заказчик исследования. После того, как данные собраны, пишем отчет в PDF и презентуем заказчику. На встрече мы обсуждаем вместе найденные проблемы и ищем варианты решений, определяем приоритеты, что можно сделать прямо сейчас, что будет проработано в долгосрочной перспективе, а на что лучше вообще не тратить ресурсы.
На таком же близком уровне общение с директором по продукту. Раз в неделю у нас есть встреча, где участвуют директор по продукту, а также два его заместителя и руководитель CX. Им мы рассказываем результаты текущих исследований, что помогает решать все вопросы быстро: во-первых, этот состав участников максимально погружен во все аспекты продукта и знает ответы на любые вопросы, во-вторых, они помогают принять решения, если есть несколько разных альтернатив, что делать с результатами дальше.
Так как встреча регулярная, не приходится выискивать свободный слот в календаре, чтобы поговорить с ними, поэтому скорость принятия решений очень высокая: после проведения исследования, помимо заказчиков, о его результатах крайне быстро узнают люди, ответственные за продукт в целом. Это повышает прозрачность и эффективность внедрения изменений по результатам исследований.
На среднем уровне - горизонтальные связи со всеми продуктовыми командами. У нас есть общая встреча команд, где участвуют продакт-менеджеры, дизайнеры, продуктовые аналитики и исследователи. На ней любой сотрудник может выступить с инсайтами, которыми хочет поделиться с коллегами. Мы на таких встречах делимся интересными кейсами: например, однажды исследование показало, что гипотеза о необходимости новой функции не подтвердилась, и от реализации отказались. Само исследование было достаточно сложным по методике, было проведено большое количество интервью. Мы решили рассказать о таком кейсе на широкую аудиторию, чтобы показать, как важно исследовать новые идеи до их реализации. Исследовательские кейсы обычно вызывают большой интерес у аудитории.
Верхний уровень - это вся компания. Мы завели открытый канал UXResearch в Slack, где публикуем результаты самых интересных исследований: так, любой сотрудник компании может читать об исследованиях в формате паблика. Стараемся писать так, чтобы читать было весело и любопытно, и рассказывать о решениях, принятых на основе исследований. Так мы растим понимание ценности UX-исследований и участвуем в поддержании внутренней культуры, основанной на внимании к пользователю.
Все финальные результаты собираем на страничке в Confluence в формате PDF, и тегируем их по тематике. Так они всегда под рукой и можно быстро отфильтровать по нужному направлению. Любой сотрудник может зайти на страничку и посмотреть, какие исследования были по интересной ему тематике.
Заключение
В заключение я резюмирую, благодаря чему мы стали нести больше счастья нашим пользователям и повысили эффективность для бизнеса:
Целостный взгляд на продукт: строим карты пользовательских путей по сервису, выявляем проблемы по всему флоу, а не фокусируемся на отдельных кусочках продукта. Проверяем гипотезы широко, не сосредотачиваемся до уровня экранов/фичей. Например, недавно перед запуском новой подписки Изи Иви мы исследовали полный цикл: от восприятия названия, вовлечения в подписку, пользования сервисом с этой подпиской и до ее отключения.
Глубокая интеграция в продукт: мы сильно включены в продуктовые процессы и влияем на разработку, но не прикрепляем исследователей к отдельным продуктовым командам, чтобы сохранять целостный взгляд на продукт
Тестируем не только готовые материалы, но и даем коллегам пищу для ума для формирования новых гипотез: исследуем аудиторию, концепции, идеи
Наш отдел UX-исследований пользуется и количественной, и качественной методологиями: делаем не только юзабилити-тестирования и интервью, но и опросы. Миксуем методы и методики, чтобы получить максимум полезной информации. С нашей точки зрения, одних юзабилити-тестирований недостаточно: только комплексный подход позволяет смотреть на проблемы объективно
Используем месячное планирование и еженедельно проводим встречу с директором по продукту – так все вопросы решаются быстро
Тесно общаемся с отделом маркетинговых исследований: обмениваемся опытом и планами
Большое внимание уделяем распространению результатов исследований: делимся ими не только с заказчиками, но и с широкой аудиторией через открытый канал в Slack, выступаем на общих продуктовых встречах. Тем самым повышаем открытость и распространяем голос пользователей на всю компанию, поддерживаем культуру мыслить на основе пользовательского опыта
