Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Год назад пандемия вынудила работодателей отправить сотрудников по домам. Офисы опустели, и многим пришлось корректировать схемы взаимодействия внутри команд, искать новые инструменты для выполнения задач. В том числе и софтверным компаниям — так, наш коллектив столкнулся с невозможностью провести привычное «коридорное» юзабилити-тестирование. В новых условиях нельзя было просто постучаться к коллегам с просьбой пройти пользовательский сценарий новой версии интерфейса. Нужно было искать иное решение.
Читайте под катом о том, как за прошедший год изменились наши подходы к работе, чему нас научила удаленка, с какими проблемами мы столкнулись и что у нас в итоге получилось.
Привет, Хабр! Меня зовут Кристина Мартыновская, я UX-архитектор в компании МойОфис. Мы часто проводим различные исследования, чтобы протестировать новые гипотезы. Для этого опрашиваем пользователей в анкетах и личных интервью, а также даем покликать прототип. В прошлом году мы впервые удаленно провели юзабилити-тестирование. Поскольку на старте спрогнозировать успех задумки было сложно, мы решили проверить саму возможность проведения дистанционных тестирований и привлекли к этому коллег. Процесс складывался из нескольких этапов.
Отбор респондентов
Для моего исследования не подходили специалисты технического профиля — выбор пал на сотрудников HR, PR, бухгалтерии и коммерческого отдела. Даже если в повседневной жизни программисты, QA и инженеры используют текстовые редакторы, на результат тестирования может повлиять их профессиональный опыт.
Чтобы найти релевантных кандидатов и пригласить их на тестирование, мы провели опрос среди сотрудников компании. Требовались пользователи мобильного приложения «МойОфис Документы» на Android, которые регулярно работали с редактором в течение минимум последних двух недель. По результатам опроса отобрали шесть респондентов, наиболее подходивших по критериям. Каждому из них я написала письмо с согласованием времени проведения тестирования.
Не самая лучшая практика — часто задействовать силы коллег из других отделов в своих исследованиях. Коллеги хорошо знают продукт, и даже в новом интерфейсе они легко пройдут пользовательский сценарий, ориентируясь на иконки, знакомые слова, расположение управляющих элементов. Поэтому мне требовалось разбавить аудиторию внешними респондентами. Главным критерием отбора стало условие: человек должен быть активным пользователем редакторов MS Office и Google на Android-смартфонах. Мой коллега, UX-архитектор Кирилл Улитин (ulitin), посоветовал не привлекать к процессу друзей, чтобы не допускать искажений, вызванных личной лояльностью. А вот пригласить знакомых моих коллег показалось разумной идеей: в рабочих чатах я попросила поделиться контактами подходящих людей. Немногие редактируют документы со смартфона, но мне все же удалось найти пятерых независимых респондентов.
Подготовка к тестированию
Пожалуй, самый объемный этап работы. Сперва я собрала данные участников в таблицу. Зафиксировала их контакты, должности, удобное для проведения тестирования время. Также добавила рандомизацию для демонстрации нескольких версий прототипа, чтобы исключить ситуацию, когда респондент предпочитает первый или последний вариант — не как наиболее понравившийся, а как самый запомнившийся.
Моей задачей было протестировать две версии прототипа нового интерфейса для табличного редактора и одну версию — для текстового. Следуя получившейся рандомизации, я предлагала первую версию табличного редактора, затем текстовый редактор, вторую версию табличного… И наоборот. Нужно было сравнить, какой из вариантов окажется удобнее для пользователя.
Важно было, чтобы пользователь проходил сценарий на своем телефоне, а я могла давать задания и наблюдать за его действиями. В идеале хотелось оценивать еще и движения респондента, но для этого человек должен был наклонить экран ноутбука и обеспечить видимость своих рук перед веб-камерой. Я решила этим пожертвовать после пилотного тестирования — экран телефона рябил, и интерфейс был плохо различим на моем мониторе.
Для тестирования нужно было включить на телефоне режим разработчика с отображением касаний и установить Zoom. Я составила инструкцию и отправила респондентам, чтобы они могли заранее все настроить. Последним этапом моей подготовки стало составление сценария и контрольных вопросов.
Проведение тестирования
Условившись с коллегами о проведении тестирования, я отправляла им приглашения на встречу в корпоративном календаре. С внешними респондентами договаривалась в мессенджерах. За час до встречи высылала напоминание и уточняла, получилось ли настроить устройство. С каждым респондентом созванивалась в Zoom в выбранное время. Респондент принимал звонок с телефона. Я коротко описывала суть тестирования и просила включить демонстрацию экрана. Далее скидывала прототип нового интерфейса и давала задания по сценарию. Каждое действие респондент проговаривал вслух. Я не помогала подсказками и наблюдала за действиями на экране своего ноутбука, вовремя предоставляя респонденту новое задание. В конце тестирования были заключительные вопросы общего характера: что понравилось, что показалось сложным.
Фиксация и анализ результатов
Во время тестирования с разрешения респондента велась запись экрана. Позже я собрала все записи в рабочем облаке и пересмотрела. Проверялось девять гипотез. По каждой гипотезе создала таблицу, в которой фиксировала результаты по каждому респонденту. Плюс сделала таблицу с общими итогами, в которой указывала (с комментариями), подтвердилась ли та или иная гипотеза. Решение о подтверждении гипотезы принимала по арифметическому среднему показателю. Поскольку респондентов было немного, этого инструмента оказалось достаточно. Критериев для оценки было всего три: 1) выполнил ли респондент задание; 2) потребовалась ли подсказка; 3) качественный фидбек респондента.
Все данные исследования фиксировались в корпоративном рабочем пространстве и состояли из двух больших статей: плана исследования и его итогов. Далее мы обсудили с командой полученные результаты, внесли изменения в прототипы и подготовили новые гипотезы для следующих тестирований.
Чему нас научила работа на удаленке
Нам удалось вывести обычное коридорное тестирование в онлайн-формат. У меня ушло примерно пять дней на подготовку, проведение, расшифровку, анализ и презентацию результатов. Для нашего департамента это был новый опыт — со своими преимуществами и недостатками. Основные тезисы по результатам проделанной работы следующие:
Минусы удалённого тестирования:
- Долгий процесс согласования встреч с коллегами: нужно выбирать время, чтобы события в календаре не накладывались друг на друга.
- Необходимость предварительной настройки устройства. Пара респондентов не смогли самостоятельно настроить телефон, и мы потратили несколько минут во время созвона для решения этого вопроса.
- Периодические проблемы соединения: тихий звук микрофона, отставание картинки, обрывы связи.
- Невозможность видеть респондента, его действия и эмоции.
Плюсы удаленного тестирования:
- Общение. Коллеги с радостью согласились принять участие в таком формате. За время весенней самоизоляции все соскучились по живой беседе.
- Отсутствие временных затрат на дорогу, подготовку лабораторного оборудования.
Как видите, минусов оказалось больше, чем плюсов. Но в текущих условиях такой формат тестирования — очевидно лучше, чем отсутствие тестирования вовсе. Исследование стало первой попыткой протестировать интерфейс на мобильном устройстве в условиях работы из дома. Я выяснила, что такой подход позволяет получить вполне релевантные результаты. Мне интересен и ваш опыт — расскажите, пожалуйста, в комментариях, как вы справлялись с подобными задачами в своей практике? Может быть, вы знаете и другие, более гибкие инструменты для их решения?
