Юзабилити-тестирование на удаленке. Выводы и лайфхаки по итогам года работы

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!



Год назад пандемия вынудила работодателей отправить сотрудников по домам. Офисы опустели, и многим пришлось корректировать схемы взаимодействия внутри команд, искать новые инструменты для выполнения задач. В том числе и софтверным компаниям — так, наш коллектив столкнулся с невозможностью провести привычное «коридорное» юзабилити-тестирование. В новых условиях нельзя было просто постучаться к коллегам с просьбой пройти пользовательский сценарий новой версии интерфейса. Нужно было искать иное решение.

Читайте под катом о том, как за прошедший год изменились наши подходы к работе, чему нас научила удаленка, с какими проблемами мы столкнулись и что у нас в итоге получилось.

Привет, Хабр! Меня зовут Кристина Мартыновская, я UX-архитектор в компании МойОфис. Мы часто проводим различные исследования, чтобы протестировать новые гипотезы. Для этого опрашиваем пользователей в анкетах и личных интервью, а также даем покликать прототип. В прошлом году мы впервые удаленно провели юзабилити-тестирование. Поскольку на старте спрогнозировать успех задумки было сложно, мы решили проверить саму возможность проведения дистанционных тестирований и привлекли к этому коллег. Процесс складывался из нескольких этапов.

Отбор респондентов


Для моего исследования не подходили специалисты технического профиля — выбор пал на сотрудников HR, PR, бухгалтерии и коммерческого отдела. Даже если в повседневной жизни программисты, QA и инженеры используют текстовые редакторы, на результат тестирования может повлиять их профессиональный опыт.

Чтобы найти релевантных кандидатов и пригласить их на тестирование, мы провели опрос среди сотрудников компании. Требовались пользователи мобильного приложения «МойОфис Документы» на Android, которые регулярно работали с редактором в течение минимум последних двух недель. По результатам опроса отобрали шесть респондентов, наиболее подходивших по критериям. Каждому из них я написала письмо с согласованием времени проведения тестирования.

Не самая лучшая практика — часто задействовать силы коллег из других отделов в своих исследованиях. Коллеги хорошо знают продукт, и даже в новом интерфейсе они легко пройдут пользовательский сценарий, ориентируясь на иконки, знакомые слова, расположение управляющих элементов. Поэтому мне требовалось разбавить аудиторию внешними респондентами. Главным критерием отбора стало условие: человек должен быть активным пользователем редакторов MS Office и Google на Android-смартфонах. Мой коллега, UX-архитектор Кирилл Улитин (ulitin), посоветовал не привлекать к процессу друзей, чтобы не допускать искажений, вызванных личной лояльностью. А вот пригласить знакомых моих коллег показалось разумной идеей: в рабочих чатах я попросила поделиться контактами подходящих людей. Немногие редактируют документы со смартфона, но мне все же удалось найти пятерых независимых респондентов.

Подготовка к тестированию


Пожалуй, самый объемный этап работы. Сперва я собрала данные участников в таблицу. Зафиксировала их контакты, должности, удобное для проведения тестирования время. Также добавила рандомизацию для демонстрации нескольких версий прототипа, чтобы исключить ситуацию, когда респондент предпочитает первый или последний вариант — не как наиболее понравившийся, а как самый запомнившийся.

Моей задачей было протестировать две версии прототипа нового интерфейса для табличного редактора и одну версию — для текстового. Следуя получившейся рандомизации, я предлагала первую версию табличного редактора, затем текстовый редактор, вторую версию табличного… И наоборот. Нужно было сравнить, какой из вариантов окажется удобнее для пользователя.

Важно было, чтобы пользователь проходил сценарий на своем телефоне, а я могла давать задания и наблюдать за его действиями. В идеале хотелось оценивать еще и движения респондента, но для этого человек должен был наклонить экран ноутбука и обеспечить видимость своих рук перед веб-камерой. Я решила этим пожертвовать после пилотного тестирования — экран телефона рябил, и интерфейс был плохо различим на моем мониторе.

Для тестирования нужно было включить на телефоне режим разработчика с отображением касаний и установить Zoom. Я составила инструкцию и отправила респондентам, чтобы они могли заранее все настроить. Последним этапом моей подготовки стало составление сценария и контрольных вопросов.


Проведение тестирования


Условившись с коллегами о проведении тестирования, я отправляла им приглашения на встречу в корпоративном календаре. С внешними респондентами договаривалась в мессенджерах. За час до встречи высылала напоминание и уточняла, получилось ли настроить устройство. С каждым респондентом созванивалась в Zoom в выбранное время. Респондент принимал звонок с телефона. Я коротко описывала суть тестирования и просила включить демонстрацию экрана. Далее скидывала прототип нового интерфейса и давала задания по сценарию. Каждое действие респондент проговаривал вслух. Я не помогала подсказками и наблюдала за действиями на экране своего ноутбука, вовремя предоставляя респонденту новое задание. В конце тестирования были заключительные вопросы общего характера: что понравилось, что показалось сложным.

Фиксация и анализ результатов


Во время тестирования с разрешения респондента велась запись экрана. Позже я собрала все записи в рабочем облаке и пересмотрела. Проверялось девять гипотез. По каждой гипотезе создала таблицу, в которой фиксировала результаты по каждому респонденту. Плюс сделала таблицу с общими итогами, в которой указывала (с комментариями), подтвердилась ли та или иная гипотеза. Решение о подтверждении гипотезы принимала по арифметическому среднему показателю. Поскольку респондентов было немного, этого инструмента оказалось достаточно. Критериев для оценки было всего три: 1) выполнил ли респондент задание; 2) потребовалась ли подсказка; 3) качественный фидбек респондента.


Все данные исследования фиксировались в корпоративном рабочем пространстве и состояли из двух больших статей: плана исследования и его итогов. Далее мы обсудили с командой полученные результаты, внесли изменения в прототипы и подготовили новые гипотезы для следующих тестирований.

Чему нас научила работа на удаленке


Нам удалось вывести обычное коридорное тестирование в онлайн-формат. У меня ушло примерно пять дней на подготовку, проведение, расшифровку, анализ и презентацию результатов. Для нашего департамента это был новый опыт — со своими преимуществами и недостатками. Основные тезисы по результатам проделанной работы следующие:

Минусы удалённого тестирования:


  • Долгий процесс согласования встреч с коллегами: нужно выбирать время, чтобы события в календаре не накладывались друг на друга.
  • Необходимость предварительной настройки устройства. Пара респондентов не смогли самостоятельно настроить телефон, и мы потратили несколько минут во время созвона для решения этого вопроса.
  • Периодические проблемы соединения: тихий звук микрофона, отставание картинки, обрывы связи.
  • Невозможность видеть респондента, его действия и эмоции.

Плюсы удаленного тестирования:


  • Общение. Коллеги с радостью согласились принять участие в таком формате. За время весенней самоизоляции все соскучились по живой беседе.
  • Отсутствие временных затрат на дорогу, подготовку лабораторного оборудования.

Как видите, минусов оказалось больше, чем плюсов. Но в текущих условиях такой формат тестирования — очевидно лучше, чем отсутствие тестирования вовсе. Исследование стало первой попыткой протестировать интерфейс на мобильном устройстве в условиях работы из дома. Я выяснила, что такой подход позволяет получить вполне релевантные результаты. Мне интересен и ваш опыт — расскажите, пожалуйста, в комментариях, как вы справлялись с подобными задачами в своей практике? Может быть, вы знаете и другие, более гибкие инструменты для их решения?
Источник: https://habr.com/ru/company/ncloudtech/blog/547956/


Интересные статьи

Интересные статьи

Китай стал третьей страной в мире, которая вывела на орбиту Земли пилотируемый человеком космический корабль. Сейчас КНР готовится к созданию собственной орбитальной стан...
Выгрузка пользователей из 1C ЗУП в Битрикс24 или правдивая история о том как настроить интеграцию 1С-Битрикс24 с ЗУП без 1С-ника В жизни так бывает, причём бывает чаще чем хотелось б...
— Что вы скажете, если я попрошу вас разработать сервис, который обрабатывает тысячи запросов в секунду с минимальной задержкой? — Хм… Я скажу, что у вас в компании возникла такая проб...
Эксперты DRAMeXchange предсказывают значительное падение цен на оперативную память и твердотельные накопители в ближайшее время. Причина — сокращение спроса на чипы для NAND и DRAM....
Фернандо Хосе Корбато в компьютерной лаборатории MIT (дата неизвестна). Его система доступа к компьютерам с разделением времени, разработанная там, проложила путь к созданию персонального ком...