Привет, меня зовут Виктор, я руководитель продукта сайта Спортмастер, точнее — его новой версии. Я работаю в компании с 2019 года и пришёл на проект системным аналитиком. В то время проект только стартовал. Мы выбрали архитектуру нового приложения, технологии, тактику тестирования, а также собрали команду разработки.
На старт
Через полгода после старта работ выяснилось, что дизайны не соответствуют текущим реалиям, так что разработку заморозили на полгода. В это время команда не скучала, развивалась и реализовала небольшой проект — Web-приложение для управления электронными подарочными картами. И вот появились дизайны, появились концепция и большой файлик в Excel с примерно 800 строками. Каждая строка — это фича, которую надо реализовать на сайте. Фичи были как маленькие (отображать баннер и другой блок на сайте), так и большие (реализовать корзину).
На дворе было лето 2020 года, в этот момент мы поняли, что 800 фич команда будет реализовывать в течение пары лет. Начали всё приоритизировать и разделять на несколько этапов, дабы выбрать самое важное и начать это реализовывать. В процессе реализации выяснилось, что некоторые требования пришлось изменить, от некоторых отказаться, а также что-то добавить новое. Но мы не сдавались и двигались вперёд.
В марте 2021 года был реализован основной путь пользователя. Он мог авторизоваться, зарегистрироваться, найти товар, добавить товар в корзину, оформить заказ и, конечно же, оплатить. Решили провести тестирование на внутренних пользователях, дать возможность коллегам попробовать новый сайт и оставить свои комментарии, замечания и предложения. К сожалению, мы как команда разработки получили не так уж много информации от такого тестирования. Было найдено не так много дефектов, а многие замечания и предложения нам уже были известны, были запланированы задачи в бэклог продукта.
К слову, о бэклоге: посмотрели мы на него и поняли, что надо как-то ускорять разработку. В тот момент мы принимаем решение пересмотреть нашу тактику тестирования. Необходимо было сократить расходы на тестирование — так мы отказались от написания Layout-тестов. На этом тратилось очень много времени, а так как продукт стремительно развивался, их ещё и дорого было поддерживать. Вновь посмотрели свой бэклог, приоритизировали, что-то выбросили, что-то добавили, и поставили цель в начале осени 2021 выйти на внешних пользователей.
Подготовка для выхода в прод
Итак, конец лета 2021. Нам остается реализовать несколько задач, мы решаем, что готовы.
Нужно проводить нагрузочное тестирование. Надо понимать, сколько необходимо ресурсов, чтобы выдержать планируемую нагрузку. Определяем, а что же мы, собственно, будем нагружать, выбираем главную страницу, каталог и карточку товаров, пишем сценарии — и вот мы готовы к проведению нагрузки.
Первая ночь, первые нагрузочные тесты, и мы видим, что наш бэк не выдерживает необходимое количество запросов. Делаем небольшие доработки и вновь проводим нагрузочные тесты. В этот раз с бэком всё в порядке, но появляются проблемы на фронте. Немного дорабатываем фронт, кешируем рендеринг, увеличиваем количество node и планируем проведение нагрузочного тестирования. На этот раз всё проходит хорошо и результаты нас устраивают, к тому же в планах выйти всего на 3% пользователей.
Выход в большой мир
И вот мы в проде на 3% реальных пользователей, но пока только для настольных устройств, так как версия для мобильных устройств была ещё в разработке. Просматриваем ошибки в логах и заводим задачки на исправление дефектов. Дефектов было не так много, но мы поймали такие кейсы, о которых даже не могли подумать.
Как оказалось, пользователи — это самые лучшие тестировщики продукта, каждый из них уникальный и по-разному пользуется приложением. На стабилизацию и фикс критических дефектов ушло не так много времени, около недели.
Подготавливаемся к проведению A/B-теста с предыдущей версией сайта Спортмастер. Запускаем A/B-тест на 20% пользователей и наблюдаем. Всё идёт неплохо, но у пользователей возникают проблемы в оформлении и оплате заказов. За месяц мы собрали острые проблемы пользователей, поняли, что доставляет наибольшие неудобства, и запланировали ряд задач. Был ноябрь. Впереди — новогодние праздники и время распродаж. Принято решение откатить раскатку на 1% и продолжить разработку. На это запланировали 2 месяца.
Вторая попытка
Середина января, мы готовы к проведению нового A/B-теста. В этот раз запускаем 50*50, скрещиваем пальцы и наблюдаем. Во время тестирования замечаем небольшие дефекты и быстро их исправляем. Одновременно дорабатываем приложение для мобильных устройств. Уже реализован основной путь пользователя, но для проведения A/B-теста ещё рановато. Середина февраля, A/B-тест подходит к концу, принимается решение о запуске нового приложения на 100% пользователей для настольных устройств.
18 февраля 2022 года перевели 100% пользователей настольных устройств на новый сайт.
Затем запланировали запуск A/B-теста для пользователей мобильных устройств. Тест делали небольшой, всего на неделю. 23 февраля 2022 года запустили A/B-тест для мобильных устройств на 50% пользователей. Как и в предыдущий раз, скрестили пальцы, смотрели логи и ждали результатов. Во время тестирования были выявлены и решены незначительные дефекты, но в итоге сайт показал довольно неплохие результаты.
Принимаем решение полностью переходить на новую версию.
3 марта 2022 года мы перевели 100% пользователей на новую версию сайта.
На данный момент разработка продолжается полным ходом, у нас много интересных задач и инициатив, которые мы хотим реализовать. Подробнее об этом я расскажу в следующих постах.
