Привет, Хабр!
Меня зовут Татьяна Бельская, я работаю управляющим по обеспечению качества в Промсвязьбанке. Мы с коллегами отвечаем за процессы, которые влияют на качество работы всех наших систем.
У меня возникла потребность исследовать мировые тенденции QA, чтобы понимать, какие технологии сейчас актуальны, какие из них мы используем, насколько мы в тренде как компания и что стоит взять на вооружение. Исследование показало, что большая часть статистики и прогнозов основывается на данных «Мирового отчёт по качеству» (World Quality Report), поэтому я решила обратиться к первоисточнику. Анализ этой информации был чрезвычайно полезен при составлении стратегии развития нашего направления на ближайшие несколько лет. В этой статье я разобрала пять направлений отчета. Хочу поделиться итогами анализа и обсудить их с сообществом. Например, было неожиданно узнать, что в среднем по мировой статистике автоматизировано только 15–20% всех тестов, включая регресс. Если вам интересны тренды тестирования и что будет влиять на QA в 2022-м году — добро пожаловать под кат!
8 ноября 2021 года на сайтах компаний Capgemini, Sogeti и MicroFocus было опубликовано тринадцатое ежегодное издание «Международного отчёта по качеству» (World Quality Report). Отчет отражает динамику развития Quality Assurance в мире. Он оценивает глобальное состояние QA, рассказывает о лучших практиках и приводит рекомендации экспертов.
В отчёте представлены 5 крупнейших направлений:
Автоматизация тестирования
Искусственный интеллект и машинное обучение
Управление тестовой средой и тестовыми данными
Контроль качества в Agile и DevOps
Цифровая трансформация
Что это за отчёт и почему ему можно верить? Методика исследования — интервью и анализ собранной по ним статистики и прогнозов развития на ближайший год. В опросе участвовали 1750 IT-директоров и топовых технических специалистов, в том числе владельцы продуктов и QA-менеджеры. Этот отчёт — единственный аналитический продукт, рассматривающий тенденции QA в общемировом масштабе: опрос прошли специалисты десяти отраслей из тридцати двух стран.
Автоматизация тестирования
Значение автоматизации в области контроля качества очень возросло в последние годы. Компании стремятся автоматизировать быстрее, качественнее и гибче. А для этого необходимо больше ресурсов, особенно человеческих. Есть два способа удовлетворить эту потребность. Во-первых, очевидно, надо расширить спектр доступных технических навыков. Во-вторых, глобально оптимизировать работу.
Каково текущее состояние автоматизации в мире? По данным опросов глобальный уровень развития классической автоматизации достаточно высок: 70% компаний заявляют, что имеют достаточный набор необходимых инструментов автоматизации, у 50% есть тестовые среды и тестовые данные для запуска АТ в нужное время; уровень стабильности приложений — 40%, достаточно высокий, чтобы имело смысл автоматизировать проверки.
При этом сильно различаются мнения о том, достигнуты ли искомые преимущества от автоматизации тестирования и насколько эффективно её использование. С одной стороны, больше компаний считают, что эффект от автоматизации возрос — их было 37% в 2020 году, стало 50% в 2021. При этом 65% компаний констатируют, что сократили время цикла испытаний — это очень хороший показатель. Сильнее всего за год выросла ощутимая польза от вложений в вопросы безопасности — с 18% в 2020 году до 24% в 2021 году. Это видно на диаграмме, отражающей оценку преимуществ автоматизации:
Главное преимущество автоматизации в том, что она повышает тщательность тестирования. Если тесты выполняются вручную, есть соблазн пропустить некоторые фазы, потому что усилия якобы не стоят результата. Но если эти этапы можно автоматизировать, то их незачем пропускать.
Тем не менее, из той же диаграммы мы видим, что с 57% до 49% упала оценка возможности обнаруживать дефекты. Также, как ни парадоксально, падает тестовое покрытие — в абсолютных значениях общемировое покрытие автоматизацией составляет 15-20%. В расчет включены пользовательские приёмочные тесты и тестовые данные, а также регресс. Можно утешиться тем, что не только мы не успеваем автоматизировать все, что считаем необходимым. Но цифра невероятно низкая.
В чем же проблема? Основная причина видится в том, что требуемые объёмы тестирования превысили возможности. Компании с трудом выстраивают свои стратегии в областях автоматизации, например, в части регрессионного тестирования. Невозможно объять необъятное — наблюдается проблема с расстановкой приоритетов. Также многие переходят к непрерывной интеграции и непрерывной поставке (CI / CD). Хотя для этого достаточно инструментов, компаниям не хватает качества управления процессом.
Также, как заметную проблему, большинство компаний расценивает частоту обновления ПО Одним из самых заметных откликов 2020 года было то, что 63% компаний заявили о достаточном количестве времени для создания и поддержки своих автоматизированных тестов – но этот ответ давало руководство. Соответственно, уже тогда возникало сильное подозрение, что желаемое здесь выдавалось за действительное.
Сомнения эти оказались небеспочвенны, в 2021 году этот показатель снизился до 48%. Причем речь идёт не только о проценте покрытия автоматизацией, но и о количестве тестов как таковых. Частота поставок увеличивается, время релизного цикла сокращается, количество автоматизированных тестовых процессов растёт и в результате невозможно запускать их в полном объеме, когда это необходимо – не хватает времени и ресурсов.
Часто говорят, что командам нужно больше людей. Не всегда это так. Качество работы может зависеть не только от численности сотрудников, но и от навыков, инструментов и технологий. Так какие методики компании планируют использовать и развивать в ближайшем будущем?
Диаграмма показывает, что в топе сейчас технологии на основе роботизации процессов и виртуализации тестовых сред — например, докеризации.
Кроме того, вырастет значение бесскриптовой автоматизации, а вот автоматизация на основе тестовой модели будет применяться сравнительно реже. Значит, вырастет интерес к инструментам наподобие BDD bilder. Они помогают автоматизировать тестирование, когда ими пользуются команды функционального тестирования, не знающие языков автоматизации. Так можно сэкономить время и ресурсы.
Прослеживается также тренд на использование инструментов с открытым исходным кодом. И, помимо конвейерного подхода (использования pipeline), повсеместно вошедшего в практику, большая доля компаний делает ставку на методики на основе искусственного интеллекта.
Искусственный интеллект и машинное обучение
Нехватка времени на тестирование и автоматизацию стала одной из основных причин развития технологий ИИ и МО. Технологии на основе ИИ уже активно применяют в автомобильной промышленности, например, при создании беспилотных автомобилей, в медицинских устройствах, в системах распознавания лица и речи.
А как еще больше автоматизировать тестирование, чтобы оно занимало как можно меньше времени и требовало как можно меньше человеческого участия? Может ли система протестировать себя сама? Что в этом плане может предложить нам искусственный интеллект?
Анализ требований и проектирование тестов
Цель работы в этом направлении — построить матрицу отслеживания требований для расширения тестового покрытия. По сути, это автоматическая матрица трассировки, где по вертикали требования, по горизонтали тесты. Она может создавать тесты с нуля практически без человеческого контроля. Так, ИИ удаляет все лишние сценарии для ускорения процесса тестирования — и, наоборот, выявляет пробелы в тестовом покрытии, используя шаблоны пользовательского опыта.
Генерация и управление тестовыми данными
Это направление набирает обороты и успешно применяется для создания синтетических тестовых данных.
Анализ производственных дефектов
Сортировка дефектов и анализ первопричин – новое направление, появилось в 2019 году. Аналитика инцидентов с прода важна для правильной расстановки приоритетов. Более половины компаний (58%) сказали, что автоматический анализ дефектов был бы для них очень полезен. Большинство из них, вероятно, ещё не могут его применить, но уже понимают его ценность.
ИИ позволяет нам оптимизировать процесс сортировки дефектов за счет анализа данных. Это могут быть логи, прошлые дефекты и сбои, исходный код и т. д. Он также помогает быстро определить потенциальные источники проблемы в окружении, скрипте, тестовом примере или самом коде. Кроме того, ИИ оставляет комментарий, если предполагает, что мы встретили дубликат или «связанную» проблему, и помогает упорядочить приоритеты.
Прогнозирование дефектов
Основываясь на поведении пользователей, машинное обучение поможет быстрее и точнее прогнозировать потенциальные проблемы и угрозы. Раньше акцент был на том, чтобы предсказать, как много возникнет дефектов. Но гораздо важнее и полезнее предсказывать, где именно они появятся.
Автоматический запуск и анализ результатов
Так мы сократим время на регресс и степень участия специалистов, ИИ будет сам формировать тест-раны, запускать тесты и разбирать результаты.
В 2021 году прорыва в этой области не произошло по двум причинам. Во-первых, обычная автоматизация тестирования в приоритете, потому что окупается быстрее и позволяет постоянно ускорять жизненный цикл разработки ПО. Во-вторых, из-за сложности самих технологий и нехватки навыков у специалистов. К тому же надо понимать, что ИИ – очень ресурсоёмкие и медленно окупаемые технологии. В большинстве случаев финансировать их могут только крупные компании.
Но в 2021 году произошел принципиальный сдвиг в сторону осознания и готовности использовать технологии на основе ИИ. В прошлом году почти 90% опрошенных топ-менеджеров IT-компаний утверждали, что ИИ — область наибольшего роста их тестовой деятельности, и они готовы инвестировать в ИИ средства и ресурсы. В этом году почти 50% компаний заявляют, что уже готовы к использованию ИИ в своих процессах обеспечения качества и выстроили необходимый для этого фундамент.
ИИ и потребности в навыках
Искусственный интеллект и машинное обучение набирают обороты и наращивают свою роль в разных отраслях, обеспечивая использующим их компаниям значительные преимущества. Но создают при этом определённые потребности. Это:
Потребность в стратегии тестирования и навыках разработки тестов. Возможно, организации начинают понимать сложность ИИ и проблемы с его использованием — как и трудности тестирования самого ИИ.
Потребность в навыках генерации тестовых данных.
В этом году к этому вопросу был добавлен новый вариант ответа. Почти треть респондентов (30%) заявили, что необходим навык понимания последствий использования ИИ с точки зрения этики и предвзятости. Есть ожидание, что эта потребность сократится, когда технология созреет, а специалисты наберутся опыта.
Управление тестовыми средами и тестовыми данными
В этом году мы продолжаем наблюдать медленный, но стабильный прогресс в развитии управления тестовой средой (test environment management — TEM) и управления тестовыми данными (Test data management — TDM).
Тестовые среды
Тестовая среда и тестовые данные должны обеспечить баланс между стоимостью и своевременной доступностью. Давайте сначала посмотрим, какими тестовыми средами сейчас пользуются, как они меняются, какая у них динамика.
Типы тестовых сред
Как видите, продолжается постепенный сдвиг сред в облако. Рост спроса на облачные среды, который мы наблюдали за последний год, частично обусловлен продолжающейся цифровой трансформацией, частично — растущим спросом на удаленную работу.
Но почему этот сдвиг такой постепенный? Отчасти потому, что по-прежнему используется много виртуальных сред: в этой области у специалистов есть необходимые навыки, а по облачным средам их пока недостаточно. Отчасти потому что переход в облако — это серьезное инвестиционное решение. Отчасти это вопрос повышенной безопасности. Переход в облако создаёт новые проблемы. Например, необходимо проводить синхронизацию облачных приложений с устаревшими локальными.
Что предпринимают IT-компании, чтобы улучшить процессы и метрики, связанные с тестовыми средами? В 2021 году наконец-то растут возможности организаций по ответу на крупномасштабные запросы тестовых данных и тестовых сред. Среды должны удовлетворять требованиям экономической эффективности. Рентабельность в значительной степени зависит от того, насколько эффективно используются тестовые среды – некоторые организации производят их гораздо больше, чем им нужно. В целом, виден значительный рост по сравнению с прошлыми годами.
Самый большой прогресс в прошлом году — в мониторинге доступности тестовых сред (51%).
Мы также считаем, что мониторинг очень важен: он влияет на отказоустойчивость тестовой среды, и, следовательно, на время и качество тестирования. Поэтому мы активно практикуем мониторинг тестовых сред у себя в банке по таким параметрам как доступность серверов, утилизация памяти, некоторые бизнес-процессы и ключевые задачи в базе, которые отвечают за запуск процедур.
Кроме того, у нас есть нормативы конфигураций тестовых сред: каков должен быть процент мощности по отношению к продуктивным в зависимости от назначения среды – тест, препродуктивные контура, нагрузочный стенд и пр.
Тестовые данные
Давайте теперь посмотрим, какие существуют тенденции в методиках создания тестовых данных. Подходов становится все больше:
На первый взгляд, существует противоречие: многие респонденты говорят, что их команды создают небольшие наборы ТД к каждому спринту (56%), а также — что они создают массив данных и используют его повторно (55%). Судя по всему, одно не исключает другое: одни и те же компании используют разные подходы в зависимости от нужд проекта.
Также статистика хорошо показывает, что снизился процент использования синтетических данных — 52% в 2021 против почти 60% в 2020 году. По мнению авторов «Отчёта», команды с большей вероятностью будут копировать реальные производственные данные из-за сложности их искусственного создания. Как следствие, растет количество инициатив по маскированию и безопасности — из-за массового перехода на удаленную работу и в облако.
И, наконец, в 2021 году появился показатель, который в 2020 году только прогнозировался: создание тестовых данных как услуга. Что это значит? По факту это некий ресурс, который создает тестовые данные по запросу в нужное время в нужном количестве. Некоторые команды тестирования не создают тестовые данные сами, а получают их по требованию. Этот показатель довольно высок — более 50%. Он подтверждает, что TEM и TDM может стать сервисной функцией, обслуживающей несколько команд или все команды в компании.
Развитие QA в Аgile и DevOps
В прошедшем году не было кардинальных изменений в темпе или направлении внедрении процессов QA в части Agile и DevOps. Вместо крупной революции идет неуклонная эволюция. В среднем, по данным «Отчёта», как Agile, так и DevOps используют больше компаний по сравнению с прошлым годом — около двух третей. Мы входим в этот тренд — две трети наших команд работают по методике Agile, и число их постепенно увеличивается.
Какие методики применяются, чтобы ускорить и оптимизировать процесс тестирования в Agile / DevOps разработках?
Методики, приведенные на диаграмме — самые популярные по результатам опросов. Мы видим, что доля максимальной автоматизации тестирования снизилась с прошлого года. Проблема не техническая, а скорее практическая: вероятно, проблемным стал сам объём работы. Это подтверждает общую тенденцию к автоматизации, о которой говорилось выше. Командам глобально не хватает времени.
Почти половина компаний (47%) заявляет, что использует ИИ для оптимизации тестовых сценариев в своей работе.
Компании чаще анализируют пользовательский опыт или отслеживают производственные инциденты. Мы тоже уделяем этому большое внимание: отслеживаем количество и приоритеты по релизам, проводим разборы, чтобы проблемы не повторялись в будущем. По некоторым проектам ведем статистику повторяемости дефектов в рабочем окружении, чтобы определить приоритеты. Если анализировать этот показатель в мировом масштабе с учётом, что снизился процент запуска автотестов на ранних этапах, возможна такая интерпретация: командам не хватает времени на тестирование, и поэтому приходится уделять больше внимания инцидентам с продуктива, чтобы минимизировать риски.
Здесь, как и в других аспектах QA, говорят о трудностях с автоматизацией. Причем процент компаний, заявляющих об этом, возрастает — с 27% в 2020 году до 36% в 2021. Возможно, это обратная сторона гибкой методологии — команды двигаются к мульти-скиллингу, размытию границ между до сих пор различными дисциплинами разработки и тестирования. Эволюционируют навыки тестировщиков. Они приобретают широкую компетентность как в тестировании, так и в кодировании. Искать разработчиков с навыками тестирования становится удобнее — но расширенная компетенция может быть недостаточно глубокой. Кроме того, распределённая работа повышает шансы рассогласованности. А это ведет к проблемам с фреймворками, библиотеками и согласованием инструментов.
Однако, несмотря на все эти проблемы, компании осознают, что в целом изменения положительны. Появляется осознание, что идет движение к ответственности за качество Agile командой в целом. Разработчики лучше понимают, что требуется для проведения действительно эффективных тестов при разработке кода. К тому же теперь разработчики видят, какое влияние их работа оказывает на другие этапы производства ПО - и это действительно позитивный момент.
Размытые границы
Внедрение Agile и DevOps подразумевает совместный подход к бизнес-процессам, в том числе к QA и тестированию. Следует стремиться как можно полнее ввести QA в зону ответственности всей команды, интегрировать методы обеспечения качества в каждый этап жизненного цикла ПО.
Глобальность этого процесса подтверждается мировой статистикой бюджета обеспечения качества. Все сложнее отслеживать движение бюджета QA как индивидуального компонента. Отсюда может показаться, что бюджеты на QA постоянно уменьшаются.
Но этот вывод неверен. Так происходит потому, что все более размыты границы между различными видами деятельности в команде. Бюджет распределяется на всю команду: нет однозначного разделения между разработкой и QA. Бывают случаи, когда в спринте функциональное тестирование проводится разработчиками, или почти весь код покрыт юнит-тестами, и только специализированное тестирование, такое как тестирование производительности, или тестирование безопасности проводится отдельными командами QA. Таким образом, в то время как выделенный бюджет QA может показывать тенденцию к снижению, трудно определить, сколько из этого бюджет на самом деле расходуется разработчиками, проводящими тестирование.
Происходит сужение разрыва в навыках тестировщиков «черного ящика» и разработчиков. В некоторых областях тестировщики близки к тому, чтобы стать разработчиками, погрузившись в специфику своих продуктов.
В частности, у нас на шинах — тестировщики глубоко погружаются в техническую сторону ПО, настраивают стенды, маппинги, наблюдается миграция в разработку.
Цифровая трансформация
Мощным толчком к цифровой трансформации стала пандемия 2020 года. Каково же было влияние на мир, IT и процессы QA в частности?
Во-первых, многие компании, чей бизнес основан на продажах, переехали в онлайн-продажи, чтобы продолжать работу. Во-вторых, сильно возросло использование мобильных приложений — в период изоляции пользователи стали скачивать приложения из App Store и Google Play на 40% чаще. Пользовательская миграция наблюдается не только в продажах — переместились в онлайн отрасли от образования до развлечений. В третьих, как и ожидалось, большое количество компаний (43%) озвучили, что с развитием массовой удалёнки появилась потребность в новых и/или улучшенных инструментах совместной работы.
Как изменились акценты в тестировании?
Почти половина компаний (47%) сообщают, что в связи с возросшим использованием мобильных приложений и удалённого обслуживания клиентов, теперь очень важно проводить UX-тестирование - понимать опыт взаимодействия пользователя с интерфейсом программного продукта. Конкуренция возросла, и если пользователя что-то не устраивает, он тут же скачивает другое приложение.
Более трети (34%) заявили, что им потребуется удаленный доступ к тестовым системам и тестовым средам — соответственно, необходимо обеспечивать устойчивость к нагрузке. И наконец, выросла потребность в тестировании безопасности — на это повлиял массовый переход на удалённые операции и в онлайн-сервисы, плюс активное развитие интернета вещей.
Ключевые факторы развития
Ключевые движущие силы интеллектуальной индустрии для следующего этапа цифровой трансформации таковы:
Интересно отметить, что разброс среди факторов не очень большой. Между вариантом с наивысшим рейтингом и вариантом с шестым рейтингом разница всего шесть процентных пунктов. Возможно, на ранней стадии перехода для многих компаний всё кажется равным по важности. При этом наибольшее значение имеют те аспекты, по которым цифровая трансформация хорошо понятна — это эффективность, качество, гибкость и повышенное внимание к опыту клиентов.
Это была общекорпоративная оценка интеллектуальной индустрии. Нас же интересуют в основном вопросы качества – что именно, по результатам исследований, будет сильнее всего влиять на инициативы интеллектуальной отрасли. По оценкам руководителей, факторы следующие:
Командные навыки: 55%
Инструменты тестирования: 53%. Это, возможно, связано с тем, что компании всё ещё готовы вкладывать больше средств в области, оперативно повышающие производительность, эффективность, качество и гибкость работы
Инфраструктура тестирования: 51%. На наш взгляд, эта цифра могла быть даже выше, поскольку непрерывно растёт потребность в тестировании как услуге
Наконец, интересно взглянуть в будущее. Какие навыки наиболее важны для команд QA в интеллектуальной индустрии в плане развития и на чем люди сосредотачиваются прямо сейчас?
Ссылки:
WQR 20-21 https://www.microfocus.com/en-us/assets/application-delivery-management/world-quality-report-2020-2021
WQR 20-21 https://www.capgemini.com/research/world-quality-report-wqr-20-21/
WQR 21-22 https://www.sogeti.com/explore/reports/world-quality-report-2021-22/
