Ускоряем прохождение iOS UI-тестов. Часть 1. Запускаем тесты без сборки проекта

Хабр, привет!

Меня зовут Борис. Я Mobile QA lead в Vivid Money.

Это вступительная статья в цикле статей по iOS-автоматизации, в которых я расскажу о том, как ускорить прохождение UI-тестов.

Данная статья будет полезна iOS-автоматизаторам с опытом, либо разработчикам.

В рамках этой статьи мы разберем такие этапы:

• зачем ускорять время прохождения UI-тестов;

• что такое Test runner, и какие они бывают;

• что нужно для прогона тестов без компиляции проекта;

• делимся опытом, как это помогает нам.

Зачем ускорять время прохождения UI-тестов?

Быстрое прохождение автотестов позволяет использовать UI-тесты как можно чаще: на merge request, во время регрессионого тестирования и.т.д. Что позволяет отлавливать больше багов и меньше тратить время на поиск дефектов руками. Но задумываться об ускорении не всегда целесообразно на первых порах.

Вот ситуации, когда ускорение можно отложить:

• небольшое кол-во тестов(меньше 100);

• тесты прогоняются ночью или рано утром и никак не затрудняют работу другим;

• время прохождения тестов со сборкой проекта занимает меньше 30 минут.

Вот ситуации, когда стоит задуматься об ускорении прохождения тестов:

• Запущенные тесты образуют очереди на ci и затрудняют работу разработчикам, автоматизаторам;

• UI-тесты запускается одновременно с началом регрессионого тестирования, а не заранее;

• Вы хотите запускать автотесты чаще чем на ночных прогонах и во время регресса.

Что такое Test runner и какие они бывают

Test runner - это библиотека или инструмент, который выбирает сборку (или каталог с исходным кодом), который содержит тесты и набор настроек, а затем выполняет их и записывает результаты тестов.

Для запуска тестов на ci есть несколько вариантов:

• Xcodebuild - нативная утилита от Apple;

• Fastlane - самый популярный runner для iOS;

• Marathon - раннер под iOS и Android;

• Emcee - раннер от Avito.

Что нужно для прогона тестов без компиляции проекта

Для этого вам понадобится Derived data и xctestrun:

1. Derived data - это папка, которая находится в ~/Library/Developer/Xcode/DerivedData по дефолту. Это место, в котором xcode хранит все виды промежуточные результатов сборки, сгенерированные индексы и так далее. Расположение derived data можно изменить в настройках Xcode (вкладка Locations).

2. xctestrun - это файл, формирующийся после сборки таргета с тестами. Он содержит необходимую информацию для выполнения тестов. Для каждого тестового таргета он содержит запись с путем к тестовой машине, переменные среды и аргументы командной строки.

В качестве примера рассмотрим две реализации, используя fastlane и xcodebuild. Поскольку под капотом всех ранеров для iOS используется xcodebuild.

Алгоритм действий будет следующий:

Создание сборки для тестирования

Fastlane

run_tests(
       derived_data_path: "~/MyProject/derivedData", 
       scheme: "YourProjectUITests",
       build_for_testing: true
    )

Xcodebuild

$ xcodebuild -workspace <your_xcworkspace> -scheme <your_scheme> -sdk iphonesimulator -destination ‘platform=iOS Simulator,name=<your_simulator>,OS=14.0’ build-for-testing

• workspace – путь к .xcworkspace файлу. Нужно указывать, если в проекте используются workspace;

• scheme – название схемы с тестами, которая будет запущена;

• sdk – по умолчанию используется iphoneos, для использования MacOS или IPadOS нужно изменить значение;

• destination – параметр состоит из наборов пар ключ-значения, которые описывают, на чем запускать тесты/билд.

• derviedDataPath – путь, куда сохранять derived data после сборки проекта. По умолчанию это значение равно тому, что установлено у вас в настройках в Xcode, но для CI лучше указать относительный путь;

• build-for-testing – параметр для того, чтобы собрать билд для тестирования.

Запуск тестов

Мы можем запустить тесты с помощью derived data или .xctestrun:

Fastlane

# Запуск тестов по Derived data
run_tests(
       derived_data_path: "/Users/blysikov/MyProject/Swift-Radio-Pro-master/my_folder4",
       test_without_building: true,
       scheme: "SwiftRadioUITests",
       device: "iPhone 8",
       testplan: 'Regression'
)

# Запуск тестов по Xctestrun
run_tests(
  scheme: "SwiftRadioUITests",
  xctestrun: "/Users/blysikov/MyProject/Swift-Radio-Pro-master/my_folder4/Build/Products/SwiftRadioUITests_Smoke_iphonesimulator15.0-arm64.xctestrun",
)

Xcodebuild

# Запуск тестов по Xctestrun
xcodebuild -workspace "UITestExample.xcworkspace" -scheme "UITestExample" -xctestrun "build/Build/Products/UITestExample_iphoneos12.2-arm64e.xctestrun" -destination "id=9b63456a33e367d45c9aja8bj9b93223ehcf79b1" -resultBundlePath "result" test-without-building

• xctestrun – путь к .xctestrun файлу;

• destination – параметр состоит из наборов пар ключ-значения, которые описывают, на чем запускать тесты/билд;

• resultBundlePath – путь, куда сохранять результаты прогона;

• test-without-building – параметр для того, чтобы запустить прогон тестов без сборки проекта, но используя .xctestrun.

Как сделали мы

Описание процесса

Каждый день у нас собираются сборки для тестирования, которые отправляются в testFlight. В этот пайплайн мы добавили последним действием шаг, который собирает нам derived data тестового таргета, архивирует её, и отправляет на билд агент.

При запуске тестов мы скачиваем с билд агента derived data, разархивируем и на ней запускаем тесты.

Установка

Для начала нам понадобится импортировать 3 библиотеки:

• net-scp - Нужен для передачи файлов на удаленный хост через SCP;

• rubyzip - Нужен для архивирования файлов;

• fileutils - Нужен для создания директории.

Также нам нужно будет дописать 2 вспомогательных файла:

Первый будет взаимодействовать с билд агентом.

require 'net/scp'

module ScpService
  
  def upload_derived_data(path_to_derived_data_zip)
    Net::SCP.start('your_host', 'your_login') do |scp|
      scp.upload(path_to_derived_data_zip, 'path_where_to_store_on_build_agent')
    end
  end
  
  def download_derived_data(destination_download_path)
    Net::SCP.start('your_host', 'your_login') do |scp|
      scp.download('path_where_to_store_on_build_agent', destination_download_path)
    end
  end
end

Второй будет архивировать нашу derived data. Архивация нужна для того, чтобы уменьшить место, которое занимает derived data, в крупных проектах она может весить больше 10 ГБ.

require 'zip'

class ZipFileGenerator
  # Initialize with the directory to zip and the location of the output archive.
  def initialize(input_dir, output_file)
    @input_dir = input_dir
    @output_file = output_file
  end

  # Zip the input directory.
  def write
    entries = Dir.entries(@input_dir) - %w[. ..]

    ::Zip::File.open(@output_file, create: true) do |zipfile|
      write_entries entries, '', zipfile
    end
  end

  private

  # A helper method to make the recursion work.
  def write_entries(entries, path, zipfile)
    entries.each do |e|
      zipfile_path = path == '' ? e : File.join(path, e)
      disk_file_path = File.join(@input_dir, zipfile_path)

      if File.directory? disk_file_path
        recursively_deflate_directory(disk_file_path, zipfile, zipfile_path)
      else
        put_into_archive(disk_file_path, zipfile, zipfile_path)
      end
    end
  end

  def recursively_deflate_directory(disk_file_path, zipfile, zipfile_path)
    zipfile.mkdir zipfile_path
    subdir = Dir.entries(disk_file_path) - %w[. ..]
    write_entries subdir, zipfile_path, zipfile
  end

  def put_into_archive(disk_file_path, zipfile, zipfile_path)
    zipfile.add(zipfile_path, disk_file_path)
  end
end

Реализация

Реализация будет состоять из 2 job:

Первая джоба формирует нужные файлы и отправляет их на билд агент. Вот как это выглядит:

# Собираем таргет с тестами для формирования derivedData и xcresults
run_tests(
       derived_data_path: "~/yourProject/derivedData", 
       scheme: "YourProjectUITests",
       build_for_testing: true
    )

# Архивируем deirived data
zf = ZipFileGenerator.new('directory_to_zip', 'path_to_derived_data_zip')
zf.write

# Отправляем на билд агент
upload_derived_data('path_to_derived_data_zip')

Вторая джоба запускается во время ежедневных прогонов или во время прохождение регресса. Вот как это выглядит:

# Скачиваем derived data
download_derived_data('destination_download_path')

# Разархивируем derived data
Zip::File.open('destination_download_path') do |zip_file|
  zip_file.each do |f|
    f_path = File.join('destination_unzip_path', f.name)
    FileUtils.mkdir_p(File.dirname(f_path))
    zip_file.extract(f, f_path) unless File.exist?(f_path)
  end
end

# Запускаем тесты с xctestrun
run_tests(
  scheme: "yourUITests",
  xctestrun: "your_deived_data_folder/yourUITests_test_plan_name_iphonesimulator14.5-arm64.xctestrun"
)

Самое важное

1. Время прохождения нужно ускорять, когда ваши тесты:

   1. Создают очереди на CI;

   2. Прогон вместе со сборкой проекта занимают более 30 минут.

2. Если только начинаешь работать с раннерами - используй fastlane. В интернете куча примеров, как организовать прогон тестов на ci в связке с ним.

3. Для прогона тестов без компиляции проекта тебе понадобится: derived data и .xctestrun.

4. Ищешь способ сократить время прогона - воспользуйся нашим подходом в разделе: “Как сделали мы”.

Данный подход позволил нам сократить время сборки проекта при запуске тестов на регрессе с 20 минут до 3 минут. 3 минуты уходит на то, чтобы скачать нужный нам архив с derived data с билд агента и разархивировать его. Дальше мы её передаем в аргументы для прогона тестов, и тесты начинают гоняться.

Полезные статьи на эту тему:

• Speed up iOS CI using Test Without Building, xctestrun and Fastlane

• Building from the Command Line with Xcode FAQ

• RUNNING XCODE TESTS FROM CI

Интересуешься автоматизацией на iOS? Подписывайся на мой телеграмм-канал, в котором я публикую материалы, которые будут полезны как начинающим, так и опытным iOS-автоматизаторам.