Сборка не JVM-проектов, инструменты

В некоторых проектах сборке отводится роль Золушки. Основные усилия команда сосредоточивает на разработке кода. А самой сборкой могут заниматься люди, далёкие от разработки (например, отвечающие за эксплуатацию, либо за развёртывание). Если сборка хоть как-то работает, то её предпочитают не трогать, и речь об оптимизации не заходит. Вместе с тем в больших гетерогенных проектах сборка оказывается достаточно сложной и к ней вполне можно подходить как к самостоятельному проекту. Если же относиться к сборке как к второстепенному проекту, то в результате будет получен неудобоваримый императивный скрипт, поддержка которого будет в значительной степени затруднена.

В этой заметке мы рассмотрим, по каким критериям мы выбирали инструментарий, а в следующей — каким образом этот инструментарий используем. (Есть также перевод на английский.)

Общая модель сборки проектов

Модель сборки проектов во всех рассматриваемых инструментах представляет собой направленный граф без циклов (орграф, DAG), а не иерархическую структуру, типичную для структурного подхода (когда процедура вызывает другие процедуры, а затем пользуется результатами). Связано это с тем, что при разработке проекта вносятся небольшие изменения и бо́льшая часть операций по сборке не требуется. То есть организация проекта в форме орграфа является основой для того, чтобы выполнялись только те действия, которые необходимы для ближайшей задачи, тем самым часто используемые операции будут выполняться достаточно быстро.

Узлами в графе являются цели или задачи. Цели — результаты, которые необходимо достичь; а задачи — операции, которые надо выполнить, чтобы достичь текущей цели. При этом задача может быть запущена только в том случае, когда все зависимости удовлетворены.

Такая модель схватывает структуру проекта и позволяет достигать не одну конечную цель, а несколько разных целей, на основе общей системы целей/задач. Эти несколько разных целей сосуществуют вместе и их подзадачи пересекаются. Например, сборка, тестирование и генерация документации взаимосвязаны как раз таким образом.

Поверх этой основной модели в ряде инструментов реализованы более высокоуровневые модели.

Декларативный или императивный стиль

При написании программ часто противопоставляются императивный и декларативный стили программирования. Под императивным стилем понимается описание последовательности действий, описывающих, как прийти к какому-то результату. Причём сам результат не описывается. При использовании декларативного стиля описывается желаемый результат, что мы хотим получить. Последовательность действий при этом выбирается инструментом самостоятельно.

Такое разделение в некоторой степени условно. Сравним, например, такие программы:

fun loadPerson(file: File): Person = TODO()
val ivan = loadPerson("ivan")

и

fun personDefinedInFile(file: File): Person = TODO()
val ivan = personDefinedInFile("ivan")

Второй пример выглядит более декларативным, хотя разница всего лишь в названии функции. Здесь можно отметить, что код, являющийся императивным на одном уровне абстракции, может оказаться декларативным на другом уровне абстракции.

В описанной выше модели структура целей может считаться декларативной, т.к. мы называем желаемый результат, а описание шагов по достижению какой-либо цели является императивной программой. В некоторых инструментах, рассмотренных ниже, могут быть и другие декларативные элементы.

Выбор инструмента

При старте проекта иногда бывает можно оценить, насколько сложной окажется интеграция проекта. В нашем случае оказалось, что требуется собирать несколько модулей node.js, несколько go-lang, осуществлять развёртывание нескольких модулей terraform (и ни одного jvm-модуля).

В других аналогичных проектах, развивавшихся "органически", сборка осуществлялась с использованием make, а в скриптах сборки использовались bash, perl, python, php и др. Механизм сборки было трудно поддерживать, производительность оставляла желать лучшего и ряд возможностей не был реализован.

Для нового проекта мы задумались, какой инструмент взять за основу системы сборки. Оценили такие варианты:

• make,
• maven,
• sbt,
• gradle/groovy,
• gradle/kotlin.

Make

Эта программа создана достаточно давно, широко применяется во многих проектах и, в целом, позволяет реализовывать сборку достаточно больших и сложных проектов.

Плюсы

• наличие компетенции;
• похож на shell.

Минусы

• поддерживается только базовая модель целей и задач, нет поддержки понятия проекта;
• запутанный синтаксис;
• глобальные состояния;
• нет поддержки плагинов, трудно повторно использовать части кода;
• отсутствует возможность декларативного описания сборки; только императивный код.

В отсутствии ограничений, в скриптах сборки можно встретить

• генерацию шаблонов с помощью perl;
• установку недостающих исполняемых файлов путём исполнения .sh скриптов из интернета
  при каждом запуске скрипта;
• вызов make-файлов для подпроектов с нестандартными названиями целей;
• отсутствие согласованной обработки ошибок.

Такие неожиданности затрудняют поддержку и делают сборку небезопасной операцией.

Maven

Maven стал революцией в системах сборки в момент своего появления. Идеи декларативного описания проектов, широкого применения конвенций, использования плагинов, хранения артефактов в репозиториях, использования системы идентификации, включающей версии — всё это обеспечило признание и широкое использование во многих JVM-проектах по сей день.

Плюсы

• наличие компетенции (часть команды имеет богатый опыт работы с Maven-проектами);
• развитая модель проектов и подпроектов;
• поддержка плагинов;
• декларативная модель;
• maven wrapper.

Минусы

• слабая поддержка других технологий;
• наличие трудно-преодолеваемых ограничений;
• трудоёмкость реализации плагинов;
• отсутствие удобной возможности реализации императивных скриптов;
• жёсткая структура жизненного цикла;
• не очень удобный XML-формат.

Отсутствие императивных скриптов является и плюсом и минусом. С одной стороны, декларативный подход обеспечивает жёсткое разделение кода и модели, с другой стороны, задачи сборки зачастую требуют отдельных вставок императивной логики, и решение таких задач в maven'е мучительно.

Sbt

Sbt — инструмент сборки Scala-проектов. Появился примерно в то же время, что и gradle.

Плюсы

• развитый язык;
• поддержка плагинов и императивных вставок;
• поддержка инкрементной сборки;
• поддержка непрерывной сборки по мере изменения;
• параллельное исполнение.

Минусы

• неожиданная модель (вместо задач — "настройки");
• неявные зависимости через .value;
• слабая поддержка других технологий (go, node.js);
• неожиданный синтаксис.

Sbt в целом выглядит как специализированная система для сборки Scala-проектов, нежели чем универсальный инструмент сборки любых проектов.

Gradle

Gradle появился в 2007 году в качестве ответа на основные ограничения maven — отсутствие императивного кода, трудность реализации плагинов, неудобство при нестандартных операциях. Gradle базируется на идеях, предложенных Maven'ом, развивает их и меняет акценты. Основными частями модели gradle являются:

• задачи (Task) — выполняемые операции, узел графа зависимостей, имя+описание;
• проект — логическая единица организации кода, совокупность и scope задач, точка подключения плагинов;
• плагин — возможность или фича, добавляемая в проект. Среди прочего — набор задач;
• зависимости, проверка up-to-date.

Важным усовершенствованием стало использование DSL (domain specific language),
основанного на императивном языке, с помощью которого формируются элементы декларативной модели,
а также решаются императивные задачи.

Плюсы

• поддержка модели проектов;
• поддержка декларативного (основанного на модели) и императивного подхода одновременно;
• поддержка инкрементной сборки;
• непревзойденная гибкость;
• превосходная документация (для двух диалектов сразу);
• очень быстрая работа (даже определения задач выполняются только в случае необходимости);
• кросс-платформенность — работает везде;
• gradle wrapper — небольшой скрипт для загрузки и запуска gradle правильной версии; разработчикам не требуется вручную настраивать утилиты и обновлять при изменении версии в репозитории;
• удобный и понятный DSL.

Минусы

• отсутствие компетенции (до этого gradle широко не применялся членами команды);
• насколько мне известно, отсутствуют механизмы защиты от чрезмерного использования императивного кода. Необходимы дисциплина и следование рекомендованным практикам при разработке скриптов сборки во избежание макаронного кода;
• не поддерживаются иные механизмы зависимостей, кроме JVM (maven-repository, ivy2);
• необходимость предпринимать определённые усилия для того, чтобы каждая задача поддерживала проверку up-to-date (полезную для инкрементной сборки). В частности, для каждой задачи необходимо описать входные и выходные данные. В принципе, обычные возможности DAG доступны без усилий, но gradle позволяет достичь ещё более высокой скорости работы при условии указания входов и выходов.

Выбор диалекта — gradle/groovy или gradle/kotlin

Изначально gradle использовался с помощью groovy-DSL. В дальнейшем был разработан DSL на основе Kotlin'а.

Плюсы Kotlin'а

• компилируемый строго-типизированный язык:
  
  • защита от ошибок на этапе компиляции,
  • поддержка intelli-sense,
  • безопасный рефакторинг,
• хорошая поддержка DSL;
• простой синтаксис, меньше бойлерплейта, по сравнению с Java;
• достаточно много сахара.

Минусы

• на просторах интернета большинство примеров — для groovy, вначале бывает трудно сообразить, как переписать пример на kotlin'е;
• изначально был сделан gradle/groovy DSL, поэтому некоторые элементы неидеально представлены в kotlin'е (extra, имена задач, ...);
• немного повышается порог входа в связи с необходимостью освоения нового языка.

Заключение

По итогам сравнения имеющихся инструментов сборки проекта мы решили попробовать в нашем проекте реализовать сборку и CI/CD с использованием gradle/kotlin. Этот вариант обладает рядом преимуществ в сравнении с реализацией сборки проекта на основе make/shell.

Gradle/kotlin vs make

Ниже приведены сравнительные преимущества gradle/kotlin по отношению к make:

Преимущества:

• высочайшая скорость работы. Команда Gradle прикладывает постоянные усилия в направлении улучшения скорости и в реализации инструментов, способствующих реализации высокоскоростных скриптов. Можно добиться того, что все задачи, не требующие выполнения, будут пропущены. А задачи, требующие выполнения — выполнены только для изменившихся файлов.
• унификация языка. Все задачи решаются в рамках одного компилируемого строго-типизированного языка с согласованным и продуманным синтаксисом — Kotlin. Нет необходимости изучать особенности режимов make, различия версий shell-интерпретаторов, варианты обработки параметров командной строки в разных утилитах, отдельные языки программирования для шаблонов (php?, perl?). За счёт использования современного языка со статической типизацией, исключается множество классов ошибок, характерных для скриптовых языков.
• декларативная модель проектов/подпроектов и плагинов поверх декларативного орграфа задач. В make — только непосредственно императивные задачи.
• возможность комбинирования декларативного и императивного подхода. Несмотря на то, что декларативный подход обеспечивает понятность и чистоту кода, лёгкость поддержки, возможности комбинирования компонентов, императивный подход может оказаться незаменимым в силу своей гибкости. Новые задачи можно вначале решить императивным способом (ad-hoc), а затем обобщить и выделить в форме декларативных конфигурируемых плагинов.
• возможность создания повторно-используемых плагинов. Причем написание таких плагинов не вызывает особых сложностей и плагинам предоставляется удобный API с широкими возможностями. В случае make стандартных механизмов не предусмотрено, из-за чего возникает дублиирование кода и переизобретение велосипедов.
• платформа JVM, на которой реализованы библиотеки на все случаи жизни. В make некоторые задачи требуют установки платформо-специфических приложений

Недостатки:

• неудобно вызывать shell-команды. Для каждой команды надо создать и настроить task.
• более высокие требования к инженерной культуре — язык со статической типизацией, декларативная модель проекта, использование развитых концепций (свойства, вывод зависимостей, проверки up-to-date).

В следующей части рассмотрим некоторые особенности применения gradle/kotlin к сборке не-JVM проектов.

Благодарности

Хотелось бы поблагодарить nolequen, Starcounter, tovarischzhukov за конструктивную критику черновика статьи.