Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
До конференции DevOops, посвященной инженерным DevOps-решениям, осталось меньше двух недель. Все спикеры на низком старте, программа составлена, и в этом хабрапосте рассказываем о ней.
На конференции будем не спорить о том, существуют ли девопс-инженеры (что тут спорить, не существуют), а делиться опытом реальных проектов, фейлами и историями успеха. И задавать вопросы об этом всем. Подробно о докладах — под катом, а для затравки скажем:
Будет много про Kubernetes: как снизить расходы, нужно ли туда лезть разработчикам, какие инструменты использовать и т.п.
К вопросу о снижении расходов: узнаете, что такое Cloud FinOps и как это позволяет экономить на облаке.
Барух Садогурский и Алексей Кирпичников перенесутся в 2020 год и вспомнят доклад Джона Уиллиса.
А Саша Розенбаум заглянет в будущее DevOps.
Оглавление
Светлая сторона = истории успеха
Темная сторона = фейлы, пост-мортемы
SRE
Облака
Культура
Безопасность
Светлая сторона = истории успеха
Повышаем отказоустойчивость и снижаем расходы в Kubernetes
Павел Селиванов
VK Cloud Solutions
Очень часто при использовании managed Kubernetes в облаке пользователи сталкиваются с тем, что обещанная отказоустойчивость на деле не работает, а снижения цены эксплуатации кластера не происходит.
Но у самого Kubernetes и инструментов вокруг него есть несколько прекрасных возможностей для реализации этих задач. Нужно только знать о них и уметь их грамотно настроить и применить.
Павел Селиванов — developer advocate VK Cloud Solutions и фанат Kubernetes. Он расскажет, как работает Scheduler Kubernetes, и покажет, как можно настроить его под ваши задачи.
Как сделать стабильно, когда тысячи разработчиков могут всё сломать, или как организован CI в монорепозитории «Лаборатории Касперского»
Алина Власова
Лаборатория Касперского
Переходить или не переходить на монорепозиторий — вопрос холиварный и неоднозначный. Например, монорепозиторий есть у Google, но что хорошо для Google — вовсе не обязательно хорошо для других.
Алина Власова работает руководителем группы, занимающейся разработкой инфраструктуры для непрерывной интеграции — и расскажем об опыте работы с монорепозиторием в «Лаборатории Касперского». Вы узнаете, как он изменил жизнь разработчиков и скорость доставки изменений для большинства продуктов компании. С какими трудностями сталкивались до появления монорепозитория, как теперь устроен CI, какие системы разрабатывает для него команда, какие он имеет преимущества и проблемы.
TSDB – взгляд изнутри. Миграция на Prometheus и Cortex. Опыт Okmeter
Владимир Гурьянов
Флант
Андрей Колаштов
Флант
Дмитрий Столяров
Флант
Любой инженер, занимающийся задачами эксплуатации, сталкивается с необходимостью собирать телеметрию — а значит, и метрики. Метрики — это особый вид данных, которые требуют специализированного хранилища, TSDB. О внутреннем устройстве таких хранилищ и пойдет речь.
Владимир, Андрей и Дмитрий имеют большой опыт эксплуатации систем, которые требуют продвинутых инструментов сбора, хранения и отображения метрик, а также опыт разработки инструментов метрик. Компания Флант, где они работают, купила компанию Okmeter, которая занималась разработкой системы метрик. Из доклада вы узнаете, как Владимир и команда мигрировали на живую Okmeter с home-grown решения (на базе Kafka, Cassandra и Elastic) на стек вокруг Prometheus и Cortex. Начнем с паттернов, лежащих в основе любой современной TSDB. Поймем, при чем тут Log Structured Merge Tree. И увидим доказательство, что механизмы, лежащие в основе работы Prometheus, – это лучшее из существующего.
Building Trustable Infrastructure
Kerim Satirli
HashiCorp
Возможность описывать инфраструктуру кодом была огромным шагом вперед по сравнению с «просто нажимать на кнопки в пользовательском интерфейсе».
Но с этим пришли и проблемы — индустрия стала настолько сосредоточена на том, «что можно сделать», что потеряла из виду «как следует это делать?».
Керим Сатирли — старший developer advocate в HashiCorp — расскажет о закономерностях, усвоенных за годы программирования инфраструктуры, и объяснит, как концепция «глубокой защиты» может помочь укрепить вашу инфраструктуру еще до развертывания первого сервиса.
Используя HashiCorp Terraform в качестве основного средства, Керим покажет, как можно писать код, которому можно доверять, и какие процессы нужно учитывать, чтобы снизить зону поражения, если что-то пойдет не так.
Темная сторона = фейлы, пост-мортемы
Перестаньте писать пайплайны, займитесь процессами!
Евгений Харченко
Райффайзен
Сталкиваясь со сложностями в процессах команды в различных топологиях, команда видит, что DevOps — это не серебряная пуля, а написанные пайплайны и выстроенный технологический CI/CD, и он далеко не равен хорошо выстроенному процессу разработки в команде.
Поэтому в этом докладе спикер собирается привести примеры хороших пайплайнов и сломанных процессов, которые привели к проблемам. Расскажет, как и с помощью чего строить процессы, даст на выходе решения для использования и напомнит в 2021 году работодателям, что DevOps — это не инженер и не должность, а методология, которая в первую очередь говорит о надлежащем состоянии процессов и подходов к разработке и сопровождению сервисов.
Когда тестирование выпало из DevOps, и как его туда вернуть
Руслан Ахметзянов
Qameta Software
Пять лет назад истории про Netflix вызывали улыбку или недоумение: вот еще, разработчики будут отвечать за деплоймент, а админы пойдут кодить! Кто бы знал, как все повернется? (@jbaruch знал!) Разработчики вступили в гонку за скорость доставки фичей и сборок, а опсы — за безопасность, автоматизацию пайплайнов и бесперебойные апдейты по два раза на день.
И пока DevOps шагает по миру семимильными шагами, перестав быть просто buzzword, десятки людей в отделах часами кликают на кнопочки в веб-формочках и отмечают галочки в тестовых сценариях на «самых важных» релизах или фичах.
В этом докладе мы постараемся разобраться, в какой момент индустрия тестирования свернула не туда, и куда бежать, чтобы всё заработало как надо.
Расскажет Руслан Ахметзянов, который раньше работал у нас в JUG Ru Group, участвуя в организации DevOops и других конференций — так что он знаком не только с миром тестирования, но и с тем, как должен выглядеть хороший доклад.
Kubernetes isn’t the answer, but what was the question again?
Joep Piscaer
TLA Tech
Что если мы все это время неправильно выбирали технологии? Мы постоянно думаем о потенциале: «что технология позволяет сделать». Но важнее потенциальное трение: почти всегда правильный выбор — это самая простая и легко внедряемая технология. Потому что командам редко нужны все технологические новинки сразу — они просто хотят исправить самые больные места, приложив наименьшее усилие. И да: эти узкие места часто носят организационный, а не технологический характер.
Йуп Пискаер — CTO в собственной компании, отраслевой аналитик и создатель технологического сообщества, автор книги Digital-First Events. Он потратил немало времени и усилий, чтобы разобраться в том, что может помочь сделать выбор технологии более осознанным. И на примере Kubernetes Йуп расскажет, как задавать правильные вопросы и как находить правильные ответы. Вы узнаете, как технологии влияют на работу людей и организаций, почему простота и легкость побеждают технологические возможности, и почему ключевым фактором является отсутствие сложности и организационного трения.
SRE
[R]Evolution of open source CI/CD tools
Олег Ненашев
«Опенсорс поглощает мир». Подобное происходит и с областью инструментов автоматизации, включая непрерывную интеграцию и непрерывную поставку. На рынке полно опенсорсных CI/CD-инструментов: Jenkins, Jenkins X, Spinnaker, GitLab, Tekton, BuildBot и т. д и т. п.
В докладе пойдет речь об инструментах и их развитии. Для чего используют CI/CD-инструменты? Как они развиваются в данный момент? И что их ждет дальше: облачно-ориентированное окружение, машинное обучение, что-то еще? И как Continuous Delivery Foundation участвует в развитии опенсорсных инструментов и способствует этому?
А расскажет об этом человек, которому эти процессы видны «изнутри»: Олег причастен к работе над Jenkins уже больше восьми лет.
SLA — друг или враг разработчика?
Григорий Кошелев
Контур
В основе доклада — один крупный инцидент, на примере которого спикер разберет Service Level Agreement (SLA) с точки зрения разработчика в части надежности информационных систем.
Слушатели доклада научатся выбирать правильные Service Level Objectives (SLOs) и считать метрики по ним. Узнают, как различные архитектурные решения влияют на SLOs. А в качестве бонуса Григорий разберет преимущества и недостатки архитектуры информационной системы федерального масштаба.
Григорий уже знаком участникам DevOops: ранее он рассказывал и про работу с Kafka, и про работу над ошибками при переезде на Sentry.
SRE, Managed Services and the path to the future
Sasha Rosenbaum
Red Hat
В технологической отрасли постоянны только перемены. За одно десятилетие может измениться весь ландшафт: появятся новые инструменты, новые роли и новые методы работы. Но мы и вправду что-то меняем или просто присваиваем новые названия уже существующим шаблонам и практикам?
Саша Розенбаум — известный в сообществе спикер, автор (Serverless computing in Azure with .NET), организатор DevOpsDays Chicago. За свою карьеру она успела поработать в разных компаниях и разных ролях и была непосредственным свидетелем всех технических и культурных сдвигов парадигмы, о которых будет рассказывать. Недавно мы делали расшифровку ее доклада про путь Microsoft к DevOps.
Саша поговорит об эволюции практик и инструментов DevOps, о SRE, о связи между PaaS, Kubernetes и управляемыми сервисами, и о том, как каждая новая волна изменений порождает следующую.
OpenTelemetry Collector deep dive
Juraci Paixão Kröhling
Grafana Labs
OpenTelemetry Collector — универсальное программное обеспечение, способное обрабатывать не только трейсы, но и метрики и логи. Его можно развернуть с такими функциями, как аутентификация, маршрутизация, балансировка нагрузки, tail-based sampling и так далее. Инструментарий обширен: в пакет contrib входят дополнительные модули и дистрибутивы, а также инструмент CLI, позволяющий создать собственный дистрибутив, возможно, с пользовательскими компонентами.
Жураси — один из ключевых мейнтенеров Jaeger — самого популярного опенсорсного инструмента для распределенной трассировки, контрибьютор проекта OpenTelemetry.
В этом докладе он познакомит вас с OpenTelemetry Collector и покажет, как его можно развернуть в различных сценариях — от классического «агент/коллектор на Kubernetes» до масштабируемой выборки на основе «хвостов» (tail-based sampling). Участники увидят, как компонент может быть создан с нуля и интегрирован в собственный дистрибутив. Польза от доклада будет максимальной, если у вас есть практический опыт работы с инструментами наблюдаемости и опыт программирования на Go.
Scalable architecture from the ground up
Oren Eini
Hibernating Rhinos LTD
Орен Эйни (он же Ayende Rahien) — основатель NoSQL-базы данных RavenDB — расскажет о том, как можно разрабатывать и создавать программные системы, которые легко масштабируются до огромных размеров, не вызывая мигрени и не убивая бюджет.
Очевидно, что если выбрать правильный алгоритм для конкретной задачи, то можно получить огромные преимущества в плане эффективности. А вот что не очевидно, так это то, что то же самое относится и к архитектуре глобальной системы. В докладе пойдет речь об архитектурных стилях и подходах, которые выдержали испытание временем и позволяют создавать простые и дешевые в эксплуатации системы, обеспечивая при этом гибкость для роста.
Еще важнее, что большие сложные системы требуют постоянного обслуживания и ухода. Орен расскажет, как обеспечить понимание и видимость внутренностей системы без чрезмерной нагрузки на команду разработчиков и обеспечить rolling-деплой, восстановление и аудит.
Прокси, шлюзы и сита. ЧТО-О?
Виктор Гамов
Kong
За последнее годы технологии API-шлюзов (API Gateway) претерпела значительные изменения, получив все более широкое распространение в сфере, которую в отрасли называют "управлением жизненным циклом API". Шлюзы API были просто управлением сетевой средой исполнения, этаким прокачаным прокси-сервером, который обеспечивал безопасность и управлять трафиком. Однако сегодня они предоставляют ряд возможностей для поддержки полного цикла разработки, включая создание, тестирование, документирование, мониторинг, монетизацию, контроль и доступ к API.
Примерно в 2017 году в индустрии появился еще один паттерн: сервисное сито. Сервисное сито — это инфраструктурный слой для взаимодействия микросервисов. Он абстрагирует базовые детали сети и обеспечивает обнаружение, маршрутизацию и множество других функций. Многие пытались описать различия между шлюзами и сервисными ситами, например, API-шлюзы предназначены для трафика север-юг, а сервисные сита - для трафика восток-запад.О различиях между API-шлюзами и сервисными ситами (и о том, когда прагматично и объективно использовать то или другое) расскажет Виктор Гамов — знакомый и прошлым участникам DevOops, и подписчикам его телеграм-канала, и слушателям подкаста «Разбор полётов».
Cloud CI/CD technologies — What to choose?
Sebastian Daschner
Victoria Almazova
Microsoft
Melissa McKay
JFrog
Технологий CI/CD много, в том числе созданных уже для современных cloud-native реалий — вот только не все новички достаточно зрелые для комфортного применения. Как тогда правильно выбрать в наши облачные времена? Тут вместо простого доклада будет дискуссия-баттл, которую проведут сразу несколько заметных спикеров с разным бэкграундом.
Себастьян — самозанятый Java-консультант и автор, Виктория — специалист по вопросам безопасности и участница ПК DevOops, Мелисса — обладательница званий Java Champion и Docker Captain, Антон — основатель Otomato Software, хорошо знакомый участникам прошлых DevOops.
Облака
Database-as-a-Service в Kubernetes с GitOps
Сергей Пронин
Percona
Database as a service дает возможность разработчикам или клиентам быстро развернуть базу данных без обращения к операционным командам. В этом докладе Сергей расскажет про Kubernetes-операторы для баз данных, как построить свой DBaaS в Kubernetes и как управлять всем этим с помощью GitOps.
Мир БД Сергею хорошо знаком: он работает в компании Percona, которая внесла значительный вклад в развитие популярных опенсорсных баз данных (MySQL, PostgreSQL, MongoDB и других).
Технологии и тенденции в мире опенсорс баз данных в 2021 году, которые меняют рынок
Петр Зайцев
Percona
Еще один спикер из Percona, в этом случае — один из ее основателей. Соавтор книги «MySQL. Оптимизация производительности» (High Performance MySQL).
Сегодня мы имеем дело с большим количеством замечательных инноваций в технологиях баз данных. Например, введение новых моделей данных, таких, как time series или graph, фокус которых направлен на решение проблем SQL при масштабировании приложений и превративших NoSQL в синоним масштабирования. Также на рынке появился новый дизайн баз данных Cloud Native, использующий возможности Kubernetes и Serverless-концепции. Особое влияние оказывает открытое ПО, рынок которого растет, но дает свои трещины. Появляется класс частично открытых СУБД.
В своем докладе Петр рассмотрит эти и другие тенденции и объяснит движущую силу этих изменений. Мы поговорим обо всех основных опенсорсных базах данных и их универсальности, рассмотрим конкретные решения для разных ситуаций. Спикер даст информацию об изменениях в опенсорс-лицензиях и о том, чего можно ожидать уже в следующем году.
Pulumi и CDK для Terraform: программируем инфраструктуру на языках высокого уровня
Кирилл Казаков
Simplinic GmbH
Илья Феоктистов
Bling
Сейчас лидером IaC-решений является Terraform, где широко применяется собственный язык конфигурации HCL (HashiCorp Configuration Language). Хотя этот язык довольно простой, у него есть своя специфика, разные типы переменных и не всегда очевидный подход к циклам. Из-за этого приходится тратить время на понимание его тонкостей и возможностей.
Поэтому в докладе покажут, как работать с IaC, используя реальные языки программирования на примере Pulumi и cdktf от Terraform. Так можно использовать знакомые инструменты и IDE и при работе с инфраструктурой.Сделают это сразу два спикера: у Кирилла Казакова обширный опыт в проектировании и построении CI/CD процессов с нуля до продакшена, а Илья Феоктистов — Head of Devops в компании Bling.
Есть ли дружба между железом и облаком?
Евгений Дехтярёв
2ГИС
У 2ГИС всю жизнь было только свое железо и аренда стоек в ДЦ. В последний год довольно сильно выросли железом, чтобы держать запланированные нагрузки. Но вырастать железом х2 — это дорого, поэтому вместо х2 2ГИС держит хот-резерв в облаке и планирует активно масштабироваться там, если трафика станет в разы больше или с основным ДЦ что-нибудь случится.
Евгений, уже много лет занимающийся в 2ГИС инфраструктурой, расскажет про трудности унификации деплоя на своё железо + своё облако + облако одного из провайдеров. Про то, какой способ унификации выбрали, как сначала сделали это для своего железа (импровизированный MaaS), а теперь делают для облака (стратегия есть, какие-то технические решения уже сделаны и работа кипит прямо сейчас!).
Cloud FinOps. Что это за дисциплина и как она помогает экономить на облаке
Виталий Белясов
Align Technology
Илья Семенов
Cloudthread
С приходом облаков, DevOps и IaC технические специалисты начали самостоятельно «заказывать» ИТ-инфраструктуру, а финансы и C-level начали получать счета на круглую сумму. Модель управления ИТ-затратами стала децентрализованной мгновенно, а вот отделы финансов/закупок не успели адаптироваться к новой реальности.
FinOps (управление затратами на облачные технологии) — ответ на этот вызов и новая норма. Компании вроде AirBnB, Lyft, Atlassian, Spotify, EA давно развивают эту функцию внутри.
Речь пойдет о ключевых составляющих FinOps-фреймворка: с чего начинать, создавая FinOps в компании, и с какими сложностями вы можете столкнуться. Сколько денег можно сэкономить? Помогут ли точечные оптимизации? Расскажут об этом два спикера: они работают в разных компаниях, но оба активны в российском FinOps-сообществе.
Choreography vs Orchestration in serverless microservices
Mete Atamel
Мете Атамел — Developer Advocate из Google — уже не раз выступал на DevOops. В этот раз он расскажет о хореографии и оркестровке в serverless-микросервисах.
Преимущества микросервисов известны (например, удобство переиспользования, внесения изменений и масштабирования), но при этом они вызывают новые проблемы.
Как микросервисы взаимодействуют друг с другом для достижения общей цели? Как выяснить, что пошло не так, когда бизнес-процесс из нескольких микросервисов, дает сбой? Должен ли существовать центральный оркестратор, контролирующий все взаимодействия между сервисами, или каждый сервис должен работать независимо? В докладе посмотрим на разницу оркестрации с хореографией и на инструменты, способные помочь.
Kubernetes is not for developers
Michael Coté
VMware Tanzu
В разговорах про Kubernetes часто можно услышать, что он сложный. Даже слишком сложный. И из-за «простыни YAML», и из-за более тонких сложностей с тем, как разработчики проектируют свои приложения для запуска на Kubernetes.
В крупном масштабе (в компаниях, поддерживающих тысячи приложений, часто устаревших и отличающихся друг от друга) все становится еще сложнее. Но при этом Kubernetes и его дизайн направлены на упрощение этих проблем.
Откуда берется это несоответствие? Майкл — программист, автор книг и специалист по корпоративной стратегии — поделиться с вами любопытной теорией. На самом деле Kubernetes не предназначен для разработчиков, и, по большей части, разработчики редко должны иметь дело с Kubernetes напрямую.
Cloud Native Culture
Nathaniel Schutta
VMWare
Переход в облака влечёт за собой множество новых технологий и подходов. От подхода «12 факторов» до DDD (предметно-ориентированного проектирования) — не перечесть. Тут можно много говорить о платформах, контейнерах и тому подобным, но хотя технологии важны, нельзя не поговорить о значимости культуры. Что меняется, когда мы обращаемся к облакам? Как нам там оказаться? Как влияет закон Конвея? В докладе речь пойдет о том, что влияние cloud-native оказывает влияние далеко не только на архитектуру.
Натаниэль совмещает разные роли: архитектор и developer advocate, автор книг и преподаватель. Сам себя он описывает себя как «architect as a service».
Культура
Воркшоп. Топологии платформенных команд
Игорь Курочкин
DevOps Research
Андрей Александров
Evil Martians
Платформенные команды — новый тренд, который упоминается в последних отчетах State of DevOps и технологических радарах. Все больше компаний запускают платформенные команды, применяют продуктовый подход в платформах и предоставляют платформы как сервис с фокусом на Developer Experience.
Но что это: очередная теория, далёкая от практической ценности, или осязаемый инструмент, который может помочь в реальной жизни?
На это вопрос в своем воркшопе ответят Игорь и Андрей, которые активно распространяют идеи о топологиях команд, заложенные в книге Мэтью Скелтона.
Участники воркшопа побудут в роли социотехнического архитектора, применят новый DSL, поймут, как выполнить переход к платформенным командам, определят способы взаимодействия с другими командами, узнают, как развивать платформу как продукт и предоставлять как сервис.
Задания воркшопа будут индивидуальными, и тех, кто собирается поучаствовать, спикеры просят заранее пройти небольшой опрос — это поможет оптимизировать контент под аудиторию.
Разбор доклада John Willis «Automated governance»
Барух Садогурский
JFrog
Алексей Кирпичников
Контур
В 2020-м на DevOops выступил Джон Уиллис — один из отцов всего DevOps, автор 10 книг, выпускаемых в течение последних двадцати лет (включая всем известные DevOps Handbook и Beyond the Phoenix Project).
И когда речь о таких величинах, ценность могут представлять даже не только доклады, но даже их обсуждения. Конечно, зависит от того, кто именно обсуждает. Но Барух и Алексей уже зарекомендовали себя собственными докладами — так что их диалог послушать будет любопытно. А пока что можно освежить в памяти оригинальный доклад.
Безопасность
Безопасность в контейнерах
Любовь Гринкевич
Яндекс.Облако
Алексей Миртов
Яндекс.Облако
Здесь разговор пойдет об опыте взаимодействия с СИБ в DevOps-среде. Зачем приходят эти странные люди, чего они хотят и как закрыть их потребности удобными для девопса инструментами?
Вы узнаете, в чем основной конфликт между СИБ и причастными к DevOps людьми, с какими проблемами сталкиваются клиенты, почему недостаточно одного слоя защиты и нужно иметь несколько уровней.
Securing Kubernetes Container Platforms in 2021
Lars Larsson
Elastisys
С облачными технологиями Ларс работает с 2008 года, причем как в «полях», так и в научных кругах. А в контексте доклада значимо, что он один из архитекторов Compliant Kubernetes — дистрибутива Kubernetes, разработанного специально для удовлетворения требований в регулируемых отраслях (в том числе к безопасности).
Достаточно ли просто запустить Kubescape и следовать рекомендациям, чтобы получить безопасную контейнерную платформу на базе Kubernetes в 2021 году?
Используя лучшие практики Kubernetes Security Guidance, опубликованные NSA и CISA в августе 2021 года, Ларс проведет нас через области Kubernetes и безопасности. Из доклада вы узнаете, как защитить control plane Kubernetes, обеспечить развертывание контейнеров и подов с учетом требований безопасности и как предотвращать атаки.
How to use GitHub Actions with security in mind
Rob Bos
Xpirit
О GitHub Actions сказано уже немало — но обычно просто в контексте их использования, а Роб расскажет в контексте безопасности. При работе в реальном мире с CI/CD необходимо позаботиться о пайплайнах и о том, к чему они имеют доступ.
Кто может вводить код в среду?
Кто может читать и изменять строки подключения к базе данных?
Кто может создавать новые ресурсы в вашей облачной среде?
Доверяете ли вы сторонним расширениям?
К какой части сети имеет доступ ваш конвейер?
Обо всем этом вы узнаете из доклада.
Роб — автор блога https://devopsjournal.io/, консультант по DevOps в Xpirit. Сфера его компетенций — обучение, устранение всяких непонятных проблем, настройка CI/CD конвейеров или внедрение новых моделей и практик DevOps.
Заключение
А напоследок напомним, что помимо докладов, на конференции будут и другие активности: интервью, тематические дискуссии, круглые столы и многое другое. Причем доступны участникам как в прямом эфире, так и в записи, а вот дискуссии после докладов (где спикера можно как следует помучить вопросами) мы не записываем — это экспириенс, который можно получить только в реальном времени.
Дополнительную информацию и билеты можно найти на сайте.
Встретимся в онлайне 8-11 ноября!