Немецкий автопроизводитель управляет огромным парком кластеров Kubernetes для поддержки широкого круга проектных команд по всему миру. «Для нас управление Kubernetes не так уж сложно».

Автор: Скотт Кэри, главный редактор новостного отдела InfoWorld 

Технологическая команда немецкого автопроизводителя Mercedes-Benz последние семь лет создавала собственный парк из 900 кластеров Kubernetes для поддержки сотен автономных команд разработчиков, предоставляя компании современную инфраструктурную платформу, которая, по ее словам, является масштабируемой и простой в управлении.

Автопроизводитель начал использовать Kubernetes для развертывания приложений в 2015 году, после того как в 2014 году Google открыла систему оркестровки контейнеров с открытым исходным кодом. С тех пор Mercedes-Benz Tech Innovation, технологическая дочерняя компания легендарного автопроизводителя, накопила внутренний опыт для поддержки сотен групп приложений, ориентированных на бизнес-подразделения с их уникальными технологическими потребностями.

«Мы знали, что единый общий кластер Kubernetes не будет соответствовать нашим потребностям, ни одно предложение поставщиков не соответствовало нашим требованиям, и у нас были опытные инженеры», - сказал Йенс Эрат, инженер по devops в Mercedes-Benz Tech Innovation во время KubeCon Europe в прошлом месяце. «Мы создали 100% платформу FOSS (бесплатное программное обеспечение с открытым исходным кодом) с помощью нашей команды devops, без каких-либо проблем с лицензированием или запросов в службу поддержки».

Сегодня Mercedes-Benz использует 900 локальных кластеров Kubernetes в четырех глобальных центрах обработки данных с помощью OpenStack, который работает на версии 1.23 с конца 2021 года.

Хотя это, возможно, и не самое большое преимущество Kubernetes по сравнению с облачными поставщиками, но только 10% организаций используют более 50 кластеров, согласно опросу Cloud Native Computing Foundation за 2019 год. Это также почти в пять раз больше, чем среда Kubernetes основного докладчика KubeCon Europe CERN, в которой на момент написания статьи работает 210 кластеров.

Сколько Kubernetes может запустить Mercedes-Benz?

«Мы прикладываем много усилий, чтобы сделать все так, чтобы мы могли этим управлять», - говорит Питер Мюллер, ведущий эксперт Mercedes-Benz Tech Innovation. «Для нас окружающие системы работают хорошо, если мы управляем 500 кластерами или 1000, потому что все автоматизировано… Если бы мы хотели добавить еще 500 кластеров, нам пришлось бы добавить всего одного инженера».

Ключевой частью этой головоломки управления является Cluster API в OpenStack, проекте Kubernetes, который позволяет создавать, настраивать и управлять кластерами декларативно. Компания недавно выбрала его вместо Terraform и некоторых пользовательских инструментов. Однако, как и во всем, что связано с технологией, это не идеальное решение. «Количество кластеров не является проблемой. Наша проблема связана с некоторыми окружающими системами, а иногда и с OpenStack», - говорит Мюллер. «Но Kubernetes работает довольно хорошо, он масштабируется».

Изменение культуры

Каждая из нескольких сотен групп приложений в Mercedes-Benz имеет возможность запросить свой собственный кластер Kubernetes с помощью автоматизированного процесса с использованием набора собственных инструментов, созданных и управляемых командой Мюллера в Mercedes-Benz Tech Innovation. В результате, как правило, в течение нескольких часов или даже минут после отправки запроса создается предварительно подготовленный производственный кластер, а также небольшие промежуточные кластеры и dev кластеры.

«С организационной точки зрения, пять-шесть лет назад devops был новичком в этом блоке, все говорили о том, что «вы создаете это, вы его запускаете». Как поставщик общей платформы, это означает, что каждая команда разработчиков приложений в Mercedes-Benz получает свой собственный кластер Kubernetes», - рассказывает Йорг Шюлер, руководитель команды Mercedes-Benz Tech Innovation.

«Наша цель – создать экосистему и расширить возможности прикладных команд», - добавляет он. «Эта экосистема основана на принципах самообслуживания и управляется API».

Все это управляется не одной, а пятью отдельными платформенными командами. Две из них составляют объединенную команду примерно из дюжины инженеров, которые сосредоточены на базовой платформе Kubernetes-as-a-service. Затем есть команды, отвечающие за базу данных as a service, ведение журнала и мониторинг as a service, а также за безопасность контейнера, включая среду выполнения, реестр и сканирование изображений.

Однако добавление инженеров в эти команды по-прежнему оказывается трудным для бизнеса. «Сложно найти хорошего специалиста в области Kubernetes», - говорит Шюлер. «Предоставление образования, тренингов и других предложений на этой платформе действительно полезно. Вам нужен подход сообщества, чтобы команды разработчиков помогали друг другу с учебными лагерями, учебными порталами и средами «песочницы».

Золотые пути к облаку

Создав все эти возможности для управления  в масштабе, Mercedes-Benz Tech Innovation готовится начать перемещать все больше и больше рабочих нагрузок в общедоступное облако, где можно использовать больше управляемых сервисов, таких как служба Microsoft Azure Kubernetes Service (AKS) и служба Amazon Elastic Kubernetes Service (EKS), чтобы облегчить когнитивную нагрузку на платформу и команды devops.

«Мы все еще находимся на этапе оценки того, будем ли мы использовать EKS, но на данный момент мы предпочитаем делать это самостоятельно, потому что тогда у нас будет одна и та же архитектура on-prem и off-prem», - говорит Мюллер.
Хотя эти управляемые версии Kubernetes могут помочь облегчить нагрузку на разработчиков Mercedes-Benz Tech Innovation, прикладным командам по-прежнему требуется помощь для перехода на контейнеры и Kubernetes.

Одним из способов ускорения прогресса здесь является идея золотых путей, которая по сути представляет собой чарты Helm, которые можно использовать в качестве шаблонов для определенных функций, таких как управление идентификацией и доступом, экономя на повторной работе в разных командах.
«Мы должны предоставить золотые пути и некоторые вещи в качестве услуги, чтобы снизить эту когнитивную нагрузку и позволить им делать то, что у них получается лучше всего: приносить пользу бизнесу», - говорит Мюллер.

Конечно, уровни зрелости команд будут различаться, поэтому Мюллер видит свою роль в том, чтобы предоставить им безопасную среду для обучения. По его словам, как только они станут достаточно зрелыми, они смогут перейти в облако.

Используя некоторые методы внутреннего источника, Mercedes-Benz Tech Innovation затем управляет этими золотыми путями, в то время как другие методы находятся в том, что Мюллер называет «состоянием сообщества», где они могут быть рассмотрены для полного владения и управления, если они получат хороший отклик.

В идеале эти золотые пути в конечном итоге будут систематизированы в «каталог в стиле Spotify Backstage». Мюллер говорит, что в настоящее время они работают над «доказательством концепции центрального портала разработчиков для интеграции всех сервисов», но пока еще не достигли этого.

«Для нас управлять Kubernetes несложно»

«Kubernetes остается сложной задачей, не оставляйте команды разработчиков и devops на произвол судьбы», - считает Сабина Вольц, владелец продукта Mercedes-Benz Tech Innovation.

Тем не менее, Мюллер твердо убежден, что кривая обучения теперь ожидает команды приложений, а не команды платформ.

«Управлять Kubernetes сложно, если вы не глубоко в этом разбираетесь. Но, по нашему мнению, если мы управляем, мы хотим глубоко погрузиться в это, поэтому для нас управление Kubernetes не составляет труда», - говорит он. «Kubernetes для проектов приложений по-прежнему сложен. Иногда бывает трудно использовать Kubernetes в командах devops». 

Мюллер надеется, что его платформенная команда разработчиков сможет помочь разработчикам приложений понять базовую инфраструктуру без необходимости получения глубоких знаний. «Некоторые команды все еще работают на виртуальных машинах и переходят на кластер Kubernetes, и им приходится разделять свой монолит, понимать, как обрабатываются транзакции, думать об асинхронной связи и понимать, как работает Kubernetes», - говорит он. «Это тяжело, так что не оставляйте их одних, а помогите им».

Ссылка на источник