Администрирование Apache Kafka в Kubernetes
3-дневный курс «Администрирование кластера Apache Kafka в Kubernetes» предназначен для IT-специалистов, стремящихся углубить свои знания в управлении кластерами Apache Kafka и научиться развертывать и сопровождать Kafka в среде Kubernetes. В ходе курса Вы научитесь разворачивать и администрировать кластеры Kafka с использованием современных инструментов и технологий.
| Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
|---|---|---|---|---|
| K8KA | по запросу |
72 000 руб. | 24 ак.часов | Дистанционный |
| Регистрация | ||||
О продукте
Apache Kafka: Основы и Преимущества
Apache Kafka — это мощная распределенная платформа для потоковой передачи данных, которая стала стандартом де-факто для построения масштабируемых систем обработки данных в реальном времени. Kafka позволяет надежно передавать и обрабатывать большие объемы данных, обеспечивая высокую производительность и гибкость. В начале курса участники познакомятся с архитектурой Kafka, основными компонентами (брокерами, топиками, продюсерами и консюмерами), а также ключевыми принципами работы с Kafka. Эти знания создадут прочную основу для последующего изучения развертывания и управления кластерами Kafka в Kubernetes.
Kubernetes и Managed Service for Kubernetes в Yandex Cloud
Аудитория
Этот курс идеально подходит для DevOps-инженеров, системных администраторов и разработчиков, стремящихся овладеть современными технологиями управления Apache Kafka в Kubernetes на платформе Yandex Cloud.
О курсе
В рамках курса особое внимание уделяется использованию Kubernetes — системы оркестрации контейнеров с открытым исходным кодом, которая автоматизирует развертывание, управление и масштабирование контейнеризированных приложений. Участники познакомятся с основными концепциями Kubernetes, включая создание и управление кластерами, StatefulSets, Persistent Volumes и другие ключевые компоненты. В качестве платформы для развертывания кластера используется Managed Service for Kubernetes в Yandex Cloud, что упрощает управление инфраструктурой и обеспечивает высокую надежность и масштабируемость решений.
Strimzi: Оператор для Apache Kafka
Strimzi — это мощный инструмент, который позволяет легко развертывать и управлять кластерами Kafka в Kubernetes. В курсе будет детально рассмотрено использование Strimzi операторы для автоматизации развертывания Kafka, настройки брокеров, топиков и других компонент кластера. Участники научатся применять Strimzi для создания устойчивых к отказам и масштабируемых решений, интегрированных в экосистему Kubernetes.
Управление и мониторинг
Для управления кластерами Kafka будут использоваться такие инструменты, как RedPanda GUI консоль, предоставляющая удобный интерфейс для взаимодействия с Kafka, и Cruize Control, автоматизирующий балансировку нагрузки и поддержание стабильности системы. Мониторинг будет организован с помощью Prometheus и Grafana, что позволит собирать метрики, отслеживать производительность и визуализировать данные для своевременного выявления и устранения проблем.
Лабораторные работы
Практическая часть курса включает развертывание полноценного кластера Kafka в Kubernetes (Yandex Cloud Managed Service for Kubernetes), настройку его работы и интеграцию с другими сервисами.
Уровень подготовки
-
- Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
- Опыт работы с Kubernetes
Программа курса «Администрирование Apache Kafka в Kubernetes»
1. Введение в Apache Kafka
-
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka
- Кластер Zookeeper и KRaft протокол
2. Основные концепции Kafka
-
- Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
- Брокеры (Brokers): Развертывание. Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.
3. Развертывание кластера Apache Kafka в Kubernetes
-
- Обзор платформы Managed Service for Kubernetes
- Предварительные требования и настройка окружения: Lens, Strimzi
- Особенности решения с использованием Kubernetes: уровни абстракции, компоненты и архитектура решения, сравнение с Yandex Managed Service for Kafka и On—premises
- Типовые сценарии, возможности и ограничения Kubernetes
- Установка и настройка кластера Apache Kafka в Kubernetes
- Настройка консолей управления и инструментов мониторинга кластера Kafka: Red Panda GUI, Prometheus, Grafana, Cruise Control
4. Обслуживание и сопровождение кластера Apache Kafka в K8s
-
- Управление основными сущностями Kafka: Producers, Consumers, топики и пользователи
- Использование Red Panda консоль GUI для управления
- Мониторинг производительности кластера Kubernetes/Kafka c использованием Prometheus/Grafana: метрики и уведомления
- Просмотр логов Kafka
5. Расширенная конфигурация кластера Apache Kafka в K8s
-
- Настройка безопасности для кластера Apache Kafka
- Сценарии отказоусточивости кластера Apache Kafka в K8s
- Миграция данных с использованием MirrorMaker 2
- Операции обслуживания и балансировка кластера Kafka c использованием Cruise Control
Чтобы записаться на курс K8KA: Администрирование Apache Kafka в Kubernetes позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.