Главная страница » Services » Курсы » BOKA: Основы Apache Kafka

Практический курс Основы Apache Kafka

Архитектура и принципы работы самой популярной платформы потоковой передачи событий. Узнайте, как использовать Apache Kafka для асинхронной интеграции приложений в реальном времени за 16 контактных часов с преподавателем и 1 дополнительный день самостоятельной работы на кластере

Код курса	Даты начала курса	Стоимость обучения	Длительность обучения	Формат обучения
BOKA	по запросу	36 000 руб.	16 ак.часов	Дистанционный

Что такое Apache Kafka и где это используется

Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.

Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.

На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.

Программа курса "BOKA: Основы Apache Kafka"

1. Введение в Kafka

Что такое Apache Kafka?
Сценарии использования Kafka
Компоненты Kafka и Kafka экосистемы
Архитектура Kafka

2. Основные концепции Kafka

Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
Брокеры (Brokers): Развертывание. Конфигурация Multibroker
Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

Требования по установке кластера Kafka
Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
Установка кластера Kafka без использования Zookeeper KIP-500
Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
Установка кластера Kafka на Yandex Cloud
Использование и настройка Yandex Managed service для Apache Kafka

4. Базовые операции в Apache Kafka

Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
Публикация данных с консольного Producer
Получение данных с консольного Consumer

5. Администрирование кластера Apache Kafka

Утилиты командной строки для администрирования Kafka
Управление группами потребителей (Consumer Group).
Отказоустойчивость кластера Kafka
Балансировка разделов(partition) и использование Partition Reassignment Tools
Графические пользовательские интерфейсы GUI для работы с Kafka

6. Мониторинг производительности кластера Apache Kafka

Оптимизация производительности компонент кластера
Масштабирование кластера
Best Practices Kafka/Confluent
Мониторинг кластера Kafka
Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

7. Интеграция с Apache Kafka

Интеграция Kafka с внешними системами
Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
Сценарии интеграции с Apache Kafka

8. Расширенная конфигурация кластера Kafka

Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
Организация доступа к Kafka через REST Proxy
Schema Registry
Что такое Kafka Schema registry
Как работает Schema Registry

9. Основы Mirror Maker 2.0

Зеркалирование кластера Apache Kafka и сценарии использования
Утилита Mirror Maker 2.0

10. Основы безопасности кластера Apache Kafka

Архитектура безопасности Apache Kafka
Аутентификация и авторизация для кластера Apache Kafka

Скачать программу в формате PDF183 КБ

Кому нужно обучение по Основам Apache Kafka

Аудитория:

Администраторы кластера, дата-инженеры, архитекторы ИС, разработчики и аналитики данных, а также любые ИТ-специалисты, которые хотят освоить Apache Kafka

Цель курса:

понять основные принципы потоковой передачи событий и EDA-архитектуры
познакомиться с особенностями работы Apache Kafka
научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
освоить основы администрирования кластера и утилиты этой платформы

Предварительный уровень подготовки:

Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
Владение текстовыми редакторами vi, nano

Чему вы научитесь

В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Apache Kafka, и сможете:

Установить и настроить кластер Apache Kafka

Обеспечить безопасность и высокую доступность кластера, в т.ч. с помощью зеркальной репликации

Администрировать кластер с помощью утилит командной строки

Выполнять мониторинг производительности кластера

Проводить базовые операции в Apache Kafka

Реализовать асинхронную интеграцию приложений, публикуя и получая данные в реальном времени

Как проходят курсы

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются реальные бизнес-кейсы и лучшие практики разработки высоконагруженных приложений для анализа больших данных

Продолжительность курса: 16 ак.часов контактных занятий с преподавателем + дополнительные 8 часов самостоятельной работы на кластере

Соотношение теории к практике: 60/40

Инструментальные средства: для практических занятий используются бесплатные среды для разработки и решения с открытым исходным кодом

По завершении обучения вы получите

Успешно окончив курс "Основы Apache Kafka " в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.

Кто проводит курс

Комиссаренко Николай

Томский Политехнический Институт (Томск, 1994)

Профессиональные компетенции:

Сертифицированный тренер Arenadata (2019)
Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
EMC Certified Instructor (2007)
Dell EMC Specialist – Cloud Architect (2006)
Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
IT Service Manager (2006)
Certified Information System Security Professional (CISSP) (2006 -2010)
Certified Information Security Manager (CISM)

География наших клиентов

Москва
Санкт-Петербург
Нижний Новгород
Екатеринбург
Казань
Краснодар
Красноярск
Перьм
Челябинск
Новосибирск

Томск
Тверь
Саратов
Самара
Ростов-на-Дону
Хабаровск
Волгоград
Калуга
Якутск
Севастополь
Тольяти
Владивоссток

Тюмень
Южно-Сахалинск
Уфа
Ставрополь
Минск
Алматы
Астана
Ташкент
Душанбе
Бешкек

Контакты авторизированного учебного центра
«Школа Больших Данных»

Адрес:

127576, г. Москва, м. Алтуфьево,
Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»

Телефон:

+7 (495) 414-11-21
+7 (995) 100-45-63

E-mail:

info@kafka-school.ru

Часы работы:

Понедельник - Пятница: 09.00 – 18.00

Остались вопросы?

Звоните нам +7 (495) 41-41-121 или отправьте сообщение через контактную форму. Также вы можете найти ответы на ваши вопросы в нашем сборнике часто задаваемых вопросов.

Оставьте сообщение, и мы перезвоним вам
в течение рабочего дня

Или напишите нам в соц.сетях