Практический курс Основы Apache Kafka

Архитектура и принципы работы самой популярной платформы потоковой передачи событий. Узнайте, как использовать Apache Kafka для асинхронной интеграции приложений в реальном времени за 16 контактных часов с преподавателем и 1 дополнительный день самостоятельной работы на кластере
Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
BOKA
27 июня 2024
05 ноября 2024
36 000 руб. 16 ак.часов Дистанционный

Что такое Apache Kafka и где это используется

Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.

Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.

На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.

Программа курса "BOKA: Основы Apache Kafka"

1. Введение в Kafka

  • Что такое Apache Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы
  • Архитектура Kafka

2. Основные концепции Kafka

  • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers):  Развертывание. Конфигурация Multibroker
  • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
  • Потребители данных (Consumers): Очереди Consumers.     

3. Установка кластера Apache Kafka

  • Требования по установке кластера Kafka
  • Установка и настройка кластера Zookeeper: Настройка  кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка кластера Kafka без использования Zookeeper KIP-500
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
  • Установка кластера Kafka на Yandex Cloud
  • Использование и настройка Yandex Managed service для Apache Kafka

4. Базовые операции в Apache Kafka

  • Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
  • Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer

5. Администрирование кластера  Apache Kafka

  • Утилиты командной строки для администрирования Kafka
  • Управление группами потребителей (Consumer Group).
  • Отказоустойчивость кластера Kafka
  • Балансировка разделов(partition) и использование Partition Reassignment Tools
  • Графические пользовательские интерфейсы GUI для работы с  Kafka

6. Мониторинг производительности кластера Apache Kafka

  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Best Practices Kafka/Confluent
  • Мониторинг кластера Kafka
  • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

 7. Интеграция с Apache Kafka

  • Интеграция Kafka с внешними системами
  • Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
  • Сценарии интеграции с Apache Kafka

8. Расширенная конфигурация кластера Kafka

  • Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
  • Организация доступа к Kafka через REST Proxy
  • Schema Registry
  • Что такое Kafka Schema registry
  • Как работает Schema Registry

9. Основы Mirror Maker 2.0

  • Зеркалирование кластера Apache Kafka и сценарии использования
  • Утилита Mirror Maker 2.0

10. Основы безопасности кластера Apache Kafka  

  • Архитектура безопасности Apache Kafka
  • Аутентификация и авторизация для кластера Apache Kafka

Кому нужно обучение по Основам Apache Kafka

Аудитория:

Администраторы кластера, дата-инженеры, архитекторы ИС, разработчики и аналитики данных, а также любые ИТ-специалисты, которые хотят освоить Apache Kafka

Цель курса:

  • понять основные принципы потоковой передачи событий и EDA-архитектуры
  • познакомиться с особенностями работы Apache Kafka
  • научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
  • освоить основы администрирования кластера и утилиты этой платформы

Предварительный уровень подготовки:

  • Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
  • Владение текстовыми редакторами vi, nano

Чему вы научитесь

В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Apache Kafka, и сможете:

Установить и настроить кластер Apache Kafka

Обеспечить безопасность и высокую доступность кластера, в т.ч. с помощью зеркальной репликации

Администрировать кластер с помощью утилит командной строки

Выполнять мониторинг производительности кластера

Проводить базовые операции в Apache Kafka

Реализовать асинхронную интеграцию приложений, публикуя и получая данные в реальном времени

Как проходят курсы

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются реальные бизнес-кейсы и лучшие практики разработки высоконагруженных приложений для анализа больших данных

Продолжительность курса: 16 ак.часов контактных занятий с преподавателем + дополнительные 8 часов самостоятельной работы на кластере

Соотношение теории к практике: 60/40

Инструментальные средства: для практических занятий используются бесплатные среды для разработки и решения с открытым исходным кодом

По завершении обучения вы получите

Успешно окончив курс "Основы Apache Kafka " в нашем лицензированном учебном центре «Школа Больших Данных»вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.

Кто проводит курс

prepod-n-kommisarenko.jpg
Преподаватель Школы Больших Данных

Комиссаренко Николай

Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
  • Сертифицированный тренер Arenadata (2019)
  • Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
  • EMC Certified Instructor (2007)
  • Dell EMC Specialist – Cloud Architect (2006)
  • Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
  • IT Service Manager (2006)
  • Certified Information System Security Professional (CISSP) (2006 -2010)
  • Certified Information Security Manager (CISM)

География наших клиентов

  • Москва
  • Санкт-Петербург
  • Нижний Новгород
  • Екатеринбург
  • Казань
  • Краснодар
  • Красноярск
  • Перьм
  • Челябинск
  • Новосибирск
  • Томск
  • Тверь
  • Саратов
  • Самара
  • Ростов-на-Дону
  • Хабаровск
  • Волгоград
  • Калуга
  • Якутск
  • Севастополь
  • Тольяти
  • Владивоссток
  • Тюмень
  • Южно-Сахалинск
  • Уфа
  • Ставрополь
  • Минск
  • Алматы
  • Астана
  • Ташкент
  • Душанбе
  • Бешкек
Контакты авторизированного учебного центра
«Школа Больших Данных»
Адрес:

127576, г. Москва, м. Алтуфьево,
Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»

Телефон:

+7 (495) 414-11-21
+7 (995) 100-45-63

Часы работы:

Понедельник - Пятница: 09.00 – 18.00

Оставьте сообщение, и мы перезвоним вам
в течение рабочего дня
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Или напишите нам в соц.сетях

Поиск по сайту