Интеграция Apache Kafka для разработчиков

2х-дневный курс для специалистов и разработчиков, желающих получить и систематизировать знания по интеграции Apache Kafka с различными системами в рамках распределенной потоковой обработки событий (Event Stream Processing).

Что такое Apache Kafka Connect и где это используется

Apache Kafka Connect — это общая платформа для издателей (producers) и подписчиков (consumers) распределенного брокера сообщений Кафка. Этот полезный инструмент разработчика Big Data систем включает API, Runtime и REST Service, которые позволяют программисту определять коннекторы (Connectors). Это необходимо для перемещения больших наборов данных в кластер Apache Kafka и считывания из него в режиме реального времени. Вы изучите Producer/Consumer API, с помощью которых можно быстро разработать Kafka Consumer и Kafka Producer для взаимодействия с очередями Kafka. Большой упор в курсе сделан на Kafka Connect — общую платформу масштабируемого и надежного перемещения большого объема потоковых данных между Kafka и другими системами. Apache Kafka Connect предлагает API, Runtime и REST Service, что позволяет разработчикам определять коннекторы, которые перемещают большие наборы данных в Apache Kafka и из него в режиме реального времени. В рамках курса научимся принимать и отдавать целые базы данных, собирать метрики, собирать журналы с серверов приложений в разделы Apache Kafka, делая потоковые данные доступными для обработки с минимальной задержкой. На практике интеграция Кафка с внешними системами востребована в следующих случаях:

• построение конвейеров (data pipeline) непрерывного обмена и потоковой обработки данных;
• реализация единого информационного пространства;
• взаимодействие микросервисов.

Кому нужны курсы по Кафка «Kafka Интеграция для разработчиков»

Практические курсы по Кафка и интеграции ее с другими системами ориентированы на программистов, разработчиков Big Data и специалистов, которые хотят:

• изучить методы интеграции Apache Kafka с внешними системами, как самописными, так и проприетарными;
• узнать практические примеры интеграции;
• освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами.

Предварительный уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
• Начальный опыт программирования на Java
• Опыт работы с Distributed File System (необязательно)
• Прохождение курса Курс Kafka Streams for Developers

Как построен курс по интеграции Apache Kafka

Продолжительность: 2 дня, 16 академических часов. Соотношение теории к практике 50/50. На наших курсах обучения по Кафка вы узнаете необходимый теоретический минимум, чтобы эффективно создавать, настраивать и использовать процессы интеграции Apache Kafka с другими системами стека Big Data или локальными базами данных. На практике в рамках курса «Kafka интеграция для разработчиков» вы научитесь:

• принимать и отдавать целые базы данных;
• собирать метрики;
• работать с необычными форматами данных;
• собирать журналы со всех своих серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой времени (low latency)
• интегрировать Apache Kafka с другими Big Data системами потоковой обработки в интерактивном режиме (Apache Spark, Storm), а также внешними сервисами AWS.

Программа курса Kafka Integration для разработчиков

1. Основные концепции и архитектура Apache Kafka

• Основные термины
• Основные API
• Варианты интеграции с другими системами

2. Семантики доставки сообщений

• at least once
• at most once
• exactly once
• гарантии Kafka и средства обеспечения надежности

3. Producer API

• Публикация сообщений с помощью кода

4. Consumer API

• Прием сообщений point-to-point
• Kafka Broadcasting and Groups
• Гибкий процесс приема сообщений

5. Kafka Connect

• Виды Kafka Connectors
• Режимы работы Kafka Connect — распределенный и standalone
• Автоматическая работа с offset
• Трансформации потоковых данных
• Оптимизация процесса интеграции

6. Использование Kafka с Apache Spark

• Интеграция Apache Kafka с Apache Spark

7. Использование Kafka с Apache Storm

• Интеграция с Apache Storm

8. Kafka в облаках

• Kafka в Amazon Web Services