Администрирование кластера Arenadata Streaming Kafka

Администрирование кластера Arenadata Streaming Kafka

Arenadata Streaming, Apache Kafka, Администрирование кластера Аренадата, авторизованные курсы от Школы Больших Данных
Ближайшая дата курса
26 июня 2023
29 августа 2023
Стоимость обучения 66 000 руб. Регистрация
Длительность обучения 24 ак.часов
Код курса ADS-KAFKA
3 дня авторизованного практического обучения администрированию и эксплуатации Arenadata Streaming — отечественной корпоративной платформы потоковой обработки данных в режиме реального времени на базе Apache Kafka и Apache Nifi – проектов с открытым исходным кодом.

Что такое Arenadata Streaming

Arenadata Streaming (ADS) – эффективное масштабируемое отказоустойчивое решение для потоковой обработки данных в режиме реального времени, зарегистрированное в государственном реестре программ для ЭВМ, адаптированное для корпоративного использования и построенное на базе проектов с открытым исходным кодом – Apache Kafka и Apache Nifi. Платформа передачи потоковой информации Arenadata Streaming обеспечит надежное хранение и оперативную обработку потоков записей по мере их возникновения в системах реального времени. На практике эта система используется для реализации оперативных и безопасных процессов сбора, агрегации, обработки и передачи информации от:
  • устройств интернета вещей (Internet Of Things);
  • внешних баз данных;
  • Big Data сервисов и распределенных приложений.
Arenadata Streaming Arenadata Streaming зарегистрирована в Едином реестре российских программ, соответствует политике импортозамещения и может использоваться в проектах цифровизации государственных организаций и частных компаний России.

О курсе Arenadata Streaming Kafka

3 дня практического обучения для специалистов, желающих получить и систематизировать знания по использованию платформы Arenadata Streaming Kafka для организации распределенной потоковой обработки событий (Event Streaming Processing) в реальном времени. Курс администрирования Arenadata Streaming построен на реальных примерах и содержит расширенные сведения по установке распределенного кластера Arenadata Streaming Kafka, настройке безопасности Kerberos и интеграции с другими продуктами мониторинга и оптимизации Kafka в соответствии с лучшими практиками (best practices). Для операций развертывания и управления кластером Arenadata Streaming используется консоль ADCM.

Соотношение теории к практике 40/60

По завершении курса и сертификационного тестирования вы получите следующие документы:

Кому нужен курс администрирования Arenadata Streaming

Практический курс администрирования Arenadata Streaming предназначен для системных администраторов, инженеров данных и разработчиков Big Data, которые хотят:
  • изучить методы администрирования и настройки кластера Arenadata Streaming Kafka;
  • освоить методы настройки безопасности Kafka с SSL и Kerberos;
  • узнать примеры интеграции Аренадата Кафка со сторонними системами;
  • получить навыки мониторинга и оптимизации кластера Kafka с использованием лучших практик.

Необходимая предварительная подготовка

  • Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
  • Основы Hadoop

Программа курса Arenadata Streaming KAFKA

  1. Введение в Arenadata Streaming
    • Архитектурные особенности Arenadata Streaming
    • Что такое Kafka?
    • Сценарии использования Kafka
    • Компоненты Kafka и Kafka экосистемы дистрибутива ADS (Arenadata Streaming)
    • Кластер Zookeeper
    • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции
  2. Основные концепции Kafka
    • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    • Брокеры (Brokers): Развертывание. Конфигурация Multibroker.
    • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API.
    • Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
  3. Установка кластера Arenadata Streaming
    • Требования по установке кластера
    • Автоматизация развертывания с использованием ADCM – Arenadata Cluster Manager
    • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
    • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners.
    • Установка кластера Kafka на Yandex Cloud
  4. Базовые операции в Kafka
    • Семантика операций в Arenadata Streaming.
    • Гарантия очередности. Гарантия доставки.
    • Операции с Топиками (Topic)
    • Публикация данных с консольного Producer
    • Получение данных с консольного Consumer
    • Разбор примера кода producer
    • Разбор примера кода consumer
  5. Оптимизация кластера Kafka
    • Выполнение операций обслуживания кластера Arenadata Streaming с ADCM
    • Оптимизация производительности компонент кластера
    • Масштабирование кластера
    • Балансировка разделов(partition) и использование Partition Reassignment Tools в Kafka Topics
    • Мониторинг кластера Kafka с использованием Grafana и JMX
    • Best Practices
  6. Интеграция Arenadata Streaming с Arenadata Hadoop
    • Использование Arenadata NiFi для потоковой обработки данных
    • Интеграция Flume с Kafka для файловых операций с HDFS
  7. Расширенная конфигурация кластера Kafka
    • Геораспределенная конфигурация с использованием ADS Mirror Maker
    • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
    • Настройка Schema Registry
  8. Безопасность в Kafka
    • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов.
    • Аутентификация SSL/SASL
    • Аутентификация Kerberos: Настройка Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos.
    • Авторизация в Управление списками управления доступом (ACL)

Программа курса «Администрирование кластера Arenadata Streaming Kafka»

Скачать программу курса «Администрирование кластера Arenadata Streaming Kafka» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Поиск по сайту