В прошлый раз мы говорили про конфигурацию консольного потребителя в Kafka. Сегодня поговорим про особенности работы с консольным продюсером в распределенном брокере Apache Kafka. Читайте далее про особенности работы с консольным продюсером, благодаря которому Kafka может обеспечивать работу по производству Big Data сообщений независимо от программной платформы.
Что представляет собой консольный продюсер в брокере Apache Kafka
Продюсер в Kafka — это сервис (брокер или группа брокеров), который отвечает за производство и публикацию сообщений Big Data остальным брокерам, которые являются получателями (consumers) в распределённом кластере Kafka. Консольный продюсер (console producer) — это сервис, который предусматривает запуск Kafka-продюсера в кроссплатформенной среде. для работы с консольным продюсером в Kafka существует специальная утилита kafka-console-producer.sh
(в Windows kafka-console-producer.bat
). Эта утилита используется для для записи сообщений в указанный топик распределенного кластера Kafka. Также, как и в случае с консольным потребителем, эта утилита представляет собой адаптер для клиентских Java-библиотек, так что писать для этой цели отдельное приложение для производства и публикации сообщений в топик нет необходимости.
Особенности работы консольного продюсера в Kafka: несколько практических примеров
Как уже отмечалось выше, для того, чтобы начать работу с консольным потребителем в брокере Kafka, необходимо использовать утилиту kafka-console-producer.sh
(kafka-console-producer.bat
для систем семейства Windows). Следующий код, исполняемый в командной строке отвечает за запуск консольного продюсера в кластере Kafka [1]:
kafka-console-producer.sh --broker-list kafka1.example.com:9092,kafka2.example.com:9092 --topic my-topic
Вышеприведенный фрагмент кода отвечает за простой запуск консольного продюсера. Для его запуска требуется задание двух параметров [1]:
--broker-list
— указывает список брокеров, которые будут отведены под сервис Kafka-продюсера (то есть будут являться продюсерами);--topic
— параметр, который указывает топик, для которого будут создаваться сообщения.
Можно также задать дополнительную конфигурацию продюсера через параметр --producer-property
, который отвечает за использование дополнительных классов или сущностей при запуске продюсера. В качестве примера можно привести следующий код, который отвечает за запуск продюсера с классом-сериализатором значений (values) сообщений:
kafka-console-producer --broker-list IPADDRESS:9092 --topic my-topic --producer-property value.serializer=org.apache.kafka.common.serialization.IntegerSerializer
Таким образом, благодаря возможности работы с консольным продюсером, брокер Kafka может настраивать механизм генерации и публикации сообщений с высокой степенью безопасности и с минимальными рисками независимо от поддерживаемого языка программирования. Это делает Apache Kafka универсальным и надежным средством для хранения и обмена большими потоками данных, что позволяет активно использовать этот брокер сообщений в задачах Data Science и разработке распределенных приложений.
Администрирование кластера Kafka
Код курса
KAFKA
Ближайшая дата курса
21 октября, 2024
Продолжительность
24 ак.часов
Стоимость обучения
72 000 руб.
Освоить Apache Kafka на профессиональном уровне в качестве администратора Big Data кластеров, разработчика распределенных приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Kafka в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:
- Администрирование кластера Kafka
- Apache Kafka для разработчиков
- Администрирование кластера Arenadata Streaming Kafka
Источники
- Н.Нархид, Г.Шапира, Т.Палино. Apache Kafka. Потоковая обработка и анализ данных