Что такое консольный продюсер и для чего он нужен брокеру Kafka

В прошлый раз мы говорили про конфигурацию консольного потребителя в Kafka. Сегодня поговорим про особенности работы с консольным продюсером в распределенном брокере Apache Kafka. Читайте далее про особенности работы с консольным продюсером, благодаря которому Kafka может обеспечивать работу по производству Big Data сообщений независимо от программной платформы.

Что представляет собой консольный продюсер в брокере Apache Kafka

Продюсер в Kafka — это сервис (брокер или группа брокеров), который отвечает за производство и публикацию сообщений Big Data остальным брокерам, которые являются получателями (consumers) в распределённом кластере Kafka. Консольный продюсер (console producer) — это сервис, который предусматривает запуск Kafka-продюсера в кроссплатформенной среде. для работы с консольным продюсером в Kafka существует специальная утилита kafka-console-producer.sh (в Windows kafka-console-producer.bat). Эта утилита используется для для записи сообщений в указанный топик распределенного кластера Kafka. Также, как и в случае с консольным потребителем, эта утилита представляет собой адаптер для клиентских Java-библиотек, так что писать для этой цели отдельное приложение для производства и публикации сообщений в топик нет необходимости.

Особенности работы консольного продюсера в Kafka: несколько практических примеров

Как уже отмечалось выше, для того, чтобы начать работу с консольным потребителем в брокере Kafka, необходимо использовать утилиту kafka-console-producer.sh (kafka-console-producer.bat для систем семейства Windows). Следующий код, исполняемый в командной строке отвечает за запуск консольного продюсера в кластере Kafka [1]:

kafka-console-producer.sh --broker-list
kafka1.example.com:9092,kafka2.example.com:9092 --topic my-topic

Вышеприведенный фрагмент кода отвечает за простой запуск консольного продюсера. Для его запуска требуется задание двух параметров [1]:

• --broker-list — указывает список брокеров, которые будут отведены под сервис Kafka-продюсера (то есть будут являться продюсерами);
• --topic — параметр, который указывает топик, для которого будут создаваться сообщения.

Можно также задать дополнительную конфигурацию продюсера через параметр --producer-property, который отвечает за использование дополнительных классов или сущностей при запуске продюсера. В качестве примера можно привести следующий код, который отвечает за запуск продюсера с классом-сериализатором значений (values) сообщений:

kafka-console-producer --broker-list IPADDRESS:9092 --topic my-topic --producer-property value.serializer=org.apache.kafka.common.serialization.IntegerSerializer

Таким образом, благодаря возможности работы с консольным продюсером, брокер Kafka может настраивать механизм генерации и публикации сообщений с высокой степенью безопасности и с минимальными рисками независимо от поддерживаемого языка программирования. Это делает Apache Kafka универсальным и надежным средством для хранения и обмена большими потоками данных, что позволяет активно использовать этот брокер сообщений в задачах Data Science и разработке распределенных приложений.

Освоить Apache Kafka на профессиональном уровне в качестве администратора Big Data кластеров, разработчика распределенных приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Kafka в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

• Администрирование кластера Kafka
• Apache Kafka для разработчиков
• Администрирование кластера Arenadata Streaming Kafka

Записаться на курс

Смотреть раcписание

Источники

1. Н.Нархид, Г.Шапира, Т.Палино. Apache Kafka. Потоковая обработка и анализ данных