Что такое консольный потребитель и для чего он нужен брокеру Kafka

курс kafka spark, kafka streams, курс kafka spark, big data, москва

В прошлый раз мы говорили про конфигурацию Kafka-потребителя. Сегодня поговорим про особенности работы с консольным потребителем в распределенном брокере Kafka. Читайте далее про особенности работы с консольным потребителем, благодаря которому Kafka может обеспечивать работу независимо от программной платформы.

Что представляет собой консольный потребитель в брокере Apache Kafka

Kafka-потребитель (consumer) — это сервис (или группа брокеров), который отвечает за получение Big Data сообщений, созданных продюсером. Получение сообщений, также, как и создание идет в распределенной среде в реальном времени. Консольный потребитель — это сервис, предусматривающий запуск Kafka-потребителя в кроссплатформенной среде. Для работы с консольным потребителем в Kafka существует специальная утилита kafka-comsole-consumer.sh (в Windows kafka-comsole-consumer.bat). Эта утилита также представляет собой адаптер для клиентских Java-библиотек, так что писать для этой цели отдельное приложение нет необходимости [1].

Особенности работы консольного потребителя в Kafka: несколько практических примеров

Как уже отмечалось выше, для того, чтобы начать работу с консольным потребителем в Kafka, необходимо использовать утилиту kafka-comsole-consumer.sh (kafka-comsole-consumer.bat для систем Windows). Следующий код, исполняемый в командной строке отвечает за запуск консольного потребителя в кластере Kafka [1]:

kafka-console-consumer.sh --zookeeper
zoo1.example.com:2181/kafka-cluster --topic my-topic

Параметр --zookeeper, который используется с последующей строкой подключения, используется для подключения к необходимому кластеру. Параметр --topic используется для подключения к указанному топику, из которого необходимо получать сообщения. Вместо --topic можно также использовать 2 других параметра, использующие регулярныке выражения (используются для задания образца поиска определенной группы элементов):

  • --whitelist — параметр, указывающий на то, что будут потребляться все топики, соответствующие заданному регулярному выражению;
  • --blacklist — параметр, указывающий на то, что должны потребляться все топики, кроме тех, что соответствуют указанному регулярному выражению.

Следующий код, исполняемый в командной строке, отвечает за подключение к нескольким топикам одновременно [1]:

kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist 'hello-topic|world-topic|another-topic'

Например, для того, чтобы игнорировать вышеперечисленный список тем, необходимо указать его с параметром --blacklist [1]:

kafka-console-consumer.sh --bootstrap-server localhost:9092 --blacklist 'hello-topic|world-topic|another-topic'

Таким образом, благодаря возможности работы с консольным консьюмером, брокер Kafka может настраивать механизм получения сообщений с высокой степенью безопасности и с минимальными рисками независимо от поддерживаемого языка программирования. Это делает Apache Kafka универсальным и надежным средством для хранения и обмена большими потоками данных, что позволяет активно использовать этот брокер сообщений в задачах Data Science и разработке распределенных приложений.

Администрирование кластера Kafka

Код курса
KAFKA
Ближайшая дата курса
23 мая, 2022
Длительность обучения
24 ак.часов
Стоимость обучения
60 000 руб.

Освоить Apache Kafka на профессиональном уровне в качестве администратора Big Data кластеров, разработчика распределенных приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Kafka в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

Записаться на курс

Смотреть раcписание

Источники

  1. Н.Нархид, Г.Шапира, Т.Палино. Apache Kafka. Потоковая обработка и анализ данных

Добавить комментарий

Поиск по сайту