В прошлый раз мы говорили про конфигурацию Kafka-потребителя. Сегодня поговорим про особенности работы с консольным потребителем в распределенном брокере Kafka. Читайте далее про особенности работы с консольным потребителем, благодаря которому Kafka может обеспечивать работу независимо от программной платформы.
Что представляет собой консольный потребитель в брокере Apache Kafka
Kafka-потребитель (consumer) — это сервис (или группа брокеров), который отвечает за получение Big Data сообщений, созданных продюсером. Получение сообщений, также, как и создание идет в распределенной среде в реальном времени. Консольный потребитель — это сервис, предусматривающий запуск Kafka-потребителя в кроссплатформенной среде. Для работы с консольным потребителем в Kafka существует специальная утилита kafka-comsole-consumer.sh (в Windows kafka-comsole-consumer.bat). Эта утилита также представляет собой адаптер для клиентских Java-библиотек, так что писать для этой цели отдельное приложение нет необходимости [1].
Особенности работы консольного потребителя в Kafka: несколько практических примеров
Как уже отмечалось выше, для того, чтобы начать работу с консольным потребителем в Kafka, необходимо использовать утилиту kafka-comsole-consumer.sh (kafka-comsole-consumer.bat для систем Windows). Следующий код, исполняемый в командной строке отвечает за запуск консольного потребителя в кластере Kafka [1]:
kafka-console-consumer.sh --zookeeper zoo1.example.com:2181/kafka-cluster --topic my-topic
Параметр --zookeeper, который используется с последующей строкой подключения, используется для подключения к необходимому кластеру. Параметр --topic используется для подключения к указанному топику, из которого необходимо получать сообщения. Вместо --topic можно также использовать 2 других параметра, использующие регулярныке выражения (используются для задания образца поиска определенной группы элементов):
--whitelist— параметр, указывающий на то, что будут потребляться все топики, соответствующие заданному регулярному выражению;--blacklist— параметр, указывающий на то, что должны потребляться все топики, кроме тех, что соответствуют указанному регулярному выражению.
Следующий код, исполняемый в командной строке, отвечает за подключение к нескольким топикам одновременно [1]:
kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist 'hello-topic|world-topic|another-topic'
Например, для того, чтобы игнорировать вышеперечисленный список тем, необходимо указать его с параметром --blacklist [1]:
kafka-console-consumer.sh --bootstrap-server localhost:9092 --blacklist 'hello-topic|world-topic|another-topic'
Таким образом, благодаря возможности работы с консольным консьюмером, брокер Kafka может настраивать механизм получения сообщений с высокой степенью безопасности и с минимальными рисками независимо от поддерживаемого языка программирования. Это делает Apache Kafka универсальным и надежным средством для хранения и обмена большими потоками данных, что позволяет активно использовать этот брокер сообщений в задачах Data Science и разработке распределенных приложений.
Администрирование кластера Kafka
Код курса
KAFKA
Ближайшая дата курса
9 декабря, 2024
Продолжительность
24 ак.часов
Стоимость обучения
72 000 руб.
Освоить Apache Kafka на профессиональном уровне в качестве администратора Big Data кластеров, разработчика распределенных приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Kafka в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:
- Администрирование кластера Kafka
- Apache Kafka для разработчиков
- Администрирование кластера Arenadata Streaming Kafka
Источники
- Н.Нархид, Г.Шапира, Т.Палино. Apache Kafka. Потоковая обработка и анализ данных
