Понимание перебалансировки данных в Apache Kafka

Сегодня обсудим тему перебалансировки данных в Kafka. Также рассмотрим особенности этого процесса, благодаря которым Kafka может легко добавлять и удалять новые топики, а также распределять подписчиков (consumer) по определенным разделам в этих топиках.

Особенности распределения подписчиков по топикам в Apache Kafka при перебалансировке Big Data

Apache Kafka является распределенной платформой обмена сообщениями, которая позволяет производителям (producer) и потребителям (consumer) обмениваться сообщениями через кластер брокеров Kafka. Один из важных аспектов работы с Kafka — это перебалансировка (rebalancing), которая используется для автоматического распределения нагрузки между потребителями в кластере Kafka. Перебалансировка в Kafka происходит при добавлении новых потребителей или при удалении существующих. При перебалансировке Kafka автоматически назначает разделы (partitions) для каждого потребителя, чтобы обеспечить равномерное распределение нагрузки и гарантировать, что каждый потребитель получает одинаковое количество сообщений. Для того, чтобы обрабатывать перебалансировки в Kafka, необходимо реализовать интерфейс ConsumerRebalanceListener. Этот интерфейс содержит два метода: onPartitionsRevoked и onPartitionsAssigned:

import org.apache.kafka.clients.consumer.ConsumerRebalanceListener;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.util.Collection;

public class MyConsumerRebalanceListener implements ConsumerRebalanceListener {

        @Override
    public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
    }

       @Override
    public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
    }
}
public class MyKafkaConsumer {

       private final KafkaConsumer<String, String> consumer;
       public MyKafkaConsumer() {
       consumer = new KafkaConsumer<>( properties);
    consumer.subscribe(Collections.singletonList("my_topic"), new MyConsumerRebalanceListener());
}

public void consume() {
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
        for (ConsumerRecord<String, String> record : records) {
            // обработка полученных сообщений
        }
    }
}

Метод onPartitionsRevoked вызывается перед тем, как Kafka отберет у потребителя разделы во время перебалансировки. В этом методе вы можете сохранить любую необходимую информацию, связанную с разделами, которые были отобраны у потребителя. Метод onPartitionsAssigned вызывается после того, как Kafka назначит разделы для потребителя. В этом методе можно выполнить любую необходимую инициализацию, связанную с получением назначенных разделов. В приведенном выше примере кода мы создаем объект класса KafkaConsumer и подписываемся на тему "my_topic". Также мы передаем объект MyConsumerRebalanceListener в метод subscribe, чтобы обрабатывать перебалансировки. Как только мы получим сообщения в методе consume, мы можем обрабатывать их по своему усмотрению. Для того, чтобы в случае перебалансировки управлять действиями по сохранению данных, необходмимо передать экземпляр класса MyConsumerRebalanceListenerв метод subscribe(), который вызывается потребителем для получения данных из разделов топика.

Благодаря механизму перебалансировки данных, брокер Kafka обеспечивает высокую масштабируемость, позволяя без потерь данных удалять и добавлять целые топики или конкретные разделы Big Data, а также быстро распределять всех активных подписчиков по топикам. Это делает Apache Kafka надежным и универсальным средством для хранения и обмена большими потоками данных, что активно применяется в задачах Data Science и разработке распределенных приложений.
Освоить Apache Kafka на профессиональном уровне в качестве администратора Big Data кластеров, разработчика распределенных приложений и прочих прикладных областях Data Science вы сможете на практических курсах по Kafka в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

• Администрирование кластера Kafka
• Apache Kafka для разработчиков
• Администрирование кластера Arenadata Streaming Kafka

Записаться на курс

Смотреть раcписание