Кластер

Курсы kafka, обучение kafka, кластер, администрирование kafka

Кластер — это группа компьютеров (узлов), которые объединены высокоскоростными каналами связи. Кластер также является совокупностью нескольких вычислительных систем для выполнения общих приложений. Пользователь видит эту совокупность как единую систему.

Курсы kafka, обучение kafka, кластер, администрирование kafka
Схема кластера

 

Какие бывают кластеры: основные виды

Кластер — это разновидность параллельной системы (обработка данных идет на всех узлах параллельно), которая состоит из нескольких связанных между собой компьютеров, а также используется как единый вычислительный ресурс. Кластеры подразделяются на следующие категории:

  1. Кластеры высокой доступности (High Availability, HA), которые имеют избыточное количество узлов, тем самым гарантируя непрерывную работу кластера в случае отказа одного или нескольких узлов. Таким образом, кластеры высокой доступности являются самыми отказоустойчивыми. Кластеры HA делятся на 3 типа:
  • с холодным резервом: активный узел выполняет поступающие запросы, а пассивный ждет его отказа. Пассивный узел включается в работу только при выходе из строя активного;
  • с горячим резервом: все узлы выполняют запросы до тех пор, пока не произойдет сбой. В случае сбоя нагрузка перераспределяется между оставшимися рабочими узлами;
  • с модульной избыточностью — это кластеры, которые не допускают простоя системы. Все узлы одновременно выполняют один и тот же запрос. Таким образом, необходима гарантия того, что результаты работы различных узлов всегда будут одинаковы.
  1. Кластеры распределения нагрузки (Network Load Balancing, NLB): принцип работы основан на распределении запросов через один или несколько входных узлов, которые перенаправляют их на обработку в остальные рабочие узлы. Основная цель NLB — достижение наибольшей производительности.
  2. Вычислительные кластеры — это кластеры, использующиеся для больших вычислений, в частности для каких-либо научных исследований. Для вычислительных кластеров характерно наличие очень мощного процессора, так как требуется высокая производительность в операциях над большими числами, в частности над числами с плавающей точкой (float). Такие кластеры позволяют уменьшить время расчетов, разбивая задание на параллельные ветки вычислительных узлов, которые обмениваются данными по сети.
  3. Кластер серверов — это группа серверов, которые логически объединены между собой и используются как единый ресурс. Чаще всего серверы в таком кластере группируются посредством локальной сети. Кластер серверов активно используется при разработке и тестировании кластерных или серверных приложений.

Как появились кластеры: краткая история

Причиной появления кластеров служат разработки в области компьютерных сетей. Так, в начале 1970-х годов группой разработчиков протокола TCP/IP и лабораторией Xerox PARC были закреплены стандарты сетевого взаимодействия, и уже в 1971 году в США (штат Пенсильвания) появился первый кластер C.mpp. Однако, механизмы для распределения задач были созданы только в 1983 году. Этим занималась компания Sun Microsystems. Первым коммерческим проектом является кластер ARCnet, созданный компанией Datapoint в 1977 году. Он стал настолько прибыльным, что это затормозило развитие кластеров до 1984 года, когда компания DEC создала VAXcluster на основе операционной системы VAX. В 1989 году вышел в свет готовый проект под названием Parallel Virtual Machine (PVM). Благодаря PVM появилась возможность мгновенного создания кластеров. В 1995 году было создано семейство кластеров Beowulf, позволяющее объединить компьютеры единой сетью передачи данных.

Таким образом, основными достоинствами кластеров считают возможность распределенных вычислений, высокую производительность и отказоустойчивость, благодаря которым возрастает скорость работы с данными и уменьшается риск их потери в случае выхода из строя одного из компьютеров. Поэтому кластеры являются неотъемлемой частью технологий работы с большими данными (Big Data), включая различные направления Data Science, такие как аналитические системы на базе алгоритмов машинного обучения (Machine Learning) и других методов искусственного интеллекта. Например, здесь мы рассказываем о структуре и принципах работы кластеров Apache Kafka.

Записаться на курс

Смотреть раcписание

 

Источники

  1. https://www.stekspb.ru/autsorsing-it-infrastruktury/it-glossary/server-cluster/
  2. https://ktonanovenkogo.ru/voprosy-i-otvety/klaster-chto-ehto-takoe.html

Поиск по сайту