Red Hat Summit13장. Kafka 브로커 및 Zoo Cryostat 노드 추가 및 제거
Kafka 클러스터에서 브로커 및 Zoo Cryostat 노드의 추가 및 제거를 관리하는 것은 안정적이고 확장 가능한 시스템을 유지하는 데 중요합니다. 사용 가능한 브로커 수에 추가할 때 브로커의 주제에 대한 기본 복제 요소 및 최소 in-sync 복제본을 구성할 수 있습니다. 동적 재구성을 사용하여 중단 없이 ensemble에서 Zoo Cryostat 노드를 추가하고 제거할 수 있습니다.
13.1. 브로커 추가 또는 제거를 통해 클러스터 스케일링
브로커를 추가하여 Kafka 클러스터를 확장하면 클러스터의 성능과 안정성을 높일 수 있습니다. 브로커를 더 많이 추가하면 사용 가능한 리소스가 증가하여 클러스터가 더 큰 워크로드를 처리하고 더 많은 메시지를 처리할 수 있습니다. 또한 더 많은 복제본 및 백업을 제공하여 내결함성을 향상시킬 수 있습니다. 반대로 활용도가 낮은 브로커를 제거하면 리소스 소비를 줄이고 효율성을 향상시킬 수 있습니다. 중단이나 데이터 손실을 방지하려면 스케일링을 신중하게 수행해야 합니다. 클러스터의 모든 브로커에 파티션을 재배포하면 각 브로커의 리소스 사용량이 줄어들어 클러스터의 전체 처리량이 증가할 수 있습니다.
Kafka 주제의 처리량을 높이기 위해 해당 항목의 파티션 수를 늘릴 수 있습니다. 이를 통해 클러스터의 여러 브로커 간에 주제의 부하를 공유할 수 있습니다. 그러나 모든 브로커가 특정 리소스(예: I/O)에 의해 제한되는 경우 파티션을 더 추가하면 처리량이 증가되지 않습니다. 이 경우 클러스터에 브로커를 더 추가해야 합니다.
다중 노드 Kafka 클러스터를 실행할 때 브로커를 추가하면 복제본 역할을 하는 클러스터의 브로커 수에 영향을 미칩니다. 주제의 실제 복제 요소는 default.replication.factor 및 min.insync.replicas 의 설정과 사용 가능한 브로커 수에 따라 결정됩니다. 예를 들어 3의 복제 요소는 주제의 각 파티션이 세 브로커에 복제되어 브로커가 실패할 경우 내결함성을 보장합니다.
복제본 구성 예
default.replication.factor = 3 min.insync.replicas = 2
브로커를 추가하거나 제거하면 Kafka에서 파티션을 자동으로 다시 할당하지 않습니다. 가장 좋은 방법은 Cruise Control을 사용하는 것입니다. 클러스터를 확장하거나 축소할 때 Cruise Control의 add-brokers 및 remove-brokers 모드를 사용할 수 있습니다.
-
Kafka 클러스터를 확장한 후 기존 브로커에서 새로 추가된 브로커로 파티션 복제본을 이동한 후
add-brokers모드를 사용합니다. -
Kafka 클러스터를 축소하기 전에 제거하려는 브로커에서 파티션 복제본을 이동하기 전에
remove-brokers모드를 사용합니다.
브로커를 축소할 때는 클러스터에서 제거할 특정 Pod를 지정할 수 없습니다. 대신 브로커 제거 프로세스는 가장 많은 번호의 Pod에서 시작됩니다.
