19장. 파티션 재할당 툴 사용

파티션 재할당 도구(kafka-reassign-partitions.sh)는 현재 브로커에서 새 브로커로 이동해야 하는 파티션을 지정하는 파티션 할당 계획을 생성하여 작동합니다.

이 계획에 만족하는 경우 이를 실행할 수 있습니다. 그런 다음 도구는 다음을 수행합니다.

파티션 재할당 툴에는 세 가지 모드가 있습니다.

지정된 시간에 클러스터에서 하나의 재할당을 실행할 수 있으며 실행 중인 재할당을 취소할 수 없습니다. 재할당을 취소해야 하는 경우 완료될 때까지 기다린 다음 다른 재할당을 수행하여 첫 번째 재할당의 영향을 되돌립니다. kafka-reassign-partitions.sh 는 출력의 일부로 이 reassignment JSON을 출력합니다. 매우 큰 reassignment는 in-progress reassignment를 중지해야 하는 경우 다수의 작은 재할당으로 분류해야 합니다.

kafka-reassign-partitions.sh 툴에서는 다시 할당할 주제를 지정하는 JSON 파일을 다시 할당합니다. 특정 파티션을 이동하려면 JSON 파일을 다시 할당하거나 파일을 수동으로 생성할 수 있습니다.

기본 재할당 JSON 파일에는 다음 예제와 같이 두 개의 Kafka 항목에 속하는 파티션 3개를 설명하는 구조가 있습니다. 각 파티션은 브로커 ID로 식별되는 새로운 복제본 세트에 다시 할당됩니다. version,topic,partition, replicas 속성은 모두 필요합니다.

{
  "version": 1, 

  "partitions": [ 

    {
      "topic": "example-topic-1", 

      "partition": 0, 

      "replicas": [1, 2, 3] 

    },
    {
      "topic": "example-topic-1",
      "partition": 1,
      "replicas": [2, 3, 4]
    },
    {
      "topic": "example-topic-2",
      "partition": 0,
      "replicas": [3, 4, 5]
    }
  ]
}

주제 배열을 사용하여 주제만 지정하는 경우 파티션 재할당 툴은 지정된 항목에 속하는 모든 파티션을 다시 할당합니다.

{
  "version": 1,
  "topics": [
    { "topic": "my-topic"}
  ]
}

Kafka 클러스터에서 JBOD 스토리지를 사용하는 경우 특정 볼륨과 해당 로그 디렉터리(각 볼륨에 단일 로그 디렉터리가 있음) 간에 파티션을 다시 할당할 수 있습니다.

특정 볼륨에 파티션을 다시 할당하려면 JSON 파일의 각 파티션에 대한 log_dirs 값을 추가합니다. 각 log_dirs 배열에는 각 복제본을 특정 로그 디렉터리에 할당해야 하므로 replicas 배열과 동일한 수의 항목이 포함되어 있습니다. log_dirs 배열에는 로그 디렉토리의 절대 경로 또는 특수 값 any 가 포함되어 있습니다. any 값은 Kafka가 JBOD 볼륨 간에 파티션을 다시 할당할 때 유용할 수 있는 해당 복제본에 사용 가능한 모든 로그 디렉터리를 선택할 수 있음을 나타냅니다.

{
  "version": 1,
  "partitions": [
    {
      "topic": "example-topic-1",
      "partition": 0,
      "replicas": [1, 2, 3]
      "log_dirs": ["/var/lib/kafka/data-0/kafka-log1", "any", "/var/lib/kafka/data-1/kafka-log2"]
    },
    {
      "topic": "example-topic-1",
      "partition": 1,
      "replicas": [2, 3, 4]
      "log_dirs": ["any",  "/var/lib/kafka/data-2/kafka-log3", "/var/lib/kafka/data-3/kafka-log4"]
    },
    {
      "topic": "example-topic-2",
      "partition": 0,
      "replicas": [3, 4, 5]
      "log_dirs": ["/var/lib/kafka/data-4/kafka-log5", "any",  "/var/lib/kafka/data-5/kafka-log6"]
    }
  ]
}

파티션 재할당은 브로커 간에 대량의 데이터를 전송해야 하므로 프로세스가 느려질 수 있습니다. 클라이언트에 미치는 영향을 방지하려면 재할당 프로세스를 제한할 수 있습니다. kafka-reassign-partitions.sh 툴과 함께 --throttle 매개변수를 사용하여 재할당을 제한합니다. 브로커 간 파티션 이동에 대한 초당 최대 임계값을 바이트 단위로 지정합니다. 예를 들어 --throttle 5000000 은 50MBps의 파티션을 이동하는 최대 임계값을 설정합니다.

제한으로 인해 재할당이 완료되는 데 시간이 더 오래 걸릴 수 있습니다.

예를 들어 생산자의 경우 이는 일반 대기 시간보다 높은 것으로 확인 대기 중인 것으로 나타날 수 있습니다. 소비자의 경우 폴링 간 대기 시간이 길기 때문에 발생하는 처리량이 감소한 것으로 나타날 수 있습니다.