15.4. 주제의 복제 요소 변경

프로세스

1. 이 작업을 수행하지 않은 경우 kafka-reassign-partitions.sh 도구를 사용하여 reassignment.json 이라는 재할당 JSON 파일을 생성합니다.

   JSON 파일을 다시 할당하는 명령의 예

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --topics-to-move-json-file topics.json \ 

   1

   
     --broker-list 0,1,2,3,4 \ 

   2

   
     --generate

   1

   주제를 지정하는 JSON 파일입니다.

   2

   작업에 포함할 kafka 클러스터의 브로커 ID입니다.

   현재 및 제안된 복제본 할당을 표시하는 재할당 JSON 파일의 예

   Current partition replica assignment
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[3,4,2,0],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[0,2,3,1],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[1,3,0,4],"log_dirs":["any","any","any","any"]}]}
   
   Proposed partition reassignment configuration
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3,4],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4,0],"log_dirs":["any","any","any","any"]}]}

   나중에 변경 사항을 복원해야 하는 경우 이 파일의 사본을 로컬에 저장합니다.

2. reassignment.json 을 편집하여 각 파티션에서 복제본을 제거합니다.

   예를 들어 jq 를 사용하여 주제의 각 파티션에 대한 목록의 마지막 복제본을 제거합니다.

   각 파티션의 마지막 주제 복제본 제거

   jq '.partitions[].replicas |= del(.[-1])' reassignment.json > reassignment.json

   업데이트된 복제본을 표시하는 재할당 파일의 예

   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4],"log_dirs":["any","any","any","any"]}]}

3. --execute 옵션을 사용하여 topic replica를 변경합니다.

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --execute

   참고

   브로커에서 복제본을 제거해도 데이터 간 데이터 이동이 필요하지 않으므로 복제를 방해할 필요가 없습니다. 복제본을 추가하는 경우 throttle 속도를 변경해야 할 수 있습니다.

4. --verify 옵션을 사용하여 topic replicas에 대한 변경 사항이 완료되었는지 확인합니다.

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --verify

   --verify 명령은 이동 중인 각 파티션이 성공적으로 완료되었음을 보고하면 재할당이 완료되었습니다. 이 마지막 --verify 는 또한 reassignment throttles를 제거하는 효과가 있습니다.

5. bin/kafka-topics.sh 명령을 --describe 옵션과 함께 실행하여 주제 변경 결과를 확인합니다.

   /opt/kafka/bin/kafka-topics.sh \
     --bootstrap-server localhost:9092 \
     --describe

   주제의 복제본 수를 줄이는 결과

   my-topic  Partition: 0  Leader: 0  Replicas: 0,1,2 Isr: 0,1,2
   my-topic  Partition: 1  Leader: 2  Replicas: 1,2,3 Isr: 1,2,3
   my-topic  Partition: 2  Leader: 3  Replicas: 2,3,4 Isr: 2,3,4