15.3. 브로커를 제거하기 전에 파티션 재할당

프로세스

1. 이 작업을 수행하지 않은 경우 kafka-reassign-partitions.sh 도구를 사용하여 reassignment.json 이라는 재할당 JSON 파일을 생성합니다.

   JSON 파일을 다시 할당하는 명령의 예

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --topics-to-move-json-file topics.json \ 

   1

   
     --broker-list 0,1,2,3 \ 

   2

   
     --generate

   1

   주제를 지정하는 JSON 파일입니다.

   2

   작업에 포함할 kafka 클러스터의 브로커 ID입니다. 이는 브로커 4 가 제거되었다고 가정합니다.

   현재 및 제안된 복제본 할당을 표시하는 재할당 JSON 파일의 예

   Current partition replica assignment
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[3,4,2,0],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[0,2,3,1],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[1,3,0,4],"log_dirs":["any","any","any","any"]}]}
   
   Proposed partition reassignment configuration
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,0],"log_dirs":["any","any","any"]}]}

   나중에 변경 사항을 복원해야 하는 경우 이 파일의 사본을 로컬에 저장합니다.

2. --execute 옵션을 사용하여 파티션 재할당을 실행합니다.

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --execute

   복제를 제한하려면 브로어링된 속도가 초당 바이트 단위로 --throttle 옵션을 전달할 수도 있습니다. 예를 들면 다음과 같습니다.

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --throttle 5000000 \
     --execute

3. --verify 옵션을 사용하여 재할당이 완료되었는지 확인합니다.

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --verify

   --verify 명령은 이동 중인 각 파티션이 성공적으로 완료되었음을 보고하면 재할당이 완료되었습니다. 이 마지막 --verify 는 또한 reassignment throttles를 제거하는 효과가 있습니다.

4. 제거 중인 각 브로커에 해당 로그에 라이브 파티션이 없는지 확인합니다(log.dirs).

   ls -l <LogDir> | grep -E '^d' | grep -vE '[a-zA-Z0-9.-]+\.[a-z0-9]+-delete$'

   로그 디렉터리가 정규식과 일치하지 않는 경우 \.[a-z0-9]-delete$, 활성 파티션이 여전히 존재합니다. 활성 파티션이 있는 경우 재할당이 완료되었는지 또는 재할당 JSON 파일의 구성을 확인합니다. 재할당을 다시 실행할 수 있습니다. 다음 단계로 이동하기 전에 활성 파티션이 없는지 확인합니다.

5. 브로커를 중지합니다.

   su - kafka
   /opt/kafka/bin/kafka-server-stop.sh

6. Kafka 브로커가 중지되었는지 확인합니다.

   jcmd | grep kafka