15.3. 在删除代理前重新分配分区

流程

1. 如果没有这样做，请使用 kafka-reassign-partitions.sh 工具生成名为 reassignment.json 的重新分配 JSON 文件。

   生成重新分配 JSON 文件的命令示例

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --topics-to-move-json-file topics.json \ 

   1

   
     --broker-list 0,1,2,3 \ 

   2

   
     --generate

   Copy to Clipboard Toggle word wrap

   1

   指定主题的 JSON 文件。

   2

   用于包含在操作中的 kafka 集群中的代理 ID。这假设代理 4 已被删除。

   显示当前和提议的副本分配的 JSON 文件示例

   Current partition replica assignment
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[3,4,2,0],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[0,2,3,1],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[1,3,0,4],"log_dirs":["any","any","any","any"]}]}
   
   Proposed partition reassignment configuration
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,0],"log_dirs":["any","any","any"]}]}

   Copy to Clipboard Toggle word wrap

   如果您需要稍后恢复更改，请将此文件的副本保存到本地。

2. 使用 --execute 选项运行分区重新分配。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --execute

   Copy to Clipboard Toggle word wrap

   如果要节流复制，您还可以通过 --throttle 选项，并传递一个 inter-broker 节流率（以字节/秒为单位）。例如：

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --throttle 5000000 \
     --execute

   Copy to Clipboard Toggle word wrap

3. 使用 --verify 选项验证重新分配是否已完成。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --verify

   Copy to Clipboard Toggle word wrap

   当 --verify 命令报告正在移动的每个分区都成功完成时，重新分配已完成。最后 --verify 也具有删除任何重新分配节流的影响。

4. 检查正在删除的每个代理是否没有任何实时分区(log.dirs)。

   ls -l <LogDir> | grep -E '^d' | grep -vE '[a-zA-Z0-9.-]+\.[a-z0-9]+-delete$'

   Copy to Clipboard Toggle word wrap

   如果日志目录与正则表达式 \.[a-z0-9]-delete$ 不匹配，则活动分区仍然存在。如果您有活跃的分区，检查重新分配已完成，或者在重新分配 JSON 文件中的配置。您可以再次运行重新分配。在继续下一步之前，请确保没有活动的分区。

5. 停止代理。

   su - kafka
   /opt/kafka/bin/kafka-server-stop.sh

   Copy to Clipboard Toggle word wrap

6. 确认 Kafka 代理已停止。

   jcmd | grep kafka

   Copy to Clipboard Toggle word wrap