15.3. ブローカーの削除前のパーティションの再割り当て

手順

1. まだ行っていない場合は、kafka-reassign-partitions.sh ツールを使用して reassignment.json という名前の再割り当て JSON ファイルを生成します。

   再割り当て JSON ファイルを生成するコマンドの例

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --topics-to-move-json-file topics.json \ 

   1

   
     --broker-list 0,1,2,3 \ 

   2

   
     --generate

   Copy to Clipboard Toggle word wrap

   1

   トピックを指定する JSON ファイル。

   2

   操作に含める Kafka クラスター内のブローカー ID。これは、ブローカー 4 が削除されたことを前提としています。

   現在のレプリカ割り当てと提案されたレプリカ割り当てを示す再割り当て JSON ファイルの例

   Current partition replica assignment
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[3,4,2,0],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[0,2,3,1],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[1,3,0,4],"log_dirs":["any","any","any","any"]}]}
   
   Proposed partition reassignment configuration
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,0],"log_dirs":["any","any","any"]}]}

   Copy to Clipboard Toggle word wrap

   後で変更を元に戻す必要がある場合に備えて、このファイルのコピーをローカルに保存します。

2. --execute オプションを使用してパーティションの再割り当てを実行します。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --execute

   Copy to Clipboard Toggle word wrap

   レプリケーションをスロットルで調整する場合、--throttle とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --throttle 5000000 \
     --execute

   Copy to Clipboard Toggle word wrap

3. --verify オプションを使用して、再割り当てが完了したことを確認します。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --verify

   Copy to Clipboard Toggle word wrap

   --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。

4. 削除する各ブローカーに、ログ (log.dirs) にライブパーティションがないことを確認します。

   ls -l <LogDir> | grep -E '^d' | grep -vE '[a-zA-Z0-9.-]+\.[a-z0-9]+-delete$'

   Copy to Clipboard Toggle word wrap

   ログディレクトリーが正規表現 (\.[a-z0-9]-delete$) と一致しない場合は、アクティブなパーティションが存在します。アクティブなパーティションがある場合は、再割り当てが完了したどうか、あるいは、再割り当て JSON ファイルの設定を確認します。再割り当てはもう一度実行できます。次のステップに進む前に、アクティブなパーティションが存在しないことを確認します。

5. ブローカーを停止します。

   su - kafka
   /opt/kafka/bin/kafka-server-stop.sh

   Copy to Clipboard Toggle word wrap

6. Kafka ブローカーが停止していることを確認します。

   jcmd | grep kafka

   Copy to Clipboard Toggle word wrap