15.2. ブローカーの追加後のパーティションの再割り当て

手順

1. クラスター内の他のブローカーと同じ設定を使用して新しいブローカーの設定ファイルを作成します。ただし、broker.id には他のブローカで使用されていない番号を指定してください。

2. 前のステップで作成した設定ファイルをkafka-server-start.sh スクリプトの引数に渡して、新しい Kafka ブローカーを起動します。

   su - kafka
   /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/kraft/server.properties

   Copy to Clipboard Toggle word wrap

3. Kafka ブローカーが稼働していることを確認します。

   jcmd | grep Kafka

   Copy to Clipboard Toggle word wrap
4. 新しいブローカーごとに上記の手順を繰り返します。

5. まだ行っていない場合は、kafka-reassign-partitions.sh ツールを使用して reassignment.json という名前の再割り当て JSON ファイルを生成します。

   再割り当て JSON ファイルを生成するコマンドの例

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --topics-to-move-json-file topics.json \ 

   1

   
     --broker-list 0,1,2,3,4 \ 

   2

   
     --generate

   Copy to Clipboard Toggle word wrap

   1

   トピックを指定する JSON ファイル。

   2

   操作に含める Kafka クラスター内のブローカー ID。これは、ブローカー 4 が追加されたことを前提としています。

   現在のレプリカ割り当てと提案されたレプリカ割り当てを示す再割り当て JSON ファイルの例

   Current partition replica assignment
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,0],"log_dirs":["any","any","any"]}]}
   
   Proposed partition reassignment configuration
   {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3,4],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4,0],"log_dirs":["any","any","any","any"]}]}

   Copy to Clipboard Toggle word wrap

   後で変更を元に戻す必要がある場合に備えて、このファイルのコピーをローカルに保存します。

6. --execute オプションを使用してパーティションの再割り当てを実行します。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --execute

   Copy to Clipboard Toggle word wrap

   レプリケーションをスロットルで調整する場合、--throttle とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --throttle 5000000 \
     --execute

   Copy to Clipboard Toggle word wrap

7. --verify オプションを使用して、再割り当てが完了したことを確認します。

   /opt/kafka/bin/kafka-reassign-partitions.sh \
     --bootstrap-server localhost:9092 \
     --reassignment-json-file reassignment.json \
     --verify

   Copy to Clipboard Toggle word wrap

   --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。