第17章 Cruise Control を使用した JBOD ディスクでのパーティションの再割り当て

手順

1. Cruise Control サーバーを起動します。デフォルトでは、サーバーはポート 9092 で起動します。オプションで別のポートを指定します。

   cd ./cruise-control/
   ./kafka-cruise-control-start.sh config/cruisecontrol.properties <port_number>

2. Cruise Control が実行していることを確認するには、Cruise Control サーバーの /state エンドポイントに GET リクエストを送信します。

   curl -X GET 'http://<cc_host>:<cc_port>/kafkacruisecontrol/state'

3. (オプション) Kafka kafka-log-dirs.sh ツールを使用して、ブローカー上のパーティションレプリカデータを確認します。

   kafka-log-dirs.sh --describe --bootstrap-server my-cluster-kafka-bootstrap:9092 --broker-list 1 --topic-list my-topic

   このツールは、各ログディレクトリーのトピック情報を返します。この例では、情報を my-topic に制限して、単一のトピックに対する手順を表示しています。ログディレクトリーに使用される JBOD ボリュームは、/var/lib/kafka/<volume_id> にマウントされます。

   各ログディレクトリーの出力データの例

   {
     "brokers": [
       {
         "broker": 1, 

   1

   
         "logDirs": [
           {
             "partitions": [  

   2

   
               {
                 "partition": "my-topic-0",
                 "size": 0,
                 "offsetLag": 0,
                 "isFuture": false
               }
             ],
             "error": null, 

   3

   
             "logDir": "/var/lib/kafka/data-0" 

   4

   
           },
           {
             "partitions": [
               {
                 "partition": "my-topic-1",
                 "size": 0,
                 "offsetLag": 0,
                 "isFuture": false
               }
             ],
             "error": null,
             "logDir": "/var/lib/kafka/data-1"
           },
           {
             "partitions": [
               {
                 "partition": "my-topic-2",
                 "size": 0,
                 "offsetLag": 0,
                 "isFuture": false
               }
             ],
             "error": null,
             "logDir": "/var/lib/kafka/data-2"
           }
         ]
       }
     ]
   }

   1

   ブローカー ID

   2

   パーティションの詳細: 名前、サイズ、オフセットラグ。(isFuture) プロパティーが true と表示されている場合、パーティションがログディレクトリー間で移動していることを示します。

   3

   error が null でない場合、ログディレクトリーをホストしているディスクに問題があります。

   4

   ログディレクトリーのパスと名前。

4. ノードからボリュームを削除します。

   curl -v -X POST 'http://<cc_host>:<cc_port>/kafkacruisecontrol/remove_disks?dryrun=false&brokerid_and_logdirs=1-/var/lib/kafka/data-0'

   このコマンドは、削除するボリュームのブローカー ID とログディレクトリーを指定します。成功した場合、ブローカー 1 のボリューム 0 からパーティションが再割り当てされます。

   注記

   必要に応じて、変更を適用する前にこの操作のドライランを実行できます。

5. ボリュームの削除とデータの移動を確認するには、Kafka kafka-log-dirs.sh ツールを再度使用します。

   この例では、ボリューム 0 が削除され、my-topic-0 パーティションが /var/lib/kafka/data-1 に再割り当てされています。

   パーティションの再割り当て後の出力データの例

   {
     "brokers": [
       {
         "broker": 1,
         "logDirs": [
           {
             "partitions": [
               {
                 "partition": "my-topic-0",
                 "size": 0,
                 "offsetLag": 0,
                 "isFuture": false
               },
               {
                 "partition": "my-topic-1",
                 "size": 0,
                 "offsetLag": 0,
                 "isFuture": false
               }
             ],
             "error": null,
             "logDir": "/var/lib/kafka/data-1"
           },
           {
             "partitions": [
               {
                 "partition": "my-topic-2",
                 "size": 0,
                 "offsetLag": 0,
                 "isFuture": false
               }
             ],
             "error": null,
             "logDir": "/var/lib/kafka/data-2"
           }
         ]
       }
     ]
   }