10.4. ノードプールの設定

手順

1. 次の例に示すように、スケールアップまたはスケールダウン時に使用する ID でノードプールにアノテーションを付けます。

   スケールアップ用の ID は、ノードプール pool-a に割り当てられます。

   スケールアップ用の ID の割り当て

   oc annotate kafkanodepool pool-a strimzi.io/next-node-ids="[0,1,2,10-20,30]"

   ノードを pool-a に追加するときに、この範囲内で使用可能な最小の ID が使用されます。

   スケールダウン用の ID はノードプール pool-b に割り当てられます。

   スケールダウン用の ID の割り当て

   oc annotate kafkanodepool pool-b strimzi.io/remove-node-ids="[60-50,9,8,7]"

   pool-b をスケールダウンすると、この範囲内で使用可能な最大の ID が削除されます。

   注記

   特定のノードを削除する場合は、単一のノード ID をスケールダウンアノテーションに割り当てることができます (oc annotate kafkanodepool pool-b strimzi.io/remove-node-ids="[3]")。

2. ノードプールをスケーリングできるようになりました。

   詳細は、以下を参照してください。

   • 「ノードプールへのノードの追加」
   • 「ノードプールからのノードの削除」
   • 「ノードプール間でのノードの移動」

   調整時に、アノテーションの形式が間違っている場合は警告が表示されます。

3. スケーリング操作の実行後に、アノテーションが不要になった場合は削除できます。

   スケールアップ用のアノテーションの削除

   oc annotate kafkanodepool pool-a strimzi.io/next-node-ids-

   スケールダウン用のアノテーションの削除

   oc annotate kafkanodepool pool-b strimzi.io/remove-node-ids-

手順

1. ノードプールに新しいノードを作成します。

   たとえば、ノードプール pool-a には 3 つのレプリカがあります。レプリカの数を増やしてノードを追加します。

   oc scale kafkanodepool pool-a --replicas=4

2. デプロイメントのステータスを確認し、ノードプール内の Pod が作成されて準備完了 (1/1) となるまで待ちます。

   oc get pods -n <my_cluster_operator_namespace>

   出力には、ノードプール内の 4 つの Kafka ノードが表示されます

   NAME                 READY  STATUS   RESTARTS
   my-cluster-pool-a-0  1/1    Running  0
   my-cluster-pool-a-1  1/1    Running  0
   my-cluster-pool-a-2  1/1    Running  0
   my-cluster-pool-a-3  1/1    Running  0

3. ノードプール内のノードの数を増やした後、パーティションを再割り当てします。

   • 自動リバランスが有効になっている場合、パーティションは新しいノードに自動的に再割り当てされるため、この手順をスキップできます。

   • 自動リバランスが有効になっていない場合は、Cruise Control の add-brokers モードを使用して、パーティションレプリカを既存のブローカーから新しく追加されたブローカーに移動します。

     Cruise Control を使用したパーティションレプリカの再割り当て

     apiVersion: kafka.strimzi.io/v1beta2
     kind: KafkaRebalance
     metadata:
       # ...
     spec:
       mode: add-brokers
       brokers: [3]

     パーティションをノード my-cluster-pool-a-3 に再割り当てしています。クラスター内のトピックとパーティションの数によっては、再割り当てに時間がかかる場合があります。

手順

1. ノードプール内のノードの数を減らす前に、パーティションを再割り当てします。

   • 自動リバランスが有効になっている場合、パーティションは自動的に削除されるブローカーから移動されるため、この手順をスキップできます。

   • 自動リバランスが有効になっていない場合は、Cruise Control の remove-brokers モードを使用して、削除するブローカーからパーティションレプリカを移動します。

     Cruise Control を使用したパーティションレプリカの再割り当て

     apiVersion: kafka.strimzi.io/v1beta2
     kind: KafkaRebalance
     metadata:
       # ...
     spec:
       mode: remove-brokers
       brokers: [3]

     ノード my-cluster-pool-a-3 からパーティションを再割り当てしています。クラスター内のトピックとパーティションの数によっては、再割り当てに時間がかかる場合があります。

2. 再割り当てプロセスが完了し、削除されるノードにライブパーティションがなくなったら、ノードプール内の Kafka ノードの数を減らします。

   たとえば、ノードプール pool-a には 4 つのレプリカがあります。レプリカの数を減らしてノードを削除します。

   oc scale kafkanodepool pool-a --replicas=3

   出力には、ノードプール内の 3 つの Kafka ノードが表示されます

   NAME                       READY  STATUS   RESTARTS
   my-cluster-pool-b-kafka-0  1/1    Running  0
   my-cluster-pool-b-kafka-1  1/1    Running  0
   my-cluster-pool-b-kafka-2  1/1    Running  0

手順

1. ターゲットノードプールに新しいノードを作成します。

   たとえば、ノードプール pool-a には 3 つのレプリカがあります。レプリカの数を増やしてノードを追加します。

   oc scale kafkanodepool pool-a --replicas=4

2. デプロイメントのステータスを確認し、ノードプール内の Pod が作成されて準備完了 (1/1) となるまで待ちます。

   oc get pods -n <my_cluster_operator_namespace>

   出力には、ソースノードプールとターゲットノードプール内の 4 つの Kafka ノードが表示されます

   NAME                 READY  STATUS   RESTARTS
   my-cluster-pool-a-0  1/1    Running  0
   my-cluster-pool-a-1  1/1    Running  0
   my-cluster-pool-a-4  1/1    Running  0
   my-cluster-pool-a-7  1/1    Running  0
   my-cluster-pool-b-2  1/1    Running  0
   my-cluster-pool-b-3  1/1    Running  0
   my-cluster-pool-b-5  1/1    Running  0
   my-cluster-pool-b-6  1/1    Running  0

   ノード ID は、作成時にノードの名前に追加されます。ノード ID が 7 であるノード my-cluster-pool-a-7 を追加します。

   自動リバランスが有効になっている場合、パーティションは新しいノードに再度割り当てられ、削除されるブローカーから自動的に移動されるため、次の手順をスキップできます。

3. 自動リバランスが有効になっていない場合は、ソースノードプール内のノード数を減らす前にパーティションを再度割り当てます。

   Cruise Control の remove-brokers モードを使用して、削除するブローカーからパーティションレプリカを移動します。

   Cruise Control を使用したパーティションレプリカの再割り当て

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaRebalance
   metadata:
     # ...
   spec:
     mode: remove-brokers
     brokers: [6]

   ノード my-cluster-pool-b-6 からパーティションを再割り当てしています。クラスター内のトピックとパーティションの数によっては、再割り当てに時間がかかる場合があります。

4. 再割り当てプロセスが完了したら、ソースノードプール内の Kafka ノードの数を減らします。

   たとえば、ノードプール pool-b には 4 つのレプリカがあります。レプリカの数を減らしてノードを削除します。

   oc scale kafkanodepool pool-b --replicas=3

   プール内で最も数値の大きい ID (6) を持つノードが削除されます。

   出力には、ソースノードプール内の 3 つの Kafka ノードが表示されます

   NAME                       READY  STATUS   RESTARTS
   my-cluster-pool-b-kafka-2  1/1    Running  0
   my-cluster-pool-b-kafka-3  1/1    Running  0
   my-cluster-pool-b-kafka-5  1/1    Running  0

手順

1. broker ロールを持つノードプールを作成します。

   ノードプール設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaNodePool
   metadata:
     name: pool-b
     labels:
       strimzi.io/cluster: my-cluster
   spec:
     replicas: 3
     roles:
       - broker
     storage:
       type: jbod
       volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
     # ...

   新しいノードプールにも 3 つのノードがあります。ブローカー専用ノードプールがすでにある場合は、この手順をスキップできます。

2. 新しい KafkaNodePool リソースを適用してブローカーを作成します。

3. デプロイメントのステータスを確認し、ノードプール内の Pod が作成されて準備完了 (1/1) となるまで待ちます。

   oc get pods -n <my_cluster_operator_namespace>

   出力には、2 つのノードプールで実行されている Pod が表示されます

   NAME                 READY  STATUS   RESTARTS
   my-cluster-pool-a-0  1/1    Running  0
   my-cluster-pool-a-1  1/1    Running  0
   my-cluster-pool-a-2  1/1    Running  0
   my-cluster-pool-b-3  1/1    Running  0
   my-cluster-pool-b-4  1/1    Running  0
   my-cluster-pool-b-5  1/1    Running  0

   ノード ID は、作成時にノードの名前に追加されます。

4. Cruise Control の remove-brokers モードを使用して、二重のロールを持つノードから新しく追加されたブローカーにパーティションレプリカを再割り当てします。

   Cruise Control を使用したパーティションレプリカの再割り当て

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaRebalance
   metadata:
     # ...
   spec:
     mode: remove-brokers
     brokers: [0, 1, 2]

   クラスター内のトピックとパーティションの数によっては、再割り当てに時間がかかる場合があります。

   注記

   controller 専用のロールに変更するノードにパーティションが割り当てられている場合、変更は阻止されます。Kafka リソースの status.conditions は、変更を妨げるイベントの詳細を提供します。

5. 元々ロールを組み合わせて有していたノードプールから broker ロールを削除します。

   二重のロールを持つノードの controller への切り替え

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaNodePool
   metadata:
     name: pool-a
     labels:
       strimzi.io/cluster: my-cluster
   spec:
     replicas: 3
     roles:
       - controller
     storage:
       type: jbod
       volumes:
         - id: 0
           type: persistent-claim
           size: 20Gi
           deleteClaim: false
     # ...

6. 設定変更を適用して、ノードプールを controller 専用ロールに切り替えます。

手順

1. ノードプール pool-a を編集し、それに broker ロールを追加します。

   ノードプール設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaNodePool
   metadata:
     name: pool-a
     labels:
       strimzi.io/cluster: my-cluster
   spec:
     replicas: 3
     roles:
       - controller
       - broker
     storage:
       type: jbod
       volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
     # ...

2. ステータスを確認し、ノードプール内の Pod が再起動して準備完了 (1/1) となるまで待ちます。

   oc get pods -n <my_cluster_operator_namespace>

   出力には、2 つのノードプールで実行されている Pod が表示されます

   NAME                 READY  STATUS   RESTARTS
   my-cluster-pool-a-0  1/1    Running  0
   my-cluster-pool-a-1  1/1    Running  0
   my-cluster-pool-a-2  1/1    Running  0
   my-cluster-pool-b-3  1/1    Running  0
   my-cluster-pool-b-4  1/1    Running  0
   my-cluster-pool-b-5  1/1    Running  0

   ノード ID は、作成時にノードの名前に追加されます。

3. Cruise Control の remove-brokers モードを使用して、ブローカー専用ノードから二重のロールを持つノードにパーティションレプリカを再割り当てします。

   Cruise Control を使用したパーティションレプリカの再割り当て

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaRebalance
   metadata:
     # ...
   spec:
     mode: remove-brokers
     brokers: [3, 4, 5]

   クラスター内のトピックとパーティションの数によっては、再割り当てに時間がかかる場合があります。

4. 古いブローカー専用ノードが含まれる pool-b ノードプールを削除します。

   oc delete kafkanodepool pool-b -n <my_cluster_operator_namespace>

手順

1. 新しい KafkaNodePool リソースを作成します。

   1. リソースに kafka という名前を付けます。
   2. strimzi.io/cluster ラベルが既存の Kafka リソースを指すようにします。
   3. 現在の Kafka クラスターと一致するようにレプリカ数とストレージ設定を設定します。
   4. ロールを Broker に設定します。

   Kafka クラスターの移行で使用されるノードプールの設定例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaNodePool
   metadata:
     name: kafka
     labels:
       strimzi.io/cluster: my-cluster
   spec:
     replicas: 3
     roles:
       - broker
     storage:
       type: jbod
       volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false

   警告

   クラスターデータとそのノードおよびリソースの名前を保持するには、ノードプール名を kafka にし、strimzi.io/cluster ラベルを Kafka リソース名と一致させる必要があります。そうしないと、ノードとリソースは、ノードによって使用される永続ボリュームストレージを含めて、新しい名前で作成されます。そのため、以前のデータが利用できなくなる可能性があります。

2. KafkaNodePool リソースを適用します。

   oc apply -f <node_pool_configuration_file>

   このリソースを適用すると、Kafka がノードプールの使用に切り替わります。

   変更やローリングアップデートはなく、リソースは以前と同じです。

3. strimzi.io/node-pools: enabled アノテーションを使用して、Kafka リソース内のノードプールのサポートを有効にします。

   ZooKeeper を使用したクラスター内のノードプールの設定例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     annotations:
       strimzi.io/node-pools: enabled
   spec:
     kafka:
       # ...
     zookeeper:
       # ...

4. Kafka リソースを適用します。

   oc apply -f <kafka_configuration_file>

   変更やローリング更新はありません。リソースは、以前と同じままです。

5. Kafka カスタムリソースから複製されたプロパティーを削除します。KafkaNodePool リソースが使用されている場合、.spec.kafka.replicas プロパティーや .spec.kafka.storage プロパティーなど、KafkaNodePool リソースにコピーしたプロパティーを削除できます。

1. 複数のノードプールがある場合は、ノード ID が 0 から N に、kafka という名前の単一の KafkaNodePool に連結します (N はレプリカの数です)。
2. Kafka リソースの .spec.kafka 設定が、ストレージ、リソース、レプリカを含む KafkaNodePool 設定と一致していることを確認します。
3. strimzi.io/node-pools: disabled アノテーションを使用して、Kafka リソース内のノードプールのサポートを無効にします。
4. kafka という名前の Kafka ノードプールを削除します。