8.10. Kafka および ZooKeeper ストレージの設定

手順

1. クラスターの Kafka リソースを編集します。

   size プロパティーを変更して、Kafka クラスター、ZooKeeper クラスター、またはその両方に割り当てられた永続ボリュームのサイズを増やします。

   • Kafka クラスターの場合は、spec.kafka.storage の下にある size プロパティーを更新します。
   • ZooKeeper クラスターの場合は、spec.zookeeper.storage の下にある size プロパティーを更新します。

   ボリュームサイズを 2000Giに増やす Kafka 設定

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: persistent-claim
         size: 2000Gi
         class: my-storage-class
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

2. リソースを作成または更新します。

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap

   OpenShift では、Cluster Operator からの要求に応じて、選択された永続ボリュームの容量が増やされます。サイズ変更が完了すると、サイズ変更された永続ボリュームを使用するすべての Pod が Cluster Operator によって再起動されます。これは自動的に行われます。

3. クラスター上の関連する Pod のストレージ容量が増加したことを確認します。

   oc get pv

   Copy to Clipboard Toggle word wrap

   ストレージが増加した Kafka ブローカー Pod

   NAME               CAPACITY   CLAIM
   pvc-0ca459ce-...   2000Gi     my-project/data-my-cluster-kafka-2
   pvc-6e1810be-...   2000Gi     my-project/data-my-cluster-kafka-0
   pvc-82dc78c9-...   2000Gi     my-project/data-my-cluster-kafka-1

   Copy to Clipboard Toggle word wrap

   出力には、ブローカー Pod に関連付けられた各 PVC の名前が表示されます。

手順

1. Kafka リソースの spec.kafka.storage.volumes プロパティーを編集します。新しいボリュームを volumes アレイに追加します。たとえば、id が 2 の新しいボリュームを追加します。

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: jbod
         volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
         - id: 1
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
         - id: 2
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

2. リソースを作成または更新します。

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap

3. 新しいトピックを作成するか、既存のパーティションを新しいディスクに再度割り当てます。

   ヒント

   Cruise Control は、パーティションを再割り当てするための効果的なツールです。ブローカー内のディスク分散を実行するには、KafkaRebalance.spec で rebalanceDisk を true に設定します。

手順

1. 削除するディスクからすべてのパーティションを再度割り当てます。削除するディスクに割り当てられたままになっているパーティションのデータは削除される可能性があります。

   ヒント

   kafka-reassign-partitions.sh ツールを使用してパーティションを再割り当てできます。

2. Kafka リソースの spec.kafka.storage.volumes プロパティーを編集します。volumes アレイから 1 つまたは複数のボリュームを削除します。たとえば、ID が 1 と 2 のボリュームを削除します。

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: jbod
         volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

3. リソースを作成または更新します。

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap