5.4. Streams for Apache Kafka

デプロイメントで使用される Kafka または KafkaNodePool カスタムリソースの spec.replicas プロパティーを使用してブローカーの数を調整することで、Kafka クラスターをスケーリングできます。

自動リバランスを有効にして、クラスターをスケールアップまたはスケールダウンするときにトピックパーティションを自動的に再分配します。自動リバランスには、Cruise Control のデプロイメント、操作のリバランステンプレート、およびテンプレートを参照する Kafka リソースの autorebalance の設定が必要です。自動リバランスを有効にすると、スケールアップまたはスケールダウンされたクラスターが、追加の介入なしにリバランスされます。

詳細は、クラスターのスケーリング時に自動リバランスをトリガーする を参照してください。

JBOD ストレージを使用しており、Cruise Control が Streams for Apache Kafka とともにインストールされている場合は、同じブローカー上のストレージに使用される JBOD ディスク間でパーティションを再度割り当てることができます。この機能により、データを失うことなく JBOD ディスクを削除することもできます。

KafkaRebalance リソースを remove-disks モードで設定し、パーティションを再度割り当てるブローカー ID と対応するボリューム ID のリストを指定します。Cruise Control は、設定に基づき最適化プロポーザルを生成し、手動または自動で承認されるとパーティションを再度割り当てます。

詳細は、Cruise Control を使用した JBOD ディスクでのパーティションの再割り当て を参照してください。

新しいメカニズムにより、コネクターオフセットを KafkaConnect および KafkaMirrorMaker2 リソースを通じて管理できるようになりました。オフセットをリスト表示、変更、リセットできるようになりました。

詳細は、Kafka Connect コネクターの設定 を参照してください。

個々のブローカーのホスト名とアドバタイズされたホスト名は、host および advertisedHost プロパティーを使用して指定できます。このリリースでは、次のテンプレートで {nodeId} や {nodePodName} などの変数を使用するためのサポートが導入されました。

テンプレートを使用すると、各ブローカーを個別に設定する必要がなくなります。Streams for Apache Kafka は、テンプレート変数を各ブローカーの対応する値に自動的に置き換えます。

詳細は、ブローカーのアドバタイズされたアドレスのオーバーライド および リスナータイプの指定 を参照してください。

Streams for Apache Kafka によってデプロイされたコンテナーの環境変数は、Secret または ConfigMap で指定された値をベースにすることができるようになりました。これにより、Kafka Connect および MirrorMaker 2 コンテナーの ExternalConfiguration スキーマを使用する要件が置き換えられますが、この要件は現在非推奨となっています。

値は、valueFrom.secretKeyRef または valueFrom.configMapKeyRef プロパティーを使用してコンテナー設定で参照されます。

詳細は、環境変数からの設定値の読み込み を参照してください。

Strimzi では、Kafka、Kafka Connect ワーカー、MirrorMaker2 ワーカー、Kafka Bridge ワーカーノードの Pod Disruption Budget リソースが生成されます。

カスタムの Pod Disruption Budget リソースを使用する場合は、クラスター Operator 設定で STRIMZI_POD_DISRUPTION_BUDGET_GENERATION 環境変数を false に設定できます。

詳細は、Pod Disruption Budget の生成を無効にする を参照してください。

CSI ボリュームをサポートするために、AdditionalVolume スキーマに新しいプロパティー csi が追加されました。このプロパティーは Kubernetes API CSIVolumeSource 構造にマップされ、コンテナーテンプレートフィールドで CSI ボリュームを定義できるようになります。

詳細は、AdditionalVolume スキーマリファレンス および 追加ボリューム を参照してください。