2.4.5. 大量のメッセージの処理

MirrorMaker 2.0 デプロイメントが大量のメッセージを処理する場合は、それをサポートするように設定を調整する必要がある場合があります。

データレプリケーションのフラッシュパイプラインは、source topic (Kafka Connect) source message queue producer buffer target topic です。オフセットフラッシュタイムアウト期間 (offset.flush.timeout.ms) は、プロデューサーバーッファー (producer.buffer.memory) が、コミットされるデータのフラッシュおよびオフセットを待つ時間です。プロデューサーバーッファーが大きく、オフセットフラッシュタイムアウト期間が不十分なために、フラッシュに失敗したり、オフセットのコミットに失敗したりするタイプのエラーが発生する状況は回避してください。

このタイプのエラーは、プロデューサーバッファー内にあるメッセージが多すぎるため、オフセットフラッシュタイムアウトに達する前にすべてのメッセージをフラッシュできないことを意味します。

このタイプのエラーが発生した場合は、次の設定変更を試してください。

この変更は、未処理のメッセージの基になる Kafka Connect キューを管理可能なサイズに保つのに役立つはずです。目的の効果を得るには、値を調整する必要がある場合があります。

これらの設定を変更してもエラーが解消されない場合は、次の手順を実行して、並行して実行されるタスクの数を増やしてみてください。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  version: 3.1.0
  replicas: 5
  connectCluster: "my-cluster-target"
  clusters:
  - alias: "my-cluster-source"
    bootstrapServers: my-cluster-source-kafka-bootstrap:9092
  - alias: "my-cluster-target"
    config:
      offset.flush.timeout.ms: 10000
      producer.buffer.memory: 8388608
    bootstrapServers: my-cluster-target-kafka-bootstrap:9092
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    sourceConnector:
      tasksMax: 10