Red Hat Summit Red Hat Summitサポートコンソール開発者トライアルの開始お問い合わせ

2.4.5. 大量のメッセージの処理

MirrorMaker 2.0 デプロイメントが大量のメッセージを処理する場合は、それをサポートするように設定を調整する必要がある場合があります。

データレプリケーションのフラッシュパイプラインは、source topic (Kafka Connect) source message queue producer buffer target topic です。オフセットフラッシュタイムアウト期間 (offset.flush.timeout.ms) は、プロデューサーバーッファー (producer.buffer.memory) が、コミットされるデータのフラッシュおよびオフセットを待つ時間です。プロデューサーバーッファーが大きく、オフセットフラッシュタイムアウト期間が不十分なために、フラッシュに失敗したり、オフセットのコミットに失敗したりするタイプのエラーが発生する状況は回避してください。

このタイプのエラーは、プロデューサーバッファー内にあるメッセージが多すぎるため、オフセットフラッシュタイムアウトに達する前にすべてのメッセージをフラッシュできないことを意味します。

このタイプのエラーが発生した場合は、次の設定変更を試してください。

  • producer.buffer.memory のデフォルト値 (バイト) を減らす
  • offset.flush.timeout.ms のデフォルト値 (ミリ秒) を増やす

この変更は、未処理のメッセージの基になる Kafka Connect キューを管理可能なサイズに保つのに役立つはずです。目的の効果を得るには、値を調整する必要がある場合があります。

これらの設定を変更してもエラーが解消されない場合は、次の手順を実行して、並行して実行されるタスクの数を増やしてみてください。

  • tasksMax プロパティーを使用して タスク数を増やす
  • replicas プロパティーを使用してタスクを実行するワーカーのノード数を増やす

大量のメッセージを処理するための MirrorMaker 2.0 の設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  version: 3.1.0
  replicas: 5
  connectCluster: "my-cluster-target"
  clusters:
  - alias: "my-cluster-source"
    bootstrapServers: my-cluster-source-kafka-bootstrap:9092
  - alias: "my-cluster-target"
    config:
      offset.flush.timeout.ms: 10000
      producer.buffer.memory: 8388608
    bootstrapServers: my-cluster-target-kafka-bootstrap:9092
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    sourceConnector:
      tasksMax: 10
Copy to Clipboard Toggle word wrap

2.4.5.1. メッセージフローの確認
リンクのコピー

Prometheus と Grafana を使用してデプロイメントをモニタリングしている場合は、MirrorMaker 2.0 メッセージフローを確認できます。AMQ Streams で提供される MirrorMaker 2.0 Grafana ダッシュボードの例は、フラッシュパイプラインに関連する次のメトリクスを示しています。

  • Kafka Connect の未処理メッセージキューにあるメッセージの数
  • プロデューサーバーッファーの使用可能なバイト数
  • オフセットコミットタイムアウト (ミリ秒)

これらのメトリクスを使用して、メッセージの量に基づいて設定を調整する必要があるかどうかを判断できます。

トップに戻る
Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2025 Red Hat