Red Hat Summit7.6. Kafka MirrorMaker の設定
Kafka MirrorMaker (MirrorMaker 1 とも呼ばれる) は、プロデューサーとコンシューマーを使用して、次のようにクラスター間でデータをレプリケーションします。
- コンシューマーはソースクラスターからのデータを消費する
- プロデューサーはターゲットクラスターにデータを出力する
コンシューマーとプロデューサの設定には、必要な認証と暗号化の設定が含まれます。include プロパティーは、ソースクラスターからターゲットクラスターにミラーリングするトピックを定義します。
注記
MirrorMaker は Kafka 3.0.0 で非推奨となり、Kafka 4.0.0 で削除される予定です。そのため、MirrorMaker のデプロイに使用される Streams for Apache Kafka KafkaMirrorMaker カスタムリソースが非推奨になりました。Kafka 4.0.0 が導入されると、KafkaMirrorMaker リソースは Streams for Apache Kafka から削除されます。
主なコンシューマー設定
- コンシューマーグループ ID
- 使用するメッセージがコンシューマーグループに割り当てられるようにするための MirrorMaker コンシューマーのコンシューマーグループ ID。
- コンシューマーストリームの数
- メッセージを並行して使用するコンシューマーグループ内のコンシューマー数を決定する値。
- オフセットコミットの間隔
- メッセージの使用とメッセージのコミットの期間を設定するオフセットコミットの間隔。
キープロデューサーの設定
- 送信失敗のキャンセルオプション
- メッセージ送信の失敗を無視するか、MirrorMaker を終了して再作成するかを定義できます。
MirrorMaker 設定の YAML 例
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker
metadata:
name: my-mirror-maker
spec:
# ...
consumer:
bootstrapServers: my-source-cluster-kafka-bootstrap:9092
groupId: "my-group"
numStreams: 2
offsetCommitInterval: 120000
# ...
producer:
# ...
abortOnSendFailure: false
# ...
include: "my-topic|other-topic"
# ...