7.6. Kafka MirrorMaker 配置


Kafka MirrorMaker (也称为 MirrorMaker 1)使用制作者和消费者在集群间复制数据,如下所示:

  • 消费者使用来自源集群的数据
  • 生成者将数据输出到目标集群

消费者和制作者配置包括任何所需的身份验证和加密设置。include 属性定义要从源镜像到目标集群的主题。

注意

MirrorMaker 在 Kafka 3.0.0 中已弃用,并将在 Kafka 4.0.0 中删除。因此,用于部署 MirrorMaker 的 AMQ Streams KafkaMirrorMaker 自定义资源已弃用。当使用 Kafka 4.0.0 时,KafkaMirrorMaker 资源将从 AMQ Streams 中删除。

关键的消费者配置

消费者组标识符
MirrorMaker consumer 的使用者组 ID,以便消耗的消息被分配给消费者组。
消费者流的数量
一个值,用于决定消费者组中的消费者数量,以并行使用消息。
偏移提交间隔
一个偏移的提交间隔,用于设置消耗和提交消息之间的时间。

关键的生成者配置

发送失败的取消选项
您可以定义消息发送失败是否忽略或 mirrorMaker 被终止并重新创建。

显示 MirrorMaker 配置的 YAML 示例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker
metadata:
  name: my-mirror-maker
spec:
  # ...
  consumer:
    bootstrapServers: my-source-cluster-kafka-bootstrap:9092
    groupId: "my-group"
    numStreams: 2
    offsetCommitInterval: 120000
    # ...
  producer:
    # ...
    abortOnSendFailure: false
    # ...
  include: "my-topic|other-topic"
  # ...
Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.