7.4. Kafka MirrorMaker 配置

要设置 MirrorMaker，源和目标（目标） Kafka 集群必须正在运行。

您可以使用带有 MirrorMaker 2.0 的 AMQ Streams，虽然早期版本的 mirrorMaker 继续被支持。

MirrorMaker 2.0

MirrorMaker 2.0 基于 Kafka Connect 框架，连接器 管理集群之间的数据传输。

MirrorMaker 2.0 使用：

集群配置

您可以在主动/被动或主动/主动集群配置中使用 MirrorMaker 2.0。

您可以配置 KafkaMirrorMaker2 自定义资源来定义 Kafka Connect 部署，包括源和目标集群的连接详情，然后运行 MirrorMaker 2.0 连接器的集合来进行连接。

根据 KafkaMirrorMaker2 自定义资源中定义的主题，在源和目标集群之间自动同步主题。配置更改会被传播到远程主题，以便检测和创建新的主题和分区。主题复制使用正则表达式模式来定义，以包括或排除主题。

以下 MirrorMaker 2.0 连接器和相关内部主题有助于管理集群之间的数据传输和同步。

图 7.1. 在两个集群间复制

两个集群的双向复制

MirrorMaker 2.0 架构支持 主动/主动集群配置中的双向复制，因此两个集群都是活跃的，并同时提供相同的数据。每个目标目的地都需要一个 MirrorMaker 2.0 集群。

远程主题通过自动重命名（将集群名称添加到主题的名称）来区分。如果您要让不同地理位置在本地提供相同的数据，这将非常有用。

但是，如果要在主动/被动集群配置中备份或迁移数据，您可能需要保留主题的原始名称。如果是这样，您可以配置 MirrorMaker 2.0 以关闭自动重命名。

图 7.2. 双向复制

显示 MirrorMaker 2.0 配置的 YAML 示例

  apiVersion: kafka.strimzi.io/v1beta2
  kind: KafkaMirrorMaker2
  metadata:
    name: my-mirror-maker2
    spec:
      version: 3.2.3
      connectCluster: "my-cluster-target"
      clusters:
      - alias: "my-cluster-source"
        bootstrapServers: my-cluster-source-kafka-bootstrap:9092
      - alias: "my-cluster-target"
        bootstrapServers: my-cluster-target-kafka-bootstrap:9092
      mirrors:
      - sourceCluster: "my-cluster-source"
        targetCluster: "my-cluster-target"
        sourceConnector: {}
      topicsPattern: ".*"
      groupsPattern: "group1|group2|group3"

MirrorMaker

早期版本的 MirrorMaker 使用制作者和用户在集群间复制数据。

MirrorMaker 使用：

使用者和制作者配置包括任何身份验证和加密设置。

include 字段定义要从源镜像到目标集群的主题。

关键的消费者配置

关键的生成者配置

显示 MirrorMaker 配置的 YAML 示例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker
metadata:
  name: my-mirror-maker
spec:
  # ...
  consumer:
    bootstrapServers: my-source-cluster-kafka-bootstrap:9092
    groupId: "my-group"
    numStreams: 2
    offsetCommitInterval: 120000
    # ...
  producer:
    # ...
    abortOnSendFailure: false
    # ...
  include: "my-topic|other-topic"
  # ...