2.4. Kafka MirrorMaker 2.0 集群配置

本节论述了如何在 AMQ Streams 集群中配置 Kafka MirrorMaker 2.0 部署。

MirrorMaker 2.0 用于在数据中心内或之间的两个或多个活跃 Kafka 集群之间复制数据。

集群间的数据复制支持以下条件：

如果使用 MirrorMaker 2.0，您需要配置 KafkaMirrorMaker2 资源。

MirrorMaker 2.0 引入了一种全新的在集群间复制数据的方法。

因此，资源配置与以前的 MirrorMaker 版本不同。如果您选择使用 MirrorMaker 2.0，当前没有传统支持，因此任何资源都必须手动转换为新格式。

MirrorMaker 2.0 复制数据的方式如下：

以下流程演示了如何为 MirrorMaker 2.0 配置资源：

KafkaMirrorMaker2 资源的完整 schema 包括在 KafkaMirrorMaker2 架构引用 中。

2.4.1. MirrorMaker 2.0 数据复制

复制链接

MirrorMaker 2.0 使用源 Kafka 集群的信息，并将其写入目标 Kafka 集群。

MirrorMaker 2.0 使用：

• 源集群配置以使用源集群的数据
• 将数据输出到目标集群的目标集群配置

MirrorMaker 2.0 基于 Kafka Connect 框架，即管理集群间数据传输的 连接器。MirrorMaker 2.0 MirrorSourceConnector 将主题从源集群复制到目标集群。

将数据从一个集群 镜像 到另一个集群的过程是异步的。建议的模式是让信息与源 Kafka 集群一起生成，然后远程使用与目标 Kafka 集群类似的信息。

MirrorMaker 2.0 可以用于多个源集群。

图 2.1. 在两个集群间复制

View larger image

默认情况下，每 10 分钟检查源集群中的新主题。您可以通过在源连接器配置中添加 refresh.topics.interval.seconds 来更改频率。但是，增加操作的频率可能会影响整体性能。