第 8 章 使用带有 MirrorMaker 2.0 的 AMQ Streams


使用 MirrorMaker 2.0 在两个或更多活跃 Kafka 集群之间复制数据,并在数据中心之间复制数据。

集群中的数据复制支持需要的情况:

  • 在系统失败时恢复数据
  • 聚合数据进行分析
  • 特定集群的数据访问限制
  • 在特定位置置备数据以提高延迟

要配置 MirrorMaker 2.0,请编辑 config/connect-mirror-maker.properties 配置文件。

如果需要,您可以为 MirrorMaker 2.0 启用分布式追踪

处理大量消息

您可以调整配置来处理大量消息。更多信息请参阅 第 9 章 处理大量消息

注意

MirrorMaker 2.0 具有之前版本的 MirrorMaker 不支持的功能。但是,您可以将 MirrorMaker 2.0 配置为用于传统模式

8.1. MirrorMaker 2.0 数据复制

MirrorMaker 2.0 使用来自源 Kafka 集群的信息,并将其写入目标 Kafka 集群。

MirrorMaker 2.0 使用:

  • 源集群配置使用来自源集群的数据
  • 将数据输出到目标集群的目标集群配置

MirrorMaker 2.0 基于 Kafka Connect 框架,连接器 管理集群之间的数据传输。

MirrorMaker 2.0 使用以下连接器:

MirrorSourceConnector
源连接器将主题从源集群复制到目标集群。
MirrorCheckpointConnector
检查点连接器定期跟踪偏移。如果启用,它还会在源和目标集群之间同步消费者组偏移。
MirrorHeartbeatConnector
heartbeat 连接器会定期检查源和目标集群之间的连接。

镜像 从一个集群镜像到另一个集群的过程是异步的。推荐的模式是在本地和源 Kafka 集群一起生成信息,然后远程消耗到目标 Kafka 集群。

MirrorMaker 2.0 可以和多个源集群一起使用。

图 8.1. 在两个集群间复制

默认情况下,每隔 10 分钟对源集群中的新主题进行一次检查。您可以通过在源连接器配置中添加 refresh.topics.interval.seconds 来更改频率。但是,增加操作的频率可能会影响整体性能。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat