第 9 章 使用带有 MirrorMaker 2 的 AMQ Streams
使用 MirrorMaker 2 在两个或多个活跃 Kafka 集群之间复制数据,并在数据中心之间复制数据。
要配置 MirrorMaker 2,请编辑 config/connect-mirror-maker.properties
配置文件。如果需要,您可以为 MirrorMaker 2 启用分布式追踪。
处理大量信息
您可以调整配置以处理大量信息。更多信息请参阅 第 11 章 处理大量信息。
MirrorMaker 2 具有之前版本的 MirrorMaker 不支持的功能。但是,您可以将 MirrorMaker 2 配置为用于旧模式。
9.1. 配置主动/主动或主动/被动模式 复制链接链接已复制到粘贴板!
您可以在主动/被动或主动/主动集群配置中使用 MirrorMaker 2。
- 主动/主动集群配置
- 主动/主动配置有两个主动集群双向复制数据。应用程序可以使用任一集群。每个集群都可以提供相同的数据。这样,您可以在不同的地理位置提供相同的数据。因为消费者组在两个集群中都活跃,复制主题的使用者偏移不会重新同步到源集群。
- 主动/被动集群配置
- 主动/被动配置具有主动集群将数据复制到被动集群。被动集群保持在待机状态。在出现系统失败时,您可以使用被动集群进行数据恢复。
预期的结构是,生成者和消费者仅连接到活跃集群。每个目标目的地都需要一个 MirrorMaker 2 集群。
9.1.1. 双向复制(主动/主动) 复制链接链接已复制到粘贴板!
MirrorMaker 2 架构支持 主动/主动集群配置中 的双向复制。
每个集群使用 source 和 remote 主题的概念复制其他集群的数据。由于同一主题存储在每个集群中,因此远程主题由 MirrorMaker 2 自动重命名,以代表源集群。原始集群的名称前面是主题名称的前面。
图 9.1. 主题重命名
通过标记原始集群,主题不会复制到该集群。
在配置需要数据聚合的架构时,通过 远程主题 复制的概念非常有用。消费者可以订阅同一集群中的源和目标主题,而无需单独的聚合集群。
9.1.2. 单向复制(主动/被动) 复制链接链接已复制到粘贴板!
MirrorMaker 2 架构支持 主动/被动集群 配置中的单向复制。
您可以使用 主动/被动集群 配置来备份或将数据迁移到另一个集群。在这种情况下,您可能不希望自动重命名远程主题。
您可以通过将 IdentityReplicationPolicy
添加到源连接器配置来覆盖自动重命名。应用此配置后,主题会保留其原始名称。