第 9 章 使用带有 MirrorMaker 2.0 的 AMQ Streams
MirrorMaker 2.0 用于在两个或更多活跃 Kafka 集群之间复制数据,并在数据中心之间复制数据。
集群间的数据复制支持需要以下场景:
- 在系统失败时恢复数据
- 用于分析的数据聚合
- 对特定集群的数据访问限制
- 在特定位置置备数据以提高延迟
MirrorMaker 2.0 具有之前版本的 MirrorMaker 不支持的功能。但是,您可以将 MirrorMaker 2.0 配置为用于旧模式。
9.1. MirrorMaker 2.0 数据复制 复制链接链接已复制到粘贴板!
MirrorMaker 2.0 使用来自源 Kafka 集群的信息,并将其写入目标 Kafka 集群。
MirrorMaker 2.0 使用:
- 源集群配置使用来自源集群的数据
- 将数据输出到目标集群的目标集群配置
MirrorMaker 2.0 基于 Kafka Connect 框架,连接器 管理集群之间的数据传输。MirrorMaker 2.0 MirrorSourceConnector
将主题从源集群复制到目标集群。
将数据从一个集群镜像到另一个集群的过程是异步的。推荐的模式用于与源 Kafka 集群在本地生成信息,然后远程消耗到目标 Kafka 集群。
MirrorMaker 2.0 可以和多个源集群一起使用。
图 9.1. 在两个集群间复制
默认情况下,检查源集群中的新主题每 10 分钟进行一次。您可以通过在源连接器配置中添加 refresh.topics.interval.seconds
来更改频率。但是,增加操作的频率可能会影响整体性能。