2.4.2.6. 同步消费者组偏移
__consumer_offsets
主题存储关于每个消费者组已提交的偏移的信息。偏移同步定期将源集群使用者组的使用者偏移量传输到目标集群的使用者偏移主题。
偏移同步在 主动/被动 配置中特别有用。如果活跃集群停机,使用者应用可以切换到被动(standby)集群,并从最近传输的偏移位置获取。
使用主题偏移同步:
-
通过将 sync.
group.offsets.enabled 添加到 checkpoint 连接器配置来启用同步
,并将 属性设置为true
。默认情况下禁用同步。 -
将
IdentityReplicationPolicy
添加到源和检查点连接器配置中,以便目标集群中的主题保留其原始名称。
要进行主题偏移同步,目标集群中的消费者组无法使用与源集群中的组相同的 id。
如果启用,则定期与源集群进行偏移同步。您可以通过将 sync. group.offsets.interval.seconds
和 emit.checkpoints.interval.seconds
添加到 checkpoint 连接器配置来更改频率。属性指定消费者组偏移同步的频率(以秒为单位),以及发出用于偏移跟踪的检查点频率。两个属性的默认值都是 60 秒。您还可以使用 refresh. groups.interval.seconds 属性更改新使用者
组的检查频率,默认为每 10 分钟执行一次。
由于同步是基于时间的,因此使用者到被动群集的任何切换都可能会导致消息出现某种重复。