8.5. 处理大量信息

如果您的 MirrorMaker 2.0 部署正在处理大量消息，您可能需要调整其配置来支持它。

数据复制的 flush 管道是 source topic →(Kafka Connect) source message queue producer buffer target topic。偏移清除超时周期(offset.flush.timeout.ms)是等待生成者缓冲区(producer.buffer.memory)刷新和偏移数据提交的时间。尝试避免出现大型制作者缓冲区和偏移清除超时周期不足的情况，会导致 清除 或失败提交偏移 类型错误。

这种类型的错误表示生成缓冲区中太多消息，因此在达到偏移清除超时前都无法清除它们。

如果您要获得这类错误，请尝试以下配置更改：

更改应有助于将未完成的消息的底层 Kafka Connect 队列保持为可管理的大小。您可能需要调整值，使其具有所需的效果。

如果这些配置更改没有解决错误，您可以尝试通过执行以下操作来增加并行运行的任务数量：

clusters=cluster-1,cluster-2
# ...
cluster-2.offset.flush.timeout.ms = 30000
cluster-2.producer.buffer.memory = 8388608
# ...
tasks.max = 10

clusters=cluster-1,cluster-2
# ...
cluster-2.offset.flush.timeout.ms = 30000
cluster-2.producer.buffer.memory = 8388608
# ...
tasks.max = 10