8.4. 指定最多任务数
连接器创建负责将数据从 Kafka 中移动和移出的任务。每个连接器组成一个或多个在一组运行任务的 worker pod 中分发的任务。在复制大量分区或同步大量消费者组的偏移时,增加任务数量可以帮助解决性能问题。
任务并行运行。worker 分配一个或多个任务。单个任务由一个 worker pod 处理,因此您不需要多于任务的 worker pod。如果有多个任务,worker 会处理多个任务。
您可以使用 tasks.max 属性指定 MirrorMaker 配置中的最大连接器任务数量。若不指定最多任务数量,默认设置为单个任务。
heartbeat 连接器始终使用单个任务。
为源启动的任务数量,检查点连接器是可能的最大任务和 tasks 数和 tasks.max 的值之间的较低值。对于源连接器,可能的最大任务数都是从源集群复制的每个分区。对于检查点连接器,可能的最大任务数都是从源集群复制的每个消费者组。在设置最多任务数量时,请考虑分区数量和支持进程的硬件资源。
如果基础架构支持处理开销,增加任务数量可提高吞吐量和延迟。例如,添加更多任务可减少在有大量分区或消费者组时轮询源集群所需时间。
tasks.max 配置用于 MirrorMaker 连接器
clusters=cluster-1,cluster-2
# ...
tasks.max = 10
默认情况下,MirrorMaker 2.0 每 10 分钟检查新的消费者组。您可以调整 refresh.groups.interval.seconds 配置以更改频率。调整较低时要小心。更频繁的检查会对性能造成负面影响。