8.5. 指定最多任务数
连接器创建负责在 Kafka 中和移出数据的任务。每个连接器都包含一个或多个任务,它们分布在一组运行任务的 worker pod 中。在复制大量分区或同步大量消费者组的偏移时,增加任务数量可以帮助解决性能问题。
任务并行运行。为 worker 分配一个或多个任务。单个任务由一个 worker pod 处理,因此您不需要更多的 worker pod。如果有多个任务,worker 会处理多个任务。
您可以使用 tasks.max 属性指定 mirrorMaker 配置中的最大连接器任务数量。如果不指定最多任务数,则默认设置是一个单任务。
heartbeat 连接器始终使用单个任务。
为源和检查点连接器启动的任务数量是最大可能任务和 tasks.max 的值之间的较低值。对于源连接器,可以最多的任务数是从源集群复制的每个分区。对于检查点连接器,可能的最大任务数都是从源集群复制的每个消费者组。在设置最多任务数量时,请考虑分区数量和支持进程的硬件资源。
如果基础架构支持处理开销,增加任务数量可提高吞吐量和延迟。例如,添加更多任务可减少在有大量分区或消费者组时轮询源集群所需的时间。
tasks.max 配置用于 MirrorMaker 连接器
clusters=cluster-1,cluster-2
# ...
tasks.max = 10
默认情况下,MirrorMaker 2.0 会每 10 分钟检查新的消费者组。您可以调整 refresh.groups.interval.seconds 配置以更改频率。在调整调整时要小心。更频繁的检查会对性能造成负面影响。