8.4. 指定最大任务数
连接器创建负责在 Kafka 中移动数据的任务。每个连接器由一个或多个运行任务的 worker 间分发的任务组成。
任务并行运行。为 worker 分配一个或多个任务。单个任务由一个 worker 处理,因此您不需要多于任务的 worker。如果有多个任务,worker 会处理多个任务。
您可以使用 tasks.max
属性指定 MirrorMaker 配置中的最大连接器任务数量。在不指定最大任务数量的情况下,默认设置是单个任务。如果基础架构支持处理开销,增加任务数量可以提高吞吐量。
MirrorMaker 连接器的 tasks.max 配置
clusters=cluster-1,cluster-2 # ... tasks.max = 10
clusters=cluster-1,cluster-2
# ...
tasks.max = 10
对于源连接器,可能的最大任务数是从源集群复制的每个分区。对于检查点连接器,可能的最大任务数是从源集群复制的每个组。为这些连接器启动的任务数量是最大可能任务数和 tasks.max
的值之间的较低值。
heartbeat 连接器始终使用单个任务。