8.4. 指定最多任务数


连接器创建负责将数据从 Kafka 中移动和移出的任务。每个连接器组成一个或多个在一组运行任务的 worker pod 中分发的任务。在复制大量分区或同步大量消费者组的偏移时,增加任务数量可以帮助解决性能问题。

任务并行运行。worker 分配一个或多个任务。单个任务由一个 worker pod 处理,因此您不需要多于任务的 worker pod。如果有多个任务,worker 会处理多个任务。

您可以使用 tasks.max 属性指定 MirrorMaker 配置中的最大连接器任务数量。若不指定最多任务数量,默认设置为单个任务。

heartbeat 连接器始终使用单个任务。

为源启动的任务数量,检查点连接器是可能的最大任务和 tasks 数和 tasks.max 的值之间的较低值。对于源连接器,可能的最大任务数都是从源集群复制的每个分区。对于检查点连接器,可能的最大任务数都是从源集群复制的每个消费者组。在设置最多任务数量时,请考虑分区数量和支持进程的硬件资源。

如果基础架构支持处理开销,增加任务数量可提高吞吐量和延迟。例如,添加更多任务可减少在有大量分区或消费者组时轮询源集群所需时间。

tasks.max 配置用于 MirrorMaker 连接器

clusters=cluster-1,cluster-2
# ...
tasks.max = 10

默认情况下,MirrorMaker 2.0 每 10 分钟检查新的消费者组。您可以调整 refresh.groups.interval.seconds 配置以更改频率。调整较低时要小心。更频繁的检查会对性能造成负面影响。

Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2026 Red Hat
返回顶部