18.8. Kafka Connect MBeans


注意

除本文之外,Kafka Connect 还会包含源连接器和 使用者 MBeans for sink 连接器的 制作者 MBean。

Kafka 连接指标

Expand
表 18.12. Mbeans matching kafka.connect:type=connect-metrics,client-id=*
属性描述

connection-close-rate

在窗口中每秒关闭连接。

connection-close-total

窗口中关闭的总连接。

connection-count

当前活跃连接数。

connection-creation-rate

在窗口中每秒建立的新连接。

connection-creation-total

在窗口中建立的新连接总数。

failed-authentication-rate

每秒连接失败验证。

failed-authentication-total

失败验证的连接总数。

failed-reauthentication-rate

重新身份验证失败每秒的连接。

failed-reauthentication-total

重新验证失败的连接总数。

incoming-byte-rate

字节/秒读取所有套接字。

incoming-byte-total

所有套接字读取的总字节数。

io-ratio

I/O 线程处理 I/O 线程所花费的时间部分。

io-time-ns-avg

每个选择调用以纳秒为 I/O 的平均时长。

io-time-ns-total

I/O 线程用纳秒进行 I/O 的内存总时间。

io-wait-ratio

I/O 线程等待的比例。

io-wait-time-ns-avg

I/O 线程等待套接字就绪以纳秒为读取和写入的平均时长。

io-wait-time-ns-total

I/O 线程用纳秒等待的总时间。

io-waittime-total

弃用了 I/O 线程用纳秒等待的总时间。替换为 io-wait-time-ns-total。

iotime-total

弃用了 I/O 线程用纳秒进行 I/O 的内存总时间。替换为 io-time-ns-total。

network-io-rate

每秒所有连接的平均网络操作数(读或写入)。

network-io-total

所有连接上的网络操作总数(读或写入)。

outgoing-byte-rate

每秒发送到所有服务器的平均出站字节数。

outgoing-byte-total

发送到所有服务器的传出字节数。

reauthentication-latency-avg

由于身份验证而观察到的平均延迟(以毫秒为单位)。

reauthentication-latency-max

由于身份验证而观察到的最大延迟。

request-rate

每秒发送的请求数平均数量。

request-size-avg

窗口中所有请求的平均大小。

request-size-max

在窗口中发送的任何请求的最大大小。

request-total

发送的请求总数。

response-rate

每秒收到的响应数。

response-total

收到的总响应。

select-rate

I/O 层检查每秒执行的新 I/O 的次数。

select-total

I/O 层检查要执行的新 I/O 的次数总数。

successful-authentication-no-reauth-total

由旧的 pre-2.2.0 SASL 客户端(不支持 re-authentication)成功验证的连接总数。只能是非零。

successful-authentication-rate

每秒的连接使用 SASL 或 SSL 进行身份验证。

successful-authentication-total

使用 SASL 或 SSL 验证成功的连接总数。

successful-reauthentication-rate

成功使用 SASL 重新验证的每秒连接。

successful-reauthentication-total

使用 SASL 成功验证的连接总数。

Kafka 连接代理连接指标

Expand
表 18.13. Mbeans matching kafka.connect:type=connect-metrics,client-id=*,node-id=*
属性描述

incoming-byte-rate

节点每秒接收的平均字节数。

incoming-byte-total

为节点接收的字节数。

outgoing-byte-rate

为节点每秒发送的平均出站字节数。

outgoing-byte-total

为节点发送的传出字节数。

request-latency-avg

节点的平均请求延迟(ms)。

request-latency-max

节点的最大请求延迟。

request-rate

为节点每秒发送的请求的平均请求数。

request-size-avg

节点窗口中的所有请求的平均大小。

request-size-max

在窗口中为节点发送的任何请求的最大大小。

request-total

为节点发送的请求总数。

response-rate

为节点每秒收到的响应。

response-total

为节点接收的总响应。

Kafka 连接 worker 的指标

Expand
表 18.14. Mbeans matching kafka.connect:type=connect-worker-metrics
属性描述

connector-count

此 worker 中运行连接器的数量。

connector-startup-attempts-total

此 worker 已尝试的连接器启动总数。

connector-startup-failure-percentage

此 worker 连接器的平均百分比启动该失败。

connector-startup-failure-total

连接器的总数启动该失败。

connector-startup-success-percentage

此 worker 连接器的平均百分比会启动该成功。

connector-startup-success-total

连接器总数会启动该成功。

task-count

此 worker 中运行的任务数量。

task-startup-attempts-total

此 worker 已尝试的任务启动总数。

task-startup-failure-percentage

此 worker 任务的平均百分比启动该失败。

task-startup-failure-total

任务总数启动该失败。

task-startup-success-percentage

此 worker 任务的平均百分比会启动成功。

task-startup-success-total

任务总数会启动该成功。

Kafka 连接到有关重新平衡的指标

Expand
表 18.15. Mbeans matching kafka.connect:type=connect-worker-rebalance-metrics
属性描述

completed-rebalances-total

此 worker 完成的重新平衡总数。

connect-protocol

此集群使用的 Connect 协议。

epoch

此 worker 的 epoch 或生成数量。

leader-name

组的 leader 的名称。

rebalance-avg-time-ms

此 worker 要重新平衡的平均时间(以毫秒为单位)。

rebalance-max-time-ms

此 worker 要重新平衡的最大时间(以毫秒为单位)。

重新平衡

此 worker 当前是重新平衡。

time-since-last-rebalance-ms

此工作线程完成最新的重新平衡后,以毫秒为单位。

Kafka 连接指标

Expand
表 18.16. Mbeans matching kafka.connect:type=connector-metrics,connector=*
属性描述

connector-class

连接器类的名称。

connector-type

连接器的类型。'source' 或 'sink' 之一。

connector-version

连接器类的版本,如连接器所示。

status

连接器的状态。'unassigned', 'running', 'paused', 'failed' 或 'restarting' 之一。

Kafka 连接到连接器任务的指标

Expand
表 18.17. Mbeans matching kafka.connect:type=connector-task-metrics,connector=*,task=*
属性描述

batch-size-avg

连接器处理批量的平均大小。

batch-size-max

连接器处理的最大批处理大小。

offset-commit-avg-time-ms

此任务用于提交偏移时间的平均时间(以毫秒为单位)。

offset-commit-failure-percentage

此任务的偏移提交尝试失败的平均百分比。

offset-commit-max-time-ms

此任务提交偏移时间的最大时间(以毫秒为单位)。

offset-commit-success-percentage

此任务的偏移提交尝试成功的平均百分比。

pause-ratio

此任务花费在暂停状态的时间部分。

running-ratio

此任务处于 running 状态的时间部分。

status

连接器任务的状态。'unassigned', 'running', 'paused', 'failed' 或 'restarting' 之一。

Kafka Connect 指标有关接收器连接器

Expand
表 18.18. Mbeans matching kafka.connect:type=sink-task-metrics,connector=*,task=*
属性描述

offset-commit-completion-rate

成功完成每秒的偏移提交完成的平均时间。

offset-commit-completion-total

成功完成的偏移提交完成总数。

offset-commit-seq-no

偏移提交的当前序列号。

offset-commit-skip-rate

收到了太晚并跳过/忽略的每秒的提交完成平均数。

offset-commit-skip-total

发生过晚并跳过/忽略的偏移提交完成总数。

partition-count

分配给此任务的主题分区数量,属于这个 worker 中的命名 sink 连接器。

put-batch-avg-time-ms

此任务要花费大量接收器记录的平均时间。

put-batch-max-time-ms

此任务需要花费大量接收器记录的时间。

sink-record-active-count

从 Kafka 读取的记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。

sink-record-active-count-avg

从 Kafka 读取的平均记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。

sink-record-active-count-max

从 Kafka 读取的最大记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。

sink-record-lag-max

sink 任务在消费者的任何主题分区位置后面的记录数量上限。

sink-record-read-rate

此任务从 Kafka 读取的平均记录数属于这个 worker 中命名接收器连接器。这是在应用转换前。

sink-record-read-total

此任务从 Kafka 读取的记录总数属于这个 worker 中的命名 sink 连接器,因为任务上次重启。

sink-record-send-rate

转换后的平均记录输出数平均数,并将/目标发送到此任务,属于此 worker 中命名的 sink 连接器。这是应用转换后,并排除转换所过滤的所有记录。

sink-record-send-total

记录输出的总数被转换并发送到这个 worker 中属于这个 worker 中命名 sink 连接器的此任务,因为任务是最后重启的。

Kafka Connect 指标有关源连接器

Expand
表 18.19. Mbeans matching kafka.connect:type=source-task-metrics,connector=*,task=*
属性描述

poll-batch-avg-time-ms

此任务的平均时间(以毫秒为单位)轮询批处理源记录。

poll-batch-max-time-ms

此任务用于轮询批处理源记录所花费的最大时间(以毫秒为单位)。

source-record-active-count

此任务生成的记录数,但还没有完全写入 Kafka。

source-record-active-count-avg

此任务生成的平均记录数,但还没有完全写入 Kafka。

source-record-active-count-max

此任务生成的最大记录数,但还没有完全写入 Kafka。

source-record-poll-rate

此任务生成的/策略(之前转换)的平均记录数属于此 worker 中命名源连接器。

source-record-poll-total

此任务生成的/策略(之前转换)的记录总数属于此 worker 中的指定源连接器。

source-record-write-rate

从转换后,对此任务的每秒记录输出数平均数写入 Kafka,此任务属于这个 worker 中命名的源连接器。这是应用转换后,并排除转换所过滤的所有记录。

source-record-write-total

此 worker 中属于指定源连接器(因为任务上次重启以来,这个任务的转换和写入 Kafka)的记录数量。

transaction-size-avg

到目前为止,任务提交的事务中平均记录数。

transaction-size-max

到目前为止,最大型事务中的记录数量。

transaction-size-min

到目前为止,任务提交的最小事务中的记录数量。

Kafka Connect 指标有关连接器错误

Expand
表 18.20. Mbeans matching kafka.connect:type=task-error-metrics,connector=*,task=*
属性描述

deadletterqueue-produce-failures

对死信队列的失败写入次数。

deadletterqueue-produce-requests

尝试写入死信队列的数量。

last-error-timestamp

此任务最后一次遇到错误时的 epoch 时间戳。

total-errors-logged

记录的错误数。

total-record-errors

此任务中记录处理错误的数量。

total-record-failures

此任务中记录处理失败的数量。

total-records-skipped

由于错误而跳过的记录数量。

total-retries

重试操作数量。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat