18.8. Kafka Connect MBeans
Kafka 连接指标
| 属性 | 描述 |
|---|---|
| connection-close-rate | 在窗口中每秒关闭连接。 |
| connection-close-total | 窗口中关闭的总连接。 |
| connection-count | 当前活跃连接数。 |
| connection-creation-rate | 在窗口中每秒建立的新连接。 |
| connection-creation-total | 在窗口中建立的新连接总数。 |
| failed-authentication-rate | 每秒连接失败验证。 |
| failed-authentication-total | 失败验证的连接总数。 |
| failed-reauthentication-rate | 重新身份验证失败每秒的连接。 |
| failed-reauthentication-total | 重新验证失败的连接总数。 |
| incoming-byte-rate | 字节/秒读取所有套接字。 |
| incoming-byte-total | 所有套接字读取的总字节数。 |
| io-ratio | I/O 线程处理 I/O 线程所花费的时间部分。 |
| io-time-ns-avg | 每个选择调用以纳秒为 I/O 的平均时长。 |
| io-time-ns-total | I/O 线程用纳秒进行 I/O 的内存总时间。 |
| io-wait-ratio | I/O 线程等待的比例。 |
| io-wait-time-ns-avg | I/O 线程等待套接字就绪以纳秒为读取和写入的平均时长。 |
| io-wait-time-ns-total | I/O 线程用纳秒等待的总时间。 |
| io-waittime-total | 弃用了 I/O 线程用纳秒等待的总时间。替换为 io-wait-time-ns-total。 |
| iotime-total | 弃用了 I/O 线程用纳秒进行 I/O 的内存总时间。替换为 io-time-ns-total。 |
| network-io-rate | 每秒所有连接的平均网络操作数(读或写入)。 |
| network-io-total | 所有连接上的网络操作总数(读或写入)。 |
| outgoing-byte-rate | 每秒发送到所有服务器的平均出站字节数。 |
| outgoing-byte-total | 发送到所有服务器的传出字节数。 |
| reauthentication-latency-avg | 由于身份验证而观察到的平均延迟(以毫秒为单位)。 |
| reauthentication-latency-max | 由于身份验证而观察到的最大延迟。 |
| request-rate | 每秒发送的请求数平均数量。 |
| request-size-avg | 窗口中所有请求的平均大小。 |
| request-size-max | 在窗口中发送的任何请求的最大大小。 |
| request-total | 发送的请求总数。 |
| response-rate | 每秒收到的响应数。 |
| response-total | 收到的总响应。 |
| select-rate | I/O 层检查每秒执行的新 I/O 的次数。 |
| select-total | I/O 层检查要执行的新 I/O 的次数总数。 |
| successful-authentication-no-reauth-total | 由旧的 pre-2.2.0 SASL 客户端(不支持 re-authentication)成功验证的连接总数。只能是非零。 |
| successful-authentication-rate | 每秒的连接使用 SASL 或 SSL 进行身份验证。 |
| successful-authentication-total | 使用 SASL 或 SSL 验证成功的连接总数。 |
| successful-reauthentication-rate | 成功使用 SASL 重新验证的每秒连接。 |
| successful-reauthentication-total | 使用 SASL 成功验证的连接总数。 |
Kafka 连接代理连接指标
| 属性 | 描述 |
|---|---|
| incoming-byte-rate | 节点每秒接收的平均字节数。 |
| incoming-byte-total | 为节点接收的字节数。 |
| outgoing-byte-rate | 为节点每秒发送的平均出站字节数。 |
| outgoing-byte-total | 为节点发送的传出字节数。 |
| request-latency-avg | 节点的平均请求延迟(ms)。 |
| request-latency-max | 节点的最大请求延迟。 |
| request-rate | 为节点每秒发送的请求的平均请求数。 |
| request-size-avg | 节点窗口中的所有请求的平均大小。 |
| request-size-max | 在窗口中为节点发送的任何请求的最大大小。 |
| request-total | 为节点发送的请求总数。 |
| response-rate | 为节点每秒收到的响应。 |
| response-total | 为节点接收的总响应。 |
Kafka 连接 worker 的指标
| 属性 | 描述 |
|---|---|
| connector-count | 此 worker 中运行连接器的数量。 |
| connector-startup-attempts-total | 此 worker 已尝试的连接器启动总数。 |
| connector-startup-failure-percentage | 此 worker 连接器的平均百分比启动该失败。 |
| connector-startup-failure-total | 连接器的总数启动该失败。 |
| connector-startup-success-percentage | 此 worker 连接器的平均百分比会启动该成功。 |
| connector-startup-success-total | 连接器总数会启动该成功。 |
| task-count | 此 worker 中运行的任务数量。 |
| task-startup-attempts-total | 此 worker 已尝试的任务启动总数。 |
| task-startup-failure-percentage | 此 worker 任务的平均百分比启动该失败。 |
| task-startup-failure-total | 任务总数启动该失败。 |
| task-startup-success-percentage | 此 worker 任务的平均百分比会启动成功。 |
| task-startup-success-total | 任务总数会启动该成功。 |
Kafka 连接到有关重新平衡的指标
| 属性 | 描述 |
|---|---|
| completed-rebalances-total | 此 worker 完成的重新平衡总数。 |
| connect-protocol | 此集群使用的 Connect 协议。 |
| epoch | 此 worker 的 epoch 或生成数量。 |
| leader-name | 组的 leader 的名称。 |
| rebalance-avg-time-ms | 此 worker 要重新平衡的平均时间(以毫秒为单位)。 |
| rebalance-max-time-ms | 此 worker 要重新平衡的最大时间(以毫秒为单位)。 |
| 重新平衡 | 此 worker 当前是重新平衡。 |
| time-since-last-rebalance-ms | 此工作线程完成最新的重新平衡后,以毫秒为单位。 |
Kafka 连接指标
| 属性 | 描述 |
|---|---|
| connector-class | 连接器类的名称。 |
| connector-type | 连接器的类型。'source' 或 'sink' 之一。 |
| connector-version | 连接器类的版本,如连接器所示。 |
| status | 连接器的状态。'unassigned', 'running', 'paused', 'failed' 或 'restarting' 之一。 |
Kafka 连接到连接器任务的指标
| 属性 | 描述 |
|---|---|
| batch-size-avg | 连接器处理批量的平均大小。 |
| batch-size-max | 连接器处理的最大批处理大小。 |
| offset-commit-avg-time-ms | 此任务用于提交偏移时间的平均时间(以毫秒为单位)。 |
| offset-commit-failure-percentage | 此任务的偏移提交尝试失败的平均百分比。 |
| offset-commit-max-time-ms | 此任务提交偏移时间的最大时间(以毫秒为单位)。 |
| offset-commit-success-percentage | 此任务的偏移提交尝试成功的平均百分比。 |
| pause-ratio | 此任务花费在暂停状态的时间部分。 |
| running-ratio | 此任务处于 running 状态的时间部分。 |
| status | 连接器任务的状态。'unassigned', 'running', 'paused', 'failed' 或 'restarting' 之一。 |
Kafka Connect 指标有关接收器连接器
| 属性 | 描述 |
|---|---|
| offset-commit-completion-rate | 成功完成每秒的偏移提交完成的平均时间。 |
| offset-commit-completion-total | 成功完成的偏移提交完成总数。 |
| offset-commit-seq-no | 偏移提交的当前序列号。 |
| offset-commit-skip-rate | 收到了太晚并跳过/忽略的每秒的提交完成平均数。 |
| offset-commit-skip-total | 发生过晚并跳过/忽略的偏移提交完成总数。 |
| partition-count | 分配给此任务的主题分区数量,属于这个 worker 中的命名 sink 连接器。 |
| put-batch-avg-time-ms | 此任务要花费大量接收器记录的平均时间。 |
| put-batch-max-time-ms | 此任务需要花费大量接收器记录的时间。 |
| sink-record-active-count | 从 Kafka 读取的记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。 |
| sink-record-active-count-avg | 从 Kafka 读取的平均记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。 |
| sink-record-active-count-max | 从 Kafka 读取的最大记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。 |
| sink-record-lag-max | sink 任务在消费者的任何主题分区位置后面的记录数量上限。 |
| sink-record-read-rate | 此任务从 Kafka 读取的平均记录数属于这个 worker 中命名接收器连接器。这是在应用转换前。 |
| sink-record-read-total | 此任务从 Kafka 读取的记录总数属于这个 worker 中的命名 sink 连接器,因为任务上次重启。 |
| sink-record-send-rate | 转换后的平均记录输出数平均数,并将/目标发送到此任务,属于此 worker 中命名的 sink 连接器。这是应用转换后,并排除转换所过滤的所有记录。 |
| sink-record-send-total | 记录输出的总数被转换并发送到这个 worker 中属于这个 worker 中命名 sink 连接器的此任务,因为任务是最后重启的。 |
Kafka Connect 指标有关源连接器
| 属性 | 描述 |
|---|---|
| poll-batch-avg-time-ms | 此任务的平均时间(以毫秒为单位)轮询批处理源记录。 |
| poll-batch-max-time-ms | 此任务用于轮询批处理源记录所花费的最大时间(以毫秒为单位)。 |
| source-record-active-count | 此任务生成的记录数,但还没有完全写入 Kafka。 |
| source-record-active-count-avg | 此任务生成的平均记录数,但还没有完全写入 Kafka。 |
| source-record-active-count-max | 此任务生成的最大记录数,但还没有完全写入 Kafka。 |
| source-record-poll-rate | 此任务生成的/策略(之前转换)的平均记录数属于此 worker 中命名源连接器。 |
| source-record-poll-total | 此任务生成的/策略(之前转换)的记录总数属于此 worker 中的指定源连接器。 |
| source-record-write-rate | 从转换后,对此任务的每秒记录输出数平均数写入 Kafka,此任务属于这个 worker 中命名的源连接器。这是应用转换后,并排除转换所过滤的所有记录。 |
| source-record-write-total | 此 worker 中属于指定源连接器(因为任务上次重启以来,这个任务的转换和写入 Kafka)的记录数量。 |
| transaction-size-avg | 到目前为止,任务提交的事务中平均记录数。 |
| transaction-size-max | 到目前为止,最大型事务中的记录数量。 |
| transaction-size-min | 到目前为止,任务提交的最小事务中的记录数量。 |
Kafka Connect 指标有关连接器错误
| 属性 | 描述 |
|---|---|
| deadletterqueue-produce-failures | 对死信队列的失败写入次数。 |
| deadletterqueue-produce-requests | 尝试写入死信队列的数量。 |
| last-error-timestamp | 此任务最后一次遇到错误时的 epoch 时间戳。 |
| total-errors-logged | 记录的错误数。 |
| total-record-errors | 此任务中记录处理错误的数量。 |
| total-record-failures | 此任务中记录处理失败的数量。 |
| total-records-skipped | 由于错误而跳过的记录数量。 |
| total-retries | 重试操作数量。 |