18.8. Kafka Connect MBeans
Kafka Connect 指标
属性 | 描述 |
---|---|
connection-close-rate | 窗口中的每秒关闭连接。 |
connection-close-total | 窗口中关闭连接总数。 |
connection-count | 当前活动连接数。 |
connection-creation-rate | 窗口中每秒建立的新连接。 |
connection-creation-total | 在窗口中建立的新连接总数。 |
failed-authentication-rate | 每秒身份验证失败的连接。 |
failed-authentication-total | 失败身份验证的连接总数。 |
failed-reauthentication-rate | 每秒重试身份验证失败的连接数。 |
failed-reauthentication-total | 重新身份验证失败的连接总数。 |
incoming-byte-rate | 所有套接字都读取字节数/秒。 |
incoming-byte-total | 所有套接字读取的总字节。 |
io-ratio | 减少 I/O 线程花费 I/O 的时间。 |
io-time-ns-avg | 每个选择调用的 I/O 的平均时长(以纳秒为单位)。 |
io-time-ns-total | I/O 线程用纳秒表示 I/O 的总时间。 |
io-wait-ratio | I/O 线程等待花费的时间很小。 |
io-wait-time-ns-avg | I/O 线程等待套接字准备好以纳秒表示读取或写入的时间平均长度。 |
io-wait-time-ns-total | I/O 线程用纳秒内等待的总时间。 |
io-waittime-total | 弃用了 I/O 线程在纳秒内等待的总时间。替换为 io-wait-time-ns-total。 |
iotime-total | 弃用了 I/O 线程在纳秒内花费 I/O 的总时间。替换为 io-time-ns-total。 |
network-io-rate | 每秒所有连接上的网络操作平均数量(读取或写入)。 |
network-io-total | 所有连接上的网络操作总数(读取或写入)。 |
outgoing-byte-rate | 每秒发送的平均传出字节数到所有服务器。 |
outgoing-byte-total | 发送到所有服务器的传出字节数。 |
reauthentication-latency-avg | ms 中因为重新身份验证而观察的平均延迟。 |
reauthentication-latency-max | ms 中因为重新身份验证而观察到的最大延迟。 |
request-rate | 每秒发送的请求平均数量。 |
request-size-avg | 窗口中所有请求的平均大小。 |
request-size-max | 窗口中发送的任何请求的最大大小。 |
request-total | 发送的请求总数。 |
response-rate | 每秒收到的响应数。 |
response-total | 收到的响应总数。 |
select-rate | 用于新 I/O 执行的 I/O 层检查的次数。 |
select-total | 要执行的新 I/O 层检查的次数总数。 |
successful-authentication-no-reauth-total | 由较旧且2.2.0 SASL 成功验证的、不支持重新身份验证的客户端的连接的总数。只能是非零。 |
successful-authentication-rate | 每秒使用 SASL 或 SSL 进行身份验证的每秒连接。 |
successful-authentication-total | 使用 SASL 或 SSL 成功验证连接总数。 |
successful-reauthentication-rate | 每秒使用 SASL 重新验证的连接。 |
successful-reauthentication-total | 使用 SASL 成功重新验证连接总数。 |
有关代理连接的 Kafka 连接指标
属性 | 描述 |
---|---|
incoming-byte-rate | 节点每秒收到的字节数。 |
incoming-byte-total | 为节点接收的字节总数。 |
outgoing-byte-rate | 节点每秒发送的平均传出字节数。 |
outgoing-byte-total | 为节点发送的传出字节总数。 |
request-latency-avg | 节点的平均请求延迟(ms)。 |
request-latency-max | 节点的 ms 中的最大请求延迟。 |
request-rate | 节点每秒发送的请求平均数量。 |
request-size-avg | 节点的窗口中所有请求的平均大小。 |
request-size-max | 在窗口中为节点发送的任何请求的最大大小。 |
request-total | 为节点发送的请求总数。 |
response-rate | 节点每秒收到的响应数。 |
response-total | 为节点接收的总响应。 |
有关 worker 的 Kafka 连接指标
属性 | 描述 |
---|---|
connector-count | 此 worker 中运行的连接器数量。 |
connector-startup-attempts-total | 此 worker 试图的连接器启动总数。 |
connector-startup-failure-percentage | 此 worker 连接器的平均百分比开始失败。 |
connector-startup-failure-total | 连接器总数开始失败。 |
connector-startup-success-percentage | 此 worker 连接器的平均百分比开始成功。 |
connector-startup-success-total | 连接器总数开始该成功。 |
task-count | 此 worker 中运行的任务数量。 |
task-startup-attempts-total | 此 worker 试图的任务启动总数。 |
task-startup-failure-percentage | 此 worker 任务的平均百分比开始失败。 |
task-startup-failure-total | 任务总数启动失败。 |
task-startup-success-percentage | 此 worker 任务的平均百分比开始成功。 |
task-startup-success-total | 任务总数启动成功。 |
有关重新平衡的 Kafka 连接指标
属性 | 描述 |
---|---|
completed-rebalances-total | 此 worker 完成的重新平衡总数。 |
connect-protocol | 此集群使用的连接协议。 |
epoch | 此 worker 的 epoch 或生成号。 |
leader-name | 组领导的名称。 |
rebalance-avg-time-ms | 此 worker 消耗的平均时间(以毫秒为单位)来重新平衡。 |
rebalance-max-time-ms | 此 worker 消耗的最大时间(以毫秒为单位)来重新平衡。 |
重新平衡 | 此 worker 当前是否重新平衡。 |
time-since-last-rebalance-ms | 此工作程序完成最近重新平衡后的时间(毫秒)。 |
有关连接器的 Kafka 连接指标
属性 | 描述 |
---|---|
connector-class | 连接器类的名称。 |
connector-type | 连接器的类型。'source' 或 'sink' 之一。 |
connector-version | 连接器类的版本,如连接器所示。 |
status | 连接器的状态。'unassigned'、'running'、'paused'、'failed' 或 'destroyed' 的一个。 |
有关连接器任务的 Kafka 连接指标
属性 | 描述 |
---|---|
batch-size-avg | 连接器处理批量的平均大小。 |
batch-size-max | 连接器处理批量的最大大小。 |
offset-commit-avg-time-ms | 此任务处理的平均时间(毫秒为单位)来提交偏移量。 |
offset-commit-failure-percentage | 此任务偏移提交尝试失败的平均百分比。 |
offset-commit-max-time-ms | 此任务处理的最大时间(以毫秒为单位)来提交偏移量。 |
offset-commit-success-percentage | 此任务偏移提交尝试成功的平均百分比。 |
pause-ratio | 该任务花在暂停状态的时间里。 |
running-ratio | 该任务花费在运行状态的时间里。 |
status | 连接器任务的状态。'unassigned'、'running'、'paused'、'failed' 或 'destroyed' 的一个。 |
Kafka Connect 指标有关接收器连接器
属性 | 描述 |
---|---|
offset-commit-completion-rate | 成功完成的偏移提交完成的平均数量。 |
offset-commit-completion-total | 成功完成偏移提交总数。 |
offset-commit-seq-no | 用于偏移提交的当前序列号。 |
offset-commit-skip-rate | 接收太晚和跳过/忽略的偏移提交完成的平均每秒数。 |
offset-commit-skip-total | 接收太晚和跳过/忽略的偏移提交完成总数。 |
partition-count | 分配给此任务的主题分区数量,在此 worker 中属于命名接收器连接器。 |
put-batch-avg-time-ms | 此任务执行的平均时间,以放置一个 sink 记录批处理。 |
put-batch-max-time-ms | 此任务执行的最长时间,以放置一个 sink 记录批处理。 |
sink-record-active-count | 从 Kafka 读取的记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。 |
sink-record-active-count-avg | 从 Kafka 读取的平均记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。 |
sink-record-active-count-max | 从 Kafka 读取的最大记录数量,但还没有完全提交/冲刷/已由 sink 任务提交/确认。 |
sink-record-lag-max | sink 任务在消费者的任何主题分区位置后面的记录数量上限。 |
sink-record-read-rate | 在此 worker 中属于命名 sink 连接器的此任务从 Kafka 读取的平均记录数。这是在应用转换前。 |
sink-record-read-total | 此任务从 Kafka 读取的记录总数属于这个 worker 中的命名 sink 连接器,因为任务上次重启。 |
sink-record-send-rate | 转换转换和发送/争夺此任务的每秒记录输出数,以及属于此 worker 中命名接收器连接器的每秒记录数。这是应用转换后,会排除转换过滤的所有记录。 |
sink-record-send-total | 由于任务最后一次重新启动,因此转换的记录输出总数并将/输出发送到此 worker 中名为 sink 连接器的任务。 |
关于源连接器的 Kafka 连接指标
属性 | 描述 |
---|---|
poll-batch-avg-time-ms | 此任务处理的平均时间(毫秒)以轮询批量源记录。 |
poll-batch-max-time-ms | 此任务所花费的最大时间(以毫秒为单位),以轮询批量源记录。 |
source-record-active-count | 此任务生成的记录数,但还没有完全写入 Kafka。 |
source-record-active-count-avg | 此任务生成的平均记录数,但还没有完全写入 Kafka。 |
source-record-active-count-max | 此任务生成的最大记录数,但还没有完全写入 Kafka。 |
source-record-poll-rate | 此任务属于这个 worker 中的指定源连接器,每秒由每秒记录数(在转换前)进行(转换)。 |
source-record-poll-total | 此任务属于这个 worker 中命名源连接器的记录总数(在转换前) |
source-record-write-rate | 从转换后,对此任务的每秒记录输出数平均数写入 Kafka,此任务属于这个 worker 中命名的源连接器。这是应用转换后,会排除转换过滤的所有记录。 |
source-record-write-total | 由于任务最后一次重启,记录从转换中转换并写入 Kafka 的任务的记录数,并写入此 worker 中名为 source 连接器的任务。 |
transaction-size-avg | 任务目前已提交的事务中平均记录数。 |
transaction-size-max | 任务目前已提交的最大事务中的记录数。 |
transaction-size-min | 到目前为止,任务提交的最小事务中的记录数。 |
有关连接器错误的 Kafka 连接指标
属性 | 描述 |
---|---|
deadletterqueue-produce-failures | 写入死信队列的失败次数。 |
deadletterqueue-produce-requests | 试图写入死信队列的数量。 |
last-error-timestamp | 此任务最后一次遇到错误时的 epoch 时间戳。 |
total-errors-logged | 记录的错误数量。 |
total-record-errors | 此任务中的记录处理错误的数量。 |
total-record-failures | 此任务中的记录处理失败的数量。 |
total-records-skipped | 由于错误而跳过的记录数。 |
total-retries | 重试的操作数量。 |