5.6. 监控 Debezium MySQL 连接器性能
Debezium MySQL 连接器除了对 Zookeeper、Kafka 和 Kafka Connect 提供的 JMX 指标的内置支持外,还提供三种类型的指标。
Debezium 监控文档 提供了有关如何使用 JMX 公开这些指标的详细信息。
5.6.1. 在 MySQL 数据库的快照期间监控 Debezium
MBean 是 debezium.mysql:type=connector-metrics,context=snapshot,server= <mysql.server.name>
。
除非快照操作处于活跃状态,否则快照指标不会被公开,或者快照自上次连接器启动后发生。
下表列出了可用的 shapshot 指标。
属性 | 类型 | 描述 |
---|---|---|
| 连接器读取的最后一个快照事件。 | |
| 连接器读取和处理最新事件以来的毫秒数。 | |
| 此连接器从上次启动或重置后看到的事件总数。 | |
| 由连接器中配置的 include/exclude 列表过滤规则过滤的事件数。 | |
| 连接器捕获的表列表。 | |
| 用于在快照和主 Kafka Connect 循环之间传递事件的队列长度。 | |
| 用于在快照和主 Kafka Connect 循环之间传递事件的队列的空闲容量。 | |
| 包括在快照中的表的总数。 | |
| 快照要复制的表数。 | |
| 快照是否启动。 | |
| 快照是否暂停。 | |
| 快照是否中止。 | |
| 快照是否完成。 | |
| 快照目前花费的秒数,即使未完成也是如此。还包括快照暂停时的时间。 | |
| 快照暂停的秒数。如果快照暂停多次,则暂停的时间会增加。 | |
| 包含快照中每个表扫描的行数的映射。表在处理期间逐步添加到映射中。更新每个 10,000 行扫描,并在完成表后更新。 | |
|
队列的最大缓冲区(以字节为单位)。如果 | |
| 队列中记录的当前卷(以字节为单位)。 |
在执行增量快照时,连接器还提供以下额外快照指标:
属性 | 类型 | 描述 |
---|---|---|
| 当前快照块的标识符。 | |
| 定义当前块的主键集的下限。 | |
| 定义当前块的主密钥集的上限。 | |
| 当前快照表的主键集的下限。 | |
| 当前快照表的主键集的上限。 |
Debezium MySQL 连接器还提供 HoldingGlobalLock
自定义快照指标。此指标设置为布尔值,指示连接器当前是否包含全局或者表写入锁定。
5.6.2. 监控 Debezium MySQL 连接器记录流
只有在启用了 binlog 事件缓冲时,事务相关的属性才可用。MBean 是 debezium.mysql:type=connector-metrics,context=streaming,server= <mysql.server.name>
。
下表列出了可用的流指标。
属性 | 类型 | 描述 |
---|---|---|
| 连接器读取的最后一个流事件。 | |
| 连接器读取和处理最新事件以来的毫秒数。 | |
| 此连接器自上次开始或指标重置以来看到的事件总数。 | |
| 此连接器自上次开始或指标重置以来看到的创建事件总数。 | |
| 此连接器自上次开始或指标重置以来看到的更新事件总数。 | |
| 此连接器自上次开始或指标重置以来看到的删除事件总数。 | |
| 由连接器中配置的 include/exclude 列表过滤规则过滤的事件数。 | |
| 连接器捕获的表列表。 | |
| 用于在流和主 Kafka Connect 循环之间传递事件的队列长度。 | |
| 用于在流和主 Kafka Connect 循环之间传递事件的队列的空闲容量。 | |
| 表示连接器当前是否连接到数据库服务器的标记。 | |
| 最后一次更改事件时间戳和连接器处理之间毫秒的数量。该值将限制运行数据库服务器和连接器的机器上时钟之间的差别。 | |
| 已提交的已处理的事务数量。 | |
| 最后一次接收的事件的协调。 | |
| 最后一次处理的事务的事务标识符。 | |
|
队列的最大缓冲区(以字节为单位)。如果 | |
| 队列中记录的当前卷(以字节为单位)。 |
Debezium MySQL 连接器还提供以下额外的流指标:
属性 | 类型 | 描述 |
---|---|---|
| 连接器最近读取的 binlog 文件的名称。 | |
| 连接器读取的 binlog 中最新位置(以字节为单位)。 | |
| 表示连接器当前是否从 MySQL 服务器跟踪 GTID 的标记。 | |
| 读取 binlog 时由连接器处理的最新 GTID 集的字符串表示。 | |
| MySQL 连接器跳过的事件数。通常,事件会被跳过,因为 MySQL 的 binlog 中不正确的或未解析的事件。 | |
| MySQL 连接器断开连接的数量。 | |
| 已回滚且未流传输的已处理事务的数量。 | |
|
未符合 | |
|
不适用于 look-ahead 缓冲区的事务数量。为获得最佳性能,这个值应显著小于 |
5.6.3. 监控 Debezium MySQL 连接器模式历史记录
MBean 是 debezium.mysql:type=connector-metrics,context=schema-history,server= <mysql.server.name>
。
下表列出了可用的模式历史记录指标。
属性 | 类型 | 描述 |
---|---|---|
|
| |
| 恢复开始的时间(以 epoch 秒为单位)。 | |
| 恢复阶段读取的更改数量。 | |
| 恢复和运行时应用的架构更改总数。 | |
| 从历史记录存储中恢复自上次更改以来的毫秒数。 | |
| 从上次更改被应用后经过的毫秒数。 | |
| 从历史记录存储中恢复最后一次更改的字符串表示。 | |
| 最后一次应用的更改的字符串表示。 |