第 14 章 为 AMQ Streams 设置指标和仪表板

Kafka Exporter 是一个开源项目，用于增强对 Apache Kafka 代理和客户端的监控。您可以配置 Kafka 资源，以使用 Kafka 集群部署 Kafka 导出器。Kafka Exporter 从与偏移、消费者组、消费者滞后和主题相关的 Kafka 代理中提取额外的指标数据。例如，指标数据用于帮助识别较慢的用户。滞后数据作为 Prometheus 指标公开，然后可在 Grafana 中显示以进行分析。

Kafka Exporter 从 __consumer_offsets 主题读取，该主题存储消费者组的提交偏移信息。要使 Kafka Exporter 能够正常工作，消费者组需要正在使用。

Kafka Exporter 的 Grafana 仪表板是 AMQ Streams 提供的多个 Grafana 仪表板 之一。

消费者滞后表示消息的速度与消息的消耗的差别。具体来说，给定消费者组的消费者滞后指示分区中最后一个消息之间的延迟，以及当前由该消费者获取的消息之间的延迟。

lag 反映了与分区日志结束相关的消费者偏移的位置。

这种差异有时被称为制作者偏移和消费者偏移之间的 delta ： Kafka 代理主题分区中的读取和写入位置。

假设主题流 100 个消息。在制作者偏移（主题分区头）和最后一个偏移之间发生 1000 个消息，使用者读取的最后偏移时间为 10 秒的延迟。

监控消费者的重要性

对于依赖于实时数据的处理的应用程序，监控消费者来判断其是否不会变得太大。整个过程越好，流程从实时处理目标中得到的增长。

例如，消费者滞后可能是消耗太多的旧数据（这些数据尚未被清除）或出现计划外的关闭。

减少消费者滞后

使用 Grafana chart 分析滞后，检查操作是否减少对受影响的消费者组的影响。例如，如果对 Kafka 代理进行了调整以减少滞后，仪表板将显示 Lag by consumer group 图表下降，Messages consumed per minute 图表增加。

减少滞后的典型操作包括：

减少消费者滞后的操作取决于底层基础架构和 AMQ Streams 的用例。例如，分发的消费者不太可能从其磁盘缓存中获取请求的服务从代理服务。在某些情况下，在消费者发现前，可以接受自动丢弃消息。