第 16 章使用 Kafka Exporter

Kafka Exporter 是一个开源项目，用于增强对 Apache Kafka 代理和客户端的监控。

Kafka Exporter 由 AMQ Streams 提供与 Kafka 集群进行部署，以从 Kafka 代理中提取与偏移、消费者组、消费者 lag 和主题相关的额外指标数据。

例如，使用指标数据来帮助识别缓慢的消费者。

lag 数据作为 Prometheus 指标公开，然后可在 Grafana 中进行分析。

如果您已经使用 Prometheus 和 Grafana 监控内置 Kafka 指标，您可以将 Prometheus 配置为还提取 Kafka Exporter Prometheus 端点。

Kafka 通过 JMX 公开指标，然后将其导出为 Prometheus 指标。如需更多信息，请参阅使用 JMX 监控您的集群。

16.1. 消费 lag
复制链接

消费者滞后表示消息的速度与消息的消耗的差别。具体来说，给定使用者组的使用者 lag 指示分区中最后一条消息之间的延时，以及当前由该使用者获取的消息之间的延迟。lag 反映了与分区日志末尾相关的使用者偏移位置。

这种区别有时被称为制作者偏移和消费者偏移之间的 delta，即 Kafka 代理主题分区中的读取和写入位置。

假设主题流 100 条消息。生产偏移（主题分区头）和最后的偏移量之间是 1000 条消息的 lag 表示 10 秒的延迟。

监控消费者的重要性

对于依赖于实时数据的处理的应用程序，监控消费者来判断其是否不会变得太大。整个过程越好，流程从实时处理目标中得到的增长。

例如，消费者滞后可能是消耗太多的旧数据（这些数据尚未被清除）或出现计划外的关闭。

减少消费 lag

减少 lag 的典型操作包括：

减少消费者 lag 的操作取决于底层基础架构和 AMQ Streams 的支持。例如，分发的消费者不太可能从其磁盘缓存中获取请求的服务从代理服务。在某些情况下，在消费者发现之前，自动丢弃消息可能可以接受。

返回顶部