14.4. 部署 Prometheus 指标配置
部署 Prometheus 指标配置,以将 Prometheus 与 AMQ Streams 搭配使用。使用 metricsConfig 属性启用和配置 Prometheus 指标。
您可以使用您自己的配置或 AMQ Streams 提供的示例自定义资源配置文件。
-
kafka-metrics.yaml -
kafka-connect-metrics.yaml -
kafka-mirror-maker-2-metrics.yaml -
kafka-bridge-metrics.yaml -
kafka-cruise-control-metrics.yaml
示例配置文件已重新标记规则,以及启用 Prometheus 指标所需的配置。Prometheus 从目标 HTTP 端点中提取指标。示例文件是尝试使用 AMQ Streams 尝试 Prometheus 的好方法。
要应用重新标记规则和指标配置,请执行以下操作之一:
- 将示例配置复制到您自己的自定义资源中
- 使用指标配置部署自定义资源
如果要包含 Kafka Exporter 指标,请在 Kafka 资源中添加 kafkaExporter 配置。
Kafka Exporter 仅提供与消费者滞后和消费者偏移相关的额外指标。对于常规 Kafka 指标,您必须在 Kafka 代理 中配置 Prometheus 指标。
此流程演示了如何在 Kafka 资源中部署 Prometheus 指标配置。将示例文件用于其他资源时,该过程相同。
流程
使用 Prometheus 配置部署示例自定义资源。
例如,对于应用
kafka-metrics.yaml文件的每个Kafka资源。部署示例配置
oc apply -f kafka-metrics.yaml另外,您可以将
kafka-metrics.yaml中的示例配置复制到您自己的Kafka资源中。复制示例配置
oc edit kafka <kafka-configuration-file>复制
metricsConfig属性及其引用您的Kafka资源的ConfigMap。Kafka 的指标配置示例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... metricsConfig:1 type: jmxPrometheusExporter valueFrom: configMapKeyRef: name: kafka-metrics key: kafka-metrics-config.yml --- kind: ConfigMap2 apiVersion: v1 metadata: name: kafka-metrics labels: app: strimzi data: kafka-metrics-config.yml: | # metrics configuration...注意对于 Kafka Bridge,您可以指定
enableMetrics属性并将其设置为true。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: # ... bootstrapServers: my-cluster-kafka:9092 http: # ... enableMetrics: true # ...要部署 Kafka Exporter,请添加
kafkaExporter配置。kafkaExporter配置只在Kafka资源中指定。部署 Kafka Exporter 的配置示例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... kafkaExporter: image: my-registry.io/my-org/my-exporter-cluster:latest1 groupRegex: ".*"2 topicRegex: ".*"3 resources:4 requests: cpu: 200m memory: 64Mi limits: cpu: 500m memory: 128Mi logging: debug5 enableSaramaLogging: true6 template:7 pod: metadata: labels: label1: value1 imagePullSecrets: - name: my-docker-credentials securityContext: runAsUser: 1000001 fsGroup: 0 terminationGracePeriodSeconds: 120 readinessProbe:8 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe:9 initialDelaySeconds: 15 timeoutSeconds: 5 # ...
要使 Kafka Exporter 能够正常工作,消费者组需要使用。