5.3. Service Telemetry Framework 中的警报

流程

1. 登录 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 创建包含警报规则的 PrometheusRule 对象。Prometheus Operator 将规则加载到 Prometheus 中：

   $ oc apply -f - <<EOF
   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     creationTimestamp: null
     labels:
       prometheus: default
       role: alert-rules
     name: prometheus-alarm-rules
     namespace: service-telemetry
   spec:
     groups:
       - name: ./openstack.rules
         rules:
           - alert: Collectd metrics receive rate is zero
             expr: rate(sg_total_collectd_msg_received_count[1m]) == 0 

   1

   
   EOF

   1

   要更改规则，请编辑 expr 参数的值。

4. 要验证 Operator 是否将规则加载到 Prometheus 中，请创建一个可访问 curl 的 pod：

   $ oc run curl --image=radial/busyboxplus:curl -i --tty

5. 运行 curl 命令访问 prometheus-operated 服务，以返回载入到内存的规则：

   [ root@curl:/ ]$ curl prometheus-operated:9090/api/v1/rules
   {"status":"success","data":{"groups":[{"name":"./openstack.rules","file":"/etc/prometheus/rules/prometheus-default-rulefiles-0/service-telemetry-prometheus-alarm-rules.yaml","rules":[{"state":"inactive","name":"Collectd metrics receive rate is zero","query":"rate(sg_total_collectd_msg_received_count[1m]) == 0","duration":0,"labels":{},"annotations":{},"alerts":[],"health":"ok","evaluationTime":0.000525886,"lastEvaluation":"2022-02-01T17:42:52.161007803Z","type":"alerting"}],"interval":30,"limit":0,"evaluationTime":0.000541524,"lastEvaluation":"2022-02-01T17:42:52.161000138Z"}]}}

6. 要验证输出是否显示加载到 PrometheusRule 对象的规则，例如，输出包含定义的 ./openstack.rules，退出 pod：

   [ root@curl:/ ]$ exit

7. 删除 curl pod 来清理环境：

   $ oc delete pod curl
   
   pod "curl" deleted

流程

1. 使用 oc edit 命令：

   $ oc edit prometheusrules prometheus-alarm-rules

2. 编辑 PrometheusRules 清单。
3. 保存并关闭清单。

流程

1. 登录 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 为您的 STF 部署编辑 ServiceTelemetry 对象：

   $ oc edit stf default

4. 添加新参数 alertmanagerConfigManifest 和 Secret 对象内容，以定义 Alertmanager 的 alertmanager.yaml 配置：

   注意

   此步骤加载 Service Telemetry Operator 管理的默认模板。要验证是否正确填充了更改，请更改值，返回 alertmanager-default secret，然后验证新值是否已加载到内存中。例如，将 global.resolve_timeout 参数的值从 5m 改为 10m。

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     backends:
       metrics:
         prometheus:
           enabled: true
     alertmanagerConfigManifest: |
       apiVersion: v1
       kind: Secret
       metadata:
         name: 'alertmanager-default'
         namespace: 'service-telemetry'
       type: Opaque
       stringData:
         alertmanager.yaml: |-
           global:
             resolve_timeout: 10m
           route:
             group_by: ['job']
             group_wait: 30s
             group_interval: 5m
             repeat_interval: 12h
             receiver: 'null'
           receivers:
           - name: 'null'

5. 验证配置是否已应用到 secret：

   $ oc get secret alertmanager-default -o go-template='{{index .data "alertmanager.yaml" | base64decode }}'
   
   global:
     resolve_timeout: 10m
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'null'
   receivers:
   - name: 'null'

6. 要验证配置是否已加载到 Alertmanager 中，请创建一个可访问 curl 的 pod：

   $ oc run curl --image=radial/busyboxplus:curl -i --tty

7. 针对 alertmanager-operated 服务运行 curl 命令，以检索 status 和 configYAML 内容，并验证提供的配置是否与 Alertmanager 中的配置匹配：

   [ root@curl:/ ]$ curl alertmanager-operated:9093/api/v1/status
   
   {"status":"success","data":{"configYAML":"...",...}}

8. 验证 configYAML 字段是否包含您预期的更改。

9. 退出 pod：

   [ root@curl:/ ]$ exit

10. 要清理环境，请删除 curl pod：

    $ oc delete pod curl
    
    pod "curl" deleted

流程

1. 登录 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 为您的 STF 部署编辑 ServiceTelemetry 对象：

   $ oc edit stf default

4. 要使用 STF 部署自定义 Alertmanager 路由，您必须将 alertmanagerConfigManifest 参数传递给 Service Telemetry Operator，这会导致 Prometheus Operator 管理的更新 secret：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     backends:
       metrics:
         prometheus:
           enabled: true
     alertmanagerConfigManifest: |
       apiVersion: v1
       kind: Secret
       metadata:
         name: 'alertmanager-default'
         namespace: 'service-telemetry'
       type: Opaque
       data:
         alertmanager.yaml: Z2xvYmFsOgogIHJlc29sdmVfdGltZW91dDogMTBtCiAgc2xhY2tfYXBpX3VybDogPHNsYWNrX2FwaV91cmw+CnJlY2VpdmVyczoKICAtIG5hbWU6IHNsYWNrCiAgICBzbGFja19jb25maWdzOgogICAgLSBjaGFubmVsOiAjc3RmLWFsZXJ0cwogICAgICB0aXRsZTogfC0KICAgICAgICAuLi4KICAgICAgdGV4dDogPi0KICAgICAgICAuLi4Kcm91dGU6CiAgZ3JvdXBfYnk6IFsnam9iJ10KICBncm91cF93YWl0OiAzMHMKICBncm91cF9pbnRlcnZhbDogNW0KICByZXBlYXRfaW50ZXJ2YWw6IDEyaAogIHJlY2VpdmVyOiAnc2xhY2snCg==

5. 验证配置是否已应用到 secret：

   $ oc get secret alertmanager-default -o go-template='{{index .data "alertmanager.yaml" | base64decode }}'
   
   global:
     resolve_timeout: 10m
     slack_api_url: <slack_api_url>
   receivers:
     - name: slack
       slack_configs:
       - channel: #stf-alerts
         title: |-
           ...
         text: >-
           ...
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'slack'

6. 要验证配置是否已加载到 Alertmanager，请创建一个可访问 curl 命令的 pod：

   $ oc run curl --image=radial/busyboxplus:curl -i --tty

7. 针对 alertmanager-operated 服务运行 curl 命令，以检索 status 和 configYAML 内容，并验证提供的配置是否与 Alertmanager 中的配置匹配：

   [ root@curl:/ ]$ curl alertmanager-operated:9093/api/v1/status
   
   {"status":"success","data":{"configYAML":"...",...}}

8. 验证 configYAML 字段是否包含您预期的更改。

9. 退出 pod：

   [ root@curl:/ ]$ exit

10. 要清理环境，请删除 curl pod：

    $ oc delete pod curl
    
    pod "curl" deleted