3.5. 为核心平台监控配置警报和通知

流程

1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config 配置映射：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 在 data/config.yaml 下为 alertmanagerMain 组件添加 enabled: false ：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         enabled: false

3. 保存文件以使改变生效。应用更改时，Alertmanager 实例会自动禁用。

流程

1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config 配置映射：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 在 data/config.yaml/alertmanagerMain 下添加一个 secrets: 部分，并具有以下配置：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         secrets: 1
         - <secret_name_1> 2
         - <secret_name_2>

   1

   本节包含要挂载到 Alertmanager 中的 secret。secret 必须位于与 Alertmanager 对象相同的命名空间中。

   2

   包含接收器身份验证凭证的 Secret 对象的名称。如果您添加多个 secret，请将每个 secret 放在新行中。

   以下示例配置映射设置将 Alertmanager 配置为使用名为 test-secret-basic-auth 和 test-secret-api-token 的两个 Secret 对象：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         secrets:
         - test-secret-basic-auth
         - test-secret-api-token

3. 保存文件以使改变生效。新的配置会被自动应用。

流程

1. 打开 Alertmanager YAML 配置文件：

   • 通过 CLI 打开 Alertmanager 配置：

     1. 将当前活跃的 Alertmanager 配置从 alertmanager-main secret 输出到 alertmanager.yaml 文件中：

        $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' | base64 --decode > alertmanager.yaml

     2. 打开 alertmanager.yaml 文件。

   • 从 OpenShift Container Platform Web 控制台打开 Alertmanager 配置：

     1. 进入 web 控制台的 Administration Cluster Settings Configuration Alertmanager YAML 页面。

2. 通过更新 YAML 中的参数来编辑 Alertmanager 配置：

   global:
     resolve_timeout: 5m
   route:
     group_wait: 30s 1
     group_interval: 5m 2
     repeat_interval: 12h 3
     receiver: default
     routes:
     - matchers:
       - "alertname=Watchdog"
       repeat_interval: 2m
       receiver: watchdog
     - matchers:
       - "service=<your_service>" 4
       routes:
       - matchers:
         - <your_matching_rules> 5
         receiver: <receiver> 6
   receivers:
   - name: default
   - name: watchdog
   - name: <receiver>
     <receiver_configuration> 7

   1

   指定在为一组警报收集初始警报时 Alertmanager 在发送通知时等待的时间。

   2

   指定 Alertmanager 向已发送初始通知的一组警报发送有关新警报的通知前必须经过的时间。

   3

   指定在通知重复前必须经过的最短时间。如果您希望通知在每个组间隔重复，请将 repeat_interval 值设置为小于 group_interval 的值。重复的通知仍然可以延迟，例如当某些 Alertmanager pod 重启或重新调度时。

   4

   指定触发警报的服务名称。

   5

   指定与警报匹配的标签。

   6

   指定要用于警报的接收器名称。

   7

   指定接收器配置。

   重要
   • 使用 matchers 键名称来指示警报要与节点匹配的匹配者。不要使用 match 或 match_re 键名称，它们都已弃用，并计划在以后的发行版本中删除。

   • 如果您定义了禁止规则，请使用以下密钥名称：

     • target_matchers: 表示目标匹配器
     • source_matchers: 用于指示源匹配器

     不要使用 target_match,target_match_re,source_match, 或 source_match_re 键名称，这些名称已弃用，并计划在以后的发行版本中删除。

   以下 Alertmanager 配置示例将 PagerDuty 配置为警报接收器：

   global:
     resolve_timeout: 5m
   route:
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: default
     routes:
     - matchers:
       - "alertname=Watchdog"
       repeat_interval: 2m
       receiver: watchdog
     - matchers:
       - "service=example-app"
       routes:
       - matchers:
         - "severity=critical"
         receiver: team-frontend-page
   receivers:
   - name: default
   - name: watchdog
   - name: team-frontend-page
     pagerduty_configs:
     - service_key: "<your_key>"

   使用这个配置，由 example-app 服务触发 critical 严重性等级的警报将通过 team-frontend-page 接收器发送。通常情况下，这些类型的警报会传给个人或关键响应团队。

3. 应用文件中的新配置：

   • 要从 CLI 应用更改，请运行以下命令：

     $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run=client -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

   • 要从 OpenShift Container Platform Web 控制台应用更改，请点 Save。

流程

1. 在 Administrator 视角中，进入 Administration Cluster Settings Configuration Alertmanager。

   注意

   或者，您还可以通过 notification drawer 访问同一页面。选择 OpenShift Container Platform Web 控制台右上角的铃铛图标，并在 AlertmanagerReceiverNotConfigured 警报中选择 Configure。

2. 在页面的 Receivers 部分中，点 Create Receiver。
3. 在 Create Receiver 表单中，添加 Receiver Name，然后从列表中选择 Receiver Type。

4. 编辑接收器配置：

   • 对于 PagerDuty 接收器：

     1. 选择集成类型并添加 PagerDuty 集成密钥。
     2. 添加 PagerDuty 安装的 URL。
     3. 如果要编辑客户端和事件详情或严重性规格，请点 Show advanced configuration。

   • 对于 Webhook 接收器：

     1. 添加将 HTTP POST 请求发送到的端点。
     2. 如果要编辑将已解析的警报发送给接收器的默认选项，请点 Show advanced configuration。

   • 对于电子邮件接收器：

     1. 添加要将通知发送到的电子邮件地址。
     2. 添加 SMTP 配置详情，包括发送通知的地址、用来发送电子邮件的智能主机和端口号、SMTP 服务器的主机名以及验证详情。
     3. 选择是否需要 TLS。
     4. 如果要将默认选项编辑为不向接收器发送已解析的警报，或编辑电子邮件通知正文配置，请点 Show advanced configuration。

   • 对于 Slack 接收器：

     1. 添加 Slack Webhook 的 URL。
     2. 添加要将通知发送到的 Slack 频道或用户名。
     3. 如果要将默认选项编辑为不向接收器发送已解析的警报，或编辑图标和用户名配置，请选择 Show advanced configuration。您还可以选择是否查找并链接频道名称和用户名。

5. 默认情况下，如果触发的警报带有与所有选择器匹配的标签，将被发送到接收器。如果您希望触发的警报在发送到接收器前完全匹配的标签值，请执行以下步骤：

   1. 在表单的 Routing Labels 部分中添加路由标签名称和值。
   2. 点 Add label 来添加更多路由标签。
6. 点 Create 创建接收器。