3.5. 为核心平台监控配置警报和通知

流程

1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config 配置映射：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 在 data/config.yaml 下为 alertmanagerMain 组件添加 enabled: false ：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         enabled: false

   Copy to Clipboard Toggle word wrap
3. 保存文件以使改变生效。应用更改时，Alertmanager 实例会自动禁用。

流程

1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config 配置映射：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 在 data/config.yaml/alertmanagerMain 下添加一个 secrets: 部分，并具有以下配置：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         secrets: 

   1

   
         - <secret_name_1> 

   2

   
         - <secret_name_2>

   Copy to Clipboard Toggle word wrap

   1

   本节包含要挂载到 Alertmanager 中的 secret。secret 必须位于与 Alertmanager 对象相同的命名空间中。

   2

   包含接收器身份验证凭证的 Secret 对象的名称。如果您添加多个 secret，请将每个 secret 放在新行中。

   以下示例配置映射设置将 Alertmanager 配置为使用名为 test-secret-basic-auth 和 test-secret-api-token 的两个 Secret 对象：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         secrets:
         - test-secret-basic-auth
         - test-secret-api-token

   Copy to Clipboard Toggle word wrap
3. 保存文件以使改变生效。新的配置会被自动应用。

流程

1. 从 alertmanager-main secret 中提取当前活跃的 Alertmanager 配置，并将其保存为本地 alertmanager.yaml 文件：

   $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' | base64 --decode > alertmanager.yaml

   Copy to Clipboard Toggle word wrap
2. 打开 alertmanager.yaml 文件。

3. 编辑 Alertmanager 配置：

   1. 可选：更改默认的 Alertmanager 配置：

      默认 Alertmanager secret YAML 示例

      global:
        resolve_timeout: 5m
      route:
        group_wait: 30s 

      1

      
        group_interval: 5m 

      2

      
        repeat_interval: 12h 

      3

      
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
      receivers:
      - name: default
      - name: watchdog

      Copy to Clipboard Toggle word wrap

      1

      指定在为一组警报收集初始警报时 Alertmanager 在发送通知时等待的时间。

      2

      指定 Alertmanager 向已发送初始通知的一组警报发送有关新警报的通知前必须经过的时间。

      3

      指定在通知重复前必须经过的最短时间。如果您希望通知在每个组间隔重复，请将 repeat_interval 值设置为小于 group_interval 的值。重复的通知仍然可以延迟，例如当某些 Alertmanager pod 重启或重新调度时。

   2. 添加警报接收器配置：

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: <receiver> 

      1

      
        <receiver_configuration> 

      2

      
      # ...

      Copy to Clipboard Toggle word wrap

      1

      接收器的名称。

      2

      接收器配置。支持的接收器有 PagerDuty、Webhook、电子邮件、Slack 和 Microsoft 团队。

      将 PagerDuty 配置为警报接收器示例

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: team-frontend-page
        pagerduty_configs:
        - routing_key: xxxxxxxxxx 

      1

      
      # ...

      Copy to Clipboard Toggle word wrap

      1

      定义 PagerDuty 集成密钥。

      将电子邮件配置为警报接收器的示例

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: team-frontend-page
        email_configs:
          - to: myemail@example.com 

      1

      
            from: alertmanager@example.com 

      2

      
            smarthost: 'smtp.example.com:587' 

      3

      
            auth_username: alertmanager@example.com  

      4

      
            auth_password: password
            hello: alertmanager 

      5

      
      # ...

      Copy to Clipboard Toggle word wrap

      1

      指定要发送通知的电子邮件地址。

      2

      指定要发送通知的电子邮件地址。

      3

      指定用于发送电子邮件的 SMTP 服务器地址，包括端口号。

      4

      指定 Alertmanager 用于连接到 SMTP 服务器的身份验证凭据。这个示例使用用户名和密码。

      5

      指定要识别到 SMTP 服务器的主机名。如果没有包含此参数，则主机名默认为 localhost。

      重要

      Alertmanager 需要外部 SMTP 服务器来发送电子邮件警报。要配置电子邮件警报接收器，请确保您具有外部 SMTP 服务器所需的连接详情。

   3. 添加路由配置：

      # ...
      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 12h
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
        - matchers: 

      1

      
          - "<your_matching_rules>" 

      2

      
          receiver: <receiver> 

      3

      
      # ...

      Copy to Clipboard Toggle word wrap

      1

      使用 matchers 键名称指定警报要与节点匹配的匹配规则。如果您定义了禁止规则，请为目标匹配器使用 target_matchers 键名称，对于源匹配者使用 source_matchers 键名称。

      2

      指定与警报匹配的标签。

      3

      指定要用于警报的接收器名称。

      警告

      不要使用 match,match_re,target_match,target_match_re,source_match, 和 source_match_re 键名称，它们已弃用，并计划在以后的发行版本中删除。

      警报路由示例

      # ...
      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 12h
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
        - matchers: 

      1

      
          - "service=example-app"
          routes: 

      2

      
          - matchers:
            - "severity=critical"
            receiver: team-frontend-page
      # ...

      Copy to Clipboard Toggle word wrap

      1

      本例匹配来自 example-app 服务的警报。

      2

      您可以在其他路由中创建路由，以进行更复杂的警报路由。

      前面的示例将由 example-app 服务触发的 critica 严重性的警报路由到 team-frontend-page 接收器。通常，这些类型的警报会传给个人或关键响应团队。

4. 应用文件中的新配置：

   $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run=client -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

   Copy to Clipboard Toggle word wrap

5. 通过视觉化路由树来验证路由配置：

   $ oc exec alertmanager-main-0 -n openshift-monitoring -- amtool config routes show --alertmanager.url http://localhost:9093

   Copy to Clipboard Toggle word wrap

   输出示例

   Routing tree:
   .
   └── default-route  receiver: default
       ├── {alertname="Watchdog"}  receiver: Watchdog
       └── {service="example-app"}  receiver: default
           └── {severity="critical"}  receiver: team-frontend-page

   Copy to Clipboard Toggle word wrap

流程

1. 在 Administrator 视角中，进入 Administration Cluster Settings Configuration Alertmanager。

   注意

   或者，您还可以通过 notification drawer 访问同一页面。选择 OpenShift Container Platform Web 控制台右上角的铃铛图标，并在 AlertmanagerReceiverNotConfigured 警报中选择 Configure。

2. 在页面的 Receivers 部分中，点 Create Receiver。
3. 在 Create Receiver 表单中，添加 Receiver Name，然后从列表中选择 Receiver Type。

4. 编辑接收器配置：

   • 对于 PagerDuty 接收器：

     1. 选择集成类型并添加 PagerDuty 集成密钥。
     2. 添加 PagerDuty 安装的 URL。
     3. 如果要编辑客户端和事件详情或严重性规格，请点 Show advanced configuration。

   • 对于 Webhook 接收器：

     1. 添加将 HTTP POST 请求发送到的端点。
     2. 如果要编辑将已解析的警报发送给接收器的默认选项，请点 Show advanced configuration。

   • 对于电子邮件接收器：

     1. 添加要将通知发送到的电子邮件地址。

     2. 添加 SMTP 配置详情，包括发送通知的地址、用来发送电子邮件的智能主机和端口号、SMTP 服务器的主机名以及验证详情。

        重要

        Alertmanager 需要外部 SMTP 服务器来发送电子邮件警报。要配置电子邮件警报接收器，请确保您具有外部 SMTP 服务器所需的连接详情。

     3. 选择是否需要 TLS。
     4. 如果要将默认选项编辑为不向接收器发送已解析的警报，或编辑电子邮件通知正文配置，请点 Show advanced configuration。

   • 对于 Slack 接收器：

     1. 添加 Slack Webhook 的 URL。
     2. 添加要将通知发送到的 Slack 频道或用户名。
     3. 如果要将默认选项编辑为不向接收器发送已解析的警报，或编辑图标和用户名配置，请选择 Show advanced configuration。您还可以选择是否查找并链接频道名称和用户名。

5. 默认情况下，如果触发的警报带有与所有选择器匹配的标签，将被发送到接收器。如果您希望触发的警报在发送到接收器前完全匹配的标签值，请执行以下步骤：

   1. 在表单的 Routing Labels 部分中添加路由标签名称和值。
   2. 点 Add label 来添加更多路由标签。
6. 点 Create 创建接收器。