5.4. 配置警报通知

流程

1. 从 alertmanager-main secret 中提取当前活跃的 Alertmanager 配置，并将其保存为本地 alertmanager.yaml 文件：

   $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' | base64 --decode > alertmanager.yaml

2. 打开 alertmanager.yaml 文件。

3. 编辑 Alertmanager 配置：

   1. 可选：更改默认的 Alertmanager 配置：

      默认 Alertmanager secret YAML 示例

      global:
        resolve_timeout: 5m
        http_config:
          proxy_from_environment: true 

      1

      
      route:
        group_wait: 30s 

      2

      
        group_interval: 5m 

      3

      
        repeat_interval: 12h 

      4

      
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
      receivers:
      - name: default
      - name: watchdog

      1

      如果您配置了 HTTP 集群范围代理，请将 proxy_from_environment 参数设置为 true，以启用所有警报接收器的代理。

      2

      指定在为一组警报收集初始警报时 Alertmanager 在发送通知时等待的时间。

      3

      指定 Alertmanager 向已发送初始通知的一组警报发送有关新警报的通知前必须经过的时间。

      4

      指定在通知重复前必须经过的最短时间。如果您希望通知在每个组间隔重复，请将 repeat_interval 值设置为小于 group_interval 的值。重复的通知仍然可以延迟，例如当某些 Alertmanager pod 重启或重新调度时。

   2. 添加警报接收器配置：

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: <receiver> 

      1

      
        <receiver_configuration> 

      2

      
      # ...

      1

      接收器的名称。

      2

      接收器配置。支持的接收器有 PagerDuty、Webhook、电子邮件、Slack 和 Microsoft 团队。

      将 PagerDuty 配置为警报接收器示例

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: team-frontend-page
        pagerduty_configs:
        - routing_key: xxxxxxxxxx 

      1

      
          http_config: 

      2

      
            proxy_from_environment: true
            authorization:
              credentials: xxxxxxxxxx
      # ...

      1

      定义 PagerDuty 集成密钥。

      2

      可选：为特定接收器添加自定义 HTTP 配置。该接收器不会继承全局 HTTP 配置设置。

      将电子邮件配置为警报接收器示例

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: team-frontend-page
        email_configs:
          - to: myemail@example.com 

      1

      
            from: alertmanager@example.com 

      2

      
            smarthost: 'smtp.example.com:587' 

      3

      
            auth_username: alertmanager@example.com  

      4

      
            auth_password: password
            hello: alertmanager 

      5

      
      # ...

      1

      指定要发送通知的电子邮件地址。

      2

      指定要发送通知的电子邮件地址。

      3

      指定用于发送电子邮件的 SMTP 服务器地址，包括端口号。

      4

      指定 Alertmanager 用于连接到 SMTP 服务器的身份验证凭据。这个示例使用用户名和密码。

      5

      指定要识别到 SMTP 服务器的主机名。如果没有包含此参数，则主机名默认为 localhost。

      重要

      Alertmanager 需要外部 SMTP 服务器来发送电子邮件警报。要配置电子邮件警报接收器，请确保您具有外部 SMTP 服务器所需的连接详情。

   3. 添加路由配置：

      # ...
      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 12h
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
        - matchers: 

      1

      
          - "<your_matching_rules>" 

      2

      
          receiver: <receiver> 

      3

      
      # ...

      1

      使用 matchers 键名称指定警报要与节点匹配的匹配规则。如果您定义了禁止规则，请为目标匹配器使用 target_matchers 键名称，对于源匹配者使用 source_matchers 键名称。

      2

      指定与警报匹配的标签。

      3

      指定要用于警报的接收器名称。

      警告

      不要使用 match,match_re,target_match,target_match_re,source_match, 和 source_match_re 键名称，它们已弃用，并计划在以后的发行版本中删除。

      警报路由示例

      # ...
      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 12h
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
        - matchers: 

      1

      
          - "service=example-app"
          routes: 

      2

      
          - matchers:
            - "severity=critical"
            receiver: team-frontend-page
      # ...

      1

      本例匹配来自 example-app 服务的警报。

      2

      您可以在其他路由中创建路由，以进行更复杂的警报路由。

      前面的示例将由 example-app 服务触发的 critica 严重性的警报路由到 team-frontend-page 接收器。通常，这些类型的警报会传给个人或关键响应团队。

4. 应用文件中的新配置：

   $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run=client -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

流程

1. 在 OpenShift Container Platform web 控制台中，进入 Administration Cluster Settings Configuration Alertmanager。

   注意

   或者，您还可以通过 notification drawer 访问同一页面。选择 OpenShift Container Platform Web 控制台右上角的铃铛图标，并在 AlertmanagerReceiverNotConfigured 警报中选择 Configure。

2. 在页面的 Receivers 部分中，点 Create Receiver。
3. 在 Create Receiver 表单中，添加 Receiver Name，然后从列表中选择 Receiver Type。

4. 编辑接收器配置：

   • 对于 PagerDuty 接收器：

     1. 选择集成类型并添加 PagerDuty 集成密钥。
     2. 添加 PagerDuty 安装的 URL。
     3. 如果要编辑客户端和事件详情或严重性规格，请点 Show advanced configuration。

   • 对于 Webhook 接收器：

     1. 添加将 HTTP POST 请求发送到的端点。
     2. 如果要编辑将已解析的警报发送给接收器的默认选项，请点 Show advanced configuration。

   • 对于电子邮件接收器：

     1. 添加要将通知发送到的电子邮件地址。

     2. 添加 SMTP 配置详情，包括发送通知的地址、用来发送电子邮件的智能主机和端口号、SMTP 服务器的主机名以及验证详情。

        重要

        Alertmanager 需要外部 SMTP 服务器来发送电子邮件警报。要配置电子邮件警报接收器，请确保您具有外部 SMTP 服务器所需的连接详情。

     3. 选择是否需要 TLS。
     4. 如果要将默认选项编辑为不向接收器发送已解析的警报，或编辑电子邮件通知正文配置，请点 Show advanced configuration。

   • 对于 Slack 接收器：

     1. 添加 Slack Webhook 的 URL。
     2. 添加要将通知发送到的 Slack 频道或用户名。
     3. 如果要将默认选项编辑为不向接收器发送已解析的警报，或编辑图标和用户名配置，请选择 Show advanced configuration。您还可以选择是否查找并链接频道名称和用户名。

5. 默认情况下，如果触发的警报带有与所有选择器匹配的标签，将被发送到接收器。如果您希望触发的警报在发送到接收器前完全匹配的标签值，请执行以下步骤：

   1. 在表单的 Routing Labels 部分中添加路由标签名称和值。
   2. 点 Add label 来添加更多路由标签。
6. 点 Create 创建接收器。