3.5. コアプラットフォームモニタリングのアラートと通知の設定

手順

1. openshift-monitoring プロジェクトで cluster-monitoring-config config map を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. data/config.yaml の下に、alertmanagerMain コンポーネントの enabled: false を追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         enabled: false

3. 変更を適用するためにファイルを保存します。Alertmanager インスタンスは、この変更を適用すると自動的に無効にされます。

手順

1. openshift-monitoring プロジェクトで cluster-monitoring-config config map を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. data/config.yaml/alertmanagerMain の下に secrets: セクションを次の設定で追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         secrets: 

   1

   
         - <secret_name_1> 

   2

   
         - <secret_name_2>

   1

   このセクションには、Alertmanager にマウントされるシークレットが含まれています。シークレットは、Alertmanager オブジェクトと同じ namespace 内に配置する必要があります。

   2

   受信者の認証認証情報を含む Secret オブジェクトの名前。複数のシークレットを追加する場合は、それぞれを新しい行に配置します。

   次の config map 設定の例では、test-secret-basic-auth および test-secret-api-token という名前の 2 つの Secret オブジェクトを使用するように Alertmanager を設定します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         secrets:
         - test-secret-basic-auth
         - test-secret-api-token

3. 変更を適用するためにファイルを保存します。新しい設定は自動的に適用されます。

手順

1. 現在アクティブな Alertmanager 設定を alertmanager-main シークレットから展開し、ローカルの alertmanager.yaml ファイルとして保存します。

   $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' | base64 --decode > alertmanager.yaml

2. alertmanager.yaml ファイルを開きます。

3. Alertmanager の設定を編集します。

   1. オプション: デフォルトの Alertmanager 設定を変更します。

      デフォルトの Alertmanager シークレット YAML の例

      global:
        resolve_timeout: 5m
        http_config:
          proxy_from_environment: true 

      1

      
      route:
        group_wait: 30s 

      2

      
        group_interval: 5m 

      3

      
        repeat_interval: 12h 

      4

      
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
      receivers:
      - name: default
      - name: watchdog

      1

      HTTP クラスター全体のプロキシーを設定した場合は、proxy_from_environment パラメーターを true に設定して、すべてのアラートレシーバーのプロキシーを有効にします。

      2

      Alertmanager が通知を送信する前に、アラートグループの初期アラートを収集するまで待機する時間を指定します。

      3

      最初の通知がすでに送信されているアラートグループに追加された新しいアラートに関する通知を Alertmanager が送信するまでの時間を指定します。

      4

      アラート通知を繰り返すまでの最小時間を指定します。各グループの間隔で通知を繰り返す場合は、repeat_interval の値を group_interval の値よりも小さく設定します。ただし、特定の Alertmanager Pod が再起動または再スケジュールされた場合などには、通知の繰り返しが遅れる可能性があります。

   2. アラートレシーバーの設定を追加します。

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: <receiver> 

      1

      
        <receiver_configuration> 

      2

      
      # ...

      1

      レシーバーの名前。

      2

      レシーバーの設定。サポートされているレシーバーは、PagerDuty、Webhook、メール、Slack、Microsoft Teams です。

      PagerDuty をアラートレシーバーとして設定する例

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: team-frontend-page
        pagerduty_configs:
        - routing_key: xxxxxxxxxx 

      1

      
          http_config: 

      2

      
            proxy_from_environment: true
            authorization:
              credentials: xxxxxxxxxx
      # ...

      1

      PagerDuty 統合キーを定義します。

      2

      オプション: 特定のレシーバーのカスタム HTTP 設定を追加します。そのレシーバーはグローバル HTTP 設定を継承しません。

      メールアドレスをアラートレシーバーとして設定する例

      # ...
      receivers:
      - name: default
      - name: watchdog
      - name: team-frontend-page
        email_configs:
          - to: myemail@example.com 

      1

      
            from: alertmanager@example.com 

      2

      
            smarthost: 'smtp.example.com:587' 

      3

      
            auth_username: alertmanager@example.com  

      4

      
            auth_password: password
            hello: alertmanager 

      5

      
      # ...

      1

      通知を送信するメールアドレスを指定します。

      2

      通知を送信するメールアドレスを指定します。

      3

      メールの送信に使用する SMTP サーバーアドレスを、ポート番号を含めて指定します。

      4

      Alertmanager が SMTP サーバーに接続するために使用する認証情報を指定します。この例では、ユーザー名とパスワードを使用します。

      5

      SMTP サーバーに識別させるためのホスト名を指定します。このパラメーターを含めない場合、ホスト名はデフォルトで localhost になります。

      重要

      Alertmanager には、メールアラートを送信するために外部 SMTP サーバーが必要です。メールアラートのレシーバーを設定する際には、外部 SMTP サーバーの必要な接続の詳細情報があることを確認してください。

   3. ルーティング設定を追加します。

      # ...
      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 12h
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
        - matchers: 

      1

      
          - "<your_matching_rules>" 

      2

      
          receiver: <receiver> 

      3

      
      # ...

      1

      アラートがノードと一致するために満たす必要がある一致ルールを指定するには、matchers キー名を使用します。禁止ルールを定義する場合は、ターゲットマッチャーに target_matchers キー名を使用し、ソースマッチャーに source_matchers キー名を使用します。

      2

      アラートに一致するラベルを指定します。

      3

      アラートに使用するレシーバーの名前を指定します。

      警告

      match、match_re、target_match、target_match_re、source_match、source_match_re のキー名は使用しないでください。これらは非推奨であり、今後のリリースで削除される予定です。

      アラートルーティングの例

      # ...
      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 12h
        receiver: default
        routes:
        - matchers:
          - "alertname=Watchdog"
          repeat_interval: 2m
          receiver: watchdog
        - matchers: 

      1

      
          - "service=example-app"
          routes: 

      2

      
          - matchers:
            - "severity=critical"
            receiver: team-frontend-page
      # ...

      1

      この例では、example-app サービスからのアラートが一致します。

      2

      より複雑なアラートルーティングを設定するために、他のルート内にルートを作成することもできます。

      前の例では、example-app サービスによって発生した重大度が critical のアラートが、team-frontend-page レシーバーにルーティングされます。通常、このタイプのアラートは、個人または緊急対応チームに通知します。

4. 新規設定をファイルで適用します。

   $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run=client -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

5. ルーティングツリーを可視化してルーティング設定を確認します。

   $ oc exec alertmanager-main-0 -n openshift-monitoring -- amtool config routes show --alertmanager.url http://localhost:9093

   出力例

   Routing tree:
   .
   └── default-route  receiver: default
       ├── {alertname="Watchdog"}  receiver: Watchdog
       └── {service="example-app"}  receiver: default
           └── {severity="critical"}  receiver: team-frontend-page

手順

1. Administrator パースペクティブで、Administration Cluster Settings Configuration Alertmanager に移動します。

   注記

   または、通知ドロワーから同じページに移動することもできます。OpenShift Container Platform Web コンソールの右上にあるベルのアイコンを選択し、AlertmanagerReceiverNotConfigured アラートで Configure を選択します。

2. ページの Receivers セクションで、Create Receiver をクリックします。
3. Create Receiver フォームで、Receiver name を追加し、リストから Receiver type を選択します。

4. レシーバー設定を編集します。

   • PagerDuty receiver の場合:

     1. 統合のタイプを選択し、PagerDuty 統合キーを追加します。
     2. PagerDuty インストールの URL を追加します。
     3. クライアントおよびインシデントの詳細または重大度の指定を編集する場合は、Show advanced configuration をクリックします。

   • Webhook receiver の場合:

     1. HTTP POST リクエストを送信するエンドポイントを追加します。
     2. デフォルトオプションを編集して解決したアラートを receiver に送信する場合は、Show advanced configuration をクリックします。

   • メール receiver の場合:

     1. 通知を送信するメールアドレスを追加します。

     2. SMTP 設定の詳細を追加します。これには、通知の送信先のアドレス、メールの送信に使用する smarthost およびポート番号、SMTP サーバーのホスト名、および認証情報を含む詳細情報が含まれます。

        重要

        Alertmanager には、メールアラートを送信するために外部 SMTP サーバーが必要です。メールアラートのレシーバーを設定する際には、外部 SMTP サーバーの必要な接続の詳細情報があることを確認してください。

     3. TLS が必要かどうかを選択します。
     4. 解決済みのアラートが receiver に送信されないようにデフォルトオプションを編集する、またはメール通知設定のボディーを編集する必要がある場合は、Show advanced configuration をクリックします。

   • Slack receiver の場合:

     1. Slack Webhook の URL を追加します。
     2. 通知を送信する Slack チャネルまたはユーザー名を追加します。
     3. デフォルトオプションを編集して解決済みのアラートが receiver に送信されないようにしたり、アイコンおよびユーザー設定を編集する必要がある場合は、Show advanced configuration を選択します。チャネル名とユーザー名を検索し、これらをリンクするかどうかを選択することもできます。

5. デフォルトでは、すべてのセレクターに一致するラベルを持つ Firing アラートが receiver に送信されます。receiver に送信する前に、Firing アラートのラベル値を完全に一致させる場合は、次の手順を実行します。

   1. フォームの Routing Labels セクションに、ルーティングラベルの名前と値を追加します。
   2. Add label を選択して、さらにルーティングラベルを追加します。
6. Create をクリックしてレシーバーを作成します。