1.5. アラートの管理

アラートを管理するには、次の認証情報と次のアクションが必要です。

メール、Slack、PagerDuty などの外部メッセージングツールを統合し、Alertmanager から通知を受信します。open-cluster-management-observability namespace で alertmanager-config シークレットを上書きして、統合を追加し、Alertmanager のルートを設定します。以下の手順を実行して、カスタムのレシーバールールを更新します。

シークレットを変更すると、変更はただちに適用されます。Alertmanager の例は、prometheus/alertmanager を参照してください。

Kubernetes Secret リソースを通じて認証情報をセキュアかつ管理可能な状態に保つことで、Alertmanager から Slack、メール、PagerDuty などのサードパーティーのエンドポイントへのセキュアな外部通信を有効にします。認可認証情報にアクセスするには、alertmanager Pod 内にマウントできる任意のコンテンツを含む Secret リソースを作成できます。

Alertmanager 設定内のシークレットを参照するには、open-cluster-management-observability namespace 内に Secret リソースコンテンツを追加し、alertmanager Pod 内にコンテンツをマウントします。たとえば、TLS シークレットを作成してマウントするには、次の手順を実行します。

Observability を有効にすると、OpenShift Container Platform マネージドクラスターからのアラートは、ハブクラスターの Alertmanager に自動的に送信されます。デフォルトでは、すべてのプラットフォームアラートがハブクラスターの Alertmanager に送信されます。OpenShift Container Platform マネージドクラスターでユーザーワークロードアラートを有効にすると、ユーザーワークロードアラートもハブクラスターに送信されます。alertmanager-config YAML ファイルを使用して、外部通知システムでアラートを設定できます。

alertmanager-config YAML ファイルの例を以下に示します。

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

アラート転送用のプロキシーを設定する場合は、alertmanager-config YAML ファイルに次の global エントリーを追加します。

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

ユーザーワークロードアラートを転送する場合、アラートは Thanos ルーラーではなく、ユーザーワークロード Prometheus インスタンスによって処理される必要があります。PrometheusRule リソースの次の例を参照してください。

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  labels:
    openshift.io/prometheus-rule-evaluation-scope: leaf-prometheus

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  labels:
    openshift.io/prometheus-rule-evaluation-scope: leaf-prometheus

マネージドクラスターのアラート転送を無効にするには、MultiClusterObservability カスタムリソースに mco-disable-alerting: "true" アノテーションを追加します。mco-disable-alerting: "true" アノテーションを設定すると、プラットフォームおよびユーザーワークロードアラートは、いずれもハブクラスターの Alertmanager に転送されません。マネージドクラスターの転送設定は元に戻ります。

openshift-monitoring namespace の cluster-monitoring-config config map への設定の更新が元に戻されます。アノテーションを設定すると、cluster-monitoring-config config map は Observability Operator のエンドポイントによって管理または更新されなくなります。設定を更新すると、マネージドクラスター上のプラットフォームおよびユーザーワークロードの Prometheus インスタンスが両方とも再起動します。以下の手順を実行します。

変更が元に戻ると、cluster-monitoring-reverted という名前の config map が open-cluster-management-addon-observability namespace に作成されます。手動で追加された新しいアラート転送設定は、config map から元に戻されません。

マネージドクラスターのユーザーワークロードアラート転送を無効にするには、MultiClusterObservability カスタムリソースに mco-disable-uwl-alerting: "true" アノテーションを追加します。アノテーションを設定すると、ハブクラスター上の Alertmanager へのユーザーワークロードアラートの転送は停止し、プラットフォームアラートは引き続き Alertmanager に転送されます。

アノテーションを設定すると、user-workload-monitoring-config config map は Observability Operator エンドポイントによって管理または更新されなくなります。設定を更新すると、マネージドクラスター上のユーザーワークロード Prometheus インスタンスが再起動されます。

次のコマンドを実行して、mco-disable-uwl-alerting アノテーションを "true" に設定します。

oc annotate MultiClusterObservability observability mco-disable-uwl-alerting=true

oc annotate MultiClusterObservability observability mco-disable-uwl-alerting=true

受信したくないアラートを追加します。アラート名、一致ラベル、または期間によってアラートをサイレントにすることができます。サイレントにしたいアラートを追加すると、ID が作成されます。サイレントにしたアラートの ID は、文字列 d839aca9-ed46-40be-84c4-dca8773671da のようになります。

アラートをサイレントにする方法は、引き続きお読みください。

アラートサイレンサーを使用する場合は、サイレンサーを以前の状態のまま保持しながら、可観測性ストレージを移行できます。これを行うには、選択した StorageClass リソースを使用する新しい StatefulSets および PersistentVolumes (PV) リソースを作成して、Red Hat Advanced Cluster Management の可観測性ストレージを移行します。

注記: PV のストレージは、クラスターから収集されたメトリクスを保存するために使用されるオブジェクトストレージとは異なります。

StatefulSet と PV を使用して可観測性データを新しいストレージに移行すると、次のデータコンポーネントが保存されます。

可観測性ストレージを移行するには、次の手順を実行します。

重大度の低い Red Hat Advanced Cluster Management アラートをクラスター全体でグローバルに抑制します。アラートを抑制するには、open-cluster-management-observability namespace の alertmanager-config で抑制ルールを定義します。

抑制ルールは、既存のマッチャーの別のセットと一致する一連のパラメーター一致がある場合にアラートをミュートします。ルールを有効にするには、ターゲットアラートとソースアラートの両方で、equal リスト内のラベル名のラベル値が同じである必要があります。inhibit_rules は次のようになります。

global:
  resolve_timeout: 1h
inhibit_rules:
  - equal:
      - namespace
    source_match:
      severity: critical
    target_match_re:
      severity: warning|info

global:
  resolve_timeout: 1h
inhibit_rules:

  - equal:
      - namespace
    source_match:

      severity: critical
    target_match_re:
      severity: warning|info