第6章 アラートの管理

1. OpenShift Container Platform Web コンソールで、Observe Alerting Alerts に移動します。
2. サイレントにするアラートに対して、 をクリックし、Silence alert を選択すると、選択したアラートのデフォルト設定を含む Silence alert ページが開きます。

3. オプション: サイレンスのデフォルト設定の詳細を変更します。

   注記

   サイレンスを保存する前にコメントを追加する必要があります。

4. サイレンスを保存するには、Silence をクリックします。

1. OpenShift Container Platform Web コンソールで、Observe Alerting Silences に移動します。
2. Create silence をクリックします。

3. Create silence フォームで、アラートのスケジュール、期間、およびラベルの詳細を設定します。

   注記

   サイレンスを保存する前にコメントを追加する必要があります。

4. 入力したラベルと一致するアラートのサイレンスを作成するには、Silence をクリックします。

手順

1. OpenShift Container Platform Web コンソールで、Observe Alerting Silences に移動します。

2. 変更するサイレンスの をクリックして Edit silence を選択します。

   または、Actions をクリックし、サイレンスの Silence details ページで Edit silence を選択することもできます。

3. Edit silence ページで変更を加え、Silence をクリックします。これにより、既存のサイレンスが期限切れになり、更新された設定でサイレンスが作成されます。

手順

1. Observe Alerting Silences に移動します。
2. 期限切れにするサイレンスは、対応する行のチェックボックスを選択します。

3. Expire 1 silence をクリックして選択した 1 つのサイレンスを期限切れにするか、Expire <n> silences をクリックして複数の沈黙を期限切れにします (<n> は選択した沈黙の数になります)。

   または、単一の沈黙を期限切れにするには、Actions をクリックし、サイレンスの Silence details ページで Expire silence を選択します。

手順

1. example-alerting-rule.yaml という名前の新しい YAML 設定ファイルを作成します。

2. AlertingRule リソースを YAML ファイルに追加します。以下の例では、デフォルトの Watchdog アラートと同様に example という名前の新規アラートルールを作成します。

   apiVersion: monitoring.openshift.io/v1
   kind: AlertingRule
   metadata:
     name: example
     namespace: openshift-monitoring 

   1

   
   spec:
     groups:
     - name: example-rules
       rules:
       - alert: ExampleAlert 

   2

   
         for: 1m 

   3

   
         expr: vector(1) 

   4

   
         labels:
           severity: warning 

   5

   
         annotations:
           message: This is an example alert. 

   6

   Copy to Clipboard Toggle word wrap

   1

   namespace が openshift-monitoring であることを確認します。

   2

   作成する必要のあるアラートルールの名前。

   3

   アラートが発せられる前に条件が真である必要がある期間。

   4

   新規ルールを定義する PromQL クエリー式。

   5

   アラートルールがアラートに割り当てる重大度。

   6

   アラートに関連付けられたメッセージ。

   重要

   openshift-monitoring namespace に AlertingRule オブジェクトを作成する必要があります。それ以外の場合は、アラートルールが受け入れられません。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

手順

1. example-modified-alerting-rule.yaml という名前の新しい YAML 設定ファイルを作成します。

2. AlertRelabelConfig リソースを YAML ファイルに追加します。以下の例では、デフォルトのプラットフォーム watchdog アラートルールの severity 設定を critical に変更します。

   apiVersion: monitoring.openshift.io/v1
   kind: AlertRelabelConfig
   metadata:
     name: watchdog
     namespace: openshift-monitoring 

   1

   
   spec:
     configs:
     - sourceLabels: [alertname,severity] 

   2

   
       regex: "Watchdog;none" 

   3

   
       targetLabel: severity 

   4

   
       replacement: critical 

   5

   
       action: Replace 

   6

   Copy to Clipboard Toggle word wrap

   1

   namespace が openshift-monitoring であることを確認します。

   2

   変更する値のソースラベル。

   3

   sourceLabels の値が一致する正規表現。

   4

   変更する値のターゲットラベル。

   5

   ターゲットラベルを置き換える新しい値。

   6

   正規表現の一致に基づいて古い値を置き換える再ラベルアクション。デフォルトのアクションは Replace です。その他に使用可能な値は、Keep、Drop、HashMod、LabelMap、LabelDrop、および LabelKeep です。

   重要

   openshift-monitoring namespace に AlertRelabelConfig オブジェクトを作成する必要があります。それ以外の場合は、アラートラベルが変更しません。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-modified-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

手順

1. アラートルールの YAML ファイルを作成します。この例では、example-app-alerting-rule.yaml という名前です。

2. アラートルール設定を YAML ファイルに追加します。以下の例では、example-alert という名前の新規アラートルールを作成します。アラートルールは、サンプルサービスによって公開される version メトリクスが 0 になるとアラートを実行します。

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-alert
     namespace: ns1
   spec:
     groups:
     - name: example
       rules:
       - alert: VersionAlert 

   1

   
         for: 1m 

   2

   
         expr: version{job="prometheus-example-app"} == 0 

   3

   
         labels:
           severity: warning 

   4

   
         annotations:
           message: This is an example alert. 

   5

   Copy to Clipboard Toggle word wrap

   1

   作成する必要のあるアラートルールの名前。

   2

   アラートが発せられる前に条件が真である必要がある期間。

   3

   新規ルールを定義する PromQL クエリー式。

   4

   アラートルールがアラートに割り当てる重大度。

   5

   アラートに関連付けられたメッセージ。

3. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-app-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 特定のプロジェクトにバインドされないアラートルールを作成するプロジェクトを設定します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       namespacesWithoutLabelEnforcement: [ <namespace1>, <namespace2> ] 

   1

   
       # ...

   Copy to Clipboard Toggle word wrap

   1

   クロスプロジェクトアラートルールを作成するプロジェクトを 1 つ以上指定します。ユーザー定義のモニタリング用の Prometheus および Thanos Ruler は、これらのプロジェクトで作成された PrometheusRule オブジェクトの namespace ラベルを適用しません。そのため、PrometheusRule オブジェクトはすべてのプロジェクトに適用できます。

3. アラートルールの YAML ファイルを作成します。この例では、example-cross-project-alerting-rule.yaml という名前です。

4. アラートルール設定を YAML ファイルに追加します。次の例では、example-security という名前の新しいクロスプロジェクトアラートルールを作成します。ユーザープロジェクトが制限付き Pod セキュリティーポリシーを適用しない場合、このアラートルールが起動します。

   クロスプロジェクトアラートルールの例

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-security
     namespace: ns1 

   1

   
   spec:
     groups:
       - name: pod-security-policy
         rules:
           - alert: "ProjectNotEnforcingRestrictedPolicy" 

   2

   
             for: 5m 

   3

   
             expr: kube_namespace_labels{namespace!~"(openshift|kube).*|default",label_pod_security_kubernetes_io_enforce!="restricted"} 

   4

   
             annotations:
               message: "Restricted policy not enforced. Project {{ $labels.namespace }} does not enforce the restricted pod security policy." 

   5

   
             labels:
               severity: warning 

   6

   Copy to Clipboard Toggle word wrap

   1

   必ず namespacesWithoutLabelEnforcement フィールドで定義したプロジェクトを指定します。

   2

   作成する必要のあるアラートルールの名前。

   3

   アラートが発せられる前に条件が真である必要がある期間。

   4

   新規ルールを定義する PromQL クエリー式。namespace ラベルにラベルマッチャーを使用すると、アラートルールに追加および除外するプロジェクトをフィルタリングできます。

   5

   アラートに関連付けられたメッセージ。

   6

   アラートルールがアラートに割り当てる重大度。

   重要

   namespacesWithoutLabelEnforcement フィールドで指定したプロジェクトのうちの 1 つにだけ、特定のクロスプロジェクトアラートルールを作成してください。複数のプロジェクトで同じクロスプロジェクトアラートルールを作成すると、アラートが繰り返し発生します。

5. 設定ファイルをクラスターに適用します。

   $ oc apply -f example-cross-project-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

手順

1. OpenShift Container Platform Web コンソールで、Observe Alerting Alerting rules に移動します。

2. Filter ドロップダウンメニューで、Platform および User ソースを選択します。

   注記

   Platform ソースはデフォルトで選択されます。

手順

1. openshift-monitoring プロジェクトで cluster-monitoring-config config map を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   Copy to Clipboard Toggle word wrap

2. cluster-monitoring-config config map で、data/config.yaml/userWorkload の rulesWithoutLabelEnforcementAllowed 値を false に設定して、クロスプロジェクトアラートルールを作成するオプションを無効にします。

   kind: ConfigMap
   apiVersion: v1
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       userWorkload:
         rulesWithoutLabelEnforcementAllowed: false
       # ...

   Copy to Clipboard Toggle word wrap
3. 変更を適用するためにファイルを保存します。