3.16. ユーザー定義プロジェクトでバインドされていないメトリクス属性の影響の制御

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config ConfigMap オブジェクトを編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

2. 適用する制限と時間間隔の設定を data/config.yaml に追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         enforcedSampleLimit: 50000 1
         enforcedLabelLimit: 500 2
         enforcedLabelNameLengthLimit: 50 3
         enforcedLabelValueLengthLimit: 600 4
         scrapeInterval: 1m30s 5
         evaluationInterval: 1m15s 6

   1

   このパラメーターが指定されている場合は、値が必要です。この enforcedSampleLimit の例では、ユーザー定義プロジェクトのターゲット収集ごとに受け入れ可能なサンプル数を 50,000 に制限します。

   2

   収集ごとのラベルの最大数を指定します。デフォルト値は 0 で、制限は指定されません。

   3

   ラベル名の最大文字長を指定します。デフォルト値は 0 で、制限は指定されません。

   4

   ラベル値の最大文字長を指定します。デフォルト値は 0 で、制限は指定されません。

   5

   連続するスクレイピング間の間隔を指定します。間隔は 5 秒から 5 分の間で設定する必要があります。デフォルト値は 30s です。

   6

   Prometheus ルールの評価間隔を指定します。間隔は 5 秒から 5 分の間で設定する必要があります。Prometheus のデフォルト値は 30s です。

   注記

   data/config.yaml/thanosRuler フィールドを通じて Thanos Ruler の evaluationInterval プロパティーを設定することもできます。Thanos Ruler のデフォルト値は 15s です。

3. 変更を適用するためにファイルを保存します。制限は自動的に適用されます。

手順

1. ターゲットがダウンし、実行されたサンプル制限に近づく際に通知するアラートを指定して YAML ファイルを作成します。この例のファイルは monitoring-stack-alerts.yaml という名前です。

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     labels:
       prometheus: k8s
       role: alert-rules
     name: monitoring-stack-alerts 1
     namespace: ns1 2
   spec:
     groups:
     - name: general.rules
       rules:
       - alert: TargetDown 3
         annotations:
           message: '{{ printf "%.4g" $value }}% of the {{ $labels.job }}/{{ $labels.service
             }} targets in {{ $labels.namespace }} namespace are down.' 4
         expr: 100 * (count(up == 0) BY (job, namespace, service) / count(up) BY (job,
           namespace, service)) > 10
         for: 10m 5
         labels:
           severity: warning 6
       - alert: ApproachingEnforcedSamplesLimit 7
         annotations:
           message: '{{ $labels.container }} container of the {{ $labels.pod }} pod in the {{ $labels.namespace }} namespace consumes {{ $value | humanizePercentage }} of the samples limit budget.' 8
         expr: (scrape_samples_post_metric_relabeling / (scrape_sample_limit > 0)) > 0.9 9
         for: 10m 10
         labels:
           severity: warning 11

   1

   アラートルールの名前を定義します。

   2

   アラートルールのデプロイ先であるユーザー定義プロジェクトを指定します。

   3

   TargetDown アラートは、ターゲットを収集できず、for 期間中に使用できない場合に実行されます。

   4

   TargetDown アラート実行時に表示されるメッセージ。

   5

   アラートが実行される前に、TargetDown アラートの条件がこの期間中 true である必要があります。

   6

   TargetDown アラートの重大度を定義します。

   7

   ApproachingEnforcedSamplesLimit アラートは、定義された収集サンプルしきい値を超えると実行され、指定された for 期間を通して継続します。

   8

   ApproachingEnforcedSamplesLimit アラート実行時に表示されるメッセージ。

   9

   ApproachingEnforcedSamplesLimit アラートのしきい値。この例では、取り込まれたサンプル数が設定された制限の 90% を超えるとアラートが発生します。

   10

   アラートが実行される前に、ApproachingEnforcedSamplesLimit アラートの条件がこの期間中 true である必要があります。

   11

   ApproachingEnforcedSamplesLimit アラートの重大度を定義します。

2. 設定をユーザー定義プロジェクトに適用します。

   $ oc apply -f monitoring-stack-alerts.yaml

3. ターゲットが設定された制限に達したかどうかも確認できます。

   1. Web コンソールの Administrator パースペクティブで Observe Targets に移動し、確認する Down ステータスのエンドポイントを選択します。

      サンプル制限を超えたためにエンドポイントが失敗した場合は、Scrape failed: sample limit exceeded メッセージが表示されます。