1.2. モニタリングスタックの設定

手順

1. cluster-monitoring-config ConfigMap を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. コンポーネントの PVC 設定を data/config.yaml の下に配置します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       <component>:
         volumeClaimTemplate:
           metadata:
             name: <PVC_name_prefix>
           spec:
             storageClassName: <storage_class>
             resources:
               requests:
                 storage: <amount_of_storage>

   volumeClaimTemplate の指定方法については、PersistentVolumeClaims についての Kubernetes ドキュメント を参照してください。

   たとえば、Prometheus のローカル永続ストレージを要求する PVC を設定するには、以下を使用します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         volumeClaimTemplate:
           metadata:
             name: localpvc
           spec:
             storageClassName: local-storage
             resources:
               requests:
                 storage: 40Gi

   上記の例では、ローカルストレージ Operator によって作成されるストレージクラスは local-storageと呼ばれます。

   Alertmanager のローカル永続ストレージを要求する PVC を設定するには、以下を実行します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         volumeClaimTemplate:
           metadata:
             name: localpvc
           spec:
             storageClassName: local-storage
             resources:
               requests:
                 storage: 40Gi

3. 変更を適用するためにファイルを保存します。新規設定の影響を受けた Pod は自動的に再起動され、新規ストレージ設定が適用されます。

手順

1. cluster-monitoring-config ConfigMap の編集を開始します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 保持期間の設定を data/config.yaml に配置します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         retention: <time_specification>

   <time_specification> を、ms (ミリ秒)、s (秒)、m (分)、h (時間)、d (日)、w (週)、または y (年) が直後に続く数字に置き換えます。

   たとえば、保持期間を 24 時間に設定するには、以下を使用します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         retention: 24h

3. 変更を適用するためにファイルを保存します。新規設定の影響を受けた Pod は自動的に再起動されます。

手順

1. 現在アクティブな Alertmanager 設定をファイル alertmanager.yaml に出力します。

   $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' |base64 -d > alertmanager.yaml

2. ファイル alertmanager.yaml の設定を新規設定に変更します。

   global:
     resolve_timeout: 5m
   route:
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: default
     routes:
     - match:
         alertname: Watchdog
       repeat_interval: 5m
       receiver: watchdog
     - match:
         service: <your_service> 1
       routes:
       - match:
           <your_matching_rules> 2
         receiver: <receiver> 3
   receivers:
   - name: default
   - name: watchdog
   - name: <receiver>
     <receiver_configuration>

   1

   service は、アラートを発生させるサービスを指定します。

   2

   <your_matching_rules> はターゲットアラートを指定します。

   3

   receiver は、アラートに使用する受信手段を指定します。

   たとえば、この一覧では通知用に PagerDuty を設定しています。

   global:
     resolve_timeout: 5m
   route:
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: default
     routes:
     - match:
         alertname: Watchdog
       repeat_interval: 5m
       receiver: watchdog
     - match: service: example-app routes: - match: severity: critical receiver: team-frontend-page
   receivers:
   - name: default
   - name: watchdog
   - name: team-frontend-page pagerduty_configs: - service_key: "your-key"

   この設定では、example-app サービスで発生する、重大度が critical のアラートが、team-frontend-page レシーバーを使用して送信されます。 つまり、これらのアラートは選択された送信先に対して設定されます。

3. 新規設定をファイルで適用します。

   $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

手順

1. 必要なポート転送を設定します。

   $ oc -n openshift-monitoring port-forward svc/prometheus-operated 9090

2. 有効なアラートルールおよびそれらのプロパティーが含まれる JSON オブジェクトを取得します。

   $ curl -s http://localhost:9090/api/v1/rules | jq '[.data.groups[].rules[] | select(.type=="alerting")]'
   [
     {
       "name": "ClusterOperatorDown",
       "query": "cluster_operator_up{job=\"cluster-version-operator\"} == 0",
       "duration": 600,
       "labels": {
         "severity": "critical"
       },
       "annotations": {
         "message": "Cluster operator {{ $labels.name }} has not been available for 10 mins. Operator may be down or disabled, cluster will not be kept up to date and upgrades will not be possible."
       },
       "alerts": [],
       "health": "ok",
       "type": "alerting"
     },
     {
       "name": "ClusterOperatorDegraded",
       ...