1.2. モニタリングスタックの設定

手順

1. cluster-monitoring-config ConfigMap を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. コンポーネントの PVC 設定を data/config.yaml の下に配置します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       component:
         volumeClaimTemplate:
           metadata:
             name: PVC name
           spec:
             storageClassName: storage class
             resources:
               requests:
                 storage: 40Gi

   volumeClaimTemplate の指定方法については、PersistentVolumeClaims についての Kubernetes ドキュメント を参照してください。

   たとえば、設定された OpenShift Container Platform ブロック PV を Prometheus の永続ストレージとして要求する PVC を設定するには、以下を使用します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         volumeClaimTemplate:
           metadata:
             name: my-prometheus-claim
           spec:
             storageClassName: gluster-block
             resources:
               requests:
                 storage: 40Gi

   さらに、設定された OpenShift Container Platform ブロック PV を Alertmanager の永続ストレージとして要求する PVC を設定するには、以下を使用できます。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         volumeClaimTemplate:
           metadata:
             name: my-alertmanager-claim
           spec:
             storageClassName: gluster-block
             resources:
               requests:
                 storage: 40Gi

3. 変更を適用するためにファイルを保存します。新規設定の影響を受けた Pod は自動的に再起動され、新規ストレージ設定が適用されます。

手順

1. cluster-monitoring-config ConfigMap の編集を開始します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 保持期間の設定を data/config.yaml に配置します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         retention: time specification

   <time specification> を、 ms (ミリ秒)、s (秒)、 m (分)、h (時)、 d (日)、w (週)、または y (年) が直後に続く数字に置き換えます。

   たとえば、保持期間を 24 時間に設定するには、以下を使用します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         retention: 24h

3. 変更を適用するためにファイルを保存します。新規設定の影響を受けた Pod は自動的に再起動されます。

手順

1. 現在アクティブな Alertmanager 設定をファイル alertmanager.yaml に出力します。

   $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' |base64 -d > alertmanager.yaml

2. ファイル alertmanager.yaml の設定を新規設定に変更します。

   data:
    config.yaml: |
     global:
       resolve_timeout: 5m
     route:
       group_wait: 30s
       group_interval: 5m
       repeat_interval: 12h
       receiver: default
       routes:
       - match:
           alertname: Watchdog
         repeat_interval: 5m
         receiver: watchdog
       - match:
           service: _your service_ 1
         routes:
         - match:
             _your matching rules_ 2
           receiver: _receiver_ 3
     receivers:
     - name: default
     - name: watchdog
     - name: _receiver_
       _receiver configuration_

   1

   service は、アラートを発生させるサービスを指定します。

   2

   <your matching rules> は、ターゲットアラートを指定します。

   3

   receiver は、アラートに使用する受信手段を指定します。

   たとえば、この一覧では通知用に PagerDuty を設定しています。

   data:
    config.yaml: |
     global:
       resolve_timeout: 5m
     route:
       group_wait: 30s
       group_interval: 5m
       repeat_interval: 12h
       receiver: default
       routes:
       - match:
           alertname: Watchdog
         repeat_interval: 5m
         receiver: watchdog
       - match: service: example-app routes: - match: severity: critical receiver: team-frontend-page
     receivers:
     - name: default
     - name: watchdog
     - name: team-frontend-page pagerduty_configs: - service_key: "your-key"

   この設定では、example-app サービスで発生する、重大度が critical のアラートが、team-frontend-page レシーバーを使用して送信されます。 つまり、これらのアラートは選択された送信先に対して設定されます。

3. 新規設定をファイルで適用します。

   $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

手順

1. 必要なポート転送を設定します。

   $ oc -n openshift-monitoring port-forward svc/prometheus-operated 9090

2. 有効なアラートルールおよびそれらのプロパティーが含まれる JSON オブジェクトを取得します。

   $ curl -s http://localhost:9090/api/v1/rules | jq '[.data.groups[].rules[] | select(.type=="alerting")]'
   [
     {
       "name": "ClusterOperatorDown",
       "query": "cluster_operator_up{job=\"cluster-version-operator\"} == 0",
       "duration": 600,
       "labels": {
         "severity": "critical"
       },
       "annotations": {
         "message": "Cluster operator {{ $labels.name }} has not been available for 10 mins. Operator may be down or disabled, cluster will not be kept up to date and upgrades will not be possible."
       },
       "alerts": [],
       "health": "ok",
       "type": "alerting"
     },
     {
       "name": "ClusterOperatorDegraded",
       ...