モニタリング

手順

1. OpenShift Cluster Manager Hybrid Cloud Console からクラスターを選択します。
2. Settings タブをクリックします。

3. Enable user workload monitoring チェックボックスをクリックしてオプションの選択を解除し、Save をクリックします。

   ユーザーのワークロードモニタリングは無効になっています。Prometheus、Prometheus Operator、および Thanos Ruler コンポーネントは、openshift-user-workload-monitoring プロジェクトで停止されます。

手順

1. ラベルをプロジェクト namespace に追加します。

   $ oc label namespace my-project 'openshift.io/user-monitoring=false'

   Copy to Clipboard Toggle word wrap

2. モニタリングを再度有効にするには、namespace からラベルを削除します。

   $ oc label namespace my-project 'openshift.io/user-monitoring-'

   Copy to Clipboard Toggle word wrap
   注記

   プロジェクトにアクティブなモニタリングターゲットがあった場合、ラベルを追加した後、Prometheus がそれらのスクレイピングを停止するまでに数分かかる場合があります。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. Pod トポロジーの分散制約を設定するには、data/config.yaml フィールドの下に次の設定を追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       <component>: 

   1

   
         topologySpreadConstraints:
         - maxSkew: <n> 

   2

   
           topologyKey: <key> 

   3

   
           whenUnsatisfiable: <value> 

   4

   
           labelSelector: 

   5

   
             <match_option>

   Copy to Clipboard Toggle word wrap

   1

   Pod トポロジーの分散制約を設定するコンポーネントの名前を指定します。

   2

   maxSkew の数値を指定します。これは、どの程度まで Pod が不均等に分散されることを許可するか定義します。

   3

   topologyKey にノードラベルのキーを指定します。このキーと同じ値のラベルを持つノードは、同じトポロジーにあると見なされます。スケジューラーは、各ドメインにバランスの取れた数の Pod を配置しようとします。

   4

   whenUnsatisfiable の値を指定します。利用可能なオプションは DoNotSchedule と ScheduleAnyway です。maxSkew 値で、ターゲットトポロジー内の一致する Pod の数とグローバル最小値との間で許容される最大差を定義する場合は、DoNotSchedule を指定します。スケジューラーが引き続き Pod をスケジュールするが、スキューを減らす可能性のあるノードにより高い優先度を与える場合は、ScheduleAnyway を指定します。

   5

   一致する Pod を見つけるには、labelSelector を指定します。このラベルセレクターに一致する Pod は、対応するトポロジードメイン内の Pod の数を決定するためにカウントされます。

   Thanos Ruler の設定例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       thanosRuler:
         topologySpreadConstraints:
         - maxSkew: 1
           topologyKey: monitoring
           whenUnsatisfiable: ScheduleAnyway
           labelSelector:
             matchLabels:
               app.kubernetes.io/name: thanos-ruler

   Copy to Clipboard Toggle word wrap

3. 変更を適用するためにファイルを保存します。新しい設定の影響を受ける Pod は自動的に再デプロイされます。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 保持期間およびサイズ設定を data/config.yaml に追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         retention: <time_specification> 

   1

   
         retentionSize: <size_specification> 

   2

   Copy to Clipboard Toggle word wrap

   1

   保持時間: ms (ミリ秒)、s (秒)、m (分)、h (時)、d (日)、w (週)、y (年) が直接続く数値。1h30m15s などの特定の時間に時間値を組み合わせることもできます。

   2

   保持サイズ: B (バイト)、KB (キロバイト)、MB (メガバイト)、GB (ギガバイト)、TB (テラバイト)、PB (ペタバイト)、および EB (エクサバイト) が直接続く数値。

   次の例では、Prometheus インスタンスの保持時間を 24 時間、保持サイズを 10 ギガバイトに設定します。

   Prometheus の保持期間を設定する例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         retention: 24h
         retentionSize: 10GB

   Copy to Clipboard Toggle word wrap

3. 変更を適用するためにファイルを保存します。新しい設定の影響を受ける Pod は自動的に再デプロイされます。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. コンポーネントの logLevel: <log_level> を data/config.yaml の下に追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       <component>: 

   1

   
         logLevel: <log_level> 

   2

   Copy to Clipboard Toggle word wrap

   1

   ログレベルを設定するモニタリングスタックコンポーネント。使用できるコンポーネントの値は、prometheus、alertmanager、prometheusOperator、および thanosRuler です。

   2

   コンポーネントに設定するログレベル。使用可能な値は、error、warn、info、および debug です。デフォルト値は info です。

3. 変更を適用するためにファイルを保存します。新しい設定の影響を受ける Pod は自動的に再デプロイされます。

4. 関連するプロジェクトでデプロイメントまたは Pod 設定を確認し、ログレベルが適用されていることを確認します。以下の例では、prometheus-operator デプロイメントのログレベルを確認します。

   $ oc -n openshift-user-workload-monitoring get deploy prometheus-operator -o yaml | grep "log-level"

   Copy to Clipboard Toggle word wrap

   出力例

           - --log-level=debug

   Copy to Clipboard Toggle word wrap

5. コンポーネントの Pod が実行中であることを確認します。次の例では、Pod のステータスをリスト表示します。

   $ oc -n openshift-user-workload-monitoring get pods

   Copy to Clipboard Toggle word wrap
   注記

   認識されない logLevel 値が ConfigMap オブジェクトに含まれる場合は、コンポーネントの Pod が正常に再起動しない可能性があります。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. Prometheus の queryLogFile パラメーターを data/config.yaml の下に追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         queryLogFile: <path> 

   1

   Copy to Clipboard Toggle word wrap

   1

   クエリーが記録されるファイルへの完全なパスを追加します。

3. 変更を適用するためにファイルを保存します。新しい設定の影響を受ける Pod は自動的に再デプロイされます。

4. コンポーネントの Pod が実行中であることを確認します。次のコマンド例は、Pod のステータスを表示します。

   $ oc -n openshift-user-workload-monitoring get pods

   Copy to Clipboard Toggle word wrap

   出力例

   ...
   prometheus-operator-776fcbbd56-2nbfm   2/2     Running   0          132m
   prometheus-user-workload-0             5/5     Running   1          132m
   prometheus-user-workload-1             5/5     Running   1          132m
   thanos-ruler-user-workload-0           3/3     Running   0          132m
   thanos-ruler-user-workload-1           3/3     Running   0          132m
   ...

   Copy to Clipboard Toggle word wrap

5. クエリーログを読みます。

   $ oc -n openshift-user-workload-monitoring exec prometheus-user-workload-0 -- cat <path>

   Copy to Clipboard Toggle word wrap
   重要

   ログに記録されたクエリー情報を確認した後、config map の設定を元に戻します。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 以下の例のように、data/config.yaml/prometheus の下に remoteWrite: セクションを追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         remoteWrite:
         - url: "https://remote-write-endpoint.example.com" 

   1

   
           <endpoint_authentication_credentials> 

   2

   Copy to Clipboard Toggle word wrap

   1

   リモート書き込みエンドポイントの URL。

   2

   エンドポイントの認証方法およびクレデンシャル。現在サポートされている認証方法は、AWS 署名バージョン 4、Authorization リクエストヘッダーでの HTTP を使用した認証、基本認証、OAuth 2.0、および TLS クライアントです。サポートされている認証方法のサンプル設定は、サポートされているリモート書き込み認証設定 を参照してください。

3. 認証クレデンシャルの後に、書き込みの再ラベル設定値を追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         remoteWrite:
         - url: "https://remote-write-endpoint.example.com"
           <endpoint_authentication_credentials>
           writeRelabelConfigs:
           - <your_write_relabel_configs> 

   1

   Copy to Clipboard Toggle word wrap

   1

   リモートエンドポイントに送信するメトリクスの設定を追加します。

   my_metric という単一メトリクスを転送する例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         remoteWrite:
         - url: "https://remote-write-endpoint.example.com"
           writeRelabelConfigs:
           - sourceLabels: [__name__]
             regex: 'my_metric'
             action: keep

   Copy to Clipboard Toggle word wrap

   my_namespace namespace に my_metric_1 および my_metric_2 というメトリクスを転送する例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         remoteWrite:
         - url: "https://remote-write-endpoint.example.com"
           writeRelabelConfigs:
           - sourceLabels: [__name__,namespace]
             regex: '(my_metric_1|my_metric_2);my_namespace'
             action: keep

   Copy to Clipboard Toggle word wrap

4. 変更を適用するためにファイルを保存します。新しい設定は自動的に適用されます。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. data/config.yaml/prometheus/remoteWrite の下にある writeRelabelConfigs: セクションで、クラスター ID の再ラベル付け設定値を追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         remoteWrite:
         - url: "https://remote-write-endpoint.example.com"
           <endpoint_authentication_credentials>
           writeRelabelConfigs: 

   1

   
             - <relabel_config> 

   2

   Copy to Clipboard Toggle word wrap

   1

   リモートエンドポイントに送信するメトリクスの書き込み再ラベル付け設定のリストを追加します。

   2

   リモート書き込みエンドポイントに送信されるメトリクスのラベル設定を置き換えます。

   次のサンプルは、クラスター ID ラベル cluster_id を使用してメトリクスを転送する方法を示しています。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         remoteWrite:
         - url: "https://remote-write-endpoint.example.com"
           writeRelabelConfigs:
           - sourceLabels:
             - __tmp_openshift_cluster_id__ 

   1

   
             targetLabel: cluster_id 

   2

   
             action: replace 

   3

   Copy to Clipboard Toggle word wrap

   1

   システムは最初に __tmp_openshift_cluster_id__ という名前の一時的なクラスター ID ソースラベルを適用します。この一時的なラベルは、指定するクラスター ID ラベル名に置き換えられます。

   2

   リモート書き込みストレージに送信されるメトリクスのクラスター ID ラベルの名前を指定します。メトリクスにすでに存在するラベル名を使用する場合、その値はこのクラスター ID ラベルの名前で上書きされます。ラベル名には __tmp_openshift_cluster_id__ は使用しないでください。最後の再ラベル手順では、この名前を使用するラベルを削除します。

   3

   replace 置き換えラベルの再設定アクションは、一時ラベルを送信メトリクスのターゲットラベルに置き換えます。このアクションはデフォルトであり、アクションが指定されていない場合に適用されます。

3. 変更を適用するためにファイルを保存します。新しい設定は自動的に適用されます。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. data/config.yaml/<component> 下に、設定の詳細を含む additionalAlertmanagerConfigs セクションを追加します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       <component>: 

   1

   
         additionalAlertmanagerConfigs:
         - <alertmanager_specification> 

   2

   Copy to Clipboard Toggle word wrap

   2

   <alertmanager_specification> は、追加の Alertmanager インスタンスの認証やその他の設定の詳細に置き換えます。現時点で、サポートされている認証方法はベアラートークン (bearerToken) およびクライアント TLS(tlsConfig) です。

   1

   <component> は、サポートされている 2 つの外部 Alertmanager コンポーネント (Prometheus または thanosRuler) のいずれかに置き換えます。

   次のサンプル config map は、クライアント TLS 認証でベアラートークンを使用して、Thanos Ruler 用の追加の Alertmanager を設定します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       thanosRuler:
         additionalAlertmanagerConfigs:
         - scheme: https
           pathPrefix: /
           timeout: "30s"
           apiVersion: v1
           bearerToken:
             name: alertmanager-bearer-token
             key: token
           tlsConfig:
             key:
               name: alertmanager-tls
               key: tls.key
             cert:
               name: alertmanager-tls
               key: tls.crt
             ca:
               name: alertmanager-tls
               key: tls.ca
           staticConfigs:
           - external-alertmanager1-remote.com
           - external-alertmanager1-remote2.com

   Copy to Clipboard Toggle word wrap
3. 変更を適用するためにファイルを保存します。新しい設定の影響を受ける Pod は自動的に再デプロイされます。

手順

1. openshift-user-workload-monitoring プロジェクトで user-workload-monitoring-config config map を編集します。

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. data/config.yaml の下の各メトリクスに追加するラベルを定義します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         externalLabels:
           <key>: <value> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <key>: <value> をキーと値のペアに置き換えます。<key> は新しいラベルの一意の名前、<value> はその値です。

   警告
   • prometheus または prometheus_replica は予約され、上書きされるため、これらをキー名として使用しないでください。
   • キー名に cluster または managed_cluster を使用しないでください。これらを使用すると、開発者ダッシュボードでデータが表示されなくなる問題が発生する可能性があります。
   注記

   openshift-user-workload-monitoring プロジェクトでは、Prometheus はメトリクスを処理し、Thanos Ruler はアラートおよび記録ルールを処理します。user-workload-monitoring-config ConfigMap オブジェクトで prometheus の externalLabels を設定すると、すべてのルールではなく、メトリクスの外部ラベルのみが設定されます。

   たとえば、リージョンと環境に関するメタデータをすべての時系列とアラートに追加するには、次の例を使用します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         externalLabels:
           region: eu
           environment: prod

   Copy to Clipboard Toggle word wrap
3. 変更を適用するためにファイルを保存します。新しい設定の影響を受ける Pod は自動的に再デプロイされます。