Cluster Observability Operator

手順

1. 次の設定を使用して MonitoringStack リソースを追加します。

   MonitoringStack オブジェクトの例

   apiVersion: monitoring.rhobs/v1alpha1
   kind: MonitoringStack
   metadata:
     labels:
       coo: example
     name: sample-monitoring-stack
     namespace: coo-demo
   spec:
     logLevel: debug
     retention: 1d
     resourceSelector:
       matchLabels:
         app: demo

2. sample-monitoring-stack という名前の Prometheus リソースが、coo-demo namespace に生成されます。次のコマンドを実行して、生成された Prometheus リソースの管理対象フィールドを取得します。

   $ oc -n coo-demo get Prometheus.monitoring.rhobs -oyaml --show-managed-fields

   出力例

   managedFields:
   - apiVersion: monitoring.rhobs/v1
     fieldsType: FieldsV1
     fieldsV1:
       f:metadata:
         f:labels:
           f:app.kubernetes.io/managed-by: {}
           f:app.kubernetes.io/name: {}
           f:app.kubernetes.io/part-of: {}
         f:ownerReferences:
           k:{"uid":"81da0d9a-61aa-4df3-affc-71015bcbde5a"}: {}
       f:spec:
         f:additionalScrapeConfigs: {}
         f:affinity:
           f:podAntiAffinity:
             f:requiredDuringSchedulingIgnoredDuringExecution: {}
         f:alerting:
           f:alertmanagers: {}
         f:arbitraryFSAccessThroughSMs: {}
         f:logLevel: {}
         f:podMetadata:
           f:labels:
             f:app.kubernetes.io/component: {}
             f:app.kubernetes.io/part-of: {}
         f:podMonitorSelector: {}
         f:replicas: {}
         f:resources:
           f:limits:
             f:cpu: {}
             f:memory: {}
           f:requests:
             f:cpu: {}
             f:memory: {}
         f:retention: {}
         f:ruleSelector: {}
         f:rules:
           f:alert: {}
         f:securityContext:
           f:fsGroup: {}
           f:runAsNonRoot: {}
           f:runAsUser: {}
         f:serviceAccountName: {}
         f:serviceMonitorSelector: {}
         f:thanos:
           f:baseImage: {}
           f:resources: {}
           f:version: {}
         f:tsdb: {}
     manager: observability-operator
     operation: Apply
   - apiVersion: monitoring.rhobs/v1
     fieldsType: FieldsV1
     fieldsV1:
       f:status:
         .: {}
         f:availableReplicas: {}
         f:conditions:
           .: {}
           k:{"type":"Available"}:
             .: {}
             f:lastTransitionTime: {}
             f:observedGeneration: {}
             f:status: {}
             f:type: {}
           k:{"type":"Reconciled"}:
             .: {}
             f:lastTransitionTime: {}
             f:observedGeneration: {}
             f:status: {}
             f:type: {}
         f:paused: {}
         f:replicas: {}
         f:shardStatuses:
           .: {}
           k:{"shardID":"0"}:
             .: {}
             f:availableReplicas: {}
             f:replicas: {}
             f:shardID: {}
             f:unavailableReplicas: {}
             f:updatedReplicas: {}
         f:unavailableReplicas: {}
         f:updatedReplicas: {}
     manager: PrometheusOperator
     operation: Update
     subresource: status

3. metadata.managedFields 値を確認し、metadata と spec の一部のフィールドが MonitoringStack リソースによって管理されていることを確認します。

4. MonitoringStack リソースで制御されないフィールドを変更します。

   1. MonitoringStack リソースによって設定されていないフィールドである spec.enforcedSampleLimit を変更します。prom-spec-edited.yaml ファイルを作成します。

      prom-spec-edited.yaml

      apiVersion: monitoring.rhobs/v1
      kind: Prometheus
      metadata:
        name: sample-monitoring-stack
        namespace: coo-demo
      spec:
        enforcedSampleLimit: 1000

   2. 以下のコマンドを実行して YAML を適用します。

      $ oc apply -f ./prom-spec-edited.yaml --server-side

      注記

      --server-side フラグを使用する必要があります。

   3. 変更された Prometheus オブジェクトを取得し、spec.enforcedSampleLimit を持つ managedFields に、もう 1 つセクションがあることに注意してください。

      $ oc get prometheus -n coo-demo

      出力例

      managedFields: 1
      - apiVersion: monitoring.rhobs/v1
        fieldsType: FieldsV1
        fieldsV1:
          f:metadata:
            f:labels:
              f:app.kubernetes.io/managed-by: {}
              f:app.kubernetes.io/name: {}
              f:app.kubernetes.io/part-of: {}
          f:spec:
            f:enforcedSampleLimit: {} 2
        manager: kubectl
        operation: Apply

      1

      managedFields

      2

      spec.enforcedSampleLimit

5. MonitoringStack リソースによって管理されるフィールドを変更します。

   1. 次の YAML 設定を使用して、MonitoringStack リソースによって管理されるフィールドである spec.LogLevel を変更します。

      # changing the logLevel from debug to info
      apiVersion: monitoring.rhobs/v1
      kind: Prometheus
      metadata:
        name: sample-monitoring-stack
        namespace: coo-demo
      spec:
        logLevel: info 1

      1

      spec.logLevel が追加されました。

   2. 以下のコマンドを実行して YAML を適用します。

      $ oc apply -f ./prom-spec-edited.yaml --server-side

      出力例

      error: Apply failed with 1 conflict: conflict with "observability-operator": .spec.logLevel
      Please review the fields above--they currently have other managers. Here
      are the ways you can resolve this warning:
      * If you intend to manage all of these fields, please re-run the apply
        command with the `--force-conflicts` flag.
      * If you do not intend to manage all of the fields, please edit your
        manifest to remove references to the fields that should keep their
        current managers.
      * You may co-own fields by updating your manifest to match the existing
        value; in this case, you'll become the manager if the other manager(s)
        stop managing the field (remove it from their configuration).
      See https://kubernetes.io/docs/reference/using-api/server-side-apply/#conflicts

   3. フィールド spec.logLevel は observability-operator によってすでに管理されているため、Server-Side Apply を使用して変更できないことに注意してください。

   4. この変更を強制するには、--force-conflicts フラグを使用します。

      $ oc apply -f ./prom-spec-edited.yaml --server-side --force-conflicts

      出力例

      prometheus.monitoring.rhobs/sample-monitoring-stack serverside-applied

      --force-conflicts フラグの場合、このフィールドは強制的に変更できますが、同じフィールドが MonitoringStack リソースでも管理されるため、Observability Operator は変更を検出し、MonitoringStack リソースによって設定された値に戻します。

      注記

      MonitoringStack リソースによって生成される一部の Prometheus フィールドは、logLevel など、MonitoringStack spec スタンザのフィールドの影響を受けます。これらは、MonitoringStack spec を変更することで変更できます。

   5. Prometheus オブジェクトの logLevel を変更するには、次の YAML を適用して MonitoringStack リソースを変更します。

      apiVersion: monitoring.rhobs/v1alpha1
      kind: MonitoringStack
      metadata:
        name: sample-monitoring-stack
        labels:
          coo: example
      spec:
        logLevel: info

   6. 変更が実行されたことを確認するには、次のコマンドを実行してログレベルについてクエリーします。

      $ oc -n coo-demo get Prometheus.monitoring.rhobs -o=jsonpath='{.items[0].spec.logLevel}'

      出力例

      info

手順

1. OpenShift Container Platform Web コンソールで、Operators → OperatorHub をクリックします。
2. Filter by keyword ボックスに cluster observability operator と入力します。
3. 結果リストで Cluster Observability Operator をクリックします。

4. Operator に関する情報を読み、次のデフォルトのインストール設定を確認します。

   • Update channel → development
   • Version → <most_recent_version>
   • Installation mode → All namespaces on the cluster (default)
   • Installed Namespace → openshift-operators
   • Update approval → Automatic
5. オプション: 要件に合わせてデフォルトのインストール設定を変更します。たとえば、別の更新チャネルをサブスクライブしたり、Operator の古いリリースバージョンをインストールしたり、Operator の新しいバージョンへの更新に手動の承認を必要とするように選択できます。
6. Install をクリックします。

手順

1. Operators → Installed Operators に移動します。
2. リスト内で Cluster Observability Operator エントリーを見つけます。
3. このエントリーの をクリックし、Uninstall Operator を選択します。

手順

1. prometheus-coo-example-app.yaml という名前の YAML ファイルを作成します。このファイルには、namespace、デプロイメント、およびサービスに関する次の設定の詳細が含まれます。

   apiVersion: v1
   kind: Namespace
   metadata:
     name: ns1-coo
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-coo-example-app
     name: prometheus-coo-example-app
     namespace: ns1-coo
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-coo-example-app
     template:
       metadata:
         labels:
           app: prometheus-coo-example-app
       spec:
         containers:
         - image: ghcr.io/rhobs/prometheus-example-app:0.4.2
           imagePullPolicy: IfNotPresent
           name: prometheus-coo-example-app
   ---
   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: prometheus-coo-example-app
     name: prometheus-coo-example-app
     namespace: ns1-coo
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
       name: web
     selector:
       app: prometheus-coo-example-app
     type: ClusterIP

2. ファイルを保存します。

3. 次のコマンドを実行して、設定をクラスターに適用します。

   $ oc apply -f prometheus-coo-example-app.yaml

4. 次のコマンドを実行して出力を確認し、Pod が実行されていることを確認します。

   $ oc -n ns1-coo get pod

   出力例

   NAME                                      READY     STATUS    RESTARTS   AGE
   prometheus-coo-example-app-0927545cb7-anskj   1/1       Running   0          81m

手順

1. 次の ServiceMonitor オブジェクト設定の詳細を含む YAML ファイルを、example-coo-app-service-monitor.yaml という名前で作成します。

   apiVersion: monitoring.rhobs/v1
   kind: ServiceMonitor
   metadata:
     labels:
       k8s-app: prometheus-coo-example-monitor
     name: prometheus-coo-example-monitor
     namespace: ns1-coo
   spec:
     endpoints:
     - interval: 30s
       port: web
       scheme: http
     selector:
       matchLabels:
         app: prometheus-coo-example-app

   この設定は、prometheus-coo-example-app サンプルサービスが公開するメトリクスデータを収集するために MonitoringStack オブジェクトが参照する ServiceMonitor オブジェクトを定義します。

2. 次のコマンドを実行して、設定をクラスターに適用します。

   $ oc apply -f example-coo-app-service-monitor.yaml

3. 次のコマンドを実行して出力を観察し、ServiceMonitor リソースが作成されたことを確認します。

   $ oc -n ns1-coo get servicemonitors.monitoring.rhobs

   出力例

   NAME                         AGE
   prometheus-coo-example-monitor   81m

手順

1. MonitoringStack オブジェクト設定の YAML ファイルを作成します。この例では、ファイル名を example-coo-monitoring-stack.yaml にします。

2. 以下の MonitoringStack オブジェクト設定の詳細を追加します。

   MonitoringStack オブジェクトの例

   apiVersion: monitoring.rhobs/v1alpha1
   kind: MonitoringStack
   metadata:
     name: example-coo-monitoring-stack
     namespace: ns1-coo
   spec:
     logLevel: debug
     retention: 1d
     resourceSelector:
       matchLabels:
         k8s-app: prometheus-coo-example-monitor

3. 次のコマンドを実行して、MonitoringStack オブジェクトを適用します。

   $ oc apply -f example-coo-monitoring-stack.yaml

4. 次のコマンドを実行し、出力で MonitoringStack オブジェクトが利用可能であることを確認します。

   $ oc -n ns1-coo get monitoringstack

   出力例

   NAME                         AGE
   example-coo-monitoring-stack   81m

5. 以下のコマンドを実行して、Prometheus からアクティブなターゲットに関する情報を取得し、出力をフィルタリングして、app=prometheus-coo-example-app のラベルが付けられたターゲットのみをリスト表示します。これにより、この特定のラベルの付いたターゲットのうち、どれが Prometheus によって検出およびアクティブに監視されるかが検証されます。

   $ oc -n oc -n ns1-coo exec -c prometheus prometheus-example-coo-monitoring-stack-0 -- curl -s 'http://localhost:9090/api/v1/targets' | jq '.data.activeTargets[].discoveredLabels | select(.__meta_kubernetes_endpoints_label_app=="prometheus-coo-example-app")'

   出力例

   {
     "__address__": "10.129.2.25:8080",
     "__meta_kubernetes_endpoint_address_target_kind": "Pod",
     "__meta_kubernetes_endpoint_address_target_name": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
     "__meta_kubernetes_endpoint_node_name": "ci-ln-8tt8vxb-72292-6cxjr-worker-a-wdfnz",
     "__meta_kubernetes_endpoint_port_name": "web",
     "__meta_kubernetes_endpoint_port_protocol": "TCP",
     "__meta_kubernetes_endpoint_ready": "true",
     "__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time": "2024-11-05T11:24:09Z",
     "__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time": "true",
     "__meta_kubernetes_endpoints_label_app": "prometheus-coo-example-app",
     "__meta_kubernetes_endpoints_labelpresent_app": "true",
     "__meta_kubernetes_endpoints_name": "prometheus-coo-example-app",
     "__meta_kubernetes_namespace": "ns1-coo",
     "__meta_kubernetes_pod_annotation_k8s_ovn_org_pod_networks": "{\"default\":{\"ip_addresses\":[\"10.129.2.25/23\"],\"mac_address\":\"0a:58:0a:81:02:19\",\"gateway_ips\":[\"10.129.2.1\"],\"routes\":[{\"dest\":\"10.128.0.0/14\",\"nextHop\":\"10.129.2.1\"},{\"dest\":\"172.30.0.0/16\",\"nextHop\":\"10.129.2.1\"},{\"dest\":\"100.64.0.0/16\",\"nextHop\":\"10.129.2.1\"}],\"ip_address\":\"10.129.2.25/23\",\"gateway_ip\":\"10.129.2.1\",\"role\":\"primary\"}}",
     "__meta_kubernetes_pod_annotation_k8s_v1_cni_cncf_io_network_status": "[{\n    \"name\": \"ovn-kubernetes\",\n    \"interface\": \"eth0\",\n    \"ips\": [\n        \"10.129.2.25\"\n    ],\n    \"mac\": \"0a:58:0a:81:02:19\",\n    \"default\": true,\n    \"dns\": {}\n}]",
     "__meta_kubernetes_pod_annotation_openshift_io_scc": "restricted-v2",
     "__meta_kubernetes_pod_annotation_seccomp_security_alpha_kubernetes_io_pod": "runtime/default",
     "__meta_kubernetes_pod_annotationpresent_k8s_ovn_org_pod_networks": "true",
     "__meta_kubernetes_pod_annotationpresent_k8s_v1_cni_cncf_io_network_status": "true",
     "__meta_kubernetes_pod_annotationpresent_openshift_io_scc": "true",
     "__meta_kubernetes_pod_annotationpresent_seccomp_security_alpha_kubernetes_io_pod": "true",
     "__meta_kubernetes_pod_controller_kind": "ReplicaSet",
     "__meta_kubernetes_pod_controller_name": "prometheus-coo-example-app-5d8cd498c7",
     "__meta_kubernetes_pod_host_ip": "10.0.128.2",
     "__meta_kubernetes_pod_ip": "10.129.2.25",
     "__meta_kubernetes_pod_label_app": "prometheus-coo-example-app",
     "__meta_kubernetes_pod_label_pod_template_hash": "5d8cd498c7",
     "__meta_kubernetes_pod_labelpresent_app": "true",
     "__meta_kubernetes_pod_labelpresent_pod_template_hash": "true",
     "__meta_kubernetes_pod_name": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
     "__meta_kubernetes_pod_node_name": "ci-ln-8tt8vxb-72292-6cxjr-worker-a-wdfnz",
     "__meta_kubernetes_pod_phase": "Running",
     "__meta_kubernetes_pod_ready": "true",
     "__meta_kubernetes_pod_uid": "054c11b6-9a76-4827-a860-47f3a4596871",
     "__meta_kubernetes_service_label_app": "prometheus-coo-example-app",
     "__meta_kubernetes_service_labelpresent_app": "true",
     "__meta_kubernetes_service_name": "prometheus-coo-example-app",
     "__metrics_path__": "/metrics",
     "__scheme__": "http",
     "__scrape_interval__": "30s",
     "__scrape_timeout__": "10s",
     "job": "serviceMonitor/ns1-coo/prometheus-coo-example-monitor/0"
   }

   注記

   上記の例では、jq コマンドライン JSON プロセッサー を使用して、便宜上出力をフォーマットします。

手順

1. prometheus-coo-example-app サービスのサンプルを公開するためのルートを作成します。ターミナルから、以下のコマンドを実行します。

   $ oc expose svc prometheus-coo-example-app

2. ブラウザーまたはコマンドラインからルートにアクセスし、メトリクスを生成します。

3. Prometheus Pod でクエリーを実行し、HTTP 要求メトリクスの合計を返します。

   $ oc -n ns1-coo exec -c prometheus prometheus-example-coo-monitoring-stack-0 -- curl -s 'http://localhost:9090/api/v1/query?query=http_requests_total'

   出力例 (便宜上 jq を使用したフォーマット)

   {
     "status": "success",
     "data": {
       "resultType": "vector",
       "result": [
         {
           "metric": {
             "__name__": "http_requests_total",
             "code": "200",
             "endpoint": "web",
             "instance": "10.129.2.25:8080",
             "job": "prometheus-coo-example-app",
             "method": "get",
             "namespace": "ns1-coo",
             "pod": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
             "service": "prometheus-coo-example-app"
           },
           "value": [
             1730807483.632,
             "3"
           ]
         },
         {
           "metric": {
             "__name__": "http_requests_total",
             "code": "404",
             "endpoint": "web",
             "instance": "10.129.2.25:8080",
             "job": "prometheus-coo-example-app",
             "method": "get",
             "namespace": "ns1-coo",
             "pod": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
             "service": "prometheus-coo-example-app"
           },
           "value": [
             1730807483.632,
             "0"
           ]
         }
       ]
     }
   }