Cluster Observability Operator

프로세스

1. 다음 구성을 사용하여 MonitoringStack 리소스를 추가합니다.

   MonitoringStack 오브젝트의 예

   apiVersion: monitoring.rhobs/v1alpha1
   kind: MonitoringStack
   metadata:
     labels:
       coo: example
     name: sample-monitoring-stack
     namespace: coo-demo
   spec:
     logLevel: debug
     retention: 1d
     resourceSelector:
       matchLabels:
         app: demo

2. sample-monitoring-stack 이라는 Prometheus 리소스는 coo-demo 네임스페이스에 생성됩니다. 다음 명령을 실행하여 생성된 Prometheus 리소스의 관리형 필드를 검색합니다.

   $ oc -n coo-demo get Prometheus.monitoring.rhobs -oyaml --show-managed-fields

   출력 예

   managedFields:
   - apiVersion: monitoring.rhobs/v1
     fieldsType: FieldsV1
     fieldsV1:
       f:metadata:
         f:labels:
           f:app.kubernetes.io/managed-by: {}
           f:app.kubernetes.io/name: {}
           f:app.kubernetes.io/part-of: {}
         f:ownerReferences:
           k:{"uid":"81da0d9a-61aa-4df3-affc-71015bcbde5a"}: {}
       f:spec:
         f:additionalScrapeConfigs: {}
         f:affinity:
           f:podAntiAffinity:
             f:requiredDuringSchedulingIgnoredDuringExecution: {}
         f:alerting:
           f:alertmanagers: {}
         f:arbitraryFSAccessThroughSMs: {}
         f:logLevel: {}
         f:podMetadata:
           f:labels:
             f:app.kubernetes.io/component: {}
             f:app.kubernetes.io/part-of: {}
         f:podMonitorSelector: {}
         f:replicas: {}
         f:resources:
           f:limits:
             f:cpu: {}
             f:memory: {}
           f:requests:
             f:cpu: {}
             f:memory: {}
         f:retention: {}
         f:ruleSelector: {}
         f:rules:
           f:alert: {}
         f:securityContext:
           f:fsGroup: {}
           f:runAsNonRoot: {}
           f:runAsUser: {}
         f:serviceAccountName: {}
         f:serviceMonitorSelector: {}
         f:thanos:
           f:baseImage: {}
           f:resources: {}
           f:version: {}
         f:tsdb: {}
     manager: observability-operator
     operation: Apply
   - apiVersion: monitoring.rhobs/v1
     fieldsType: FieldsV1
     fieldsV1:
       f:status:
         .: {}
         f:availableReplicas: {}
         f:conditions:
           .: {}
           k:{"type":"Available"}:
             .: {}
             f:lastTransitionTime: {}
             f:observedGeneration: {}
             f:status: {}
             f:type: {}
           k:{"type":"Reconciled"}:
             .: {}
             f:lastTransitionTime: {}
             f:observedGeneration: {}
             f:status: {}
             f:type: {}
         f:paused: {}
         f:replicas: {}
         f:shardStatuses:
           .: {}
           k:{"shardID":"0"}:
             .: {}
             f:availableReplicas: {}
             f:replicas: {}
             f:shardID: {}
             f:unavailableReplicas: {}
             f:updatedReplicas: {}
         f:unavailableReplicas: {}
         f:updatedReplicas: {}
     manager: PrometheusOperator
     operation: Update
     subresource: status

3. metadata.managedFields 값을 확인하고, 메타데이터 및 사양 의 일부 필드가 MonitoringStack 리소스에서 관리되는지 확인합니다.

4. MonitoringStack 리소스에서 제어하지 않는 필드를 수정합니다.

   1. MonitoringStack 리소스에서 설정하지 않은 필드인 spec.enforcedSampleLimit 를 변경합니다. prom-spec-edited.yaml 파일을 생성합니다.

      prom-spec-edited.yaml

      apiVersion: monitoring.rhobs/v1
      kind: Prometheus
      metadata:
        name: sample-monitoring-stack
        namespace: coo-demo
      spec:
        enforcedSampleLimit: 1000

   2. 다음 명령을 실행하여 YAML을 적용합니다.

      $ oc apply -f ./prom-spec-edited.yaml --server-side

      참고

      --server-side 플래그를 사용해야 합니다.

   3. 변경된 Prometheus 오브젝트를 가져오고 managedFields 에 spec.enforcedSampleLimit 이 있는 섹션이 하나 더 있음을 확인합니다.

      $ oc get prometheus -n coo-demo

      출력 예

      managedFields: 1
      - apiVersion: monitoring.rhobs/v1
        fieldsType: FieldsV1
        fieldsV1:
          f:metadata:
            f:labels:
              f:app.kubernetes.io/managed-by: {}
              f:app.kubernetes.io/name: {}
              f:app.kubernetes.io/part-of: {}
          f:spec:
            f:enforcedSampleLimit: {} 2
        manager: kubectl
        operation: Apply

      1

      managedFields

      2

      spec.enforcedSampleLimit

5. MonitoringStack 리소스에서 관리하는 필드를 수정합니다.

   1. 다음 YAML 구성을 사용하여 MonitoringStack 리소스에서 관리하는 필드인 spec.LogLevel 을 변경합니다.

      # changing the logLevel from debug to info
      apiVersion: monitoring.rhobs/v1
      kind: Prometheus
      metadata:
        name: sample-monitoring-stack
        namespace: coo-demo
      spec:
        logLevel: info 1

      1

      spec.logLevel 추가

   2. 다음 명령을 실행하여 YAML을 적용합니다.

      $ oc apply -f ./prom-spec-edited.yaml --server-side

      출력 예

      error: Apply failed with 1 conflict: conflict with "observability-operator": .spec.logLevel
      Please review the fields above--they currently have other managers. Here
      are the ways you can resolve this warning:
      * If you intend to manage all of these fields, please re-run the apply
        command with the `--force-conflicts` flag.
      * If you do not intend to manage all of the fields, please edit your
        manifest to remove references to the fields that should keep their
        current managers.
      * You may co-own fields by updating your manifest to match the existing
        value; in this case, you'll become the manager if the other manager(s)
        stop managing the field (remove it from their configuration).
      See https://kubernetes.io/docs/reference/using-api/server-side-apply/#conflicts

   3. spec.logLevel 필드는 observability-operator 에서 이미 관리하므로 Server-Side Apply를 사용하여 변경할 수 없습니다.

   4. --force-conflicts 플래그를 사용하여 변경 사항을 강제 적용합니다.

      $ oc apply -f ./prom-spec-edited.yaml --server-side --force-conflicts

      출력 예

      prometheus.monitoring.rhobs/sample-monitoring-stack serverside-applied

      --force-conflicts 플래그를 사용하면 필드를 강제로 변경할 수 있지만 동일한 필드가 MonitoringStack 리소스에서도 관리되므로 Observability Operator는 변경 사항을 감지하고 MonitoringStack 리소스에서 설정한 값으로 되돌립니다.

      참고

      MonitoringStack 리소스에서 생성한 일부 Prometheus 필드는 MonitoringStack 사양 스탠자의 필드(예: logLevel )의 영향을 받습니다. 이는 MonitoringStack 사양 을 변경하여 변경할 수 있습니다.

   5. Prometheus 오브젝트에서 logLevel 을 변경하려면 다음 YAML을 적용하여 MonitoringStack 리소스를 변경합니다.

      apiVersion: monitoring.rhobs/v1alpha1
      kind: MonitoringStack
      metadata:
        name: sample-monitoring-stack
        labels:
          coo: example
      spec:
        logLevel: info

   6. 변경 사항이 수행되었는지 확인하려면 다음 명령을 실행하여 로그 수준을 쿼리합니다.

      $ oc -n coo-demo get Prometheus.monitoring.rhobs -o=jsonpath='{.items[0].spec.logLevel}'

      출력 예

      info

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
2. 키워드로 필터링 상자에 cluster observability Operator 를 입력합니다.
3. 결과 목록에서 Cluster Observability Operator 를 클릭합니다.

4. Operator에 대한 정보를 읽고 다음 설치 설정을 구성합니다.

   • 업데이트 채널 → stable
   • 버전 → 1.0.0 이상
   • 설치 모드 → 클러스터의 모든 네임스페이스(기본값)
   • 설치된 네임스페이스 → Operator 권장 네임스페이스: openshift-cluster-observability-operator
   • 이 네임스페이스에서 Operator 권장 클러스터 모니터링 활성화를선택합니다.
   • 업데이트 승인 → 자동
5. 선택 사항: 요구 사항에 맞게 설치 설정을 변경할 수 있습니다. 예를 들어 다른 업데이트 채널에 가입하거나, 이전 릴리스 버전의 Operator를 설치하거나, 새 버전의 Operator에 대한 업데이트에 대한 수동 승인이 필요한 경우 선택할 수 있습니다.
6. 설치를 클릭합니다.

프로세스

1. Operator → 설치된 Operator 로 이동합니다.
2. 목록에서 Cluster Observability Operator 항목을 찾습니다.
3. 이 항목에 대해 를 클릭하고 Operator 설치 제거를 선택합니다.

프로세스

1. 네임스페이스, 배포 및 서비스에 대한 다음 구성 세부 정보가 포함된 prometheus-coo-example-app.yaml 이라는 YAML 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: ns1-coo
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: prometheus-coo-example-app
     name: prometheus-coo-example-app
     namespace: ns1-coo
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: prometheus-coo-example-app
     template:
       metadata:
         labels:
           app: prometheus-coo-example-app
       spec:
         containers:
         - image: ghcr.io/rhobs/prometheus-example-app:0.4.2
           imagePullPolicy: IfNotPresent
           name: prometheus-coo-example-app
   ---
   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: prometheus-coo-example-app
     name: prometheus-coo-example-app
     namespace: ns1-coo
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
       name: web
     selector:
       app: prometheus-coo-example-app
     type: ClusterIP

2. 파일을 저장합니다.

3. 다음 명령을 실행하여 클러스터에 구성을 적용합니다.

   $ oc apply -f prometheus-coo-example-app.yaml

4. 다음 명령을 실행하고 출력을 관찰하여 포드가 실행 중인지 확인합니다.

   $ oc -n ns1-coo get pod

   출력 예

   NAME                                      READY     STATUS    RESTARTS   AGE
   prometheus-coo-example-app-0927545cb7-anskj   1/1       Running   0          81m

프로세스

1. 다음 ServiceMonitor 오브젝트 구성 세부 정보가 포함된 example-coo-app-service-monitor.yaml 이라는 YAML 파일을 생성합니다.

   apiVersion: monitoring.rhobs/v1
   kind: ServiceMonitor
   metadata:
     labels:
       k8s-app: prometheus-coo-example-monitor
     name: prometheus-coo-example-monitor
     namespace: ns1-coo
   spec:
     endpoints:
     - interval: 30s
       port: web
       scheme: http
     selector:
       matchLabels:
         app: prometheus-coo-example-app

   이 구성은 MonitoringStack 오브젝트가 prometheus-coo-example-app 샘플 서비스에서 노출하는 메트릭 데이터를 스크랩하기 위해 참조하는 ServiceMonitor 오브젝트를 정의합니다.

2. 다음 명령을 실행하여 클러스터에 구성을 적용합니다.

   $ oc apply -f example-coo-app-service-monitor.yaml

3. 다음 명령을 실행하고 출력을 관찰하여 ServiceMonitor 리소스가 생성되었는지 확인합니다.

   $ oc -n ns1-coo get servicemonitors.monitoring.rhobs

   출력 예

   NAME                         AGE
   prometheus-coo-example-monitor   81m

프로세스

1. MonitoringStack 오브젝트 구성에 대한 YAML 파일을 생성합니다. 이 예제에서는 example-coo-monitoring-stack.yaml 파일의 이름을 지정합니다.

2. 다음 MonitoringStack 오브젝트 구성 세부 정보를 추가합니다.

   MonitoringStack 오브젝트의 예

   apiVersion: monitoring.rhobs/v1alpha1
   kind: MonitoringStack
   metadata:
     name: example-coo-monitoring-stack
     namespace: ns1-coo
   spec:
     logLevel: debug
     retention: 1d
     resourceSelector:
       matchLabels:
         k8s-app: prometheus-coo-example-monitor

3. 다음 명령을 실행하여 MonitoringStack 오브젝트를 적용합니다.

   $ oc apply -f example-coo-monitoring-stack.yaml

4. 다음 명령을 실행하고 출력을 검사하여 MonitoringStack 오브젝트를 사용할 수 있는지 확인합니다.

   $ oc -n ns1-coo get monitoringstack

   출력 예

   NAME                         AGE
   example-coo-monitoring-stack   81m

5. 다음 명령을 실행하여 Prometheus의 활성 대상에 대한 정보를 검색하고, app=prometheus-coo-example-app 로 레이블이 지정된 대상만 나열하도록 출력을 필터링합니다. 이렇게 하면 이 특정 레이블을 사용하여 Prometheus에서 검색 및 적극적으로 모니터링하는 대상이 검증됩니다.

   $ oc -n ns1-coo exec -c prometheus prometheus-example-coo-monitoring-stack-0 -- curl -s 'http://localhost:9090/api/v1/targets' | jq '.data.activeTargets[].discoveredLabels | select(.__meta_kubernetes_endpoints_label_app=="prometheus-coo-example-app")'

   출력 예

   {
     "__address__": "10.129.2.25:8080",
     "__meta_kubernetes_endpoint_address_target_kind": "Pod",
     "__meta_kubernetes_endpoint_address_target_name": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
     "__meta_kubernetes_endpoint_node_name": "ci-ln-8tt8vxb-72292-6cxjr-worker-a-wdfnz",
     "__meta_kubernetes_endpoint_port_name": "web",
     "__meta_kubernetes_endpoint_port_protocol": "TCP",
     "__meta_kubernetes_endpoint_ready": "true",
     "__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time": "2024-11-05T11:24:09Z",
     "__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time": "true",
     "__meta_kubernetes_endpoints_label_app": "prometheus-coo-example-app",
     "__meta_kubernetes_endpoints_labelpresent_app": "true",
     "__meta_kubernetes_endpoints_name": "prometheus-coo-example-app",
     "__meta_kubernetes_namespace": "ns1-coo",
     "__meta_kubernetes_pod_annotation_k8s_ovn_org_pod_networks": "{\"default\":{\"ip_addresses\":[\"10.129.2.25/23\"],\"mac_address\":\"0a:58:0a:81:02:19\",\"gateway_ips\":[\"10.129.2.1\"],\"routes\":[{\"dest\":\"10.128.0.0/14\",\"nextHop\":\"10.129.2.1\"},{\"dest\":\"172.30.0.0/16\",\"nextHop\":\"10.129.2.1\"},{\"dest\":\"100.64.0.0/16\",\"nextHop\":\"10.129.2.1\"}],\"ip_address\":\"10.129.2.25/23\",\"gateway_ip\":\"10.129.2.1\",\"role\":\"primary\"}}",
     "__meta_kubernetes_pod_annotation_k8s_v1_cni_cncf_io_network_status": "[{\n    \"name\": \"ovn-kubernetes\",\n    \"interface\": \"eth0\",\n    \"ips\": [\n        \"10.129.2.25\"\n    ],\n    \"mac\": \"0a:58:0a:81:02:19\",\n    \"default\": true,\n    \"dns\": {}\n}]",
     "__meta_kubernetes_pod_annotation_openshift_io_scc": "restricted-v2",
     "__meta_kubernetes_pod_annotation_seccomp_security_alpha_kubernetes_io_pod": "runtime/default",
     "__meta_kubernetes_pod_annotationpresent_k8s_ovn_org_pod_networks": "true",
     "__meta_kubernetes_pod_annotationpresent_k8s_v1_cni_cncf_io_network_status": "true",
     "__meta_kubernetes_pod_annotationpresent_openshift_io_scc": "true",
     "__meta_kubernetes_pod_annotationpresent_seccomp_security_alpha_kubernetes_io_pod": "true",
     "__meta_kubernetes_pod_controller_kind": "ReplicaSet",
     "__meta_kubernetes_pod_controller_name": "prometheus-coo-example-app-5d8cd498c7",
     "__meta_kubernetes_pod_host_ip": "10.0.128.2",
     "__meta_kubernetes_pod_ip": "10.129.2.25",
     "__meta_kubernetes_pod_label_app": "prometheus-coo-example-app",
     "__meta_kubernetes_pod_label_pod_template_hash": "5d8cd498c7",
     "__meta_kubernetes_pod_labelpresent_app": "true",
     "__meta_kubernetes_pod_labelpresent_pod_template_hash": "true",
     "__meta_kubernetes_pod_name": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
     "__meta_kubernetes_pod_node_name": "ci-ln-8tt8vxb-72292-6cxjr-worker-a-wdfnz",
     "__meta_kubernetes_pod_phase": "Running",
     "__meta_kubernetes_pod_ready": "true",
     "__meta_kubernetes_pod_uid": "054c11b6-9a76-4827-a860-47f3a4596871",
     "__meta_kubernetes_service_label_app": "prometheus-coo-example-app",
     "__meta_kubernetes_service_labelpresent_app": "true",
     "__meta_kubernetes_service_name": "prometheus-coo-example-app",
     "__metrics_path__": "/metrics",
     "__scheme__": "http",
     "__scrape_interval__": "30s",
     "__scrape_timeout__": "10s",
     "job": "serviceMonitor/ns1-coo/prometheus-coo-example-monitor/0"
   }

   참고

   위의 예제에서는 jq 명령줄 JSON 프로세서를 사용하여 편의를 위해 출력을 포맷합니다.

프로세스

1. example prometheus-coo-example-app 서비스를 노출할 경로를 생성합니다. 터미널에서 다음 명령을 실행합니다.

   $ oc expose svc prometheus-coo-example-app

2. 브라우저 또는 명령줄에서 경로에 액세스하여 메트릭을 생성합니다.

3. Prometheus Pod에서 쿼리를 실행하여 총 HTTP 요청 지표를 반환합니다.

   $ oc -n ns1-coo exec -c prometheus prometheus-example-coo-monitoring-stack-0 -- curl -s 'http://localhost:9090/api/v1/query?query=http_requests_total'

   출력 예(상 편의를 위해 jq 를 사용하여 포맷됨)

   {
     "status": "success",
     "data": {
       "resultType": "vector",
       "result": [
         {
           "metric": {
             "__name__": "http_requests_total",
             "code": "200",
             "endpoint": "web",
             "instance": "10.129.2.25:8080",
             "job": "prometheus-coo-example-app",
             "method": "get",
             "namespace": "ns1-coo",
             "pod": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
             "service": "prometheus-coo-example-app"
           },
           "value": [
             1730807483.632,
             "3"
           ]
         },
         {
           "metric": {
             "__name__": "http_requests_total",
             "code": "404",
             "endpoint": "web",
             "instance": "10.129.2.25:8080",
             "job": "prometheus-coo-example-app",
             "method": "get",
             "namespace": "ns1-coo",
             "pod": "prometheus-coo-example-app-5d8cd498c7-9j2gj",
             "service": "prometheus-coo-example-app"
           },
           "value": [
             1730807483.632,
             "0"
           ]
         }
       ]
     }
   }