1.4. 관찰 기능 구성 사용자 정의

관찰 가능성 리소스에 Prometheus 기록 규칙 및 경고 규칙을 추가하여 관찰 기능 설치에 대한 사용자 정의 규칙을 생성합니다.

비용이 많이 드는 표현식을 미리 계산하려면 Prometheus와 함께 레코딩 규칙 기능을 사용하여 경고 조건을 생성하고 외부 서비스에 경고를 보내는 방법에 따라 알림을 보냅니다. 결과는 새로운 시계열로 저장됩니다. observability-thanos-rule-custom-rules 구성 맵에 사용자 정의 경고 규칙을 생성하려면 다음 예제를 확인합니다.

경고 규칙이 올바르게 작동하는지 확인하려면 Grafana 대시보드로 이동하여 탐색 페이지를 선택하고 ALERTS 를 쿼리합니다. 경고를 생성한 경우에만 Grafana에서 경고를 사용할 수 있습니다.

관리 클러스터에서 수집할 metrics_list.yaml 파일에 지표를 추가합니다. 다음 단계를 완료합니다.

필요에 따라 각 관찰 가능성 구성 요소의 보존을 업데이트하려면 고급 구성 섹션을 추가합니다. 다음 단계를 완료합니다.

동적 메트릭 컬렉션은 특정 조건에 따라 자동 메트릭 컬렉션을 지원합니다. 기본적으로 단일 노드 OpenShift 클러스터는 포드 및 컨테이너 리소스 지표를 수집하지 않습니다. 단일 노드 OpenShift 클러스터가 특정 리소스 소비 수준에 도달하면 정의된 세분화된 메트릭이 동적으로 수집됩니다. 일정 기간 동안 클러스터 리소스 사용량이 임계값보다 일관되게 작으면 세분화된 메트릭 수집이 중지됩니다.

메트릭은 컬렉션 규칙에 의해 지정된 관리 클러스터의 조건에 따라 동적으로 수집됩니다. 이러한 메트릭은 동적으로 수집되므로 다음 Red Hat Advanced Cluster Management Grafana 대시보드는 데이터를 표시하지 않습니다. 컬렉션 규칙이 활성화되고 해당 메트릭이 수집되면 다음 패널은 수집 규칙이 시작되는 기간 동안 데이터를 표시합니다.

기본적으로 컬렉션 규칙은 관리 클러스터에서 30초마다 또는 특정 시간 간격으로 지속적으로 평가됩니다. 컬렉션 간격과 시간 간격 사이의 가장 낮은 값이 우선합니다. for 속성에서 지정한 기간 동안 컬렉션 규칙 조건이 지속되면 컬렉션 규칙이 시작되고 규칙에서 지정한 메트릭이 관리 클러스터에서 자동으로 수집됩니다. 메트릭 컬렉션은 컬렉션 규칙 조건이 더 이상 관리 클러스터에 없는 후 15분 이상 시작된 후 자동으로 중지됩니다.

컬렉션 규칙은 collect_rules 라는 매개 변수 섹션으로 그룹화됩니다. 여기서 그룹으로 활성화하거나 비활성화할 수 있습니다. Red Hat Advanced Cluster Management 설치에는 HighCPUUsage 및 HighMemoryUsage 의 두 가지 기본 컬렉션 규칙이 있는 SNOResourceUsage SNOResourceUsage가 포함되어 있습니다. 노드 CPU 사용량이 70%를 초과하면 HighCPUUsage 컬렉션 규칙이 시작됩니다. HighMemoryUsage 컬렉션 규칙은 단일 노드 OpenShift 클러스터의 전체 메모리 사용률이 사용 가능한 노드 메모리의 70%를 초과하면 시작됩니다. 현재는 앞서 언급한 임계값이 고정되어 있으며 변경할 수 없습니다. for 속성에 의해 지정된 간격보다 많은 컬렉션 규칙이 시작되면 시스템은 dynamic_metrics 섹션에 지정된 메트릭 수집이 자동으로 시작됩니다.

다음 YAML 파일에서 collect_rules 섹션의 동적 메트릭 목록을 확인합니다.

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a {sno} cluster does not collect pod and container resource metrics. Once a {sno} cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["{sno}"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

다음 예와 같이 collect_rules.group 을 custom-allowlist 에서 비활성화할 수 있습니다. collect_rules.group 을 비활성화하면 메트릭 컬렉션이 이전 동작으로 되돌아갑니다. 이러한 메트릭은 지정된 간격으로 수집됩니다.

collect_rules:
  - group: -SNOResourceUsage

이 데이터는 규칙이 시작될 때 Grafana에만 표시됩니다.

워크로드가 증가하면 관찰 기능 Pod의 복제본 수를 늘립니다. hub 클러스터에서 Red Hat OpenShift Container Platform 콘솔로 이동합니다. MultiClusterObservability 사용자 정의 리소스를 찾고 복제본을 변경하려는 구성 요소의 replicas 매개변수 값을 업데이트합니다. 업데이트된 YAML은 다음 콘텐츠와 유사할 수 있습니다.

spec:
   advanced:
      receive:
         replicas: 6

mco observability 사용자 정의 리소스 내의 매개변수에 대한 자세한 내용은 Observability API 설명서를 참조하십시오.

영구 볼륨 및 영구 볼륨 클레임을 늘리고 줄여 스토리지 클래스의 스토리지 양을 변경합니다. 다음 단계를 완료합니다.

OpenShift Container Platform 경로 인증을 사용자 지정하려면 alt_names 섹션에 경로를 추가해야 합니다. OpenShift Container Platform 경로에 액세스할 수 있도록 하려면 alertmanager.apps.<domainname> , observatorium-api.apps.<domainname > , rbac-query-proxy.apps.<domainname > 이라는 정보를 추가합니다.

자세한 내용은 Governance 문서의 alertmanager 경로에 대한 인증서 교체 를 참조하십시오.

참고: 사용자는 인증서 교체 및 업데이트를 담당합니다.

인증 기관이 포함된 Secret 리소스를 생성하고 MultiClusterObservability 사용자 정의 리소스를 구성하여 observability 오브젝트 저장소를 사용하여 보안 연결을 구성할 수 있습니다. 다음 단계를 완료합니다.

관리 클러스터의 통신이 HTTP 및 HTTPS 프록시 서버를 통해 hub 클러스터에 액세스할 수 있도록 프록시 설정을 구성합니다. 일반적으로 애드온은 허브 클러스터와 관리 클러스터 간에 HTTP 및 HTTPS 프록시 서버를 지원하기 위해 특별한 구성이 필요하지 않습니다. 그러나 관찰 기능 애드온을 활성화한 경우 프록시 구성을 완료해야 합니다.

관찰 기능 애드온에 대한 프록시 설정을 구성하려면 다음 단계를 완료합니다.

개발이 필요한 경우 hub 클러스터 및 관리 클러스터에 대해 구성한 관찰 기능 애드온에 대한 프록시 설정을 비활성화해야 할 수 있습니다. 언제든지 관찰 기능 애드온의 프록시 설정을 비활성화할 수 있습니다. 다음 단계를 완료합니다.

로드 밸런서 또는 예약 프록시를 사용할 때 관리 클러스터가 허브 클러스터와 통신하는 데 사용하는 Observatorium API 및 Alertmanager URL을 사용자 지정하여 모든 Red Hat Advanced Cluster Management 기능을 유지 관리할 수 있습니다. URL을 사용자 지정하려면 다음 단계를 완료합니다.

spec:
  advanced:
    customObservabilityHubURL: <yourURL>
    customAlertmanagerHubURL: <yourURL>

참고:

apiVersion: route.openshift.io/v1
kind: Route
metadata:
  name: proxy-observatorium-api
  namespace: open-cluster-management-observability
spec:
  host: <intermediate_component_url>
  port:
    targetPort: public
  tls:
    insecureEdgeTerminationPolicy: None
    termination: passthrough
  to:
    kind: Service
    name: observability-observatorium-api
    weight: 100
  wildcardPolicy: None

apiVersion: route.openshift.io/v1
kind: Route
metadata:
  name: alertmanager-proxy
  namespace: open-cluster-management-observability
spec:
  host: <intermediate_component_url>
  path: /api/v2
  port:
    targetPort: oauth-proxy
  tls:
    insecureEdgeTerminationPolicy: Redirect
    termination: reencrypt
  to:
    kind: Service
    name: alertmanager
    weight: 100
  wildcardPolicy: None

클러스터 내의 특정 네임스페이스에 대한 메트릭 액세스를 제한하려면 세분화된 역할 기반 액세스 제어(RBAC)를 사용합니다. 세분화된 RBAC를 사용하면 애플리케이션 팀이 액세스 권한을 부여하는 네임스페이스에 대한 메트릭만 볼 수 있습니다.

해당 허브 클러스터 사용자의 허브 클러스터에서 메트릭 액세스 제어를 구성해야 합니다. 이 허브 클러스터에서 ManagedCluster 사용자 정의 리소스는 모든 관리 클러스터를 나타냅니다. RBAC를 구성하고 허용된 네임스페이스를 선택하려면 ManagedCluster 사용자 정의 리소스에 지정된 규칙 및 작업 동사를 사용합니다.

예를 들어 my-awesome-app 이라는 애플리케이션이 있으며 이 애플리케이션은 devcluster1 및 devcluster2 라는 두 개의 다른 관리 클러스터에 있습니다. 두 클러스터 모두 AwesomeAppNS 네임스페이스에 있습니다. admin 사용자 그룹 my-awesome-app-admins 가 있으며 이 사용자 그룹은 hub 클러스터의 두 네임 스페이스에서만 메트릭에 액세스할 수 있도록 제한하려고 합니다.

이 예제에서는 세분화된 RBAC를 사용하여 사용자 그룹 액세스를 제한하려면 다음 단계를 완료합니다.

이러한 단계를 완료하면 my-awesome-app-admins 의 사용자가 Grafana 콘솔에 로그인하면 다음과 같은 제한이 있습니다.

다양한 유형의 사용자 액세스를 설정하려면 별도의 ClusterRoles 및 ClusterRoleBindings 리소스를 정의하여 네임스페이스의 다른 관리 클러스터를 나타냅니다.