가시성

기본적으로 관찰 기능은 제품 설치에 포함되어 있지만 활성화되지는 않습니다. 영구 스토리지의 요구 사항으로 인해 관찰 가능 서비스는 기본적으로 활성화되어 있지 않습니다. Red Hat Advanced Cluster Management는 다음과 같은 S3 호환 및 안정적인 오브젝트 저장소를 지원합니다.

서비스가 활성화되면 observability-endpoint-operator 가 가져온 클러스터 또는 생성된 각 클러스터에 자동으로 배포됩니다. 이 컨트롤러는 Red Hat OpenShift Container Platform Prometheus에서 데이터를 수집한 다음 Red Hat Advanced Cluster Management hub 클러스터로 전송합니다.

hub 클러스터가 로컬 클러스터로 가져오는 경우 관찰 기능도 활성화되고 허브 클러스터에서 메트릭이 수집됩니다.

관찰 서비스에서는 경고를 타사 애플리케이션과 전달할 수 있는 Prometheus AlertManager 인스턴스를 배포합니다. 대시보드(정적) 또는 데이터 탐색을 통해 데이터 시각화를 활성화하는 Grafana 인스턴스도 포함되어 있습니다. Red Hat Advanced Cluster Management는 Grafana 버전 8.1.3을 지원합니다. Grafana 대시보드를 설계할 수도 있습니다. 자세한 내용은 Grafana 대시보드 설계를 참조하십시오.

사용자 정의 레코딩 규칙 또는 경고 규칙 을 생성하여 관찰 기능을 사용자 지정할 수 있습니다.

관찰 기능 활성화에 대한 자세한 내용은 관찰 서비스 활성화를 참조하십시오.

기본적으로 OpenShift Container Platform은 Telemetry 서비스를 사용하여 Red Hat에 지표를 보냅니다. acm_managed_cluster_info 는 Red Hat Advanced Cluster Management에서 사용할 수 있으며 Telemetry에 포함되어 있지만 Red Hat Advanced Cluster Management Observe 환경 개요 대시보드에는 표시되지 않습니다.

프레임워크에서 지원하는 메트릭 유형의 다음 표를 확인합니다.

OpenShift Container Platform 설명서에서 Telemetry를 사용하여 수집 및 전송되는 메트릭 유형을 확인합니다. 자세한 내용은 Telemetry에서 수집한 정보를 참조하십시오.

관찰 구성 요소에는 관찰 서비스를 설치하기 위해 10.0.0.11mCPU 및 11972Mi 메모리가 필요합니다. 다음 표는 observability-addons 가 활성화된 관리 클러스터 5개에 대한 Pod 용량 요청 목록입니다.

Red Hat Advanced Cluster Management를 설치할 때 PVC(영구 볼륨 클레임)를 자동으로 연결할 수 있도록 다음과 같은 PV(영구 볼륨)를 생성해야 합니다. 기본 스토리지 클래스가 지정되지 않았거나 기본 스토리지 클래스를 사용하여 PV를 호스팅하려는 경우 MultiClusterObservability CR에서 스토리지 클래스를 정의해야 합니다. Prometheus가 사용하는 것과 유사한 블록 스토리지를 사용하는 것이 좋습니다. 또한 alertmanager,thanos-compactor,thanos-ruler,thanos-receive-default 및 thanos-store-shard 의 각 복제본에는 자체 PV가 있어야 합니다. 다음 표를 확인하십시오.

참고: 시계열 기록 데이터는 오브젝트 저장소에 저장됩니다. Thanos는 오브젝트 스토리지를 지표 및 관련 메타 데이터의 기본 스토리지로 사용합니다. 오브젝트 스토리지 및 다운샘플링에 대한 자세한 내용은 관찰 서비스 사용을참조하십시오.

Red Hat Advanced Cluster Management는 Red Hat OpenShift Data Foundation (이전 Red Hat OpenShift Container Storage)에서 테스트 및 완벽하게 지원됩니다.

Red Hat Advanced Cluster Management는 S3 API 호환 사용자 제공 타사 오브젝트 스토리지에서 멀티 클러스터 관찰 기능 Operator의 기능을 지원합니다.

Red Hat Advanced Cluster Management는 근본적인 원인을 파악하는 데 도움이 되도록 상업적으로 합리적인 노력을 기울입니다.

지원 티켓이 발생하고 근본적인 원인이 고객 제공 S3 호환 오브젝트 스토리지의 결과인 경우 고객 지원 채널을 사용하여 문제를 해결해야 합니다.

Red Hat Advanced Cluster Management는 고객이 발행한 지원 티켓을 해결하기 위해 최선을 다하고 있습니다. 여기서 확인된 근본 원인은 S3 호환 오브젝트 스토리지 공급자입니다.

관찰 서비스, 메트릭 및 기타 데이터를 구성하는 방법을 알아보려면 관찰 기능 사용자 지정을 참조하십시오.

MultiClusterObservability CR(사용자 정의 리소스) 인스턴스를 생성하여 observability 서비스를 활성화합니다. 관찰 기능을 활성화하기 전에 자세한 내용은 Observability Pod 용량 요청을 참조하십시오.

참고: Red Hat Advanced Cluster Management에서 관리하는 OpenShift Container Platform 관리 클러스터에서 관찰 기능이 활성화 또는 비활성화되면 observability 끝점 Operator는 로컬 Prometheus를 자동으로 다시 시작하는 alertmanager 구성을 추가하여 cluster-monitoring-config ConfigMap 을 업데이트합니다.

관찰 서비스를 활성화하려면 다음 단계를 완료합니다.

AWS Security Service를 사용하여 액세스 키를 생성하려면 다음 단계를 완료합니다.

필요한 경우 Red Hat OpenShift Container Platform 콘솔에서 관찰성을 활성화하고 open-cluster-management-observability 라는 프로젝트를 생성할 수 있습니다. open-cluster-management-observability 프로젝트에 multiclusterhub-operator-pull-secret 이라는 이미지 pull-secret을 생성해야 합니다.

open-cluster-management-observability 프로젝트에서 thanos-object-storage 라는 오브젝트 스토리지 시크릿을 생성합니다. 오브젝트 스토리지 시크릿 세부 정보를 입력한 다음 생성을 클릭합니다.

참고: 시크릿 예제를 보려면 관찰 기능 활성화 섹션 4단계를 참조하십시오.

MultiClusterObservability CR 인스턴스를 생성합니다. 다음 메시지가 표시되면 OpenShift Container Platform에서 obseravbility 서비스가 성공적으로 활성화됩니다. Observability 구성 요소가 배포되고 실행됩니다.

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a SNO cluster does not collect pod and container resource metrics. Once a SNO cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["SNO"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

collect_rules:
  - group: -SNOResourceUsage

observability 서비스를 비활성화하려면 observability 리소스를 제거합니다. OpenShift Container Platform 콘솔 탐색에서 Operator > 설치된 Operator > Kubernetes용 Advanced Cluster Manager를 선택합니다. MultiClusterObservability 사용자 정의 리소스를 제거합니다.

관찰 서비스 사용자 지정에 대한 자세한 내용은 관찰 기능 사용자 지정을 참조하십시오.

관찰 가능성 리소스에 Prometheus 기록 규칙 및 경고 규칙을 추가하여 관찰 기능 설치에 대한 사용자 정의 규칙을 생성합니다. 자세한 내용은 Prometheus 구성을 참조하십시오.

경고 조건을 생성하고 외부 메시징 서비스에 알림을 전송하도록 Prometheus를 사용하여 사용자 정의 규칙을 정의합니다. 참고: 사용자 정의 규칙을 업데이트하면 observability-thanos-rule Pod가 자동으로 다시 시작됩니다.

open-cluster-management-observability 네임스페이스에 thanos-ruler-custom-rules 라는 ConfigMap을 생성합니다. 다음 예와 같이 키의 이름은 custom_rules.yaml 이어야 합니다. 구성에 여러 규칙을 생성할 수 있습니다.

경고 규칙이 적절하게 작동하는지 확인하려면 Grafana 대시보드를 시작하고 탐색 페이지로 이동한 다음 ALERTS 를 쿼리합니다. 경고가 시작된 경우에만 Grafana에서 경고를 사용할 수 있습니다.

email, Slack, PagerDuty와 같은 외부 메시징 도구를 통합하여 AlertManager에서 알림을 수신합니다. 통합을 추가하려면 open-cluster-management-observability 네임스페이스에서 alertmanager-config 시크릿을 재정의하고 AlertManager에 대한 경로를 구성해야 합니다. 사용자 정의 수신자 규칙을 업데이트하려면 다음 단계를 완료합니다.

변경 사항은 수정 후 즉시 적용됩니다. AlertManager의 예는 prometheus/alertmanager 를 참조하십시오.

관리 클러스터에서 수집하려면 metrics_list.yaml 파일에 지표를 추가합니다.

사용자 지정 지표를 추가하기 전에 oc get mco observability -o yaml 명령을 사용하여 mco observability가 활성화되어 있는지 확인합니다. status.conditions.message 읽기에서 다음 메시지가 있는지 확인합니다. Observability 구성 요소가 배포되어 실행 중인지 확인합니다.

observability-metrics-custom-allowlist.yaml 이라는 파일을 생성하고 사용자 정의 메트릭의 이름을 metrics_list.yaml 매개변수에 추가합니다. ConfigMap의 YAML은 다음 콘텐츠와 유사할 수 있습니다.

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
    rules:
    - record: apiserver_request_duration_seconds:histogram_quantile_90
      expr: histogram_quantile(0.90,sum(rate(apiserver_request_duration_seconds_bucket{job=\"apiserver\",
        verb!=\"WATCH\"}[5m])) by (verb,le))

다음 명령을 사용하여 open-cluster-management-observability 네임스페이스에 observability-metrics-custom-allowlist ConfigMap을 생성합니다. oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml.

Grafana 대시보드의 탐색 페이지에서 메트릭을 쿼리하여 사용자 지정 지표의 데이터가 수집되고 있는지 확인합니다. 자체 대시보드에서 사용자 지정 지표를 사용할 수도 있습니다. 대시보드 보기에 대한 자세한 내용은 Grafana 대시보드 설계를 참조하십시오.

관리된 클러스터에서 특정 메트릭에 대해 데이터를 수집하지 않으려면 observability-metrics-custom-allowlist.yaml 파일에서 지표를 제거합니다. 지표를 제거하면 관리 클러스터에 지표 데이터가 수집되지 않습니다. 앞서 언급했듯이 먼저 mco 관찰 기능이 활성화되어 있는지 확인합니다.

지표 이름 시작 시 하이픈을 사용하여 기본 메트릭의 이름을 metrics_list.yaml 매개변수에 추가합니다. 예: -cluster_infrastructure_provider.

다음 명령을 사용하여 open-cluster-management-observability 네임스페이스에 observability-metrics-custom-allowlist ConfigMap을 생성합니다. oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml.

관리 클러스터에서 특정 메트릭이 수집되지 않는지 확인합니다. Grafana 대시보드에서 메트릭을 쿼리하면 지표가 표시되지 않습니다.

실시간으로 Prometheus Remote Write 프로토콜을 지원하는 외부 끝점으로 메트릭을 내보내는 관찰 기능을 사용자 지정할 수 있습니다. 자세한 내용은 Prometheus Remote Write 프로토콜을 참조하십시오.

apiVersion: v1
kind: Secret
metadata:
  name: victoriametrics
  namespace: open-cluster-management-observability
type: Opaque
stringData:
  ep.yaml: |
    url: http://victoriametrics:8428/api/v1/write
    http_client_config:
      basic_auth:
        username: test
        password: test

spec:
  storageConfig:
    writeStorage:
    - key: ep.yaml
      name: victoriametrics

필요에 따라 고급 구성 섹션을 추가하여 각 관찰 가능 구성 요소의 보존을 업데이트합니다.

MultiClusterObservability CR을 편집하고 oc edit mco observability -o yaml 명령을 사용하여 고급 섹션을 추가합니다. YAML 파일은 다음 내용과 유사합니다.

spec:
  advanced:
    retentionConfig:
      blockDuration: 2h
      deleteDelay: 48h
      retentionInLocal: 24h
      retentionResolutionRaw: 30d
      retentionResolution5m: 180d
      retentionResolution1h: 0d
    receive:
      resources:
        limits:
          memory: 4096Gi
      replicas: 3

고급 구성에 추가할 수 있는 모든 매개변수에 대한 설명은 Observability API 를 참조하십시오.

워크로드가 증가하면 관찰 가능한 Pod의 복제본 수를 늘립니다. hub 클러스터에서 Red Hat OpenShift Container Platform 콘솔로 이동합니다. multiclusterobservability CR(사용자 정의 리소스)을 찾고 복제본을 변경하려는 구성 요소의 replicas 매개변수 값을 업데이트합니다. 업데이트된 YAML은 다음 콘텐츠와 유사할 수 있습니다.

spec:
   advanced:
      receive:
         replicas: 6

mco observability CR 내의 매개변수에 대한 자세한 내용은 Observability API 를 참조하십시오.

관찰 기능을 활성화하면 OpenShift Container Platform 관리 클러스터의 경고가 hub 클러스터로 자동으로 전송됩니다. alertmanager-config YAML 파일을 사용하여 외부 알림 시스템으로 경고를 구성할 수 있습니다.

alertmanager-config YAML 파일의 다음 예제를 확인합니다.

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

경고 전달을 위해 프록시를 구성하려면 다음 글로벌 항목을 alertmanager-config YAML 파일에 추가합니다.

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

자세한 내용은 Prometheus Alertmanager 설명서 를 참조하십시오.

metadata:
      annotations:
        mco-disable-alerting: "true"

수신하지 않으려는 경고를 추가합니다. 경고 이름, 일치 레이블 또는 시간 기간으로 경고를 음소거할 수 있습니다. 음소거할 경고를 추가하면 ID가 생성됩니다. 음소거된 경고의 ID는 다음 문자열 d839aca9-ed46-40be-84c4-dca8773671da 와 유사합니다.

경고를 음소거하는 방법에 대해 계속 읽기를 계속합니다.

심각도가 낮은 전 세계 클러스터 전체에서 Red Hat Advanced Cluster Management 경고를 비활성화합니다. open-cluster-management-observability 네임스페이스의 alertmanager-config 에서 억제 규칙을 정의하여 경고를 비활성화합니다.

억제 규칙은 기존의 일치 항목 집합과 일치하는 매개 변수 집합이 있는 경우 경고를 음소거합니다. 규칙을 적용하려면 대상 및 소스 경고에 동일한 목록에 있는 레이블 이름에 대해 동일한 레이블 값이 있어야 합니다. inhibit_rules 는 다음과 유사할 수 있습니다.

global:
  resolve_timeout: 1h
inhibit_rules:1
  - equal:
      - namespace
    source_match:2
      severity: critical
    target_match_re:
      severity: warning|info

OpenShift Container Platform 경로 인증을 사용자 지정하려면 alt_names 섹션에 경로를 추가해야 합니다. OpenShift Container Platform 경로에 액세스할 수 있도록 하려면 alertmanager.apps.<domainname> , observatorium-api.apps.<domainname > , rbac-query-proxy.apps.<domainname > .

참고: 사용자는 인증서 교체 및 업데이트를 담당합니다.

 thanos.yaml: |
    type: s3
    config:
      bucket: "thanos"
      endpoint: "minio:9000"
      insecure: false
      access_key: "minio"
      secret_key: "minio123"
      http_config:
        tls_config:
          ca_file: /etc/minio/certs/ca.crt
          insecure_skip_verify: false

 thanos.yaml: |
    type: s3
    config:
      ...
      http_config:
        tls_config:
          ca_file: /etc/minio/certs/ca.crt
          cert_file: /etc/minio/certs/public.crt
          key_file: /etc/minio/certs/private.key
          insecure_skip_verify: false

metricObjectStorage:
      key: thanos.yaml
      name: thanos-object-storage
      tlsSecretName: tls-certs-secret

hub 클러스터에서 Grafana에 액세스하여 관리 클러스터의 데이터를 봅니다. 특정 경고를 쿼리하고 쿼리에 대한 필터를 추가할 수 있습니다.

예를 들어 단일 노드 클러스터에서 cluster_infrastructure_provider 는 cluster_infrastructure_provider{clusterType="SNO"}쿼리 표현식을 사용합니다.

참고: 단일 노드 관리 클러스터에서 관찰 기능이 활성화된 경우 ObservabilitySpec.resources.CPU.limits 매개변수를 설정하지 마십시오. CPU 제한을 설정하면 관리 클러스터의 용량에 대해 관찰 기능 Pod가 계산됩니다. 자세한 내용은 관리 워크로드 파티셔닝 을 참조하십시오.

Red Hat Advanced Cluster Management hub 클러스터에서 데이터 수집을 중지하는 관찰 기능을 비활성화할 수 있습니다.

spec:
  imagePullPolicy: Always
  imagePullSecret: multiclusterhub-operator-pull-secret
  observabilityAddonSpec: # The ObservabilityAddonSpec defines the global settings for all managed clusters which have observability add-on enabled
    enableMetrics: false #indicates the observability addon push metrics to hub server

먼저 stolostron/multicluster-observability-operator/ 리포지토리를 복제하여 도구 폴더에 있는 스크립트를 실행할 수 있습니다. Grafana 개발자 인스턴스를 설정하려면 다음 단계를 완료합니다.

Grafana 개발자 인스턴스가 설정됩니다.

Grafana 인스턴스를 설정한 후 대시보드를 설계할 수 있습니다. Grafana 콘솔을 새로고침하고 대시보드를 설계하려면 다음 단계를 완료합니다.

인스턴스를 설치 제거하면 관련 리소스도 삭제됩니다. 다음 명령을 실행합니다.

./setup-grafana-dev.sh --clean
secret "grafana-dev-config" deleted
deployment.apps "grafana-dev" deleted
service "grafana-dev" deleted
ingress.extensions "grafana-dev" deleted
persistentvolumeclaim "grafana-dev" deleted

통합에 대한 기능 설명을 보려면 계속 읽으십시오.

자세한 내용은 Insights PolicyReports 관리를 참조하십시오.

관리되는 클러스터 전체에서 위반이 있는 특정 Insights PolicyReport 를 검색할 수 있습니다.

Red Hat Advanced Cluster Management hub 클러스터에 로그인한 후 콘솔 헤더에서 검색 아이콘을 클릭하여 검색 페이지로 이동합니다. 다음 쿼리를 입력합니다. kind:policyreport.

참고: PolicyReport 이름이 클러스터 이름과 일치합니다.

또한 인사이트 정책 위반 및 카테고리를 통해 쿼리를 추가로 지정할 수도 있습니다. PolicyReport 이름을 선택하면 연결된 클러스터의 세부 정보 페이지로 리디렉션됩니다. Insights 사이드바가 자동으로 표시됩니다.

검색 서비스가 비활성화되어 있고 인사이트를 검색하려면 hub 클러스터에서 다음 명령을 실행합니다.

+

oc get policyreport --all-namespaces

특정 클러스터에서 확인된 문제를 볼 수 있습니다.

Red Hat Advanced Cluster Management 클러스터에 로그인한 후 탐색 메뉴에서 개요 를 선택합니다. 심각도를 선택하여 해당 심각도와 관련된 PolicyReports 를 확인합니다. 클러스터 문제 및 심각도에 대한 세부 정보는 클러스터 문제 요약 카드에서 표시됩니다.

또는 탐색 메뉴에서 클러스터를 선택할 수 있습니다. 자세한 정보를 보려면 표에서 관리형 클러스터를 선택합니다. 상태 카드에서 확인된 문제의 수를 확인합니다.

잠재적인 문제 수를 선택하여 문제에 대한 심각도 차트 및 권장 수정 사항을 확인합니다. 취약점 링크를 클릭하여 문제를 해결하는 방법 및 취약점의 이유를 확인합니다.

참고: 문제가 해결된 후 Red Hat Insights는 30분마다 Red Hat Advanced Cluster Management에서 수신하며 Red Hat Insights는 2시간마다 업데이트됩니다.

PolicyReport 에서 경고 메시지를 보낸 구성 요소를 확인해야 합니다. Governance 페이지로 이동하여 특정 policyreport 를 선택합니다. 상태 탭을 선택하고 세부 정보 보기 링크를 클릭하여 PolicyReport YAML 파일을 확인합니다.

위반을 보낸 구성 요소를 알려주는 source 매개변수를 찾습니다. 값 옵션은 grc 및 Insights입니다.

PolicyReports 에 대한 사용자 지정 경고 규칙을 만드는 방법은 자세한 내용은 AlertManager 구성을 참조하십시오.