검색

1.2. 관찰 서비스 활성화

download PDF

관찰 서비스(Multicluster-observability-operator )를 사용하여 관리형 클러스터의 상태를 모니터링합니다.

필수 액세스: 클러스터 관리자, 오픈 클러스터 관리:cluster-manager-admin 또는 S3 관리자.

1.2.1. 사전 요구 사항

1.2.2. 관찰 가능 활성화

MultiClusterObservability CR(사용자 정의 리소스) 인스턴스를 생성하여 observability 서비스를 활성화합니다. 관찰 기능을 활성화하기 전에 자세한 내용은 Observability Pod 용량 요청을 참조하십시오.

참고: Red Hat Advanced Cluster Management에서 관리하는 OpenShift Container Platform 관리 클러스터에서 관찰 기능이 활성화 또는 비활성화되면 observability 끝점 Operator는 로컬 Prometheus를 자동으로 다시 시작하는 alertmanager 구성을 추가하여 cluster-monitoring-config ConfigMap 을 업데이트합니다.

관찰 서비스를 활성화하려면 다음 단계를 완료합니다.

  1. Red Hat Advanced Cluster Management hub 클러스터에 로그인합니다.
  2. 다음 명령을 사용하여 observability 서비스의 네임스페이스를 생성합니다.

    oc create namespace open-cluster-management-observability
  3. pull-secret을 생성합니다. Red Hat Advanced Cluster Management가 open-cluster-management 네임스페이스에 설치된 경우 다음 명령을 실행합니다.

    DOCKER_CONFIG_JSON=`oc extract secret/multiclusterhub-operator-pull-secret -n open-cluster-management --to=-`

    multiclusterhub-operator-pull-secret 이 네임스페이스에 정의되지 않은 경우 openshift-config 네임스페이스에서 pull-secretopen-cluster-management-observability 네임스페이스에 복사합니다. 다음 명령을 실행합니다.

    DOCKER_CONFIG_JSON=`oc extract secret/pull-secret -n openshift-config --to=-`

    그런 다음 open-cluster-management-observability 네임스페이스에 pull-secret을 생성한 후 다음 명령을 실행합니다.

    oc create secret generic multiclusterhub-operator-pull-secret \
        -n open-cluster-management-observability \
        --from-literal=.dockerconfigjson="$DOCKER_CONFIG_JSON" \
        --type=kubernetes.io/dockerconfigjson
  4. 클라우드 공급자의 오브젝트 스토리지에 대한 시크릿을 생성합니다. 시크릿에는 스토리지 솔루션에 대한 인증 정보가 포함되어야 합니다. 예를 들어 다음 명령을 실행합니다.

    oc create -f thanos-object-storage.yaml -n open-cluster-management-observability

    지원되는 오브젝트 저장소에 대한 다음 보안 예제를 확인합니다.

    • Amazon S3 또는 S3 호환의 경우 보안은 다음 파일과 유사합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: thanos-object-storage
        namespace: open-cluster-management-observability
      type: Opaque
      stringData:
        thanos.yaml: |
          type: s3
          config:
            bucket: YOUR_S3_BUCKET
            endpoint: YOUR_S3_ENDPOINT
            insecure: true
            access_key: YOUR_ACCESS_KEY
            secret_key: YOUR_SECRET_KEY

      자세한 내용은 Amazon Simple Storage Service 사용자 가이드를 참조하십시오.

    • Google의 경우 보안은 다음 파일과 유사합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: thanos-object-storage
        namespace: open-cluster-management-observability
      type: Opaque
      stringData:
        thanos.yaml: |
          type: GCS
          config:
            bucket: YOUR_GCS_BUCKET
            service_account: YOUR_SERVICE_ACCOUNT

      자세한 내용은 Google Cloud Storage 를 참조하십시오.

    • Azure의 경우 보안은 다음 파일과 유사합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: thanos-object-storage
        namespace: open-cluster-management-observability
      type: Opaque
      stringData:
        thanos.yaml: |
          type: AZURE
          config:
            storage_account: YOUR_STORAGE_ACCT
            storage_account_key: YOUR_STORAGE_KEY
            container: YOUR_CONTAINER
            endpoint: blob.core.windows.net
            max_retries: 0

      자세한 내용은 Azure Storage 설명서를 참조하십시오.

      참고: Azure를 Red Hat OpenShift Container Platform 클러스터의 오브젝트 스토리지로 사용하는 경우 클러스터와 연결된 스토리지 계정은 지원되지 않습니다. 새 스토리지 계정을 생성해야 합니다.

    • Red Hat OpenShift Data Foundation의 경우 시크릿은 다음 파일과 유사합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: thanos-object-storage
        namespace: open-cluster-management-observability
      type: Opaque
      stringData:
        thanos.yaml: |
          type: s3
          config:
            bucket: YOUR_RH_DATA_FOUNDATION_BUCKET
            endpoint: YOUR_RH_DATA_FOUNDATION_ENDPOINT
            insecure: false
            access_key: YOUR_RH_DATA_FOUNDATION_ACCESS_KEY
            secret_key: YOUR_RH_DATA_FOUNDATION_SECRET_KEY

      자세한 내용은 Red Hat OpenShift Data Foundation 에서 참조하십시오. IBM에서 Red Hat OpenShift on IBM (ROKS)의 경우 시크릿은 다음 파일과 유사합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: thanos-object-storage
        namespace: open-cluster-management-observability
      type: Opaque
      stringData:
        thanos.yaml: |
          type: s3
          config:
            bucket: YOUR_ROKS_S3_BUCKET
            endpoint: YOUR_ROKS_S3_ENDPOINT
            insecure: true
            access_key: YOUR_ROKS_ACCESS_KEY
            secret_key: YOUR_ROKS_SECRET_KEY

      자세한 내용은 IBM Cloud 설명서인 Cloud Object Storage 를 참조하십시오. 서비스 자격 증명을 사용하여 오브젝트 스토리지에 연결해야 합니다. 자세한 내용은 IBM Cloud 설명서, Cloud Object StoreService Credentials 를 참조하십시오.

    • Amazon S3 또는 S3 호환 스토리지의 경우 AWS STS(AWS Security Token Service)에서 생성된 단기 권한 인증 정보를 사용할 수도 있습니다. 자세한 내용은 AWS 보안 토큰 서비스 설명서 를 참조하십시오.

      AWS Security Service를 사용하여 액세스 키를 생성하려면 다음 추가 단계가 필요합니다.

      • S3 버킷에 대한 액세스를 제한하는 IAM 정책 생성
      • 신뢰 정책으로 IAM 역할을 생성하여 OpenShift Container Platform 서비스 계정에 대한 JWT 토큰을 생성합니다.
      • S3 버킷에 액세스해야 하는 observability 서비스 계정에 대한 주석을 지정합니다. 환경 설정 단계에서 AWS(ROSA) 클러스터에서 Red Hat OpenShift Service on AWS를 사용하여 AWS STS 토큰을 사용하도록 구성하는 방법의 예를 확인할 수 있습니다. 자세한 내용은 ROSA와 STS와 함께 Red Hat OpenShift Service on AWS ( ROSA) 를 참조하십시오. 이러한 요구 사항에 대한 자세한 내용은 STS 토큰을 사용하기 위한 설정 및 요구 사항에 대한 자세한 설명을 참조하십시오.

AWS Security Service를 사용하여 액세스 키를 생성하려면 다음 단계를 완료합니다.

  1. AWS 환경을 설정합니다. 다음 명령을 실행합니다.

    export POLICY_VERSION=$(date +"%m-%d-%y")
    export TRUST_POLICY_VERSION=$(date +"%m-%d-%y")
    export CLUSTER_NAME=<my-cluster>
    export S3_BUCKET=$CLUSTER_NAME-acm-observability
    export REGION=us-east-2
    export NAMESPACE=open-cluster-management-observability
    export SA=tbd
    export SCRATCH_DIR=/tmp/scratch
    export OIDC_PROVIDER=$(oc get authentication.config.openshift.io cluster -o json | jq -r .spec.serviceAccountIssuer| sed -e "s/^https:\/\///")
    export AWS_ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)
    export AWS_PAGER=""
    rm -rf $SCRATCH_DIR
    mkdir -p $SCRATCH_DIR
  2. 다음 명령을 사용하여 S3 버킷을 생성합니다.

    aws s3 mb s3://$S3_BUCKET
  3. S3 버킷에 액세스할 s3-policy JSON 파일을 생성합니다. 다음 명령을 실행합니다.

    {
        "Version": "$POLICY_VERSION",
        "Statement": [
            {
                "Sid": "Statement",
                "Effect": "Allow",
                "Action": [
                    "s3:ListBucket",
                    "s3:GetObject",
                    "s3:DeleteObject",
                    "s3:PutObject",
                    "s3:PutObjectAcl",
                    "s3:CreateBucket",
                    "s3:DeleteBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::$S3_BUCKET/*",
                    "arn:aws:s3:::$S3_BUCKET"
                ]
            }
        ]
     }
  4. 다음 명령을 사용하여 정책을 적용합니다.

    S3_POLICY=$(aws iam create-policy --policy-name $CLUSTER_NAME-acm-obs \
    --policy-document file://$SCRATCH_DIR/s3-policy.json \
    --query 'Policy.Arn' --output text)
    echo $S3_POLICY
  5. TrustPolicy JSON 파일을 생성합니다. 다음 명령을 실행합니다.

    {
     "Version": "$TRUST_POLICY_VERSION",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "arn:aws:iam::${AWS_ACCOUNT_ID}:oidc-provider/${OIDC_PROVIDER}"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "${OIDC_PROVIDER}:sub": [
               "system:serviceaccount:${NAMESPACE}:observability-thanos-query",
               "system:serviceaccount:${NAMESPACE}:observability-thanos-store-shard",
               "system:serviceaccount:${NAMESPACE}:observability-thanos-compact"
               "system:serviceaccount:${NAMESPACE}:observability-thanos-rule",
               "system:serviceaccount:${NAMESPACE}:observability-thanos-receive",
             ]
           }
         }
       }
     ]
    }
  6. 다음 명령을 사용하여 AWS Prometheus 및 10.0.0.1에 대한 역할을 생성합니다.

    S3_ROLE=$(aws iam create-role \
      --role-name "$CLUSTER_NAME-acm-obs-s3" \
      --assume-role-policy-document file://$SCRATCH_DIR/TrustPolicy.json \
      --query "Role.Arn" --output text)
    echo $S3_ROLE
  7. 정책을 역할에 연결합니다. 다음 명령을 실행합니다.

    aws iam attach-role-policy \
      --role-name "$CLUSTER_NAME-acm-obs-s3" \
      --policy-arn $S3_POLICY

    시크릿은 다음 파일과 유사할 수 있습니다. config 섹션에서는 signature_version2: false 를 지정하고 access_keysecret_key 를 지정하지 않습니다.

    apiVersion: v1
    kind: Secret
    metadata:
      name: thanos-object-storage
      namespace: open-cluster-management-observability
    type: Opaque
    stringData:
      thanos.yaml: |
     type: s3
     config:
       bucket: $S3_BUCKET
       endpoint: s3.$REGION.amazonaws.com
       signature_version2: false
  8. MultiClusterObservability CR 섹션 생성에 설명된 대로 MultiClusterObservability CR(CR)에 따라 서비스 계정 주석을 지정합니다.
  9. 다음 명령을 사용하여 클라우드 공급자의 S3 액세스 키 및 시크릿 키를 검색할 수 있습니다. 시크릿에서 base64 문자열을 디코딩, 편집 및 인코딩해야 합니다.

    YOUR_CLOUD_PROVIDER_ACCESS_KEY=$(oc -n open-cluster-management-observability get secret <object-storage-secret> -o jsonpath="{.data.thanos\.yaml}" | base64 --decode | grep access_key | awk '{print $2}')
    
    echo $ACCESS_KEY
    
    YOUR_CLOUD_PROVIDER_SECRET_KEY=$(oc -n open-cluster-management-observability get secret <object-storage-secret> -o jsonpath="{.data.thanos\.yaml}" | base64 --decode | grep secret_key | awk '{print $2}')
    
    echo $SECRET_KEY
  10. 다음 배포 및 상태 저장 세트의 Pod를 확인하여 관찰 기능이 활성화되어 있는지 확인합니다. 다음 정보를 받을 수 있습니다.

    observability-thanos-query (deployment)
    observability-thanos-compact (statefulset)
    observability-thanos-receive-default  (statefulset)
    observability-thanos-rule   (statefulset)
    observability-thanos-store-shard-x  (statefulsets)

1.2.2.1. MultiClusterObservability CR 생성

허브 클러스터에서 MultiClusterObservability CR(사용자 정의 리소스)을 생성하려면 다음 단계를 완료합니다.

  1. multiclusterobservability_cr.yaml 이라는 MultiClusterObservability 사용자 정의 리소스 YAML 파일을 생성합니다.

    관찰성을 위해 다음과 같은 기본 YAML 파일을 확인합니다.

    apiVersion: observability.open-cluster-management.io/v1beta2
    kind: MultiClusterObservability
    metadata:
      name: observability
    spec:
      observabilityAddonSpec: {}
      storageConfig:
        metricObjectStorage:
          name: thanos-object-storage
          key: thanos.yaml

    advanced 섹션에서 retentionConfig 매개변수의 값을 수정할 수 있습니다. 자세한 내용은 Thanos Downsampling resolution and retention 에서 참조하십시오. 관리형 클러스터 수에 따라 상태 저장 세트의 스토리지 양을 업데이트할 수 있습니다. S3 버킷이 STS 토큰을 사용하도록 구성된 경우 S3 역할과 함께 STS를 사용하도록 서비스 계정에 주석을 답니다. 다음 구성을 확인합니다.

    spec:
      advanced:
        compact:
          eks.amazonaws.com/role-arn=$S3_ROLE
        store:
          eks.amazonaws.com/role-arn=$S3_ROLE
        rule:
          eks.amazonaws.com/role-arn=$S3_ROLE
        receive:
          eks.amazonaws.com/role-arn=$S3_ROLE
        query:
          eks.amazonaws.com/role-arn=$S3_ROLE

    자세한 내용은 Observability API 를 참조하십시오.

  2. 인프라 머신 세트에 배포하려면 MultiClusterObservability YAML에서 nodeSelector 를 업데이트하여 세트의 라벨을 설정해야 합니다. YAML은 다음 콘텐츠와 유사할 수 있습니다.

      nodeSelector:
        node-role.kubernetes.io/infra:

    자세한 내용은 인프라 머신 세트 생성을 참조하십시오.

  3. 다음 명령을 실행하여 관찰 가능 YAML을 클러스터에 적용합니다.

    oc apply -f multiclusterobservability_cr.yaml

    Thanos, Grafana 및 AlertManager의 open-cluster-management-observability 네임스페이스의 모든 Pod가 생성됩니다. Red Hat Advanced Cluster Management hub 클러스터에 연결된 모든 관리형 클러스터는 Red Hat Advanced Cluster Management Observability 서비스로 메트릭을 다시 보낼 수 있습니다.

  4. Grafana 대시보드를 시작하여 관찰 기능 서비스가 활성화되어 있고 데이터가 입력되는지 확인합니다. 콘솔 개요 페이지 또는 클러스터 페이지에서 콘솔 헤더 근처에 있는 Grafana 링크를 클릭합니다.

    참고: 관찰 기능 데이터를 수집하지 못하도록 특정 관리 클러스터를 제외하려면 클러스터에 다음 클러스터 레이블을 추가합니다. observability: disabled.

Observability 서비스가 활성화되어 있습니다. 관찰 서비스를 활성화하면 다음 기능이 시작됩니다.

  • 관리형 클러스터의 모든 경고 관리자는 Red Hat Advanced Cluster Management hub 클러스터로 전달됩니다.
  • Red Hat Advanced Cluster Management hub 클러스터에 연결된 모든 관리형 클러스터는 Red Hat Advanced Cluster Management Observability 서비스로 알림을 다시 보낼 수 있습니다. 이메일, PagerDuty 또는 OpsGenie와 같은 올바른 수신자 통합에 경고를 중복, 그룹화 및 라우팅하도록 Red Hat Advanced Cluster Management Alertmanager를 구성할 수 있습니다. 경고의 음소거 및 억제를 처리할 수도 있습니다.

    참고: Red Hat Advanced Cluster Management hub 클러스터 기능으로의 경고는 Red Hat OpenShift Container Platform 버전 4.8 이상을 사용하는 관리형 클러스터에서만 지원됩니다. 관찰 기능이 활성화된 Red Hat Advanced Cluster Management를 설치하면 OpenShift Container Platform v4.8 이후의 경고가 hub 클러스터로 자동 전달됩니다.

    자세한 내용은 알림 전달을 참조하십시오.

    • 다음 URL을 사용하여 OpenShift Container Platform 3.11 Grafana 대시보드에 액세스합니다. https://$ACM_URL/grafana/dashboards. OCP 3.11 이라는 폴더를 선택하여 OpenShift Container Platform 3.11 대시보드를 확인합니다.

1.2.3. Red Hat OpenShift Container Platform 콘솔에서 관찰 기능 활성화

필요한 경우 Red Hat OpenShift Container Platform 콘솔에서 관찰성을 활성화하고 open-cluster-management-observability 라는 프로젝트를 생성할 수 있습니다. open-cluster-management-observability 프로젝트에 multiclusterhub-operator-pull-secret 이라는 이미지 pull-secret을 생성해야 합니다.

open-cluster-management-observability 프로젝트에서 thanos-object-storage 라는 오브젝트 스토리지 시크릿을 생성합니다. 오브젝트 스토리지 시크릿 세부 정보를 입력한 다음 생성을 클릭합니다.

참고: 시크릿 예제를 보려면 관찰 기능 활성화 섹션 4단계를 참조하십시오.

MultiClusterObservability CR 인스턴스를 생성합니다. 다음 메시지가 표시되면 OpenShift Container Platform에서 obseravbility 서비스가 성공적으로 활성화됩니다. Observability 구성 요소가 배포되고 실행됩니다.

1.2.3.1. 외부 메트릭 쿼리 사용

관찰 기능은 OpenShift 경로 rbac-query-proxy 를 통해 메트릭을 쿼리할 수 있도록 외부 API를 제공합니다. rbac-query-proxy 경로를 사용하도록 다음 작업을 확인합니다.

  • 다음 명령을 사용하여 경로의 세부 정보를 가져올 수 있습니다.

    oc get route rbac-query-proxy -n open-cluster-management-observability
  • rbac-query-proxy 경로에 액세스하려면 OpenShift OAuth 액세스 토큰이 있어야 합니다. 토큰은 네임스페이스를 가져올 수 있는 권한이 있는 사용자 또는 서비스 계정과 연결되어야 합니다. 자세한 내용은 사용자 소유 OAuth 액세스 토큰 관리를 참조하십시오.
  • 기본 CA 인증서를 가져오고 키 tls.crt 를 로컬 파일에 저장합니다. 다음 명령을 실행합니다.

    oc -n openshift-ingress get secret router-certs-default -o jsonpath="{.data.tls\.crt}" | base64 -d > ca.crt
  • 다음 명령을 실행하여 메트릭을 쿼리합니다.

    curl --cacert ./ca.crt -H "Authorization: Bearer {TOKEN}" https://{PROXY_ROUTE_URL}/api/v1/query?query={QUERY_EXPRESSION}

    참고: QUERY_EXPRESSION 은 표준 Prometheus 쿼리 표현식입니다. 예를 들어 이전에 언급한 명령의 URL을 https://{PROXY_ROUTE_URL}/api/v1/query?query= cluster_infrastructure_provider 로 교체하여 메트릭 cluster_infrastructure_provider 를 쿼리합니다. 자세한 내용은 prometheus 쿼리를 참조하십시오.

  • rbac-query-proxy 경로의 인증서를 교체할 수도 있습니다. 인증서를 생성하기 위한 인증서를 생성하는 OpenSSL 명령을 참조하십시오. csr.cnf 를 사용자 지정할 때 DNS.1rbac-query-proxy 경로의 호스트 이름으로 업데이트합니다.

    • 다음 명령을 실행하여 생성된 인증서를 사용하여 proxy-byo-caproxy-byo-cert 보안을 생성합니다.

      oc -n open-cluster-management-observability create secret tls proxy-byo-ca --cert ./ca.crt --key ./ca.key
      
      oc -n open-cluster-management-observability create secret tls proxy-byo-cert --cert ./ingress.crt --key ./ingress.key

1.2.3.2. 단일 노드 OpenShift 클러스터에 대한 동적 지표

동적 메트릭 컬렉션은 특정 조건에 따라 자동 메트릭 컬렉션을 지원합니다. 기본적으로 SNO 클러스터는 Pod 및 컨테이너 리소스 지표를 수집하지 않습니다. SNO 클러스터가 특정 수준의 리소스 소비에 도달하면 정의된 세분화된 지표가 동적으로 수집됩니다. 클러스터 리소스 사용량이 일정 기간 동안 임계값보다 일관되게 작으면 세분화된 지표 수집이 중지됩니다.

메트릭은 컬렉션 규칙에 의해 지정된 관리 클러스터의 조건에 따라 동적으로 수집됩니다. 이러한 지표는 동적으로 수집되므로 다음 Red Hat Advanced Cluster Management Grafana 대시보드에는 데이터가 표시되지 않습니다. 컬렉션 규칙이 활성화되고 해당 메트릭이 수집되면 다음 패널에 컬렉션 규칙이 시작되는 기간에 대한 데이터가 표시됩니다.

  • Kubernetes/Compute Resources/Namespace (Pods)
  • kubernetes/Compute Resources/Namespace(Workloads)
  • kubernetes/Compute Resources/Nodes (Pods)
  • kubernetes/Compute Resources/Pod
  • kubernetes/Compute Resources/Workload

컬렉션 규칙에는 다음 조건이 포함됩니다.

  • 동적으로 수집할 지표 세트입니다.
  • PromQL 표현식으로 작성된 조건입니다.
  • 컬렉션의 시간 간격은 true 로 설정되어야 합니다.
  • 수집 규칙을 평가해야 하는 클러스터를 선택하는 일치 표현식입니다.

기본적으로 컬렉션 규칙은 30초마다 또는 특정 시간 간격으로 관리되는 클러스터에서 지속적으로 평가됩니다. 컬렉션 간격과 시간 간격 사이에 가장 낮은 값이 우선합니다. 속성에서 지정한 기간 동안 컬렉션 규칙 조건이 지속되면 수집 규칙이 시작되고 이 규칙에 따라 지정된 지표가 관리 클러스터에서 자동으로 수집됩니다. 지표 컬렉션은 관리 대상 클러스터에 더 이상 수집 규칙 조건이 없는 후 15분 후에 자동으로 중지됩니다.

컬렉션 규칙은 collect_rules 라는 매개 변수 섹션으로 함께 그룹화되며 그룹으로 활성화하거나 비활성화할 수 있습니다. Red Hat Advanced Cluster Management 설치에는 컬렉션 규칙 그룹인 HighCPUUsageHighMemoryUsage 의 두 가지 기본 컬렉션 규칙이 포함된 SNOResourceUsage 가 포함됩니다. 노드 CPU 사용량이 70%를 초과하면 HighCPUUsage 컬렉션 규칙이 시작됩니다. SNO 클러스터의 전체 메모리 사용률이 사용 가능한 노드 메모리의 70%를 초과하면 HighMemoryUsage 규칙이 시작됩니다. 현재 언급된 임계값은 고정되어 있으며 변경할 수 없습니다. for 속성에서 지정한 간격보다 컬렉션 규칙이 시작되면 시스템은 dynamic_metrics 섹션에 지정된 지표 수집을 자동으로 시작합니다.

다음 YAML 파일에서 collect_rules 섹션에서 동적 지표 목록을 확인합니다.

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a SNO cluster does not collect pod and container resource metrics. Once a SNO cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["SNO"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

다음 예와 같이 custom-allowlist 에서 collect_rules.group 을 비활성화할 수 있습니다. collect_rules.group 이 비활성화되면 지표 컬렉션이 이전 동작으로 되돌아갑니다. 이러한 메트릭은 정기적으로 지정된 간격으로 수집됩니다.

collect_rules:
  - group: -SNOResourceUsage

규칙이 시작되면 데이터는 Grafana에 표시됩니다.

1.2.4. 관찰 기능 비활성화

observability 서비스를 비활성화하려면 observability 리소스를 제거합니다. OpenShift Container Platform 콘솔 탐색에서 Operator > 설치된 Operator > Kubernetes용 Advanced Cluster Manager를 선택합니다. MultiClusterObservability 사용자 정의 리소스를 제거합니다.

관찰 서비스 사용자 지정에 대한 자세한 내용은 관찰 기능 사용자 지정을 참조하십시오.

Red Hat logoGithubRedditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

© 2024 Red Hat, Inc.