문제 해결

클러스터에 로그인합니다. 데이터 및 디렉터리를 수집하는 데 사용되는 Kubernetes용 Red Hat Advanced Cluster Management를 추가합니다. 출력에 대한 이미지와 디렉터리를 삽입한 다음 명령을 실행합니다.

oc adm must-gather --image=registry.redhat.io/rhacm2/acm-must-gather-rhel8:v2.5.0 --dest-dir=<directory>

일반적인 사용 사례의 경우 허브 클러스터에 로그인하는 동안 must-gather 를 실행해야 합니다.

참고: 관리 클러스터를 확인하려면 cluster-scoped-resources 디렉터리에 있는 gather-managed.log 파일을 찾습니다.

<your-directory>/cluster-scoped-resources/gather-managed.log>

iPXEED 및 AVAILABLE 열에 True 가 설정되지 않은 관리형 클러스터가 있는지 확인합니다. True 상태로 연결되지 않은 클러스터에서 must-gather 명령을 실행할 수 있습니다.

지정된 디렉터리로 이동하여 다음 수준으로 구성된 출력을 확인합니다.

다음 스크립트를 파일에 복사합니다.

#!/bin/bash
ACM_NAMESPACE=<namespace>
oc delete mch --all -n $ACM_NAMESPACE
helm ls --namespace $ACM_NAMESPACE | cut -f 1 | tail -n +2 | xargs -n 1 helm delete --namespace $ACM_NAMESPACE
oc delete apiservice v1beta1.webhook.certmanager.k8s.io v1.admission.cluster.open-cluster-management.io v1.admission.work.open-cluster-management.io
oc delete clusterimageset --all
oc delete configmap -n $ACM_NAMESPACE cert-manager-controller cert-manager-cainjector-leader-election cert-manager-cainjector-leader-election-core
oc delete consolelink acm-console-link
oc delete crd klusterletaddonconfigs.agent.open-cluster-management.io placementbindings.policy.open-cluster-management.io policies.policy.open-cluster-management.io userpreferences.console.open-cluster-management.io searchservices.search.acm.com discoveredclusters.discovery.open-cluster-management.io discoveryconfigs.discovery.open-cluster-management.io
oc delete mutatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 ocm-mutating-webhook managedclustermutators.admission.cluster.open-cluster-management.io
oc delete oauthclient multicloudingress
oc delete rolebinding -n kube-system cert-manager-webhook-webhook-authentication-reader
oc delete scc kui-proxy-scc
oc delete validatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 channels.apps.open.cluster.management.webhook.validator application-webhook-validator multiclusterhub-operator-validating-webhook ocm-validating-webhook

스크립트의 & lt;namespace >를 Red Hat Advanced Cluster Management가 설치된 네임스페이스 이름으로 바꿉니다. 네임스페이스가 정리되고 삭제되므로 올바른 네임스페이스를 지정해야 합니다.

관리 클러스터를 사용할 수 있는지 확인합니다. Red Hat Advanced Cluster Management 콘솔의 Clusters 영역에서 이를 확인할 수 있습니다.

사용할 수 없는 경우 관리 클러스터를 다시 시작해 봅니다.

관리형 클러스터 상태가 여전히 오프라인인 경우 다음 단계를 완료합니다.

Red Hat Advanced Cluster Management hub 클러스터에서 다음 명령을 실행하여 Red Hat Advanced Cluster Management 가져오기 컨트롤러가 실행 중인지 확인합니다.

kubectl -n multicluster-engine get pods -l app=managedcluster-import-controller-v2

실행 중인 포드 두 개가 표시되어야 합니다. Pod 중 하나가 실행되고 있지 않은 경우 다음 명령을 실행하여 로그를 확인하여 이유를 확인합니다.

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1

Red Hat Advanced Cluster Management hub 클러스터에서 다음 명령을 실행하여 Red Hat Advanced Cluster Management 가져오기 컨트롤러에서 관리 클러스터 가져오기 시크릿이 성공적으로 생성되었는지 확인합니다.

kubectl -n <managed_cluster_name> get secrets <managed_cluster_name>-import

가져오기 보안이 없는 경우 다음 명령을 실행하여 가져오기 컨트롤러의 로그 항목을 보고 생성되지 않은 이유를 확인합니다.

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1 | grep importconfig-controller

Red Hat Advanced Cluster Management hub 클러스터에서 관리 클러스터가 로컬 클러스터 되거나 Hive에 의해 프로비저닝되거나 자동 가져오기 보안이 있는 경우 다음 명령을 실행하여 관리 클러스터의 가져오기 상태를 확인합니다.

kubectl get managedcluster <managed_cluster_name> -o=jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.message}{"\n"}{end}' | grep ManagedClusterImportSucceeded

ManagedClusterImportSucceeded 조건이 true 가 아닌 경우 명령 결과는 실패 이유를 나타냅니다.

다음 명령을 실행하여 your-managed-cluster -name을 관리형 클러스터의 이름으로 교체하여 관리형 클러스터 이름을 지정합니다.

cluster_name=<your-managed-cluster-name>

다음 명령을 실행하여 관리형 클러스터 kubeconfig 보안 이름을 가져옵니다.

kubeconfig_secret_name=$(oc -n ${cluster_name} get clusterdeployments ${cluster_name} -ojsonpath='{.spec.clusterMetadata.adminKubeconfigSecretRef.name}')

다음 명령을 실행하여 kubeconfig 를 새 파일로 내보냅니다.

oc -n ${cluster_name} get secret ${kubeconfig_secret_name} -ojsonpath={.data.kubeconfig} | base64 -d > kubeconfig.old

export KUBECONFIG=kubeconfig.old

다음 명령을 실행하여 kubeconfig 를 사용하여 관리 클러스터에서 네임스페이스를 가져옵니다.

oc get ns

다음 명령을 실행하여 your-managed-cluster -name을 관리형 클러스터의 이름으로 교체하여 관리형 클러스터 이름을 지정합니다.

cluster_name=<your-managed-cluster-name>

다음 명령을 실행하여 관리형 클러스터의 새 kubeconfig 를 업데이트합니다.

kubeconfig=$(cat <your-new-valid-kubeconfig-file-path> | base64 -w0)
kubeconfig_patch="[{\"op\":\"replace\", \"path\":\"/data/kubeconfig\", \"value\":\"${kubeconfig}\"}]"
kubeconfig_secret_name=$(oc -n ${cluster_name} get clusterdeployments ${cluster_name} -ojsonpath='{.spec.clusterMetadata.adminKubeconfigSecretRef.name}')

oc -n ${cluster_name} patch secrets ${kubeconfig_secret_name} --type='json' -p=${kubeconfig_patch}

문제가 있는 Kubernetes Pod 이름을 보려면 관리형 클러스터에서 다음 명령을 실행합니다.

kubectl get pod -n open-cluster-management-agent | grep klusterlet-registration-agent

관리형 클러스터에서 다음 명령을 실행하여 오류에 대한 로그 항목을 찾습니다.

kubectl logs <registration_agent_pod> -n open-cluster-management-agent

registration_agent_pod 를 1단계에서 확인한 Pod 이름으로 교체합니다.

hub 클러스터에 다음 명령을 입력하여 문제가 있는 포트 번호를 검색합니다.

oc get infrastructure cluster -o yaml | grep apiServerURL

관리 클러스터의 호스트 이름을 확인하고 호스트 및 포트에 대한 아웃바운드 연결이 발생하는지 확인합니다.

관리형 클러스터에서 통신을 설정할 수 없는 경우 클러스터 가져오기가 완료되지 않습니다. 관리 클러스터의 클러스터 상태는 Pending import 입니다.

hub 클러스터에서 다음 명령을 실행하여 관리형 클러스터 가져오기 보안을 다시 생성합니다.

oc delete secret -n <cluster_name> <cluster_name>-import

& lt;cluster_name >을 가져올 관리형 클러스터 이름으로 바꿉니다.

hub 클러스터에서 다음 명령을 실행하여 관리 대상 클러스터 가져오기 보안을 YAML 파일에 노출합니다.

oc get secret -n <cluster_name> <cluster_name>-import -ojsonpath='{.data.import\.yaml}' | base64 --decode  > import.yaml

& lt;cluster_name >을 가져올 관리형 클러스터 이름으로 바꿉니다.

관리형 클러스터에서 다음 명령을 실행하는 import.yaml 파일을 적용합니다.

oc apply -f import.yaml

다음 명령을 실행하여 <cluster_name> 네임스페이스에 남아 있는 리소스 목록을 생성합니다.

oc api-resources --verbs=list --namespaced -o name | grep -E '^secrets|^serviceaccounts|^managedclusteraddons|^roles|^rolebindings|^manifestworks|^leases|^managedclusterinfo|^appliedmanifestworks'|^clusteroauths' | xargs -n 1 oc get --show-kind --ignore-not-found -n <cluster_name>

cluster_name 을 삭제하려는 클러스터의 네임스페이스 이름으로 바꿉니다.

다음 명령을 입력하여 목록을 편집하여 삭제 상태가 아닌 목록에서 식별된 각 리소스를 삭제합니다.

oc edit <resource_kind> <resource_name> -n <namespace>

resource_kind 를 리소스 종류로 교체합니다. resource_name 을 리소스 이름으로 교체합니다. namespace 를 리소스의 네임스페이스 이름으로 바꿉니다.

다음 명령을 입력하여 네임스페이스를 삭제합니다.

oc delete ns <cluster-name>

cluster-name 을 삭제하려는 네임스페이스의 이름으로 바꿉니다.

기존 auto-import-secret 을 수동으로 삭제하려면 hub 클러스터에서 다음 명령을 실행합니다.

oc delete secret auto-import-secret -n <cluster-namespace>

cluster-namespace 를 클러스터 네임스페이스로 교체합니다.

다음 명령을 입력하여 hub 클러스터에서 ManagedCluster 사양을 편집합니다.

oc edit managedcluster <cluster-name>

cluster-name 을 관리 클러스터의 이름으로 바꿉니다.

Red Hat Advanced Cluster Management 클러스터에서 다음 명령을 실행하여 파일을 적용합니다.

oc apply -f apps.open-cluster-management.io_channels_crd.yaml

open-cluster-management 네임스페이스에서 advanced-cluster-management.<version, example 2.5.0 > CSV를 편집하고 다음 명령을 실행하고 편집합니다.

oc edit csv advanced-cluster-management.<version, example 2.5.0> -n open-cluster-management

다음 컨테이너를 찾습니다.

이번 업데이트에서는 open-cluster-management 네임스페이스에서 다음 Pod를 다시 생성합니다.

새 포드가 새 docker 이미지로 실행되고 있는지 확인합니다. 다음 명령을 실행한 다음 새 docker 이미지를 찾습니다.

oc get pod multicluster-operators-standalone-subscription-<random-characters> -n open-cluster-management -o yaml
oc get pod multicluster-operators-hub-subscription-<random-characters> -n open-cluster-management -o yaml

관리 클러스터에서 이미지를 업데이트합니다.

hub 클러스터에서 다음 명령을 실행하여 multicluster_operators_subscription 키의 이미지 값을 사용하려는 이미지로 업데이트합니다.

oc edit configmap -n open-cluster-management mch-image-manifest-<version, example 2.5.0>
...
data:
multicluster_operators_subscription: <your image with tag>

기존 multicluster-operators-hub-subscription Pod를 다시 시작합니다.

oc delete pods -n open-cluster-management multicluster-operators-hub-subscription--<random-characters>

이렇게 하면 관리 클러스터에서 open -cluster-management-agent-addon 네임스페이스에서 application-manager-<random-characters > Pod가 다시 생성됩니다.

콘솔 또는 CLI를 통해 애플리케이션을 생성할 때 채널 사양에 'insecureSkipVerify: true'를 수동으로 추가합니다. 다음 예제를 참조하십시오.

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
labels:
  name: sample-channel
  namespace: sample
spec:
  type: GitHub
  pathname: <Git URL>
  insecureSkipVerify: true

Grafana의 기본 구성에 예상 시간 제한 설정이 있는지 확인합니다.

Grafana의 기본 구성에 예상 시간 초과 설정이 있는지 확인한 경우 다음 명령을 실행하여 open-cluster-management 네임스페이스에서 multicloud-console 경로를 구성할 수 있습니다.

oc annotate route multicloud-console -n open-cluster-management --overwrite haproxy.router.openshift.io/timeout=300s

관리형 클러스터 목록에 로컬 클러스터 목록이 포함되어 있고 배치 규칙 결정 목록에 로컬 클러스터 가 표시되지 않는지 확인합니다. 다음 명령을 실행하고 결과를 봅니다.

% oc get managedclusters

로컬 클러스터 가 참여한 샘플 출력에서는 PlacementRule 의 YAML에 포함되지 않습니다.

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
local-cluster   true                                  True     True        56d
cluster1        true                                  True     True        16h

apiVersion: apps.open-cluster-management.io/v1
kind: PlacementRule
metadata:
  name: all-ready-clusters
  namespace: default
spec:
  clusterSelector: {}
status:
  decisions:
  - clusterName: cluster1
    clusterNamespace: cluster1

YAML 파일에서 역할을 생성하여 local-cluster 네임스페이스에 managedcluster 관리 권한을 부여합니다. 다음 예제를 참조하십시오.

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
rules:
- apiGroups:
  - cluster.open-cluster-management.io
  resources:
  - managedclusters
  verbs:
  - get

RoleBinding 리소스를 생성하여 local-cluster 네임스페이스에 대한 배치 규칙 사용자에게 액세스 권한을 부여합니다. 다음 예제를 참조하십시오.

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
subjects:
- kind: User
  name: zisis
  apiGroup: rbac.authorization.k8s.io

리소스에서 apiVersion 을 업데이트합니다. 예를 들어 서브스크립션 YAML 파일에 Deployment 종류 오류가 표시되면 extensions/v1beta1 에서 apps/v1 으로 apiVersion 을 업데이트해야 합니다.

다음 예제를 참조하십시오.

apiVersion: apps/v1
kind: Deployment

관리형 클러스터에서 다음 명령을 실행하여 사용 가능한 버전을 확인합니다.

kubectl explain <resource>

설치 후 다중 클러스터 서브스크립션 커뮤니티 운영자를 구독하는 Operator 서브스크립션 CR을 찾습니다. 다음 명령을 실행합니다.

% oc get sub -n open-cluster-management acm-operator-subscription

spec.config.resources .yaml 파일을 추가하여 리소스 제한을 정의하여 Operator 서브스크립션 사용자 정의 리소스를 편집합니다.

참고: 동일한 다중 클러스터 서브스크립션 커뮤니티 Operator를 서브스크립션하는 새 Operator 서브스크립션 사용자 정의 리소스를 생성하지 마십시오. 두 개의 Operator 서브스크립션이 하나의 Operator에 연결되어 있으므로 Operator Pod는 "killed" 되고 두 Operator 서브스크립션 사용자 정의 리소스에서 다시 시작합니다.

다음 업데이트된 .yaml 파일 예제를 참조하십시오.

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: multicluster-operators-subscription-alpha-community-operators-openshift-marketplace
  namespace: open-cluster-management
spec:
  channel: release-2.2
  config:
    resources:
      limits:
        cpu: 750m
        memory: 2Gi
      requests:
        cpu: 150m
        memory: 128Mi
  installPlanApproval: Automatic
  name: multicluster-operators-subscription
  source: community-operators
  sourceNamespace: openshift-marketplace

리소스를 저장한 후 독립 실행형 서브스크립션 Pod가 2GB 메모리 제한으로 다시 시작되었는지 확인합니다. 다음 명령을 실행합니다.

% oc get pods -n open-cluster-management multicluster-operators-standalone-subscription-7c8cbf885f-c94kz -o yaml

apiVersion: v1
kind: Pod
...
spec:
  containers:
  - image: quay.io/open-cluster-management/multicluster-operators-subscription:community-2.2
...
    resources:
      limits:
        cpu: 750m
        memory: 2Gi
      requests:
        cpu: 150m
        memory: 128Mi
...
status:
  qosClass: Burstable

관리 클러스터에서 다음 명령을 실행하여 Klusterlet 상태를 확인합니다.

kubectl get klusterlets klusterlet -oyaml

hub 클러스터에서 klusterletaddonconfig 에 주석을 달아 복제를 일시 중지합니다. 다음 명령을 참조하십시오.

oc annotate klusterletaddonconfig -n ${CLUSTER_NAME} ${CLUSTER_NAME} klusterletaddonconfig-pause=true --  overwrite=true

hub 클러스터에서 klusterlet-addon-operator 를 축소합니다. 다음 명령을 참조하십시오.

oc edit manifestwork ${CLUSTER_NAME}-klusterlet-addon-operator -n ${CLUSTER_NAME}

klusterlet-addon-operator Deployment를 찾아 스케일링할 사양에 replicas: 0 을 추가합니다.

- apiVersion: apps/v1
  kind: Deployment
  metadata:
    labels:
      app: cluster1
    name: klusterlet-addon-operator
    namespace: open-cluster-management-agent-addon
    spec:
      replicas: 0

관리형 클러스터에서 open-cluster-management-agent-addon/klusterlet-addon-operator Pod가 종료됩니다.

관리 클러스터에 로그인하여 appmgr Pod의 메모리 제한을 수동으로 늘립니다.

다음 명령을 실행합니다.

% oc edit deployments -n open-cluster-management-agent-addon klusterlet-addon-appmgr

예를 들어 제한이 5G인 경우 제한을 8G로 늘립니다.

resources:
  limits:
    memory: 2Gi  -> 8Gi
  requests:
    memory: 128Mi -> 256Mi

서브스크립션 CR에 주석을 달아 서브스크립션 Operator에 단일 조정을 생성합니다. 다음 데이터 사양을 참조하십시오.

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
  name: deva
  namespace: ch-obj
  labels:
    name: obj-sub
spec:
  type: ObjectBucket
  pathname: http://ec2-100-26-232-156.compute-1.amazonaws.com:9000/deva
  sourceNamespaces:
    - default
  secretRef:
    name: dev
---
apiVersion: v1
kind: Secret
metadata:
  name: dev
  namespace: ch-obj
  labels:
    name: obj-sub
data:
  AccessKeyID: YWRtaW4=
  SecretAccessKey: cGFzc3dvcmRhZG1pbg==

테스트를 위해 oc annotate 를 실행합니다.

oc annotate appsub -n <subscription-namespace> <subscription-name> test=true

관찰 기능 구성 요소가 설치되었는지 확인합니다.

다음 명령을 사용하여 hub 클러스터 네임스페이스에서 Pod 이벤트를 확인합니다.

oc describe pod search-redisgraph-0

searchcustomization CR을 생성한 경우 스토리지 클래스와 스토리지 크기가 유효한지 확인하고 PVC를 생성할 수 있는지 확인합니다. 다음 명령을 실행하여 PVC를 나열합니다.

oc get pvc  <storageclassname>-search-redisgraph-0

PVC를 search-redisgraph-0 Pod에 바인딩할 수 있는지 확인합니다. 문제가 여전히 해결되지 않은 경우 StatefulSet search-redisgraph 를 삭제합니다. 검색 Operator는 StatefulSet을 다시 생성합니다. 다음 명령을 실행합니다.

oc delete statefulset -n open-cluster-management search-redisgraph

open- cluster-management-addon-observability 네임스페이스에 있는 observability-open-cluster-management.io-observability-signer-client-cert 라는 시크릿을 삭제합니다. 다음 명령을 실행합니다.

oc delete observability-controller-open-cluster-management.io-observability-signer-client-cert -n open-cluster-management-addon-observability

참고: observability-controller-open-cluster-management.io-observability-signer-client-cert 는 새 인증서를 사용하여 자동으로 다시 생성됩니다.

다음 요구 사항을 확인하여 Submariner의 구성 요소가 올바르게 배포되었는지 확인합니다.

문제를 엽니다. 다른 단계에서 문제를 식별하지 못하면 다음 정보를 사용하여 문제를 엽니다.