4.3. 재해 복구

프로세스

1. 복구 호스트로 사용할 컨트롤 플레인 호스트를 선택합니다. 이 호스트에서 복원 작업을 실행합니다.

   1. 다음 명령을 실행하여 실행 중인 etcd 포드를 나열합니다.

      $ oc get pods -n openshift-etcd -l app=etcd --field-selector="status.phase==Running"

      Copy to Clipboard Toggle word wrap

   2. 포드를 선택하고 다음 명령을 실행하여 IP 주소를 얻습니다.

      $ oc exec -n openshift-etcd <etcd-pod> -c etcdctl -- etcdctl endpoint status -w table

      Copy to Clipboard Toggle word wrap

      학습자가 아니고 Raft 인덱스가 가장 높은 회원의 IP 주소를 기록해 보세요.

   3. 다음 명령을 실행하고 선택한 etcd 멤버의 IP 주소에 해당하는 노드 이름을 기록해 둡니다.

      $ oc get nodes -o jsonpath='{range .items[*]}[{.metadata.name},{.status.addresses[?(@.type=="InternalIP")].address}]{end}'

      Copy to Clipboard Toggle word wrap

2. SSH를 사용하여 선택한 복구 노드에 연결하고 다음 명령을 실행하여 etcd 쿼럼을 복원합니다.

   $ sudo -E /usr/local/bin/quorum-restore.sh

   Copy to Clipboard Toggle word wrap

   몇 분 후, 다운된 노드는 복구 스크립트가 실행된 노드와 자동으로 동기화됩니다. 남아 있는 온라인 노드는 quorum-restore.sh 스크립트에서 생성된 새 etcd 클러스터에 자동으로 다시 가입합니다. 이 과정은 몇 분 정도 걸립니다.

3. SSH 세션을 종료합니다.

4. 노드가 오프라인인 경우 3-노드 구성으로 돌아갑니다. 오프라인인 각 노드에 대해 다음 단계를 반복하여 삭제하고 다시 생성합니다. 머신이 다시 생성된 후 새로운 개정판이 강제로 적용되고 etcd가 자동으로 확장됩니다.

   • 사용자 제공 베어 메탈 설치를 사용하는 경우 원래 생성에 사용한 것과 동일한 방법을 사용하여 제어 평면 머신을 다시 생성할 수 있습니다. 자세한 내용은 "베어메탈에 사용자 프로비저닝 클러스터 설치"를 참조하세요.

     주의

     복구 호스트의 머신을 삭제했다가 다시 생성하지 마세요.

   • 설치 프로그램에서 제공하는 인프라를 실행 중이거나 Machine API를 사용하여 머신을 만든 경우 다음 단계를 따르세요.

     주의

     복구 호스트의 머신을 삭제했다가 다시 생성하지 마세요.

     설치 프로그램이 제공하는 인프라에서 베어 메탈을 설치하는 경우 제어 플레인 머신은 다시 생성되지 않습니다. 자세한 내용은 "베어 메탈 제어 평면 노드 교체"를 참조하세요.

     1. 오프라인 노드 중 하나에 대한 머신을 얻습니다.

        클러스터에 액세스할 수 있는 터미널에서 cluster-admin 사용자로 다음 명령을 실행합니다.

        $ oc get machines -n openshift-machine-api -o wide

        Copy to Clipboard Toggle word wrap

        출력 예

        NAME                                        PHASE     TYPE        REGION      ZONE         AGE     NODE                           PROVIDERID                              STATE
        clustername-8qw5l-master-0                  Running   m4.xlarge   us-east-1   us-east-1a   3h37m   ip-10-0-131-183.ec2.internal   aws:///us-east-1a/i-0ec2782f8287dfb7e   stopped 

        1

        
        clustername-8qw5l-master-1                  Running   m4.xlarge   us-east-1   us-east-1b   3h37m   ip-10-0-143-125.ec2.internal   aws:///us-east-1b/i-096c349b700a19631   running
        clustername-8qw5l-master-2                  Running   m4.xlarge   us-east-1   us-east-1c   3h37m   ip-10-0-154-194.ec2.internal    aws:///us-east-1c/i-02626f1dba9ed5bba  running
        clustername-8qw5l-worker-us-east-1a-wbtgd   Running   m4.large    us-east-1   us-east-1a   3h28m   ip-10-0-129-226.ec2.internal   aws:///us-east-1a/i-010ef6279b4662ced   running
        clustername-8qw5l-worker-us-east-1b-lrdxb   Running   m4.large    us-east-1   us-east-1b   3h28m   ip-10-0-144-248.ec2.internal   aws:///us-east-1b/i-0cb45ac45a166173b   running
        clustername-8qw5l-worker-us-east-1c-pkg26   Running   m4.large    us-east-1   us-east-1c   3h28m   ip-10-0-170-181.ec2.internal   aws:///us-east-1c/i-06861c00007751b0a   running

        Copy to Clipboard Toggle word wrap

        1

        이는 오프라인 노드 ip-10-0-131-183.ec2.internal 의 제어 플레인 머신입니다.

     2. 다음을 실행하여 오프라인 노드의 머신을 삭제합니다.

        $ oc delete machine -n openshift-machine-api clustername-8qw5l-master-0 

        1

        Copy to Clipboard Toggle word wrap

        1

        오프라인 노드에 대한 제어 플레인 머신의 이름을 지정합니다.

        오프라인 노드의 머신을 삭제하면 자동으로 새로운 머신이 프로비저닝됩니다.

5. 다음을 실행하여 새 머신이 생성되었는지 확인하세요.

   $ oc get machines -n openshift-machine-api -o wide

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                        PHASE          TYPE        REGION      ZONE         AGE     NODE                           PROVIDERID                              STATE
   clustername-8qw5l-master-1                  Running        m4.xlarge   us-east-1   us-east-1b   3h37m   ip-10-0-143-125.ec2.internal   aws:///us-east-1b/i-096c349b700a19631   running
   clustername-8qw5l-master-2                  Running        m4.xlarge   us-east-1   us-east-1c   3h37m   ip-10-0-154-194.ec2.internal    aws:///us-east-1c/i-02626f1dba9ed5bba  running
   clustername-8qw5l-master-3                  Provisioning   m4.xlarge   us-east-1   us-east-1a   85s     ip-10-0-173-171.ec2.internal    aws:///us-east-1a/i-015b0888fe17bc2c8  running 

   1

   
   clustername-8qw5l-worker-us-east-1a-wbtgd   Running        m4.large    us-east-1   us-east-1a   3h28m   ip-10-0-129-226.ec2.internal   aws:///us-east-1a/i-010ef6279b4662ced   running
   clustername-8qw5l-worker-us-east-1b-lrdxb   Running        m4.large    us-east-1   us-east-1b   3h28m   ip-10-0-144-248.ec2.internal   aws:///us-east-1b/i-0cb45ac45a166173b   running
   clustername-8qw5l-worker-us-east-1c-pkg26   Running        m4.large    us-east-1   us-east-1c   3h28m   ip-10-0-170-181.ec2.internal   aws:///us-east-1c/i-06861c00007751b0a   running

   Copy to Clipboard Toggle word wrap

   1

   새로운 머신인 clustername-8qw5l-master-3이 생성되고 있으며 단계가 Provisioning 에서 Running 으로 변경된 후 준비되었습니다.

   새 시스템을 만드는 데 몇 분이 소요될 수 있습니다. etcd 클러스터 운영자는 머신이나 노드가 정상 상태로 돌아오면 자동으로 동기화합니다.

   1. 오프라인 상태인 각 노드에 대해 이 단계를 반복합니다.

6. 다음 명령을 실행하여 제어 평면이 복구될 때까지 기다리세요.

   $ oc adm wait-for-stable-cluster

   Copy to Clipboard Toggle word wrap
   참고

   제어 평면이 복구되는 데 최대 15분이 걸릴 수 있습니다.

프로세스

1. SSH를 사용하여 단일 노드에 연결하고 다음 명령을 실행하여 etcd 백업을 /home/core 디렉터리에 복사합니다.

   $ cp <etcd_backup_directory> /home/core

   Copy to Clipboard Toggle word wrap

2. 이전 백업에서 클러스터를 복원하려면 단일 노드에서 다음 명령을 실행하세요.

   $ sudo -E /usr/local/bin/cluster-restore.sh /home/core/<etcd_backup_directory>

   Copy to Clipboard Toggle word wrap
3. SSH 세션을 종료합니다.

4. 다음 명령을 실행하여 제어 평면의 복구 진행 상황을 모니터링합니다.

   $ oc adm wait-for-stable-cluster

   Copy to Clipboard Toggle word wrap
   참고

   제어 평면이 복구되는 데 최대 15분이 걸릴 수 있습니다.

프로세스

1. 복구 호스트로 사용할 컨트롤 플레인 호스트를 선택합니다. 이는 복원 작업을 실행하는 호스트입니다.

2. 복구 호스트를 포함하여 각 컨트롤 플레인 노드에 SSH 연결을 설정합니다.

   복구 프로세스가 시작된 후에는 kube-apiserver 에 액세스할 수 없게 되어 제어 평면 노드에 액세스할 수 없습니다. 따라서 다른 터미널에서 각 컨트롤 플레인 호스트에 대한 SSH 연결을 설정하는 것이 좋습니다.

   중요

   이 단계를 완료하지 않으면 컨트롤 플레인 호스트에 액세스하여 복구 프로세스를 완료할 수 없으며 이 상태에서 클러스터를 복구할 수 없습니다.

3. SSH를 사용하여 각 제어 평면 노드에 연결하고 다음 명령을 실행하여 etcd를 비활성화합니다.

   $ sudo -E /usr/local/bin/disable-etcd.sh

   Copy to Clipboard Toggle word wrap

4. etcd 백업 디렉토리를 복구 컨트롤 플레인 호스트에 복사합니다.

   이 단계에서는 etcd 스냅샷 및 정적 pod의 리소스가 포함된 backup 디렉터리를 복구 컨트롤 플레인 호스트의 /home/core/ 디렉터리에 복사하는 것을 전제로하고 있습니다.

5. SSH를 사용하여 복구 호스트에 연결하고 다음 명령을 실행하여 이전 백업에서 클러스터를 복원합니다.

   $ sudo -E /usr/local/bin/cluster-restore.sh /home/core/<etcd-backup-directory>

   Copy to Clipboard Toggle word wrap
6. SSH 세션을 종료합니다.

7. API가 응답하는 경우 다음 명령을 실행하여 etcd Operator 쿼럼 가드를 끕니다.

   $ oc patch etcd/cluster --type=merge -p '{"spec": {"unsupportedConfigOverrides": {"useUnsupportedUnsafeNonHANonProductionUnstableEtcd": true}}}'

   Copy to Clipboard Toggle word wrap

8. 다음 명령을 실행하여 컨트롤 플레인의 복구 진행 상황을 모니터링합니다.

   $ oc adm wait-for-stable-cluster

   Copy to Clipboard Toggle word wrap
   참고

   컨트롤 플레인을 복구하는 데 최대 15분이 걸릴 수 있습니다.

9. 복구되면 다음 명령을 실행하여 쿼럼 가드를 활성화합니다.

   $ oc patch etcd/cluster --type=merge -p '{"spec": {"unsupportedConfigOverrides": null}}'

   Copy to Clipboard Toggle word wrap

프로세스

1. SSH를 사용하여 각 제어 평면 노드에 연결합니다.

   복구 프로세스가 시작된 후에는 Kubernetes API 서버에 액세스할 수 없으므로 컨트롤 플레인 노드에 액세스할 수 없습니다. 이러한 이유로 액세스하는 각 제어 평면 호스트에 대해 별도의 터미널에서 SSH 연결을 사용하는 것이 좋습니다.

   중요

   이 단계를 완료하지 않으면 컨트롤 플레인 호스트에 액세스하여 복구 프로세스를 완료할 수 없으며 이 상태에서 클러스터를 복구할 수 없습니다.

2. etcd 백업 디렉터리를 각 컨트롤 플레인 호스트에 복사합니다.

   이 절차에서는 etcd 스냅샷과 정적 포드에 대한 리소스가 포함된 백업 디렉토리를 각 제어 평면 호스트의 /home/core/assets 디렉토리에 복사했다고 가정합니다. 해당 자산 폴더가 아직 없다면 만들어야 할 수도 있습니다.

3. 모든 제어 평면 노드에서 정적 포드를 한 번에 한 호스트씩 중지합니다.

   1. 기존 Kubernetes API 서버 정적 Pod 매니페스트를 kubelet 매니페스트 디렉토리 밖으로 옮깁니다.

      $ mkdir -p /root/manifests-backup
      $ mv /etc/kubernetes/manifests/kube-apiserver-pod.yaml /root/manifests-backup/

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 사용하여 Kubernetes API 서버 컨테이너가 중지되었는지 확인하세요.

      $ crictl ps | grep kube-apiserver | grep -E -v "operator|guard"

      Copy to Clipboard Toggle word wrap

      이 명령의 출력은 비어 있어야합니다. 비어 있지 않은 경우 몇 분 기다렸다가 다시 확인하십시오.

   3. Kubernetes API 서버 컨테이너가 계속 실행 중이면 다음 명령을 사용하여 수동으로 종료합니다.

      $ crictl stop <container_id>

      Copy to Clipboard Toggle word wrap

   4. kube-controller-manager-pod.yaml , kube-scheduler-pod.yaml , 마지막으로 etcd-pod.yaml 에 대해 동일한 단계를 반복합니다.

      1. 다음 명령을 사용하여 kube-controller-manager 포드를 중지합니다.

         $ mv /etc/kubernetes/manifests/kube-controller-manager-pod.yaml /root/manifests-backup/

         Copy to Clipboard Toggle word wrap

      2. 다음 명령을 사용하여 컨테이너가 중지되었는지 확인하세요.

         $ crictl ps | grep kube-controller-manager | grep -E -v "operator|guard"

         Copy to Clipboard Toggle word wrap

      3. 다음 명령을 사용하여 kube-scheduler pod를 중지합니다.

         $ mv /etc/kubernetes/manifests/kube-scheduler-pod.yaml /root/manifests-backup/

         Copy to Clipboard Toggle word wrap

      4. 다음 명령을 사용하여 컨테이너가 중지되었는지 확인하세요.

         $ crictl ps | grep kube-scheduler | grep -E -v "operator|guard"

         Copy to Clipboard Toggle word wrap

      5. 다음 명령을 사용하여 etcd Pod를 중지합니다.

         $ mv /etc/kubernetes/manifests/etcd-pod.yaml /root/manifests-backup/

         Copy to Clipboard Toggle word wrap

      6. 다음 명령을 사용하여 컨테이너가 중지되었는지 확인하세요.

         $ crictl ps | grep etcd | grep -E -v "operator|guard"

         Copy to Clipboard Toggle word wrap

4. 각 제어 평면 호스트에서 현재 etcd 데이터를 백업 폴더로 이동하여 저장합니다.

   $ mkdir /home/core/assets/old-member-data
   $ mv /var/lib/etcd/member /home/core/assets/old-member-data

   Copy to Clipboard Toggle word wrap

   이 데이터는 etcd 백업 복원이 작동하지 않고 etcd 클러스터를 현재 상태로 복원해야 하는 경우에 유용합니다.

5. 각 제어 평면 호스트에 대한 올바른 etcd 매개변수를 찾습니다.

   1. <ETCD_NAME> 의 값은 각 제어 평면 호스트마다 고유하며, 특정 제어 평면 호스트의 매니페스트 /etc/kubernetes/static-pod-resources/etcd-certs/configmaps/restore-etcd-pod/pod.yaml 파일에 있는 ETCD_NAME 변수의 값과 같습니다. 다음 명령을 사용하여 찾을 수 있습니다.

      RESTORE_ETCD_POD_YAML="/etc/kubernetes/static-pod-resources/etcd-certs/configmaps/restore-etcd-pod/pod.yaml"
      cat $RESTORE_ETCD_POD_YAML | \
        grep -A 1 $(cat $RESTORE_ETCD_POD_YAML | grep 'export ETCD_NAME' | grep -Eo 'NODE_.+_ETCD_NAME') | \
        grep -Po '(?<=value: ").+(?=")'

      Copy to Clipboard Toggle word wrap

   2. <UUID> 값은 다음 명령을 사용하여 제어 평면 호스트에서 생성할 수 있습니다.

      $ uuidgen

      Copy to Clipboard Toggle word wrap
      참고

      <UUID> 값은 한 번만 생성되어야 합니다. 한 제어 평면 호스트에서 UUID를 생성한 후 다른 제어 평면 호스트에서 다시 생성하지 마세요. 다음 단계에서는 모든 제어 평면 호스트에서 동일한 UUID가 사용됩니다.

   3. ETCD_NODE_PEER_URL 의 값은 다음 예와 같이 설정해야 합니다.

      https://<IP_CURRENT_HOST>:2380

      Copy to Clipboard Toggle word wrap

      다음 명령을 사용하여 특정 제어 평면 호스트의 <ETCD_NAME> 에서 올바른 IP를 찾을 수 있습니다.

      $ echo <ETCD_NAME> | \
        sed -E 's/[.-]/_/g' | \
        xargs -I {} grep {} /etc/kubernetes/static-pod-resources/etcd-certs/configmaps/etcd-scripts/etcd.env | \
        grep "IP" | grep -Po '(?<=").+(?=")'

      Copy to Clipboard Toggle word wrap

   4. <ETCD_INITIAL_CLUSTER> 의 값은 다음과 같이 설정해야 합니다. 여기서 <ETCD_NAME_n> 은 각 제어 평면 호스트의 <ETCD_NAME> 입니다.

      참고

      사용되는 포트는 2379가 아닌 2380이어야 합니다. 포트 2379는 etcd 데이터베이스 관리에 사용되며 컨테이너의 etcd 시작 명령에서 직접 구성됩니다.

      출력 예

      <ETCD_NAME_0>=<ETCD_NODE_PEER_URL_0>,<ETCD_NAME_1>=<ETCD_NODE_PEER_URL_1>,<ETCD_NAME_2>=<ETCD_NODE_PEER_URL_2> 

      1

      Copy to Clipboard Toggle word wrap

      1

      각 제어 평면 호스트에서 ETCD_NODE_PEER_URL 값을 지정합니다.

      <ETCD_INITIAL_CLUSTER> 값은 모든 제어 평면 호스트에서 동일하게 유지됩니다. 다음 단계에서는 모든 제어 평면 호스트에 동일한 값이 필요합니다.

6. 백업에서 etcd 데이터베이스를 다시 생성합니다.

   이러한 작업은 각 제어 평면 호스트에서 실행되어야 합니다.

   1. 다음 명령을 사용하여 etcd 백업을 /var/lib/etcd 디렉토리에 복사합니다.

      $ cp /home/core/assets/backup/<snapshot_yyyy-mm-dd_hhmmss>.db /var/lib/etcd

      Copy to Clipboard Toggle word wrap

   2. 계속하기 전에 올바른 etcdctl 이미지를 식별합니다. 다음 명령을 사용하여 Pod 매니페스트 백업에서 이미지를 검색합니다.

      $ jq -r '.spec.containers[]|select(.name=="etcdctl")|.image' /root/manifests-backup/etcd-pod.yaml

      Copy to Clipboard Toggle word wrap

      $ podman run --rm -it --entrypoint="/bin/bash" -v /var/lib/etcd:/var/lib/etcd:z <image-hash>

      Copy to Clipboard Toggle word wrap

   3. etcdctl 도구의 버전이 백업이 생성된 etcd 서버의 버전인지 확인하세요.

      $ etcdctl version

      Copy to Clipboard Toggle word wrap

   4. 현재 호스트에 맞는 올바른 값을 사용하여 etcd 데이터베이스를 다시 생성하려면 다음 명령을 실행하세요.

      $ ETCDCTL_API=3 /usr/bin/etcdctl snapshot restore /var/lib/etcd/<snapshot_yyyy-mm-dd_hhmmss>.db \
        --name "<ETCD_NAME>" \
        --initial-cluster="<ETCD_INITIAL_CLUSTER>" \
        --initial-cluster-token "openshift-etcd-<UUID>" \
        --initial-advertise-peer-urls "<ETCD_NODE_PEER_URL>" \
        --data-dir="/var/lib/etcd/restore-<UUID>" \
        --skip-hash-check=true

      Copy to Clipboard Toggle word wrap
      참고

      etcd 데이터베이스를 다시 생성할 때는 따옴표가 필수입니다.

7. 추가된 멤버 로그에 인쇄된 값을 기록하세요. 예:

   출력 예

   2022-06-28T19:52:43Z    info    membership/cluster.go:421   added member    {"cluster-id": "c5996b7c11c30d6b", "local-member-id": "0", "added-peer-id": "56cd73b614699e7", "added-peer-peer-urls": ["https://10.0.91.5:2380"], "added-peer-is-learner": false}
   2022-06-28T19:52:43Z    info    membership/cluster.go:421   added member    {"cluster-id": "c5996b7c11c30d6b", "local-member-id": "0", "added-peer-id": "1f63d01b31bb9a9e", "added-peer-peer-urls": ["https://10.0.90.221:2380"], "added-peer-is-learner": false}
   2022-06-28T19:52:43Z    info    membership/cluster.go:421   added member    {"cluster-id": "c5996b7c11c30d6b", "local-member-id": "0", "added-peer-id": "fdc2725b3b70127c", "added-peer-peer-urls": ["https://10.0.94.214:2380"], "added-peer-is-learner": false}

   Copy to Clipboard Toggle word wrap

   1. 컨테이너에서 나오세요.
   2. 다른 제어 평면 호스트에서도 이 단계를 반복하여 추가된 멤버 로그에 인쇄된 값이 모든 제어 평면 호스트에서 동일한지 확인합니다.

8. 재생성된 etcd 데이터베이스를 기본 위치로 이동합니다.

   이러한 작업은 각 제어 평면 호스트에서 실행되어야 합니다.

   1. 재생성된 데이터베이스(이전 etcdctl 스냅샷 복원 명령으로 생성된 멤버 폴더)를 기본 etcd 위치 /var/lib/etcd 로 이동합니다.

      $ mv /var/lib/etcd/restore-<UUID>/member /var/lib/etcd

      Copy to Clipboard Toggle word wrap

   2. /var/lib/ etcd 디렉토리의 /var/lib/etcd /member 폴더에 대한 SELinux 컨텍스트를 복원합니다.

      $ restorecon -vR /var/lib/etcd/

      Copy to Clipboard Toggle word wrap

   3. 남아 있는 파일과 디렉토리를 제거합니다.

      $ rm -rf /var/lib/etcd/restore-<UUID>

      Copy to Clipboard Toggle word wrap

      $ rm /var/lib/etcd/<snapshot_yyyy-mm-dd_hhmmss>.db

      Copy to Clipboard Toggle word wrap
      중요

      작업이 끝나면 /var/lib/etcd 디렉토리에는 member 폴더만 포함되어야 합니다.

   4. 다른 컨트롤 플레인 호스트에서 이 단계를 반복합니다.

9. etcd 클러스터를 다시 시작합니다.

   1. 다음 단계는 모든 제어 평면 호스트에서 실행해야 하지만 한 번에 하나의 호스트에서만 실행해야 합니다.

   2. kubelet이 관련 컨테이너를 시작하도록 하기 위해 etcd 정적 포드 매니페스트를 kubelet 매니페스트 디렉토리로 다시 이동합니다.

      $ mv /tmp/etcd-pod.yaml /etc/kubernetes/manifests

      Copy to Clipboard Toggle word wrap

   3. 모든 etcd 컨테이너가 시작되었는지 확인하세요.

      $ crictl ps | grep etcd | grep -v operator

      Copy to Clipboard Toggle word wrap

      출력 예

      38c814767ad983       f79db5a8799fd2c08960ad9ee22f784b9fbe23babe008e8a3bf68323f004c840                                                         28 seconds ago       Running             etcd-health-monitor                   2                   fe4b9c3d6483c
      e1646b15207c6       9d28c15860870e85c91d0e36b45f7a6edd3da757b113ec4abb4507df88b17f06                                                         About a minute ago   Running             etcd-metrics                          0                   fe4b9c3d6483c
      08ba29b1f58a7       9d28c15860870e85c91d0e36b45f7a6edd3da757b113ec4abb4507df88b17f06                                                         About a minute ago   Running             etcd                                  0                   fe4b9c3d6483c
      2ddc9eda16f53       9d28c15860870e85c91d0e36b45f7a6edd3da757b113ec4abb4507df88b17f06                                                         About a minute ago   Running             etcdctl

      Copy to Clipboard Toggle word wrap

      이 명령의 출력이 비어 있으면 몇 분간 기다렸다가 다시 확인하세요.

10. etcd 클러스터의 상태를 확인합니다.

    1. 모든 제어 평면 호스트에서 다음 명령을 사용하여 etcd 클러스터의 상태를 확인하세요.

       $ crictl exec -it $(crictl ps | grep etcdctl | awk '{print $1}') etcdctl endpoint status -w table

       Copy to Clipboard Toggle word wrap

       출력 예

       +--------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
       |         ENDPOINT         |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
       +--------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
       | https://10.0.89.133:2379 | 682e4a83a0cec6c0 |   3.5.0 |   67 MB |      true |      false |         2 |        218 |                218 |        |
       |  https://10.0.92.74:2379 | 450bcf6999538512 |   3.5.0 |   67 MB |     false |      false |         2 |        218 |                218 |        |
       | https://10.0.93.129:2379 | 358efa9c1d91c3d6 |   3.5.0 |   67 MB |     false |      false |         2 |        218 |                218 |        |
       +--------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

       Copy to Clipboard Toggle word wrap

11. 다른 정적 포드를 다시 시작합니다.

    한 번에 하나의 호스트이지만 모든 컨트롤 플레인 호스트에서 다음 단계를 실행해야 합니다.

    1. 다음 명령을 사용하여 kubelet이 관련 컨테이너를 시작하도록 하려면 Kubernetes API Server 정적 포드 매니페스트를 kubelet 매니페스트 디렉토리로 다시 이동합니다.

       $ mv /root/manifests-backup/kube-apiserver-pod.yaml /etc/kubernetes/manifests

       Copy to Clipboard Toggle word wrap

    2. 모든 Kubernetes API 서버 컨테이너가 시작되었는지 확인하세요.

       $ crictl ps | grep kube-apiserver | grep -v operator

       Copy to Clipboard Toggle word wrap
       참고

       다음 명령의 출력이 비어 있으면 몇 분 기다렸다가 다시 확인합니다.

    3. kube-controller-manager-pod.yaml 및 kube-scheduler-pod.yaml 파일에 대해서도 동일한 단계를 반복합니다.

       1. 다음 명령을 사용하여 모든 노드에서 kubelet을 다시 시작합니다.

          $ systemctl restart kubelet

          Copy to Clipboard Toggle word wrap

       2. 다음 명령을 사용하여 나머지 제어 평면 포드를 시작합니다.

          $ mv /root/manifests-backup/kube-* /etc/kubernetes/manifests/

          Copy to Clipboard Toggle word wrap

       3. kube-apiserver , kube-scheduler 및 kube-controller-manager 포드가 올바르게 시작되는지 확인하세요.

          $ crictl ps | grep -E 'kube-(apiserver|scheduler|controller-manager)' | grep -v -E 'operator|guard'

          Copy to Clipboard Toggle word wrap

       4. 다음 명령을 사용하여 OVN 데이터베이스를 지웁니다.

          for NODE in  $(oc get node -o name | sed 's:node/::g')
          do
            oc debug node/${NODE} -- chroot /host /bin/bash -c  'rm -f /var/lib/ovn-ic/etc/ovn*.db && systemctl restart ovs-vswitchd ovsdb-server'
            oc -n openshift-ovn-kubernetes delete pod -l app=ovnkube-node --field-selector=spec.nodeName=${NODE} --wait
            oc -n openshift-ovn-kubernetes wait pod -l app=ovnkube-node --field-selector=spec.nodeName=${NODE} --for condition=ContainersReady --timeout=600s
          done

          Copy to Clipboard Toggle word wrap