3.17. Metro-DR로 대체 클러스터 복구

프로시저

1. Hub 클러스터에서 다음 단계를 수행합니다.

   1. CLI 터미널을 사용하여 DRCluster 리소스를 편집하여 교체 클러스터를 펜싱합니다. 여기서 < drcluster_name >은 대체 클러스터 이름입니다.

      oc edit drcluster <drcluster_name>

      apiVersion: ramendr.openshift.io/v1alpha1
      kind: DRCluster
      metadata:
      [...]
      spec:
        ## Add or modify this line
        clusterFence: Fenced
        cidrs:
        [...]
      [...]

   2. RHACM 콘솔을 사용하여 애플리케이션으로 이동하여 실패한 클러스터에서 남아 있는 클러스터로 보호된 모든 애플리케이션을 장애 조치(failover)합니다.

   3. 보호된 모든 애플리케이션이 현재 남아 있는 클러스터에서 실행 중인지 확인하고 확인합니다.

      참고

      각 애플리케이션 DRPlacementControl의 PROGRESSION 상태는 정리 로 표시됩니다. 교체 클러스터가 오프라인 상태이거나 다운된 경우 이 문제가 예상됩니다.

2. 교체 클러스터의 펜싱을 해제합니다.

   CLI 터미널을 사용하여 DRCluster 리소스를 편집합니다. 여기서 < drcluster_name >은 대체 클러스터 이름입니다.

   $ oc edit drcluster <drcluster_name>

   apiVersion: ramendr.openshift.io/v1alpha1
   kind: DRCluster
   metadata:
   [...]
   spec:
     ## Modify this line
     clusterFence: Unfenced
     cidrs:
     [...]
   [...]

3. 교체 클러스터의 DRCluster를 삭제합니다.

   $ oc delete drcluster <drcluster_name> --wait=false

   참고

   DRCluster는 이후 단계까지 삭제되지 않으므로 --wait=false를 사용합니다.

4. 남아 있는 클러스터의 각 보호된 애플리케이션에 대해 Hub 클러스터에서 재해 복구를 비활성화합니다.

   1. 각 애플리케이션에 대해 배치를 편집하고 남아 있는 클러스터가 선택되어 있는지 확인합니다.

      참고

      서브스크립션 기반 애플리케이션의 경우 연결된 배치는 관리 클러스터와 유사한 허브 클러스터의 동일한 네임스페이스에 있습니다. ApplicationSets 기반 애플리케이션의 경우 관련 배치는 hub 클러스터의 openshift-gitops 네임스페이스에서 확인할 수 있습니다.

      $ oc edit placement <placement_name> -n <namespace>

      apiVersion: cluster.open-cluster-management.io/v1beta1
      kind: Placement
      metadata:
      annotations:
        cluster.open-cluster-management.io/experimental-scheduling-disable: "true"
      [...]
      spec:
      clusterSets:
      - submariner
      predicates:
      - requiredClusterSelector:
          claimSelector: {}
          labelSelector:
            matchExpressions:
            - key: name
              operator: In
              values:
              - cluster1  <-- Modify to be surviving cluster name
      [...]

   2. 보호된 각 애플리케이션의 VolumeReplicationGroup에 대해 남아 있는 클러스터에서 다음 명령을 실행하여 s3Profile 이 교체 클러스터에 대해 제거되었는지 확인합니다.

      $ oc get vrg -n <application_namespace> -o jsonpath='{.items[0].spec.s3Profiles}' | jq

   3. 보호된 애플리케이션 배치 리소스가 모두 남아 있는 클러스터 및 보호된 애플리케이션에서 제거된 교체 클러스터 s3Profile을 사용하도록 구성된 후 Hub 클러스터에서 모든 DRPlacementControl 리소스를 삭제해야 합니다.

      $ oc delete drpc <drpc_name> -n <namespace>

      참고

      서브스크립션 기반 애플리케이션의 경우 연결된 DRPlacementControl은 hub 클러스터의 관리 클러스터와 동일한 네임스페이스에서 찾을 수 있습니다. ApplicationSets 기반 애플리케이션의 경우 연결된 DRPlacementControl은 hub 클러스터의 openshift-gitops 네임스페이스에서 확인할 수 있습니다.

   4. 다음 단계를 진행하기 전에 모든 DRPlacementControl 리소스가 삭제되었는지 확인합니다. 이 명령은 모든 네임스페이스에 대한 쿼리입니다. 리소스를 찾을 수 없습니다.

      $ oc get drpc -A

   5. 마지막 단계는 각 애플리케이션 배치를 편집하고 cluster.open-cluster-management.io/experimental-scheduling: "true" 주석을 제거하는 것입니다.

      $ oc edit placement <placement_name> -n <namespace>

      apiVersion: cluster.open-cluster-management.io/v1beta1
      kind: Placement
      metadata:
      annotations:
        ## Remove this annotation
        cluster.open-cluster-management.io/experimental-scheduling-disable: "true"
      [...]

5. 남아 있는 클러스터의 모든 보호된 애플리케이션에 대해 마지막 단계에 자세히 설명된 프로세스를 반복합니다. 이제 보호된 애플리케이션에 대한 DR 비활성화가 완료되었습니다.

6. Hub 클러스터에서 다음 스크립트를 실행하여 남아 있는 클러스터 및 허브 클러스터에서 모든 재해 복구 구성을 제거합니다.

   #!/bin/bash
   secrets=$(oc get secrets -n openshift-operators | grep Opaque | cut -d" " -f1)
   echo $secrets
   for secret in $secrets
   do
       oc patch -n openshift-operators secret/$secret -p '{"metadata":{"finalizers":null}}' --type=merge
   done
   mirrorpeers=$(oc get mirrorpeer -o name)
   echo $mirrorpeers
   for mp in $mirrorpeers
   do
       oc patch $mp -p '{"metadata":{"finalizers":null}}' --type=merge
       oc delete $mp
   done
   drpolicies=$(oc get drpolicy -o name)
   echo $drpolicies
   for drp in $drpolicies
   do
       oc patch $drp -p '{"metadata":{"finalizers":null}}' --type=merge
       oc delete $drp
   done
   drclusters=$(oc get drcluster -o name)
   echo $drclusters
   for drp in $drclusters
   do
       oc patch $drp -p '{"metadata":{"finalizers":null}}' --type=merge
       oc delete $drp
   done
   oc delete project openshift-operators
   managedclusters=$(oc get managedclusters -o name | cut -d"/" -f2)
   echo $managedclusters
   for mc in $managedclusters
   do
       secrets=$(oc get secrets -n $mc | grep multicluster.odf.openshift.io/secret-type | cut -d" " -f1)
       echo $secrets
       for secret in $secrets
       do
           set -x
           oc patch -n $mc secret/$secret -p '{"metadata":{"finalizers":null}}' --type=merge
           oc delete -n $mc secret/$secret
       done
   done
   
   oc delete clusterrolebinding spoke-clusterrole-bindings

   참고

   이 스크립트는 oc delete project openshift-operators 명령을 사용하여 hub 클러스터에서 이 네임스페이스의 Disaster Recovery(DR) Operator를 제거합니다. 이 네임스페이스에 다른 non-DR Operator가 있는 경우 OperatorHub에서 다시 설치해야 합니다.

7. 네임스페이스 openshift-operators 가 자동으로 생성된 후 재해 복구 메트릭을 수집하기 위해 모니터링 레이블을 다시 추가합니다.

   $ oc label namespace openshift-operators openshift.io/cluster-monitoring='true'

8. 남아 있는 클러스터에서 DR 설치 중에 생성된 오브젝트 버킷이 삭제되었는지 확인합니다. 스크립트에서 제거되지 않은 경우 오브젝트 버킷을 삭제합니다. DR에 사용되는 오브젝트 버킷의 이름은 odrbucket 으로 시작됩니다.

   $ oc get obc -n openshift-storage

9. RHACM 콘솔에서 인프라 클러스터 보기로 이동합니다.

   1. 교체 클러스터를 분리합니다.
   2. 새 OpenShift 클러스터(복구 클러스터)를 생성하고 새 클러스터를 RHACM 콘솔로 가져옵니다. 자세한 내용은 클러스터 생성 및 대상 관리 클러스터를 허브 클러스터로 가져오기를 참조하십시오.

10. 복구 클러스터에 OpenShift Data Foundation Operator를 설치하고 남은 클러스터와 동일한 외부 Ceph 스토리지 시스템에 연결합니다. 자세한 내용은 외부 모드에서 OpenShift Data Foundation 배포를 참조하십시오.

    참고

    OpenShift Data Foundation 버전이 4.15 이상(또는 그 이상)이고 동일한 OpenShift Data Foundation 버전이 남아 있는 클러스터에 있는지 확인합니다.

11. 허브 클러스터에서 OperatorHub에서 ODF Multicluster Orchestrator Operator를 설치합니다. 자세한 내용은 OpenShift Data Foundation Multicluster Orchestrator Operator 설치 장을 참조하십시오.

12. RHACM 콘솔을 사용하여 Data Services 데이터 정책으로 이동합니다.

    1. Create DRPolicy 를 선택하고 정책 이름을 지정합니다.
    2. 복구 클러스터 및 남아 있는 클러스터를 선택합니다.
    3. 정책을 생성합니다. Hub 클러스터에서 재해 복구 정책 생성 장을 참조하십시오.

    DRPolicy 상태가 Validated 로 변경된 경우에만 다음 단계로 이동합니다.

13. 교체 클러스터가 실패하기 전에 원래 보호되었던 클러스터의 애플리케이션에 DRPolicy를 적용합니다.
14. 남아 있는 클러스터에서 새로 보호된 애플리케이션을 새 복구(기본) 클러스터로 재배치합니다. RHACM 콘솔을 사용하여 애플리케이션 메뉴로 이동하여 재배치를 수행합니다.