9.7. OADP を使用したホステッドクラスターの障害復旧

手順

1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

2. 次のコマンドを実行して、ホステッドクラスターのインフラストラクチャー ID を取得します。

   $ oc get hostedcluster -n local-cluster <hosted_cluster_name> -o=jsonpath="{.spec.infraID}"

   次のステップで使用するインフラストラクチャー ID をメモします。

3. 次のコマンドを実行して、cluster.cluster.x-k8s.io リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch cluster.cluster.x-k8s.io \
     -n local-cluster-<hosted_cluster_name> <hosted_cluster_infra_id> \
     --type json -p '[{"op": "add", "path": "/spec/paused", "value": true}]'

4. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

5. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentcluster -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all'

6. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentmachine -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all'

7. 次のコマンドを実行して、HostedCluster リソースにアノテーションを付け、Hosted Control Plane namespace が削除されないようにします。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace=true

8. Backup CR を定義する YAML ファイルを作成します。

   例9.1 例: backup-control-plane.yaml ファイル

   apiVersion: velero.io/v1
   kind: Backup
   metadata:
     name: <backup_resource_name> 

   1

   
     namespace: openshift-adp
     labels:
       velero.io/storage-location: default
   spec:
     hooks: {}
     includedNamespaces: 

   2

   
     - <hosted_cluster_namespace> 

   3

   
     - <hosted_control_plane_namespace> 

   4

   
     includedResources:
     - sa
     - role
     - rolebinding
     - pod
     - pvc
     - pv
     - bmh
     - configmap
     - infraenv 

   5

   
     - priorityclasses
     - pdb
     - agents
     - hostedcluster
     - nodepool
     - secrets
     - hostedcontrolplane
     - cluster
     - agentcluster
     - agentmachinetemplate
     - agentmachine
     - machinedeployment
     - machineset
     - machine
     excludedResources: []
     storageLocation: default
     ttl: 2h0m0s
     snapshotMoveData: true 

   6

   
     datamover: "velero" 

   7

   
     defaultVolumesToFsBackup: true 

   8

   1

   backup_resource_name を Backup リソースの名前に置き換えます。

   2

   特定の namespace を選択して、そこからオブジェクトをバックアップします。ホステッドクラスターの namespace と Hosted Control Plane の namespace を含める必要があります。

   3

   <hosted_cluster_namespace> を、ホステッドクラスター namespace の名前 (例: clusters) に置き換えます。

   4

   <hosted_control_plane_namespace> は、Hosted Control Plane の namespace の名前 (例: clusters-hosted) に置き換えます。

   5

   infraenv リソースを別の namespace に作成する必要があります。バックアッププロセス中に infraenv リソースを削除しないでください。

   6 7

   CSI ボリュームスナップショットを有効にし、コントロールプレーンのワークロードをクラウドストレージに自動的にアップロードします。

   8

   永続ボリューム (PV) の fs-backup バックアップ方法をデフォルトとして設定します。この設定は、Container Storage Interface (CSI) ボリュームスナップショットと fs-backup 方式を組み合わせて使用する場合に便利です。

   注記

   CSI ボリュームスナップショットを使用する場合は、PV に backup.velero.io/backup-volumes-excludes=<pv_name> アノテーションを追加する必要があります。

9. 次のコマンドを実行して、Backup CR を適用します。

   $ oc apply -f backup-control-plane.yaml

手順

1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

2. 次のコマンドを実行して、ホステッドクラスターのインフラストラクチャー ID を取得します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     get hostedcluster -n <hosted_cluster_namespace> \
     <hosted_cluster_name> -o=jsonpath="{.spec.infraID}"

3. 次のステップで使用するインフラストラクチャー ID をメモします。

4. 次のコマンドを実行して、cluster.cluster.x-k8s.io リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate cluster -n <hosted_control_plane_namespace> \
     <hosted_cluster_infra_id> cluster.x-k8s.io/paused=true

5. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

6. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentcluster -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all

7. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentmachine -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all

8. 同一の管理クラスターに対してバックアップと復元を行う場合、Hosted Control Plane namespace が削除されるのを防ぐため、以下のコマンドを実行して HostedCluster リソースにアノテーションを付けます。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace=true

9. Backup CR を定義する YAML ファイルを作成します。

   例9.2 例: backup-control-plane.yaml ファイル

   apiVersion: velero.io/v1
   kind: Backup
   metadata:
     name: <backup_resource_name> 

   1

   
     namespace: openshift-adp
     labels:
       velero.io/storage-location: default
   spec:
     hooks: {}
     includedNamespaces: 

   2

   
     - <hosted_cluster_namespace> 

   3

   
     - <hosted_control_plane_namespace> 

   4

   
     - <agent_namespace> 

   5

   
     includedResources:
     - sa
     - role
     - rolebinding
     - pod
     - pvc
     - pv
     - bmh
     - configmap
     - infraenv
     - priorityclasses
     - pdb
     - agents
     - hostedcluster
     - nodepool
     - secrets
     - services
     - deployments
     - hostedcontrolplane
     - cluster
     - agentcluster
     - agentmachinetemplate
     - agentmachine
     - machinedeployment
     - machineset
     - machine
     excludedResources: []
     storageLocation: default
     ttl: 2h0m0s
     snapshotMoveData: true 

   6

   
     datamover: "velero" 

   7

   
     defaultVolumesToFsBackup: true 

   8

   1

   backup_resource_name を Backup リソースの名前に置き換えます。

   2

   特定の namespace を選択して、そこからオブジェクトをバックアップします。ホステッドクラスターの namespace と Hosted Control Plane の namespace を含める必要があります。

   3

   <hosted_cluster_namespace> を、ホステッドクラスター namespace の名前 (例: clusters) に置き換えます。

   4

   <hosted_control_plane_namespace> は、Hosted Control Plane の namespace の名前 (例: clusters-hosted) に置き換えます。

   5

   <agent_namespace> は、Agent、BMH、および InfraEnv CR が配置されている namespace (例: agents) に置き換えます。

   6 7

   CSI ボリュームスナップショットを有効にし、コントロールプレーンのワークロードをクラウドストレージに自動的にアップロードします。

   8

   永続ボリューム (PV) の fs-backup バックアップ方法をデフォルトとして設定します。この設定は、Container Storage Interface (CSI) ボリュームスナップショットと fs-backup 方式を組み合わせて使用する場合に便利です。

   注記

   CSI ボリュームスナップショットを使用する場合は、PV に backup.velero.io/backup-volumes-excludes=<pv_name> アノテーションを追加する必要があります。

10. 次のコマンドを実行して、Backup CR を適用します。

    $ oc apply -f backup-control-plane.yaml

手順

1. 次のコマンドを実行して、Hosted Control Plane namespace に Pod と永続ボリューム要求 (PVC) が存在しないことを確認します。

   $ oc get pod pvc -n <hosted_control_plane_namespace>

   予想される出力

   No resources found

2. Restore CR を定義する YAML ファイルを作成します。

   restore-hosted-cluster.yaml ファイルの例

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: <restore_resource_name> 

   1

   
     namespace: openshift-adp
   spec:
     backupName: <backup_resource_name> 

   2

   
     restorePVs: true 

   3

   
     existingResourcePolicy: update 

   4

   
     excludedResources:
     - nodes
     - events
     - events.events.k8s.io
     - backups.velero.io
     - restores.velero.io
     - resticrepositories.velero.io

   1

   <restore_resource_name> を Restore リソースの名前に置き換えます。

   2

   <backup_resource_name> を Backup リソースの名前に置き換えます。

   3

   永続ボリューム (PV) とその Pod のリカバリーを開始します。

   4

   既存のオブジェクトがバックアップされたコンテンツで上書きされるようにします。

   重要

   infraenv リソースを別の namespace に作成する必要があります。復元プロセス中に infraenv リソースを削除しないでください。新しいノードを再プロビジョニングするには、infraenv リソースが必須です。

3. 次のコマンドを実行して、Restore CR を適用します。

   $ oc apply -f restore-hosted-cluster.yaml

4. 次のコマンドを実行して、status.phase の値が Completed になっているかどうかを確認します。

   $ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \
     -o jsonpath='{.status.phase}'

5. 復元プロセスが完了したら、コントロールプレーンワークロードのバックアップ中に一時停止した HostedCluster リソースおよび NodePool リソースのリコンシリエーションを開始します。

   1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
        --type json \
        -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "false"}]'

   2. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
        --type json \
        -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "false"}]'

6. コントロールプレーンワークロードのバックアップ中に一時停止したエージェントプロバイダーリソースのリコンシリエーションを開始します。

   1. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        annotate agentcluster -n <hosted_control_plane_namespace>  \
        cluster.x-k8s.io/paused- --overwrite=true --all

   2. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        annotate agentmachine -n <hosted_control_plane_namespace>  \
        cluster.x-k8s.io/paused- --overwrite=true --all

7. 次のコマンドを実行して、HostedCluster リソースの hypershift.openshift.io/skip-delete-hosted-controlplane-namespace- アノテーションを削除し、Hosted Control Plane namespace の手動削除を回避します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace- \
     --overwrite=true --all

手順

1. Restore CR を定義する YAML ファイルを作成します。

   restore-hosted-cluster.yaml ファイルの例

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: <restore_resource_name> 

   1

   
     namespace: openshift-adp
   spec:
     includedNamespaces: 

   2

   
     - <hosted_cluster_namespace> 

   3

   
     - <hosted_control_plane_namespace> 

   4

   
     - <agent_namespace> 

   5

   
     backupName: <backup_resource_name> 

   6

   
     cleanupBeforeRestore: CleanupRestored
     veleroManagedClustersBackupName: <managed_cluster_name> 

   7

   
     veleroCredentialsBackupName: <credentials_backup_name>
     veleroResourcesBackupName: <resources_backup_name>
     restorePVs: true 

   8

   
     preserveNodePorts: true
     existingResourcePolicy: update 

   9

   
     excludedResources:
     - pod
     - nodes
     - events
     - events.events.k8s.io
     - backups.velero.io
     - restores.velero.io
     - resticrepositories.velero.io
     - pv
     - pvc

   1

   <restore_resource_name> を Restore リソースの名前に置き換えます。

   2

   特定の namespace を選択して、そこからオブジェクトをバックアップします。ホステッドクラスターの namespace と Hosted Control Plane の namespace を含める必要があります。

   3

   <hosted_cluster_namespace> を、ホステッドクラスター namespace の名前 (例: clusters) に置き換えます。

   4

   <hosted_control_plane_namespace> は、Hosted Control Plane の namespace の名前 (例: clusters-hosted) に置き換えます。

   5

   <agent_namespace> は、Agent、BMH、および InfraEnv CR が配置されている namespace (例: agents) に置き換えます。

   6

   <backup_resource_name> を Backup リソースの名前に置き換えます。

   7

   Red Hat Advanced Cluster Management を使用していない場合は、このフィールドを省略できます。

   8

   永続ボリューム (PV) とその Pod のリカバリーを開始します。

   9

   既存のオブジェクトがバックアップされたコンテンツで上書きされるようにします。

2. 次のコマンドを実行して、Restore CR を適用します。

   $ oc --kubeconfig <restore_management_kubeconfig> apply -f restore-hosted-cluster.yaml

3. 次のコマンドを実行して、status.phase の値が Completed であることを確認します。

   $ oc --kubeconfig <restore_management_kubeconfig> \
     get restore.velero.io <restore_resource_name> \
     -n openshift-adp -o jsonpath='{.status.phase}'

4. 次のコマンドを実行して、すべての CR が復元されていることを確認します。

   $ oc --kubeconfig <restore_management_kubeconfig> get infraenv -n <agent_namespace>

   $ oc --kubeconfig <restore_management_kubeconfig> get agent -n <agent_namespace>

   $  oc --kubeconfig <restore_management_kubeconfig> get bmh -n <agent_namespace>

   $ oc --kubeconfig <restore_management_kubeconfig> get hostedcluster -n <hosted_cluster_namespace>

   $ oc --kubeconfig <restore_management_kubeconfig> get nodepool -n <hosted_cluster_namespace>

   $ oc --kubeconfig <restore_management_kubeconfig> get agentmachine -n <hosted_controlplane_namespace>

   $ oc --kubeconfig <restore_management_kubeconfig> get agentcluster -n <hosted_controlplane_namespace>

5. 今後、新しい管理クラスターをメインの管理クラスターとして使用する予定の場合は、以下の手順を実行します。バックアップ元の管理クラスターをメインの管理クラスターとして使用する予定の場合は、「OADP を使用してホステッドクラスターを同じ管理クラスターに復元する」の手順 5 - 8 を完了します。

   1. 次のコマンドを実行して、バックアップした管理クラスターから Cluster API デプロイメントを削除します。

      $ oc --kubeconfig <backup_management_kubeconfig> delete deploy cluster-api \
        -n <hosted_control_plane_namespace>

      一度に 1 つの Cluster API のみがクラスターにアクセスできるため、この手順により、新しい管理クラスターの Cluster API が正常に機能します。

   2. 復元プロセスが完了したら、コントロールプレーンワークロードのバックアップ中に一時停止した HostedCluster リソースおよび NodePool リソースのリコンシリエーションを開始します。

      1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを開始します。

         $ oc --kubeconfig <restore_management_kubeconfig> \
           patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
           --type json \
           -p '[{"op": "replace", "path": "/spec/pausedUntil", "value": "false"}]'

      2. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを開始します。

         $ oc --kubeconfig <restore_management_kubeconfig> \
           patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
           --type json \
           -p '[{"op": "replace", "path": "/spec/pausedUntil", "value": "false"}]'

      3. 次のコマンドを実行して、Hosted Control Plane が使用可能であるとホステッドクラスターが報告していることを確認します。

         $ oc --kubeconfig <restore_management_kubeconfig> get hostedcluster

      4. 次のコマンドを実行して、クラスター Operator が利用可能であるとホステッドクラスターが報告していることを確認します。

         $ oc get co --kubeconfig <hosted_cluster_kubeconfig>

   3. コントロールプレーンワークロードのバックアップ中に一時停止したエージェントプロバイダーリソースのリコンシリエーションを開始します。

      1. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを開始します。

         $ oc --kubeconfig <restore_management_kubeconfig> \
           annotate agentcluster -n <hosted_control_plane_namespace>  \
           cluster.x-k8s.io/paused- --overwrite=true --all

      2. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを開始します。

         $ oc --kubeconfig <restore_management_kubeconfig> \
           annotate agentmachine -n <hosted_control_plane_namespace>  \
           cluster.x-k8s.io/paused- --overwrite=true --all

      3. 次のコマンドを実行して、Cluster リソースのリコンシリエーションを開始します。

         $ oc --kubeconfig <restore_management_kubeconfig> \
           annotate cluster -n <hosted_control_plane_namespace> \
           cluster.x-k8s.io/paused- --overwrite=true --all

   4. 次のコマンドを実行して、ノードプールが予想通りに機能していることを確認します。

      $ oc --kubeconfig <restore_management_kubeconfig> \
        get nodepool -n <hosted_cluster_namespace>

      出力例

      NAME       CLUSTER    DESIRED NODES   CURRENT NODES   AUTOSCALING   AUTOREPAIR   VERSION   UPDATINGVERSION   UPDATINGCONFIG   MESSAGE
      hosted-0   hosted-0   3               3               False         False        4.17.11   False             False

   5. オプション: 競合が存在せず、新しい管理クラスターが引き続き機能していることを確認するには、次の手順を実行して、バックアップ管理クラスターから HostedCluster リソースを削除します。

      1. バックアップ元の管理クラスターの ClusterDeployment リソースで、次のコマンドを実行して spec.preserveOnDelete パラメーターを true に設定します。

         $ oc --kubeconfig <backup_management_kubeconfig> patch \
           -n <hosted_control_plane_namespace> \
           ClusterDeployment/<hosted_cluster_name> -p \
           '{"spec":{"preserveOnDelete":'true'}}' \
           --type=merge

         この手順は、ホストのプロビジョニングが解除されないようにします。

      2. 以下のコマンドを実行してマシンを削除します。

         $ oc --kubeconfig <backup_management_kubeconfig> patch \
           <machine_name> -n <hosted_control_plane_namespace> -p \
           '[{"op":"remove","path":"/metadata/finalizers"}]' \
           --type=merge

         $ oc --kubeconfig <backup_management_kubeconfig> \
           delete machine <machine_name> \
           -n <hosted_control_plane_namespace>

      3. 次のコマンドを実行して、AgentCluster および Cluster リソースを削除します。

         $ oc --kubeconfig <backup_management_kubeconfig> \
           delete agentcluster <hosted_cluster_name> \
           -n <hosted_control_plane_namespace>

         $ oc --kubeconfig <backup_management_kubeconfig> \
           patch cluster <cluster_name> \
           -n <hosted_control_plane_namespace> \
           -p '[{"op":"remove","path":"/metadata/finalizers"}]' \
           --type=json

         $ oc --kubeconfig <backup_management_kubeconfig> \
           delete cluster <cluster_name> \
           -n <hosted_control_plane_namespace>

      4. Red Hat Advanced Cluster Management を使用する場合は、次のコマンドを実行してマネージドクラスターを削除します。

         $ oc --kubeconfig <backup_management_kubeconfig> \
           patch managedcluster <hosted_cluster_name> \
           -n <hosted_cluster_namespace> \
           -p '[{"op":"remove","path":"/metadata/finalizers"}]' \
           --type=json

         $ oc --kubeconfig <backup_management_kubeconfig> \
           delete managedcluster <hosted_cluster_name> \
           -n <hosted_cluster_namespace>

      5. 次のコマンドを実行して、HostedCluster リソースを削除します。

         $ oc --kubeconfig <backup_management_kubeconfig> \
           delete hostedcluster \
           -n <hosted_cluster_namespace> <hosted_cluster_name>