9.7. OADP を使用したホステッドクラスターの障害復旧

手順

1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

2. 次のコマンドを実行して、ホステッドクラスターのインフラストラクチャー ID を取得します。

   $ oc get hostedcluster -n local-cluster <hosted_cluster_name> -o=jsonpath="{.spec.infraID}"

   次のステップで使用するインフラストラクチャー ID をメモします。

3. 次のコマンドを実行して、cluster.cluster.x-k8s.io リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch cluster.cluster.x-k8s.io \
     -n local-cluster-<hosted_cluster_name> <hosted_cluster_infra_id> \
     --type json -p '[{"op": "add", "path": "/spec/paused", "value": true}]'

4. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

5. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentcluster -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all'

6. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentmachine -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all'

7. 次のコマンドを実行して、HostedCluster リソースにアノテーションを付け、Hosted Control Plane namespace が削除されないようにします。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace=true

8. Backup CR を定義する YAML ファイルを作成します。

   例9.1 例: backup-control-plane.yaml ファイル

   apiVersion: velero.io/v1
   kind: Backup
   metadata:
     name: <backup_resource_name> 

   1

   
     namespace: openshift-adp
     labels:
       velero.io/storage-location: default
   spec:
     hooks: {}
     includedNamespaces: 

   2

   
     - <hosted_cluster_namespace> 

   3

   
     - <hosted_control_plane_namespace> 

   4

   
     includedResources:
     - sa
     - role
     - rolebinding
     - pod
     - pvc
     - pv
     - bmh
     - configmap
     - infraenv 

   5

   
     - priorityclasses
     - pdb
     - agents
     - hostedcluster
     - nodepool
     - secrets
     - hostedcontrolplane
     - cluster
     - agentcluster
     - agentmachinetemplate
     - agentmachine
     - machinedeployment
     - machineset
     - machine
     excludedResources: []
     storageLocation: default
     ttl: 2h0m0s
     snapshotMoveData: true 

   6

   
     datamover: "velero" 

   7

   
     defaultVolumesToFsBackup: true 

   8

   1

   backup_resource_name を Backup リソースの名前に置き換えます。

   2

   特定の namespace を選択して、そこからオブジェクトをバックアップします。ホステッドクラスターの namespace と Hosted Control Plane の namespace を含める必要があります。

   3

   <hosted_cluster_namespace> を、ホステッドクラスター namespace の名前 (例: clusters) に置き換えます。

   4

   <hosted_control_plane_namespace> は、Hosted Control Plane の namespace の名前 (例: clusters-hosted) に置き換えます。

   5

   infraenv リソースを別の namespace に作成する必要があります。バックアッププロセス中に infraenv リソースを削除しないでください。

   6 7

   CSI ボリュームスナップショットを有効にし、コントロールプレーンのワークロードをクラウドストレージに自動的にアップロードします。

   8

   永続ボリューム (PV) の fs-backup バックアップ方法をデフォルトとして設定します。この設定は、Container Storage Interface (CSI) ボリュームスナップショットと fs-backup 方式を組み合わせて使用する場合に便利です。

   注記

   CSI ボリュームスナップショットを使用する場合は、PV に backup.velero.io/backup-volumes-excludes=<pv_name> アノテーションを追加する必要があります。

9. 次のコマンドを実行して、Backup CR を適用します。

   $ oc apply -f backup-control-plane.yaml

手順

1. 次のコマンドを実行して、Hosted Control Plane namespace に Pod と永続ボリューム要求 (PVC) が存在しないことを確認します。

   $ oc get pod pvc -n <hosted_control_plane_namespace>

   予想される出力

   No resources found

2. Restore CR を定義する YAML ファイルを作成します。

   restore-hosted-cluster.yaml ファイルの例

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: <restore_resource_name> 

   1

   
     namespace: openshift-adp
   spec:
     backupName: <backup_resource_name> 

   2

   
     restorePVs: true 

   3

   
     existingResourcePolicy: update 

   4

   
     excludedResources:
     - nodes
     - events
     - events.events.k8s.io
     - backups.velero.io
     - restores.velero.io
     - resticrepositories.velero.io

   1

   <restore_resource_name> を Restore リソースの名前に置き換えます。

   2

   <backup_resource_name> を Backup リソースの名前に置き換えます。

   3

   永続ボリューム (PV) とその Pod のリカバリーを開始します。

   4

   既存のオブジェクトがバックアップされたコンテンツで上書きされるようにします。

   重要

   infraenv リソースを別の namespace に作成する必要があります。復元プロセス中に infraenv リソースを削除しないでください。新しいノードを再プロビジョニングするには、infraenv リソースが必須です。

3. 次のコマンドを実行して、Restore CR を適用します。

   $ oc apply -f restore-hosted-cluster.yaml

4. 次のコマンドを実行して、status.phase の値が Completed になっているかどうかを確認します。

   $ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \
     -o jsonpath='{.status.phase}'

5. 復元プロセスが完了したら、コントロールプレーンワークロードのバックアップ中に一時停止した HostedCluster リソースおよび NodePool リソースのリコンシリエーションを開始します。

   1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
        --type json \
        -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "false"}]'

   2. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
        --type json \
        -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "false"}]'

6. コントロールプレーンワークロードのバックアップ中に一時停止したエージェントプロバイダーリソースのリコンシリエーションを開始します。

   1. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        annotate agentcluster -n <hosted_control_plane_namespace>  \
        cluster.x-k8s.io/paused- --overwrite=true --all

   2. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        annotate agentmachine -n <hosted_control_plane_namespace>  \
        cluster.x-k8s.io/paused- --overwrite=true --all

7. 次のコマンドを実行して、HostedCluster リソースの hypershift.openshift.io/skip-delete-hosted-controlplane-namespace- アノテーションを削除し、Hosted Control Plane namespace の手動削除を回避します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace- \
     --overwrite=true --all

8. 次のコマンドを実行して、NodePool リソースを必要なレプリカ数にスケーリングします。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     scale nodepool -n <hosted_cluster_namespace> <node_pool_name> \
     --replicas <replica_count> 

   1

   1

   <replica_count> を整数値 (例: 3) に置き換えます。

手順

1. 次のコマンドを実行して、バックアッププロセスを確認します。

   $ watch "oc get backups.velero.io -n openshift-adp <backup_resource_name> -o jsonpath='{.status}'"

2. 次のコマンドを実行して、復元プロセスを確認します。

   $ watch "oc get restores.velero.io -n openshift-adp <backup_resource_name> -o jsonpath='{.status}'"

3. 次のコマンドを実行して、Velero ログを確認します。

   $ oc logs -n openshift-adp -ldeploy=velero -f

4. 次のコマンドを実行して、すべての OADP オブジェクトの進行状況を確認します。

   $ watch "echo BackupRepositories:;echo;oc get backuprepositories.velero.io -A;echo; echo BackupStorageLocations: ;echo; oc get backupstoragelocations.velero.io -A;echo;echo DataUploads: ;echo;oc get datauploads.velero.io -A;echo;echo DataDownloads: ;echo;oc get datadownloads.velero.io -n openshift-adp; echo;echo VolumeSnapshotLocations: ;echo;oc get volumesnapshotlocations.velero.io -A;echo;echo Backups:;echo;oc get backup -A; echo;echo Restores:;echo;oc get restore -A"

手順

1. 次のコマンドを実行して、コンテナーから velero CLI を使用するためのエイリアスを作成します。

   $ alias velero='oc -n openshift-adp exec deployment/velero -c velero -it -- ./velero'

2. 次のコマンドを実行して、Restore カスタムリソース (CR) の詳細を取得します。

   $ velero restore describe <restore_resource_name> --details 

   1

   1

   <restore_resource_name> を Restore リソースの名前に置き換えます。

3. 次のコマンドを実行して、Backup CR の詳細を取得します。

   $ velero restore describe <backup_resource_name> --details 

   1

   1

   <backup_resource_name> を Backup リソースの名前に置き換えます。