9.7. OADP を使用したホステッドクラスターの障害復旧

手順

1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、ホステッドクラスターのインフラストラクチャー ID を取得します。

   $ oc get hostedcluster -n local-cluster <hosted_cluster_name> -o=jsonpath="{.spec.infraID}"

   Copy to Clipboard Toggle word wrap

   次のステップで使用するインフラストラクチャー ID をメモします。

3. 次のコマンドを実行して、cluster.cluster.x-k8s.io リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch cluster.cluster.x-k8s.io \
     -n local-cluster-<hosted_cluster_name> <hosted_cluster_infra_id> \
     --type json -p '[{"op": "add", "path": "/spec/paused", "value": true}]'

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
     --type json -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "true"}]'

   Copy to Clipboard Toggle word wrap

5. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentcluster -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all'

   Copy to Clipboard Toggle word wrap

6. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを一時停止します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate agentmachine -n <hosted_control_plane_namespace>  \
     cluster.x-k8s.io/paused=true --all'

   Copy to Clipboard Toggle word wrap

7. 次のコマンドを実行して、HostedCluster リソースにアノテーションを付け、Hosted Control Plane namespace が削除されないようにします。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace=true

   Copy to Clipboard Toggle word wrap

8. Backup CR を定義する YAML ファイルを作成します。

   例9.1 例: backup-control-plane.yaml ファイル

   apiVersion: velero.io/v1
   kind: Backup
   metadata:
     name: <backup_resource_name> 

   1

   
     namespace: openshift-adp
     labels:
       velero.io/storage-location: default
   spec:
     hooks: {}
     includedNamespaces: 

   2

   
     - <hosted_cluster_namespace> 

   3

   
     - <hosted_control_plane_namespace> 

   4

   
     includedResources:
     - sa
     - role
     - rolebinding
     - pod
     - pvc
     - pv
     - bmh
     - configmap
     - infraenv 

   5

   
     - priorityclasses
     - pdb
     - agents
     - hostedcluster
     - nodepool
     - secrets
     - hostedcontrolplane
     - cluster
     - agentcluster
     - agentmachinetemplate
     - agentmachine
     - machinedeployment
     - machineset
     - machine
     excludedResources: []
     storageLocation: default
     ttl: 2h0m0s
     snapshotMoveData: true 

   6

   
     datamover: "velero" 

   7

   
     defaultVolumesToFsBackup: true 

   8

   Copy to Clipboard Toggle word wrap

   1

   backup_resource_name を Backup リソースの名前に置き換えます。

   2

   特定の namespace を選択して、そこからオブジェクトをバックアップします。ホステッドクラスターの namespace と Hosted Control Plane の namespace を含める必要があります。

   3

   <hosted_cluster_namespace> を、ホステッドクラスター namespace の名前 (例: clusters) に置き換えます。

   4

   <hosted_control_plane_namespace> は、Hosted Control Plane の namespace の名前 (例: clusters-hosted) に置き換えます。

   5

   infraenv リソースを別の namespace に作成する必要があります。バックアッププロセス中に infraenv リソースを削除しないでください。

   6 7

   CSI ボリュームスナップショットを有効にし、コントロールプレーンのワークロードをクラウドストレージに自動的にアップロードします。

   8

   永続ボリューム (PV) の fs-backup バックアップ方法をデフォルトとして設定します。この設定は、Container Storage Interface (CSI) ボリュームスナップショットと fs-backup 方式を組み合わせて使用する場合に便利です。

   注記

   CSI ボリュームスナップショットを使用する場合は、PV に backup.velero.io/backup-volumes-excludes=<pv_name> アノテーションを追加する必要があります。

9. 次のコマンドを実行して、Backup CR を適用します。

   $ oc apply -f backup-control-plane.yaml

   Copy to Clipboard Toggle word wrap

手順

1. 次のコマンドを実行して、Hosted Control Plane namespace に Pod と永続ボリューム要求 (PVC) が存在しないことを確認します。

   $ oc get pod pvc -n <hosted_control_plane_namespace>

   Copy to Clipboard Toggle word wrap

   予想される出力

   No resources found

   Copy to Clipboard Toggle word wrap

2. Restore CR を定義する YAML ファイルを作成します。

   restore-hosted-cluster.yaml ファイルの例

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: <restore_resource_name> 

   1

   
     namespace: openshift-adp
   spec:
     backupName: <backup_resource_name> 

   2

   
     restorePVs: true 

   3

   
     existingResourcePolicy: update 

   4

   
     excludedResources:
     - nodes
     - events
     - events.events.k8s.io
     - backups.velero.io
     - restores.velero.io
     - resticrepositories.velero.io

   Copy to Clipboard Toggle word wrap

   1

   <restore_resource_name> を Restore リソースの名前に置き換えます。

   2

   <backup_resource_name> を Backup リソースの名前に置き換えます。

   3

   永続ボリューム (PV) とその Pod のリカバリーを開始します。

   4

   既存のオブジェクトがバックアップされたコンテンツで上書きされるようにします。

   重要

   infraenv リソースを別の namespace に作成する必要があります。復元プロセス中に infraenv リソースを削除しないでください。新しいノードを再プロビジョニングするには、infraenv リソースが必須です。

3. 次のコマンドを実行して、Restore CR を適用します。

   $ oc apply -f restore-hosted-cluster.yaml

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、status.phase の値が Completed になっているかどうかを確認します。

   $ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \
     -o jsonpath='{.status.phase}'

   Copy to Clipboard Toggle word wrap

5. 復元プロセスが完了したら、コントロールプレーンワークロードのバックアップ中に一時停止した HostedCluster リソースおよび NodePool リソースのリコンシリエーションを開始します。

   1. 次のコマンドを実行して、HostedCluster リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        patch hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
        --type json \
        -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "false"}]'

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを実行して、NodePool リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        patch nodepool -n <hosted_cluster_namespace> <node_pool_name> \
        --type json \
        -p '[{"op": "add", "path": "/spec/pausedUntil", "value": "false"}]'

      Copy to Clipboard Toggle word wrap

6. コントロールプレーンワークロードのバックアップ中に一時停止したエージェントプロバイダーリソースのリコンシリエーションを開始します。

   1. 次のコマンドを実行して、AgentCluster リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        annotate agentcluster -n <hosted_control_plane_namespace>  \
        cluster.x-k8s.io/paused- --overwrite=true --all

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを実行して、AgentMachine リソースのリコンシリエーションを開始します。

      $ oc --kubeconfig <management_cluster_kubeconfig_file> \
        annotate agentmachine -n <hosted_control_plane_namespace>  \
        cluster.x-k8s.io/paused- --overwrite=true --all

      Copy to Clipboard Toggle word wrap

7. 次のコマンドを実行して、HostedCluster リソースの hypershift.openshift.io/skip-delete-hosted-controlplane-namespace- アノテーションを削除し、Hosted Control Plane namespace の手動削除を回避します。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     annotate hostedcluster -n <hosted_cluster_namespace> <hosted_cluster_name> \
     hypershift.openshift.io/skip-delete-hosted-controlplane-namespace- \
     --overwrite=true --all

   Copy to Clipboard Toggle word wrap

8. 次のコマンドを実行して、NodePool リソースを必要なレプリカ数にスケーリングします。

   $ oc --kubeconfig <management_cluster_kubeconfig_file> \
     scale nodepool -n <hosted_cluster_namespace> <node_pool_name> \
     --replicas <replica_count> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <replica_count> を整数値 (例: 3) に置き換えます。

手順

1. 次のコマンドを実行して、バックアッププロセスを確認します。

   $ watch "oc get backups.velero.io -n openshift-adp <backup_resource_name> -o jsonpath='{.status}'"

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、復元プロセスを確認します。

   $ watch "oc get restores.velero.io -n openshift-adp <backup_resource_name> -o jsonpath='{.status}'"

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して、Velero ログを確認します。

   $ oc logs -n openshift-adp -ldeploy=velero -f

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、すべての OADP オブジェクトの進行状況を確認します。

   $ watch "echo BackupRepositories:;echo;oc get backuprepositories.velero.io -A;echo; echo BackupStorageLocations: ;echo; oc get backupstoragelocations.velero.io -A;echo;echo DataUploads: ;echo;oc get datauploads.velero.io -A;echo;echo DataDownloads: ;echo;oc get datadownloads.velero.io -n openshift-adp; echo;echo VolumeSnapshotLocations: ;echo;oc get volumesnapshotlocations.velero.io -A;echo;echo Backups:;echo;oc get backup -A; echo;echo Restores:;echo;oc get restore -A"

   Copy to Clipboard Toggle word wrap

手順

1. 次のコマンドを実行して、コンテナーから velero CLI を使用するためのエイリアスを作成します。

   $ alias velero='oc -n openshift-adp exec deployment/velero -c velero -it -- ./velero'

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、Restore カスタムリソース (CR) の詳細を取得します。

   $ velero restore describe <restore_resource_name> --details 

   1

   Copy to Clipboard Toggle word wrap

   1

   <restore_resource_name> を Restore リソースの名前に置き換えます。

3. 次のコマンドを実行して、Backup CR の詳細を取得します。

   $ velero restore describe <backup_resource_name> --details 

   1

   Copy to Clipboard Toggle word wrap

   1

   <backup_resource_name> を Backup リソースの名前に置き換えます。