备份和恢复

流程

1. 运行以下命令，创建一个工作负载来备份：

   $ oc create namespace hello-world

   $ oc new-app -n hello-world --image=docker.io/openshift/hello-openshift

2. 运行以下命令来公开路由：

   $ oc expose service/hello-openshift -n hello-world

3. 运行以下命令检查应用程序是否正常工作：

   $ curl `oc get route/hello-openshift -n hello-world -o jsonpath='{.spec.host}'`

   您应该看到类似以下示例的输出：

   Hello OpenShift!

4. 运行以下命令来备份工作负载：

   $ cat << EOF | oc create -f -
     apiVersion: velero.io/v1
     kind: Backup
     metadata:
       name: hello-world
       namespace: openshift-adp
     spec:
       includedNamespaces:
       - hello-world
       storageLocation: ${CLUSTER_NAME}-dpa-1
       ttl: 720h0m0s
   EOF

5. 等待备份完成，然后运行以下命令：

   $ watch "oc -n openshift-adp get backup hello-world -o json | jq .status"

   您应该看到类似以下示例的输出：

   {
     "completionTimestamp": "2022-09-07T22:20:44Z",
     "expiration": "2022-10-07T22:20:22Z",
     "formatVersion": "1.1.0",
     "phase": "Completed",
     "progress": {
       "itemsBackedUp": 58,
       "totalItems": 58
     },
     "startTimestamp": "2022-09-07T22:20:22Z",
     "version": 1
   }

6. 运行以下命令来删除 demo 工作负载：

   $ oc delete ns hello-world

7. 运行以下命令，从备份中恢复工作负载：

   $ cat << EOF | oc create -f -
     apiVersion: velero.io/v1
     kind: Restore
     metadata:
       name: hello-world
       namespace: openshift-adp
     spec:
       backupName: hello-world
   EOF

8. 运行以下命令等待 Restore 完成：

   $ watch "oc -n openshift-adp get restore hello-world -o json | jq .status"

   您应该看到类似以下示例的输出：

   {
     "completionTimestamp": "2022-09-07T22:25:47Z",
     "phase": "Completed",
     "progress": {
       "itemsRestored": 38,
       "totalItems": 38
     },
     "startTimestamp": "2022-09-07T22:25:28Z",
     "warnings": 9
   }

9. 运行以下命令检查工作负载是否已恢复：

   $ oc -n hello-world get pods

   您应该看到类似以下示例的输出：

   NAME                              READY   STATUS    RESTARTS   AGE
   hello-openshift-9f885f7c6-kdjpj   1/1     Running   0          90s

10. 运行以下命令来检查 JSONPath：

    $ curl `oc get route/hello-openshift -n hello-world -o jsonpath='{.spec.host}'`

    您应该看到类似以下示例的输出：

    Hello OpenShift!

    注意

    有关故障排除提示，请参阅 故障排除文档。

流程

1. 运行以下命令来删除工作负载：

   $ oc delete ns hello-world

2. 运行以下命令来删除数据保护应用程序 (DPA)：

   $ oc -n openshift-adp delete dpa ${CLUSTER_NAME}-dpa

3. 运行以下命令来删除云存储：

   $ oc -n openshift-adp delete cloudstorage ${CLUSTER_NAME}-oadp

   警告

   如果这个命令挂起，您可能需要通过运行以下命令来删除终结器：

   $ oc -n openshift-adp patch cloudstorage ${CLUSTER_NAME}-oadp -p '{"metadata":{"finalizers":null}}' --type=merge

4. 如果不再需要 Operator，请运行以下命令删除它：

   $ oc -n openshift-adp delete subscription oadp-operator

5. 从 Operator 中删除命名空间：

   $ oc delete ns openshift-adp

6. 如果不再需要备份和恢复资源，请运行以下命令从集群中删除它们：

   $ oc delete backups.velero.io hello-world

7. 要删除 AWS S3 中的备份、恢复和远程对象，请运行以下命令：

   $ velero backup delete hello-world

8. 如果您不再需要自定义资源定义 (CRD)，请运行以下命令从集群中删除它们：

   $ for CRD in `oc get crds | grep velero | awk '{print $1}'`; do oc delete crd $CRD; done

9. 运行以下命令来删除 AWS S3 存储桶：

   $ aws s3 rm s3://${CLUSTER_NAME}-oadp --recursive

   $ aws s3api delete-bucket --bucket ${CLUSTER_NAME}-oadp

10. 运行以下命令，将策略从角色分离：

    $ aws iam detach-role-policy --role-name "${ROLE_NAME}"  --policy-arn "${POLICY_ARN}"

11. 运行以下命令来删除角色：

    $ aws iam delete-role --role-name "${ROLE_NAME}"

流程

1. 创建一个 OBC 清单文件来请求 NooBaa MCG 存储桶，如下例所示：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: test-obc
     namespace: openshift-adp
   spec:
     storageClassName: openshift-storage.noobaa.io
     generateBucketName: test-backup-bucket

   其中：

   test-obc

   指定对象存储桶声明的名称。

   test-backup-bucket

   指定存储桶的名称。

2. 运行以下命令来创建 OBC：

   $ oc create -f <obc_file_name>

   其中：

   <obc_file_name>

   指定对象存储桶声明清单的文件名。

3. 当您创建 OBC 时，ODF 会创建一个 secret 和一个配置映射，其名称与对象存储桶声明相同。secret 具有存储桶凭证，配置映射有访问存储桶的信息。要从生成的配置映射中获取存储桶名称和存储桶主机，请运行以下命令：

   $ oc extract --to=- cm/test-obc

   test-obc 是 OBC 的名称。

   输出示例

   # BUCKET_NAME
   backup-c20...41fd
   # BUCKET_PORT
   443
   # BUCKET_REGION
   
   # BUCKET_SUBREGION
   
   # BUCKET_HOST
   s3.openshift-storage.svc

4. 要从生成的 secret 获取存储桶凭证，请运行以下命令：

   $ oc extract --to=- secret/test-obc

   输出示例

   # AWS_ACCESS_KEY_ID
   ebYR....xLNMc
   # AWS_SECRET_ACCESS_KEY
   YXf...+NaCkdyC3QPym

5. 运行以下命令，从 openshift-storage 命名空间中的 s3 路由获取 S3 端点的公共 URL：

   $ oc get route s3 -n openshift-storage

6. 使用对象存储桶凭证创建一个 cloud-credentials 文件，如下所示：

   [default]
   aws_access_key_id=<AWS_ACCESS_KEY_ID>
   aws_secret_access_key=<AWS_SECRET_ACCESS_KEY>

7. 使用 cloud-credentials 文件内容创建 cloud-credentials secret，如下所示：

   $ oc create secret generic \
     cloud-credentials \
     -n openshift-adp \
     --from-file cloud=cloud-credentials

8. 配置 Data Protection Application (DPA)，如下例所示：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: oadp-backup
     namespace: openshift-adp
   spec:
     configuration:
       nodeAgent:
         enable: true
         uploaderType: kopia
       velero:
         defaultPlugins:
           - aws
           - openshift
           - csi
         defaultSnapshotMoveData: true
     backupLocations:
       - velero:
           config:
             profile: "default"
             region: noobaa
             s3Url: https://s3.openshift-storage.svc
             s3ForcePathStyle: "true"
             insecureSkipTLSVerify: "true"
           provider: aws
           default: true
           credential:
             key: cloud
             name:  cloud-credentials
           objectStorage:
             bucket: <bucket_name>
             prefix: oadp

   其中：

   defaultSnapshotMoveData

   设置为 true 来使用 OADP Data Mover 将 Container Storage Interface (CSI)快照移动到远程对象存储。

   s3Url

   指定 ODF 存储的 S3 URL。

   <bucket_name>

   指定存储桶名称。

9. 运行以下命令来创建 DPA：

   $ oc apply -f <dpa_filename>

10. 运行以下命令，验证 DPA 是否已成功创建。在示例输出中，您可以看到 status 对象将 type 字段设置为 Reconciled。这意味着 DPA 已被成功创建。

    $ oc get dpa -o yaml

    输出示例

    apiVersion: v1
    items:
    - apiVersion: oadp.openshift.io/v1alpha1
      kind: DataProtectionApplication
      metadata:
        namespace: openshift-adp
        #...#
      spec:
        backupLocations:
        - velero:
            config:
              #...#
      status:
        conditions:
        - lastTransitionTime: "20....9:54:02Z"
          message: Reconcile complete
          reason: Complete
          status: "True"
          type: Reconciled
    kind: List
    metadata:
      resourceVersion: ""

11. 运行以下命令，验证备份存储位置(BSL)是否可用：

    $ oc get backupstoragelocations.velero.io -n openshift-adp

    输出示例

    NAME           PHASE       LAST VALIDATED   AGE   DEFAULT
    dpa-sample-1   Available   3s               15s   true

12. 配置备份 CR，如下例所示：

    apiVersion: velero.io/v1
    kind: Backup
    metadata:
      name: test-backup
      namespace: openshift-adp
    spec:
      includedNamespaces:
      - <application_namespace>

    其中：

    <application_namespace>

    指定要备份的应用程序的命名空间。

13. 运行以下命令来创建备份 CR：

    $ oc apply -f <backup_cr_filename>

流程

1. 创建一个恢复 CR，如下例所示：

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: test-restore
     namespace: openshift-adp
   spec:
     backupName: <backup_name>
     restorePVs: true
     namespaceMapping:
       <application_namespace>: test-restore-application

   其中：

   test-restore

   指定恢复 CR 的名称。

   <backup_name>

   指定备份的名称。

   <application_namespace>

   指定要恢复到的目标命名空间。namespaceMapping 将源应用程序命名空间映射到目标应用程序命名空间。test-restore-application 是您要恢复备份的目标命名空间的名称。

2. 运行以下命令来应用恢复 CR：

   $ oc apply -f <restore_cr_filename>

验证

1. 运行以下命令验证恢复是否处于 Completed 阶段：

   $ oc describe restores.velero.io <restore_name> -n openshift-adp

2. 运行以下命令，进入恢复的命名空间 test-restore-application ：

   $ oc project test-restore-application

3. 运行以下命令，验证恢复的资源，如持久性卷声明(pvc)、服务(svc)、部署、secret 和配置映射：

   $ oc get pvc,svc,deployment,secret,configmap

   输出示例

   NAME                          STATUS   VOLUME
   persistentvolumeclaim/mysql   Bound    pvc-9b3583db-...-14b86
   
   NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)    AGE
   service/mysql      ClusterIP   172....157     <none>        3306/TCP   2m56s
   service/todolist   ClusterIP   172.....15     <none>        8000/TCP   2m56s
   
   NAME                    READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/mysql   0/1     1            0           2m55s
   
   NAME                                         TYPE                      DATA   AGE
   secret/builder-dockercfg-6bfmd               kubernetes.io/dockercfg   1      2m57s
   secret/default-dockercfg-hz9kz               kubernetes.io/dockercfg   1      2m57s
   secret/deployer-dockercfg-86cvd              kubernetes.io/dockercfg   1      2m57s
   secret/mysql-persistent-sa-dockercfg-rgp9b   kubernetes.io/dockercfg   1      2m57s
   
   NAME                                 DATA   AGE
   configmap/kube-root-ca.crt           1      2m57s
   configmap/openshift-service-ca.crt   1      2m57s

流程

1. 创建 OBC 清单以请求 NooBaa 存储桶，如下例所示：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: test-obc
     namespace: openshift-adp
   spec:
     storageClassName: openshift-storage.noobaa.io
     generateBucketName: test-backup-bucket

   其中：

   test-obc

   指定对象存储桶声明的名称。

   test-backup-bucket

   指定存储桶的名称。

2. 运行以下命令来创建 OBC：

   $ oc create -f <obc_file_name>

3. 当您创建 OBC 时，ODF 会创建一个 secret 和一个配置映射，其名称与对象存储桶声明相同。secret 对象包含存储桶凭证，ConfigMap 对象包含用于访问存储桶的信息。要从生成的配置映射中获取存储桶名称和存储桶主机，请运行以下命令：

   $ oc extract --to=- cm/test-obc

   test-obc 是 OBC 的名称。

   输出示例

   # BUCKET_NAME
   backup-c20...41fd
   # BUCKET_PORT
   443
   # BUCKET_REGION
   
   # BUCKET_SUBREGION
   
   # BUCKET_HOST
   s3.openshift-storage.svc

4. 要从 secret 对象获取存储桶凭证，请运行以下命令：

   $ oc extract --to=- secret/test-obc

   输出示例

   # AWS_ACCESS_KEY_ID
   ebYR....xLNMc
   # AWS_SECRET_ACCESS_KEY
   YXf...+NaCkdyC3QPym

5. 使用以下示例配置创建带有对象存储桶凭证的 cloud-credentials 文件：

   [default]
   aws_access_key_id=<AWS_ACCESS_KEY_ID>
   aws_secret_access_key=<AWS_SECRET_ACCESS_KEY>

6. 运行以下命令，创建带有 cloud-credentials 文件内容的 cloud-credentials secret：

   $ oc create secret generic \
     cloud-credentials \
     -n openshift-adp \
     --from-file cloud=cloud-credentials

7. 运行以下命令，从 openshift-service-ca.crt 配置映射中提取服务 CA 证书。确保您以 Base64 格式编码证书，并记录下一步中使用的值。

   $ oc get cm/openshift-service-ca.crt \
     -o jsonpath='{.data.service-ca\.crt}' | base64 -w0; echo

   输出示例

   LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0...
   ....gpwOHMwaG9CRmk5a3....FLS0tLS0K

8. 使用存储桶名称和 CA 证书配置 DataProtectionApplication CR 清单文件，如下例所示：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: oadp-backup
     namespace: openshift-adp
   spec:
     configuration:
       nodeAgent:
         enable: true
         uploaderType: kopia
       velero:
         defaultPlugins:
           - aws
           - openshift
           - csi
         defaultSnapshotMoveData: true
     backupLocations:
       - velero:
           config:
             profile: "default"
             region: noobaa
             s3Url: https://s3.openshift-storage.svc
             s3ForcePathStyle: "true"
             insecureSkipTLSVerify: "false"
           provider: aws
           default: true
           credential:
             key: cloud
             name:  cloud-credentials
           objectStorage:
             bucket: <bucket_name>
             prefix: oadp
             caCert: <ca_cert>

   其中：

   insecureSkipTLSVerify

   指定是否启用了 SSL/TLS 安全性。如果设置为 true，则禁用 SSL/TLS 安全性。如果设置为 false，则启用 SSL/TLS 安全。

   <bucket_name>

   指定上一步中提取的存储桶的名称。

   <ca_cert>

   指定上一步中的 Base64 编码证书。

9. 运行以下命令来创建 DataProtectionApplication CR：

   $ oc apply -f <dpa_filename>

10. 运行以下命令验证 DataProtectionApplication CR 是否已成功创建：

    $ oc get dpa -o yaml

    输出示例

    apiVersion: v1
    items:
    - apiVersion: oadp.openshift.io/v1alpha1
      kind: DataProtectionApplication
      metadata:
        namespace: openshift-adp
        #...#
      spec:
        backupLocations:
        - velero:
            config:
              #...#
      status:
        conditions:
        - lastTransitionTime: "20....9:54:02Z"
          message: Reconcile complete
          reason: Complete
          status: "True"
          type: Reconciled
    kind: List
    metadata:
      resourceVersion: ""

11. 运行以下命令，验证备份存储位置(BSL)是否可用：

    $ oc get backupstoragelocations.velero.io -n openshift-adp

    输出示例

    NAME           PHASE       LAST VALIDATED   AGE   DEFAULT
    dpa-sample-1   Available   3s               15s   true

12. 使用以下示例配置 Backup CR：

    apiVersion: velero.io/v1
    kind: Backup
    metadata:
      name: test-backup
      namespace: openshift-adp
    spec:
      includedNamespaces:
      - <application_namespace>

    其中：

    <application_namespace>

    指定要备份的应用程序的命名空间。

13. 运行以下命令来创建 Backup CR：

    $ oc apply -f <backup_cr_filename>

流程

1. 运行以下命令来创建以下环境变量：

   重要

   更改集群名称来匹配您的集群，并确保以管理员身份登录到集群。在继续操作前，确保所有字段被正常输出。

   $ export CLUSTER_NAME=<my_cluster>

   将 <my_cluster > 替换为您的集群名称。

   $ export ROSA_CLUSTER_ID=$(rosa describe cluster -c ${CLUSTER_NAME} --output json | jq -r .id)

   $ export REGION=$(rosa describe cluster -c ${CLUSTER_NAME} --output json | jq -r .region.id)

   $ export OIDC_ENDPOINT=$(oc get authentication.config.openshift.io cluster -o jsonpath='{.spec.serviceAccountIssuer}' | sed 's|^https://||')

   $ export AWS_ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)

   $ export CLUSTER_VERSION=$(rosa describe cluster -c ${CLUSTER_NAME} -o json | jq -r .version.raw_id | cut -f -2 -d '.')

   $ export ROLE_NAME="${CLUSTER_NAME}-openshift-oadp-aws-cloud-credentials"

   $ export SCRATCH="/tmp/${CLUSTER_NAME}/oadp"

   $ mkdir -p ${SCRATCH}

   $ echo "Cluster ID: ${ROSA_CLUSTER_ID}, Region: ${REGION}, OIDC Endpoint:
     ${OIDC_ENDPOINT}, AWS Account ID: ${AWS_ACCOUNT_ID}"

2. 在 AWS 帐户中，创建一个 IAM 策略以允许访问 AWS S3：

   1. 运行以下命令，检查策略是否存在：

      $ POLICY_ARN=$(aws iam list-policies --query "Policies[?PolicyName=='RosaOadpVer1'].{ARN:Arn}" --output text)

      • RosaOadp ：将 RosaOadp 替换为您的策略名称。

   2. 输入以下命令来创建策略 JSON 文件，然后创建策略：

      注意

      如果没有找到策略 ARN，命令会创建策略。如果策略 ARN 已存在，则 if 语句会有意跳过策略创建。

      $ if [[ -z "${POLICY_ARN}" ]]; then
        cat << EOF > ${SCRATCH}/policy.json
        {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Action": [
              "s3:CreateBucket",
              "s3:DeleteBucket",
              "s3:PutBucketTagging",
              "s3:GetBucketTagging",
              "s3:PutEncryptionConfiguration",
              "s3:GetEncryptionConfiguration",
              "s3:PutLifecycleConfiguration",
              "s3:GetLifecycleConfiguration",
              "s3:GetBucketLocation",
              "s3:ListBucket",
              "s3:GetObject",
              "s3:PutObject",
              "s3:DeleteObject",
              "s3:ListBucketMultipartUploads",
              "s3:AbortMultipartUpload",
              "s3:ListMultipartUploadParts",
              "ec2:DescribeSnapshots",
              "ec2:DescribeVolumes",
              "ec2:DescribeVolumeAttribute",
              "ec2:DescribeVolumesModifications",
              "ec2:DescribeVolumeStatus",
              "ec2:CreateTags",
              "ec2:CreateVolume",
              "ec2:CreateSnapshot",
              "ec2:DeleteSnapshot"
            ],
            "Resource": "*"
          }
        ]}
      EOF
      
        POLICY_ARN=$(aws iam create-policy --policy-name "RosaOadpVer1" \
        --policy-document file:///${SCRATCH}/policy.json --query Policy.Arn \
        --tags Key=rosa_openshift_version,Value=${CLUSTER_VERSION} Key=rosa_role_prefix,Value=ManagedOpenShift Key=operator_namespace,Value=openshift-oadp Key=operator_name,Value=openshift-oadp \
        --output text)
        fi

      • SCRATCH:SCRATCH 是为环境变量创建的临时目录的名称。

   3. 运行以下命令来查看策略 ARN：

      $ echo ${POLICY_ARN}

3. 为集群创建 IAM 角色信任策略：

   1. 运行以下命令来创建信任策略文件：

      $ cat <<EOF > ${SCRATCH}/trust-policy.json
        {
            "Version": "2012-10-17",
            "Statement": [{
              "Effect": "Allow",
              "Principal": {
                "Federated": "arn:aws:iam::${AWS_ACCOUNT_ID}:oidc-provider/${OIDC_ENDPOINT}"
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                "StringEquals": {
                  "${OIDC_ENDPOINT}:sub": [
                    "system:serviceaccount:openshift-adp:openshift-adp-controller-manager",
                    "system:serviceaccount:openshift-adp:velero"]
                }
              }
            }]
        }
      EOF

   2. 运行以下命令来创建角色：

      $ ROLE_ARN=$(aws iam create-role --role-name \
        "${ROLE_NAME}" \
        --assume-role-policy-document file://${SCRATCH}/trust-policy.json \
        --tags Key=rosa_cluster_id,Value=${ROSA_CLUSTER_ID} \
               Key=rosa_openshift_version,Value=${CLUSTER_VERSION} \
               Key=rosa_role_prefix,Value=ManagedOpenShift \
               Key=operator_namespace,Value=openshift-adp \
               Key=operator_name,Value=openshift-oadp \
        --query Role.Arn --output text)

   3. 运行以下命令来查看角色 ARN：

      $ echo ${ROLE_ARN}

4. 运行以下命令，将 IAM 策略附加到 IAM 角色：

   $ aws iam attach-role-policy --role-name "${ROLE_NAME}" \
     --policy-arn ${POLICY_ARN}

流程

1. 输入以下命令，从 AWS 令牌文件创建 Red Hat OpenShift Service on AWS secret：

   1. 创建凭证文件：

      $ cat <<EOF > ${SCRATCH}/credentials
        [default]
        role_arn = ${ROLE_ARN}
        web_identity_token_file = /var/run/secrets/openshift/serviceaccount/token
        region = <aws_region>
      EOF

      将 <aws_region> 替换为用于 STS 端点的 AWS 区域。

   2. 为 OADP 创建命名空间：

      $ oc create namespace openshift-adp

   3. 创建 Red Hat OpenShift Service on AWS secret：

      $ oc -n openshift-adp create secret generic cloud-credentials \
        --from-file=${SCRATCH}/credentials

      注意

      在 Red Hat OpenShift Service on AWS 4.15 及之后的版本中，OADP Operator 通过 Operator Lifecycle Manager (OLM)和 Cloud Credentials Operator (CCO)支持新的标准化 STS 工作流。在此工作流中，您不需要创建上述 secret，您只需要在使用 Red Hat OpenShift Service on AWS Web 控制台安装 OLM 管理的 Operator 的过程中提供角色 ARN，以了解有关 使用 Web 控制台从软件目录安装 的更多信息。

      前面的 secret 由 CCO 自动创建。

2. 安装 OADP Operator：

   1. 在 Red Hat OpenShift Service on AWS web 控制台中浏览 生态系统 → Software Catalog。
   2. 搜索 OADP Operator。
   3. 在 role_ARN 字段中，粘贴之前创建的 role_arn，再点 Install。

3. 输入以下命令，使用 AWS 凭证创建 AWS 云存储：

   $ cat << EOF | oc create -f -
     apiVersion: oadp.openshift.io/v1alpha1
     kind: CloudStorage
     metadata:
       name: ${CLUSTER_NAME}-oadp
       namespace: openshift-adp
     spec:
       creationSecret:
         key: credentials
         name: cloud-credentials
       enableSharedConfig: true
       name: ${CLUSTER_NAME}-oadp
       provider: aws
       region: $REGION
   EOF

4. 输入以下命令检查应用程序的存储默认存储类：

   $ oc get pvc -n <namespace>

   NAME     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   applog   Bound    pvc-351791ae-b6ab-4e8b-88a4-30f73caf5ef8   1Gi        RWO            gp3-csi        4d19h
   mysql    Bound    pvc-16b8e009-a20a-4379-accc-bc81fedd0621   1Gi        RWO            gp3-csi        4d19h

5. 运行以下命令来获取存储类：

   $ oc get storageclass

   NAME                PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   gp2                 kubernetes.io/aws-ebs   Delete          WaitForFirstConsumer   true                   4d21h
   gp2-csi             ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h
   gp3                 ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h
   gp3-csi (default)   ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h

   注意

   以下存储类可以正常工作：

   • gp3-csi
   • gp2-csi
   • gp3
   • gp2

   如果要备份的应用程序或应用程序都使用带有 Container Storage Interface (CSI) 的持久性卷 (PV)，建议在 OADP DPA 配置中包含 CSI 插件。

6. 创建 DataProtectionApplication 资源，以配置存储备份和卷快照的存储的连接：

   1. 如果您只使用 CSI 卷，请输入以下命令部署数据保护应用程序：

      $ cat << EOF | oc create -f -
        apiVersion: oadp.openshift.io/v1alpha1
        kind: DataProtectionApplication
        metadata:
          name: ${CLUSTER_NAME}-dpa
          namespace: openshift-adp
        spec:
          backupImages: true
          features:
            dataMover:
              enable: false
          backupLocations:
          - bucket:
              cloudStorageRef:
                name: ${CLUSTER_NAME}-oadp
              credential:
                key: credentials
                name: cloud-credentials
              prefix: velero
              default: true
              config:
                region: ${REGION}
          configuration:
            velero:
              defaultPlugins:
              - openshift
              - aws
              - csi
            nodeAgent:
              enable: false
              uploaderType: kopia
      EOF

      其中：

      backupImages

      Red Hat OpenShift Service on AWS 支持内部镜像备份。如果您不想使用镜像备份，请将此字段设置为 false。

      nodeAgent

      请参阅此流程末尾的 nodeAgent 属性的重要备注。

      uploaderType

      指定上传器的类型。内置 Data Mover 使用 Kopia 作为默认的上传程序机制，无论 uploaderType 字段的值是什么。

   2. 如果使用 CSI 或非 CSI 卷，请输入以下命令来部署数据保护应用程序：

      $ cat << EOF | oc create -f -
        apiVersion: oadp.openshift.io/v1alpha1
        kind: DataProtectionApplication
        metadata:
          name: ${CLUSTER_NAME}-dpa
          namespace: openshift-adp
        spec:
          backupImages: true
          backupLocations:
          - bucket:
              cloudStorageRef:
                name: ${CLUSTER_NAME}-oadp
              credential:
                key: credentials
                name: cloud-credentials
              prefix: velero
              default: true
              config:
                region: ${REGION}
          configuration:
            velero:
              defaultPlugins:
              - openshift
              - aws
            nodeAgent:
              enable: false
              uploaderType: restic
          snapshotLocations:
            - velero:
                config:
                  credentialsFile: /tmp/credentials/openshift-adp/cloud-credentials-credentials
                  enableSharedConfig: "true"
                  profile: default
                  region: ${REGION}
                provider: aws
      EOF

      其中：

      backupImages

      Red Hat OpenShift Service on AWS 支持内部镜像备份。如果您不想使用镜像备份，请将此字段设置为 false。

      nodeAgent

      请参阅此流程末尾的 nodeAgent 属性的重要备注。

      credentialsFile

      指定 pod 上存储桶凭证的挂载位置。

      enableSharedConfig

      指定 snapshotLocations 是否可以共享，或重复使用为存储桶定义的凭证。

      配置集

      指定 AWS 凭证文件中设置的配置集名称。

      region

      指定 AWS 区域。这必须与集群区域相同。

      现在，您可以备份和恢复 Red Hat OpenShift Service on AWS 应用程序，如 备份应用程序 中所述。

      重要

      此配置中的 restic 的 enable 参数设置为 false，因为 OADP 不支持 Red Hat OpenShift Service on AWS 环境中的 Restic。

   如果要使用两个不同的集群来备份和恢复，则两个集群必须在云存储 CR 和 OADP DataProtectionApplication 配置中具有相同的 AWS S3 存储名称。

流程

1. 要验证 OADP 订阅是否有错误的 IAM 角色 ARN 环境变量设置，请运行以下命令：

   $ oc get sub -o yaml redhat-oadp-operator

   订阅示例

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     annotations:
     creationTimestamp: "2025-01-15T07:18:31Z"
     generation: 1
     labels:
       operators.coreos.com/redhat-oadp-operator.openshift-adp: ""
     name: redhat-oadp-operator
     namespace: openshift-adp
     resourceVersion: "77363"
     uid: 5ba00906-5ad2-4476-ae7b-ffa90986283d
   spec:
     channel: stable-1.4
     config:
       env:
       - name: ROLEARN
         value: arn:aws:iam::11111111:role/wrong-role-arn
     installPlanApproval: Manual
     name: redhat-oadp-operator
     source: prestage-operators
     sourceNamespace: openshift-marketplace
     startingCSV: oadp-operator.v1.4.2

   其中：

   ROLEARN

   验证您要更新的 ROLEARN 的值。

2. 运行以下命令，使用正确的角色 ARN 更新订阅的 ROLEARN 字段：

   $ oc patch subscription redhat-oadp-operator -p '{"spec": {"config": {"env": [{"name": "ROLEARN", "value": "<role_arn>"}]}}}' --type='merge'

   其中：

   <role_arn>

   指定要更新的 IAM 角色 ARN。例如，arn:aws:iam::160…​..6956:role/oadprosa…​.8wlf.

3. 运行以下命令，验证 secret 对象是否使用正确的角色 ARN 值更新：

   $ oc get secret cloud-credentials -o jsonpath='{.data.credentials}' | base64 -d

   输出示例

   [default]
   sts_regional_endpoints = regional
   role_arn = arn:aws:iam::160.....6956:role/oadprosa.....8wlf
   web_identity_token_file = /var/run/secrets/openshift/serviceaccount/token

4. 配置 DataProtectionApplication 自定义资源(CR)清单文件，如下例所示：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: test-rosa-dpa
     namespace: openshift-adp
   spec:
     backupLocations:
     - bucket:
         config:
           region: us-east-1
         cloudStorageRef:
           name: <cloud_storage>
         credential:
           name: cloud-credentials
           key: credentials
         prefix: velero
         default: true
     configuration:
       velero:
         defaultPlugins:
         - aws
         - openshift

   其中：

   <cloud_storage>

   指定 CloudStorage CR。

5. 运行以下命令来创建 DataProtectionApplication CR：

   $ oc create -f <dpa_manifest_file>

6. 运行以下命令，验证 DataProtectionApplication CR 是否已协调，状态 是否已设置为 "True" ：

   $  oc get dpa -n openshift-adp -o yaml

   DataProtectionApplication示例

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   ...
   status:
       conditions:
       - lastTransitionTime: "2023-07-31T04:48:12Z"
         message: Reconcile complete
         reason: Complete
         status: "True"
         type: Reconciled

7. 运行以下命令，验证 BackupStorageLocation CR 是否处于 available 状态：

   $ oc get backupstoragelocations.velero.io -n openshift-adp

   BackupStorageLocation示例

   NAME       PHASE       LAST VALIDATED   AGE   DEFAULT
   ts-dpa-1   Available   3s               6s    true

流程

1. 要在运行实际备份前预览备份中包含的资源，请运行以下命令：

   $ velero backup create <backup-name> --snapshot-volumes false

   将 --snapshot-volumes 参数的值 指定为 false。

2. 要了解有关备份资源的更多详细信息，请运行以下命令：

   $ velero describe backup <backup_name> --details

   将 <backup_name > 替换为备份的名称。

3. 要在运行实际恢复前预览恢复中包含的资源，请运行以下命令：

   $ velero restore create --from-backup <backup_name>

   将 <backup_name > 替换为备份的名称。

   重要

   velero restore create 命令在集群中创建恢复资源。在查看资源后，您必须删除作为恢复的一部分创建的资源。

4. 要了解有关恢复资源的更多详细信息，请运行以下命令：

   $ velero describe restore <restore_name> --details

   将 <restore_name > 替换为恢复的名称。

流程

1. 创建 DeleteBackupRequest CR 清单文件：

   apiVersion: velero.io/v1
   kind: DeleteBackupRequest
   metadata:
     name: deletebackuprequest
     namespace: openshift-adp
   spec:
     backupName: <backup_name>

   将 <backup_name > 替换为备份的名称。

2. 应用 DeleteBackupRequest CR 以删除备份：

   $ oc apply -f <deletebackuprequest_cr_filename>

流程

1. 要获取备份的备份仓库 CR 的名称，请运行以下命令：

   $ oc get backuprepositories.velero.io -n openshift-adp

2. 要删除备份仓库 CR，请运行以下命令：

   $ oc delete backuprepository <backup_repository_name> -n openshift-adp

   将 <backup_repository_name > 替换为备份存储库的名称。

流程

1. 要在运行实际备份前预览备份中包含的资源，请运行以下命令：

   $ velero backup create <backup-name> --snapshot-volumes false

   将 --snapshot-volumes 参数的值 指定为 false。

2. 要了解有关备份资源的更多详细信息，请运行以下命令：

   $ velero describe backup <backup_name> --details

   将 <backup_name > 替换为备份的名称。

3. 要在运行实际恢复前预览恢复中包含的资源，请运行以下命令：

   $ velero restore create --from-backup <backup_name>

   将 <backup_name > 替换为备份的名称。

   重要

   velero restore create 命令在集群中创建恢复资源。在查看资源后，您必须删除作为恢复的一部分创建的资源。

4. 要了解有关恢复资源的更多详细信息，请运行以下命令：

   $ velero describe restore <restore_name> --details

   将 <restore_name > 替换为恢复的名称。

流程

1. 创建一个 Restore CR，如下例所示：

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: <restore>
     namespace: openshift-adp
   spec:
     backupName: <backup>
     includedResources: []
     excludedResources:
     - nodes
     - events
     - events.events.k8s.io
     - backups.velero.io
     - restores.velero.io
     - resticrepositories.velero.io
     restorePVs: true

   其中：

   <backup>

   指定 Backup CR 的名称。

   includedResources

   可选：指定要包含在恢复过程中的资源数组。资源可以是缩写方式（例如，po 代表 pods）或完全限定的方式。如果未指定，则会包含所有资源。

   restorePVs: true

   可选： restorePV 参数可以设置为 false，以从 Container Storage Interface (CSI) 快照的 VolumeSnapshot 或配置 VolumeSnapshotLocation 时从原生快照中恢复 PersistentVolume。

2. 输入以下命令验证 Restore CR 的状态是否为 Completed ：

   $ oc get restores.velero.io -n openshift-adp <restore> -o jsonpath='{.status.phase}'

3. 输入以下命令验证备份资源是否已恢复：

   $ oc get all -n <namespace>

   其中：

   <namespace>

   指定您备份的命名空间。

4. 如果您使用卷恢复 DeploymentConfig，或使用 post-restore hook，请输入以下命令运行 dc-post-restore.sh cleanup 脚本：

   $ bash dc-restic-post-restore.sh -> dc-post-restore.sh

   注意

   在恢复过程中，OADP Velero 插件会缩减 DeploymentConfig 对象，并将 pod 恢复为独立 pod。这是为了防止集群在恢复时立即删除恢复的 DeploymentConfig pod，并允许 restore 和 post-restore hook 在恢复的 pod 上完成其操作。下面显示的清理脚本会删除这些断开连接的 pod，并将任何 DeploymentConfig 对象扩展至适当的副本数。

   #!/bin/bash
   set -e
   
   # if sha256sum exists, use it to check the integrity of the file
   if command -v sha256sum >/dev/null 2>&1; then
     CHECKSUM_CMD="sha256sum"
   else
     CHECKSUM_CMD="shasum -a 256"
   fi
   
   label_name () {
       if [ "${#1}" -le "63" ]; then
   	echo $1
   	return
       fi
       sha=$(echo -n $1|$CHECKSUM_CMD)
       echo "${1:0:57}${sha:0:6}"
   }
   
   if [[ $# -ne 1 ]]; then
       echo "usage: ${BASH_SOURCE} restore-name"
       exit 1
   fi
   
   echo "restore: $1"
   
   label=$(label_name $1)
   echo "label:   $label"
   
   echo Deleting disconnected restore pods
   oc delete pods --all-namespaces -l oadp.openshift.io/disconnected-from-dc=$label
   
   for dc in $(oc get dc --all-namespaces -l oadp.openshift.io/replicas-modified=$label -o jsonpath='{range .items[*]}{.metadata.namespace}{","}{.metadata.name}{","}{.metadata.annotations.oadp\.openshift\.io/original-replicas}{","}{.metadata.annotations.oadp\.openshift\.io/original-paused}{"\n"}')
   do
       IFS=',' read -ra dc_arr <<< "$dc"
       if [ ${#dc_arr[0]} -gt 0 ]; then
   	echo Found deployment ${dc_arr[0]}/${dc_arr[1]}, setting replicas: ${dc_arr[2]}, paused: ${dc_arr[3]}
   	cat <<EOF | oc patch dc  -n ${dc_arr[0]} ${dc_arr[1]} --patch-file /dev/stdin
   spec:
     replicas: ${dc_arr[2]}
     paused: ${dc_arr[3]}
   EOF
       fi
   done

1. 首先，执行排除 Deployment 资源的恢复，例如：

   $ velero restore create <RESTORE_NAME> \
     --from-backup <BACKUP_NAME> \
     --exclude-resources=deployment.apps

2. 第一次恢复成功后，通过包含这些资源来执行第二次恢复，例如：

   $ velero restore create <RESTORE_NAME> \
     --from-backup <BACKUP_NAME> \
     --include-resources=deployment.apps