备份和恢复

流程

1. 设置 BUCKET 变量：

   $ BUCKET=<your_bucket>

2. 设置 REGION 变量：

   $ REGION=<your_region>

3. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket $BUCKET \
       --region $REGION \
       --create-bucket-configuration LocationConstraint=$REGION 1

   1

   us-east-1 不支持 LocationConstraint。如果您的区域是 us-east-1，忽略 --create-bucket-configuration LocationConstraint=$REGION。

4. 创建一个 IAM 用户：

   $ aws iam create-user --user-name velero 1

   1

   如果要使用 Velero 备份具有多个 S3 存储桶的集群，请为每个集群创建一个唯一用户名。

5. 创建 velero-policy.json 文件：

   $ cat > velero-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::${BUCKET}/*"
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::${BUCKET}"
               ]
           }
       ]
   }
   EOF

6. 附加策略，为 velero 用户提供所需的最低权限：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero \
     --policy-document file://velero-policy.json

7. 为 velero 用户创建访问密钥：

   $ aws iam create-access-key --user-name velero

   输出示例

   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>,
           "AccessKeyId": <AWS_ACCESS_KEY_ID>
     }
   }

8. 创建 credentials-velero 文件：

   $ cat << EOF > ./credentials-velero
   [default]
   aws_access_key_id=<AWS_ACCESS_KEY_ID>
   aws_secret_access_key=<AWS_SECRET_ACCESS_KEY>
   EOF

   在安装数据保护应用程序前，您可以使用 credentials-velero 文件为 AWS 创建 Secret 对象。

流程

1. 点 Operators → Installed Operators 并选择 OADP Operator。
2. 在 Provided APIs 下，点 DataProtectionApplication 框中的 Create 实例。

3. 点 YAML View 并更新 DataProtectionApplication 清单的参数：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: <dpa_sample>
     namespace: openshift-adp
   spec:
     configuration:
       velero:
         defaultPlugins:
           - openshift 1
           - aws
         resourceTimeout: 10m 2
       restic:
         enable: true 3
         podConfig:
           nodeSelector: <node_selector> 4
     backupLocations:
       - name: default
         velero:
           provider: aws
           default: true
           objectStorage:
             bucket: <bucket_name> 5
             prefix: <prefix> 6
           config:
             region: <region>
             profile: "default"
           credential:
             key: cloud
             name: cloud-credentials 7
     snapshotLocations: 8
       - name: default
         velero:
           provider: aws
           config:
             region: <region> 9
             profile: "default"

   1

   openshift 插件是必需的。

   2

   指定在超时发生前等待多个 Velero 资源的分钟，如 Velero CRD 可用、volumeSnapshot 删除和备份存储库可用。默认值为 10m。

   3

   如果要禁用 Restic 安装，则将此值设置为 false。Restic 部署一个守护进程集，这意味着 Restic pod 在每个工作节点上运行。在 OADP 版本 1.2 及更高版本中，您可以通过在 Backup CR 中添加 spec.defaultVolumesToFsBackup: true 来配置 Restic 进行备份。在 OADP 版本 1.1 中，将 spec.defaultVolumesToRestic: true 添加到 Backup CR 中。

   4

   指定 Restic 在哪些节点上可用。默认情况下，Restic 在所有节点上运行。

   5

   指定存储桶作为备份存储位置。如果存储桶不是 Velero 备份的专用存储桶，您必须指定一个前缀。

   6

   如果存储桶用于多个目的，请为 Velero 备份指定一个前缀，如 velero。

   7

   指定您创建的 Secret 对象的名称。如果没有指定这个值，则使用默认值 cloud-credentials。如果您指定了自定义名称，则使用自定义名称进行备份位置。

   8

   指定快照位置，除非您使用 CSI 快照或 Restic 备份 PV。

   9

   快照位置必须与 PV 位于同一区域。

4. 点 Create。

5. 通过查看 OADP 资源来验证安装：

   $ oc get all -n openshift-adp

   输出示例

   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/oadp-operator-controller-manager-67d9494d47-6l8z8    2/2     Running   0          2m8s
   pod/restic-9cq4q                                         1/1     Running   0          94s
   pod/restic-m4lts                                         1/1     Running   0          94s
   pod/restic-pv4kr                                         1/1     Running   0          95s
   pod/velero-588db7f655-n842v                              1/1     Running   0          95s
   
   NAME                                                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
   service/oadp-operator-controller-manager-metrics-service   ClusterIP   172.30.70.140    <none>        8443/TCP   2m8s
   
   NAME                    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/restic   3         3         3       3            3           <none>          96s
   
   NAME                                                READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/oadp-operator-controller-manager    1/1     1            1           2m9s
   deployment.apps/velero                              1/1     1            1           96s
   
   NAME                                                           DESIRED   CURRENT   READY   AGE
   replicaset.apps/oadp-operator-controller-manager-67d9494d47    1         1         1       2m9s
   replicaset.apps/velero-588db7f655                              1         1         1       96s

流程

1. 登录到 Azure:

   $ az login

2. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

3. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location CentralUS 1

   1

   指定位置。

4. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID="velero$(uuidgen | cut -d '-' -f5 | tr '[A-Z]' '[a-z]')"

5. 创建 Azure 存储帐户：

   $ az storage account create \
       --name $AZURE_STORAGE_ACCOUNT_ID \
       --resource-group $AZURE_RESOURCE_GROUP \
       --sku Standard_GRS \
       --encryption-services blob \
       --https-only true \
       --kind BlobStorage \
       --access-tier Hot

6. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

7. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

8. 获取存储帐户访问密钥：

   $ AZURE_STORAGE_ACCOUNT_ACCESS_KEY=`az storage account keys list \
     --account-name $AZURE_STORAGE_ACCOUNT_ID \
     --query "[?keyName == 'key1'].value" -o tsv`

9. 创建具有最低所需权限的自定义角色：

   AZURE_ROLE=Velero
   az role definition create --role-definition '{
      "Name": "'$AZURE_ROLE'",
      "Description": "Velero related permissions to perform backups, restores and deletions",
      "Actions": [
          "Microsoft.Compute/disks/read",
          "Microsoft.Compute/disks/write",
          "Microsoft.Compute/disks/endGetAccess/action",
          "Microsoft.Compute/disks/beginGetAccess/action",
          "Microsoft.Compute/snapshots/read",
          "Microsoft.Compute/snapshots/write",
          "Microsoft.Compute/snapshots/delete",
          "Microsoft.Storage/storageAccounts/listkeys/action",
          "Microsoft.Storage/storageAccounts/regeneratekey/action"
      ],
      "AssignableScopes": ["/subscriptions/'$AZURE_SUBSCRIPTION_ID'"]
      }'

10. 创建 credentials-velero 文件：

    $ cat << EOF > ./credentials-velero
    AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
    AZURE_TENANT_ID=${AZURE_TENANT_ID}
    AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
    AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
    AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
    AZURE_STORAGE_ACCOUNT_ACCESS_KEY=${AZURE_STORAGE_ACCOUNT_ACCESS_KEY} 1
    AZURE_CLOUD_NAME=AzurePublicCloud
    EOF

    1

    必需。如果 credentials-velero 文件只包含服务主体凭证，则无法备份内部镜像。

    在安装 Data Protection 应用前，您可以使用 credentials-velero 文件为 Azure 创建 Secret 对象。

流程

1. 点 Operators → Installed Operators 并选择 OADP Operator。
2. 在 Provided APIs 下，点 DataProtectionApplication 框中的 Create 实例。

3. 点 YAML View 并更新 DataProtectionApplication 清单的参数：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: <dpa_sample>
     namespace: openshift-adp
   spec:
     configuration:
       velero:
         defaultPlugins:
           - azure
           - openshift 1
         resourceTimeout: 10m 2
       restic:
         enable: true 3
         podConfig:
           nodeSelector: <node_selector> 4
     backupLocations:
       - velero:
           config:
             resourceGroup: <azure_resource_group> 5
             storageAccount: <azure_storage_account_id> 6
             subscriptionId: <azure_subscription_id> 7
             storageAccountKeyEnvVar: AZURE_STORAGE_ACCOUNT_ACCESS_KEY
           credential:
             key: cloud
             name: cloud-credentials-azure  8
           provider: azure
           default: true
           objectStorage:
             bucket: <bucket_name> 9
             prefix: <prefix> 10
     snapshotLocations: 11
       - velero:
           config:
             resourceGroup: <azure_resource_group>
             subscriptionId: <azure_subscription_id>
             incremental: "true"
           name: default
           provider: azure

   1

   openshift 插件是必需的。

   2

   指定在超时发生前等待多个 Velero 资源的分钟，如 Velero CRD 可用、volumeSnapshot 删除和备份存储库可用。默认值为 10m。

   3

   如果要禁用 Restic 安装，则将此值设置为 false。Restic 部署一个守护进程集，这意味着 Restic pod 在每个工作节点上运行。在 OADP 版本 1.2 及更高版本中，您可以通过在 Backup CR 中添加 spec.defaultVolumesToFsBackup: true 来配置 Restic 进行备份。在 OADP 版本 1.1 中，将 spec.defaultVolumesToRestic: true 添加到 Backup CR 中。

   4

   指定 Restic 在哪些节点上可用。默认情况下，Restic 在所有节点上运行。

   5

   指定 Azure 资源组。

   6

   指定 Azure 存储帐户 ID。

   7

   指定 Azure 订阅 ID。

   8

   如果没有指定这个值，则使用默认值 cloud-credentials-azure。如果您指定了自定义名称，则使用自定义名称进行备份位置。

   9

   指定存储桶作为备份存储位置。如果存储桶不是 Velero 备份的专用存储桶，您必须指定一个前缀。

   10

   如果存储桶用于多个目的，请为 Velero 备份指定一个前缀，如 velero。

   11

   如果您使用 CSI 快照或 Restic 备份 PV，则不需要指定快照位置。

4. 点 Create。

5. 通过查看 OADP 资源来验证安装：

   $ oc get all -n openshift-adp

   输出示例

   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/oadp-operator-controller-manager-67d9494d47-6l8z8    2/2     Running   0          2m8s
   pod/restic-9cq4q                                         1/1     Running   0          94s
   pod/restic-m4lts                                         1/1     Running   0          94s
   pod/restic-pv4kr                                         1/1     Running   0          95s
   pod/velero-588db7f655-n842v                              1/1     Running   0          95s
   
   NAME                                                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
   service/oadp-operator-controller-manager-metrics-service   ClusterIP   172.30.70.140    <none>        8443/TCP   2m8s
   
   NAME                    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/restic   3         3         3       3            3           <none>          96s
   
   NAME                                                READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/oadp-operator-controller-manager    1/1     1            1           2m9s
   deployment.apps/velero                              1/1     1            1           96s
   
   NAME                                                           DESIRED   CURRENT   READY   AGE
   replicaset.apps/oadp-operator-controller-manager-67d9494d47    1         1         1       2m9s
   replicaset.apps/velero-588db7f655                              1         1         1       96s

流程

1. 登录到 GCP:

   $ gcloud auth login

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero service account"

6. 列出服务帐户：

   $ gcloud iam service-accounts list

7. 设置 SERVICE_ACCOUNT_EMAIL 变量，使其与 email 值匹配：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
       --filter="displayName:Velero service account" \
       --format 'value(email)')

8. 附加策略，为 velero 用户提供所需的最低权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
       storage.objects.create
       storage.objects.delete
       storage.objects.get
       storage.objects.list
       iam.serviceAccounts.signBlob
   )

9. 创建 velero.server 自定义角色：

   $ gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"

10. 为项目添加 IAM 策略绑定：

    $ gcloud projects add-iam-policy-binding $PROJECT_ID \
        --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
        --role projects/$PROJECT_ID/roles/velero.server

11. 更新 IAM 服务帐户：

    $ gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

12. 将 IAM 服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

    $ gcloud iam service-accounts keys create credentials-velero \
        --iam-account $SERVICE_ACCOUNT_EMAIL

    在安装 Data Protection Application 前，您可以使用 credentials-velero 文件为 GCP 创建 Secret 对象。

流程

1. 点 Operators → Installed Operators 并选择 OADP Operator。
2. 在 Provided APIs 下，点 DataProtectionApplication 框中的 Create 实例。

3. 点 YAML View 并更新 DataProtectionApplication 清单的参数：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: <dpa_sample>
     namespace: openshift-adp
   spec:
     configuration:
       velero:
         defaultPlugins:
           - gcp
           - openshift 1
         resourceTimeout: 10m 2
       restic:
         enable: true 3
         podConfig:
           nodeSelector: <node_selector> 4
     backupLocations:
       - velero:
           provider: gcp
           default: true
           credential:
             key: cloud
             name: cloud-credentials-gcp 5
           objectStorage:
             bucket: <bucket_name> 6
             prefix: <prefix> 7
     snapshotLocations: 8
       - velero:
           provider: gcp
           default: true
           config:
             project: <project>
             snapshotLocation: us-west1 9

   1

   openshift 插件是必需的。

   2

   指定在超时发生前等待多个 Velero 资源的分钟，如 Velero CRD 可用、volumeSnapshot 删除和备份存储库可用。默认值为 10m。

   3

   如果要禁用 Restic 安装，则将此值设置为 false。Restic 部署一个守护进程集，这意味着 Restic pod 在每个工作节点上运行。在 OADP 版本 1.2 及更高版本中，您可以通过在 Backup CR 中添加 spec.defaultVolumesToFsBackup: true 来配置 Restic 进行备份。在 OADP 版本 1.1 中，将 spec.defaultVolumesToRestic: true 添加到 Backup CR 中。

   4

   指定 Restic 在哪些节点上可用。默认情况下，Restic 在所有节点上运行。

   5

   如果没有指定这个值，则使用默认值 cloud-credentials-gcp。如果您指定了自定义名称，则使用自定义名称进行备份位置。

   6

   指定存储桶作为备份存储位置。如果存储桶不是 Velero 备份的专用存储桶，您必须指定一个前缀。

   7

   如果存储桶用于多个目的，请为 Velero 备份指定一个前缀，如 velero。

   8

   指定快照位置，除非您使用 CSI 快照或 Restic 备份 PV。

   9

   快照位置必须与 PV 位于同一区域。

4. 点 Create。

5. 通过查看 OADP 资源来验证安装：

   $ oc get all -n openshift-adp

   输出示例

   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/oadp-operator-controller-manager-67d9494d47-6l8z8    2/2     Running   0          2m8s
   pod/restic-9cq4q                                         1/1     Running   0          94s
   pod/restic-m4lts                                         1/1     Running   0          94s
   pod/restic-pv4kr                                         1/1     Running   0          95s
   pod/velero-588db7f655-n842v                              1/1     Running   0          95s
   
   NAME                                                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
   service/oadp-operator-controller-manager-metrics-service   ClusterIP   172.30.70.140    <none>        8443/TCP   2m8s
   
   NAME                    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/restic   3         3         3       3            3           <none>          96s
   
   NAME                                                READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/oadp-operator-controller-manager    1/1     1            1           2m9s
   deployment.apps/velero                              1/1     1            1           96s
   
   NAME                                                           DESIRED   CURRENT   READY   AGE
   replicaset.apps/oadp-operator-controller-manager-67d9494d47    1         1         1       2m9s
   replicaset.apps/velero-588db7f655                              1         1         1       96s

流程

1. 通过对 NooBaa 自定义资源运行 describe 命令，获取 S3 端点、AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY。

2. 创建 credentials-velero 文件：

   $ cat << EOF > ./credentials-velero
   [default]
   aws_access_key_id=<AWS_ACCESS_KEY_ID>
   aws_secret_access_key=<AWS_SECRET_ACCESS_KEY>
   EOF

   在安装 Data Protection Application 时，您可以使用 credentials-velero 文件创建 Secret 对象。

流程

1. 点 Operators → Installed Operators 并选择 OADP Operator。
2. 在 Provided APIs 下，点 DataProtectionApplication 框中的 Create 实例。

3. 点 YAML View 并更新 DataProtectionApplication 清单的参数：

   apiVersion: oadp.openshift.io/v1alpha1
   kind: DataProtectionApplication
   metadata:
     name: <dpa_sample>
     namespace: openshift-adp
   spec:
     configuration:
       velero:
         defaultPlugins:
           - aws
           - openshift 1
         resourceTimeout: 10m 2
       restic:
         enable: true 3
         podConfig:
           nodeSelector: <node_selector> 4
     backupLocations:
       - velero:
           config:
             profile: "default"
             region: minio
             s3Url: <url> 5
             insecureSkipTLSVerify: "true"
             s3ForcePathStyle: "true"
           provider: aws
           default: true
           credential:
             key: cloud
             name: cloud-credentials 6
           objectStorage:
             bucket: <bucket_name> 7
             prefix: <prefix> 8

   1

   openshift 插件是必需的。

   2

   指定在超时发生前等待多个 Velero 资源的分钟，如 Velero CRD 可用、volumeSnapshot 删除和备份存储库可用。默认值为 10m。

   3

   如果要禁用 Restic 安装，则将此值设置为 false。Restic 部署一个守护进程集，这意味着 Restic pod 在每个工作节点上运行。在 OADP 版本 1.2 及更高版本中，您可以通过在 Backup CR 中添加 spec.defaultVolumesToFsBackup: true 来配置 Restic 进行备份。在 OADP 版本 1.1 中，将 spec.defaultVolumesToRestic: true 添加到 Backup CR 中。

   4

   指定 Restic 在哪些节点上可用。默认情况下，Restic 在所有节点上运行。

   5

   指定 S3 端点的 URL。

   6

   如果没有指定这个值，则使用默认值 cloud-credentials。如果您指定了自定义名称，则使用自定义名称进行备份位置。

   7

   指定存储桶作为备份存储位置。如果存储桶不是 Velero 备份的专用存储桶，您必须指定一个前缀。

   8

   如果存储桶用于多个目的，请为 Velero 备份指定一个前缀，如 velero。

4. 点 Create。

5. 通过查看 OADP 资源来验证安装：

   $ oc get all -n openshift-adp

   输出示例

   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/oadp-operator-controller-manager-67d9494d47-6l8z8    2/2     Running   0          2m8s
   pod/restic-9cq4q                                         1/1     Running   0          94s
   pod/restic-m4lts                                         1/1     Running   0          94s
   pod/restic-pv4kr                                         1/1     Running   0          95s
   pod/velero-588db7f655-n842v                              1/1     Running   0          95s
   
   NAME                                                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
   service/oadp-operator-controller-manager-metrics-service   ClusterIP   172.30.70.140    <none>        8443/TCP   2m8s
   
   NAME                    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/restic   3         3         3       3            3           <none>          96s
   
   NAME                                                READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/oadp-operator-controller-manager    1/1     1            1           2m9s
   deployment.apps/velero                              1/1     1            1           96s
   
   NAME                                                           DESIRED   CURRENT   READY   AGE
   replicaset.apps/oadp-operator-controller-manager-67d9494d47    1         1         1       2m9s
   replicaset.apps/velero-588db7f655                              1         1         1       96s

流程

1. 点 Operators → Installed Operators 并选择 OADP Operator。
2. 在 Provided APIs 下，点 DataProtectionApplication 框中的 Create 实例。
3. 点 YAML View 并更新 DataProtectionApplication 清单的参数：
4. 点 Create。

5. 通过查看 OADP 资源来验证安装：

   $ oc get all -n openshift-adp

   输出示例

   NAME                                                     READY   STATUS    RESTARTS   AGE
   pod/oadp-operator-controller-manager-67d9494d47-6l8z8    2/2     Running   0          2m8s
   pod/restic-9cq4q                                         1/1     Running   0          94s
   pod/restic-m4lts                                         1/1     Running   0          94s
   pod/restic-pv4kr                                         1/1     Running   0          95s
   pod/velero-588db7f655-n842v                              1/1     Running   0          95s
   
   NAME                                                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
   service/oadp-operator-controller-manager-metrics-service   ClusterIP   172.30.70.140    <none>        8443/TCP   2m8s
   
   NAME                    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/restic   3         3         3       3            3           <none>          96s
   
   NAME                                                READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/oadp-operator-controller-manager    1/1     1            1           2m9s
   deployment.apps/velero                              1/1     1            1           96s
   
   NAME                                                           DESIRED   CURRENT   READY   AGE
   replicaset.apps/oadp-operator-controller-manager-67d9494d47    1         1         1       2m9s
   replicaset.apps/velero-588db7f655                              1         1         1       96s

流程

1. 创建一个 Restore CR，如下例所示：

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: <restore>
     namespace: openshift-adp
   spec:
     backupName: <backup> 1
     includedResources: [] 2
     excludedResources:
     - nodes
     - events
     - events.events.k8s.io
     - backups.velero.io
     - restores.velero.io
     - resticrepositories.velero.io
     restorePVs: true 3

   1

   备份 CR 的名称。

   2

   可选：指定要包含在恢复过程中的资源数组。资源可以是缩写方式（例如，po 代表 pods）或完全限定的方式。如果未指定，则会包含所有资源。

   3

   可选：restorePV 参数可以被设置为 false，以便在配置了 VolumeSnapshotLocation 时从 VolumeSnapshot Container Storage Interface (CSI) 快照中关闭 PersistentVolume。

2. 输入以下命令验证 Restore CR 的状态是否为 Completed ：

   $ oc get restore -n openshift-adp <restore> -o jsonpath='{.status.phase}'

3. 输入以下命令验证备份资源是否已恢复：

   $ oc get all -n <namespace> 1

   1

   备份的命名空间。

4. 如果您使用 Restic 恢复 DeploymentConfig 对象，或使用 post-restore hook，请输入以下命令运行 dc-restic-post-restore.sh cleanup 脚本：

   $ bash dc-restic-post-restore.sh <restore-name>

   注意

   在恢复过程中，OADP Velero 插件会缩减 DeploymentConfig 对象，并将 pod 恢复为独立 pod，以防止集群在恢复时立即删除恢复的 DeploymentConfig pod，并允许 Restic 和 post-restore hook 在恢复的 pod 上完成其操作。清理脚本会删除这些断开连接的 pod，并将任何 DeploymentConfig 对象扩展至适当的副本数。

   例 4.1. dc-restic-post-restore.sh cleanup 脚本

   #!/bin/bash
   set -e
   
   # if sha256sum exists, use it to check the integrity of the file
   if command -v sha256sum >/dev/null 2>&1; then
     CHECKSUM_CMD="sha256sum"
   else
     CHECKSUM_CMD="shasum -a 256"
   fi
   
   label_name () {
       if [ "${#1}" -le "63" ]; then
   	echo $1
   	return
       fi
       sha=$(echo -n $1|$CHECKSUM_CMD)
       echo "${1:0:57}${sha:0:6}"
   }
   
   OADP_NAMESPACE=${OADP_NAMESPACE:=openshift-adp}
   
   if [[ $# -ne 1 ]]; then
       echo "usage: ${BASH_SOURCE} restore-name"
       exit 1
   fi
   
   echo using OADP Namespace $OADP_NAMESPACE
   echo restore: $1
   
   label=$(label_name $1)
   echo label: $label
   
   echo Deleting disconnected restore pods
   oc delete pods -l oadp.openshift.io/disconnected-from-dc=$label
   
   for dc in $(oc get dc --all-namespaces -l oadp.openshift.io/replicas-modified=$label -o jsonpath='{range .items[*]}{.metadata.namespace}{","}{.metadata.name}{","}{.metadata.annotations.oadp\.openshift\.io/original-replicas}{","}{.metadata.annotations.oadp\.openshift\.io/original-paused}{"\n"}')
   do
       IFS=',' read -ra dc_arr <<< "$dc"
       if [ ${#dc_arr[0]} -gt 0 ]; then
   	echo Found deployment ${dc_arr[0]}/${dc_arr[1]}, setting replicas: ${dc_arr[2]}, paused: ${dc_arr[3]}
   	cat <<EOF | oc patch dc  -n ${dc_arr[0]} ${dc_arr[1]} --patch-file /dev/stdin
   spec:
     replicas: ${dc_arr[2]}
     paused: ${dc_arr[3]}
   EOF
       fi
   done

流程

1. 为 Backup 对象创建一个 YAML 文件，如下例所示：

   Backup CR 示例

   kind: Backup
   apiVersion: velero.io/v1
   metadata:
     name: backup
     namespace: openshift-adp
   spec:
     csiSnapshotTimeout: 10m0s
     defaultVolumesToFsBackup: false
     includedNamespaces:
     - mysql-persistent
     itemOperationTimeout: 4h0m0s
     snapshotMoveData: true 1
     storageLocation: default
     ttl: 720h0m0s
     volumeSnapshotLocations:
     - dpa-sample-1
   # ...

   1

   设置为 true 以启用将 CSI 快照移到远程对象存储。

2. 应用清单：

   $ oc create -f backup.yaml

   在快照创建完成后会创建一个 DataUpload CR。

流程

1. 为 Restore CR 创建 YAML 文件，如下例所示：

   Restore CR 示例

   apiVersion: velero.io/v1
   kind: Restore
   metadata:
     name: restore
     namespace: openshift-adp
   spec:
     backupName: <backup>
   # ...

2. 应用清单：

   $ oc create -f restore.yaml

   恢复启动时会创建一个 DataDownload CR。

流程

1. 运行以下命令之一以检索 BSL 列表：

   1. 使用 OpenShift CLI：

      $ oc get backupstoragelocation -A

   2. 使用 Velero CLI：

      $ velero backup-location get -n <OADP_Operator_namespace>

2. 使用 BSL 列表，运行以下命令来显示每个 BSL 的清单，并检查每个清单是否有错误。

   $ oc get backupstoragelocation -n <namespace> -o yaml

解决方案

1. 编辑 DataProtectionApplication 清单中的 spec.snapshotLocations.velero.config.region 键的值，使快照位置位于与 PV 相同的区域。
2. 创建新的 Backup CR。

解决方案

1. 检索 Backup CR 的详细信息：

   $ oc -n {namespace} exec deployment/velero -c velero -- ./velero \
     backup describe <backup>

2. 删除 Backup CR：

   $ oc delete backup <backup> -n openshift-adp

   您不需要清理备份位置，因为正在进行中的 Backup CR 没有上传文件到对象存储。

3. 创建新的 Backup CR。

解决方案

1. 删除 Backup CR：

   $ oc delete backup <backup> -n openshift-adp

2. 如果需要，清理 BackupStorageLocation 上存储的数据以释放空间。

3. 将标签 velero.io/csi-volumesnapshot-class=true 应用到 VolumeSnapshotClass 对象：

   $ oc label volumesnapshotclass/<snapclass_name> velero.io/csi-volumesnapshot-class=true

4. 创建新的 Backup CR。

1. 在 NFS 数据卷中为 Restic 创建补充组。
2. 在 NFS 目录上设置 setgid 位，以便继承组所有权。

3. 将 spec.configuration.restic.supplementalGroups 参数和组 ID 添加到 DataProtectionApplication 清单中，如下例所示：

   spec:
     configuration:
       restic:
         enable: true
         supplementalGroups:
         - <group_id> 1

   1

   指定补充组 ID。

4. 等待 Restic pod 重启，以便应用更改。

流程

1. 编辑 openshift-monitoring 命名空间中的 cluster-monitoring-config ConfigMap 对象：

   $ oc edit configmap cluster-monitoring-config -n openshift-monitoring

2. 在 data 部分的 config.yaml 字段中添加或启用 enableUserWorkload 选项：

   apiVersion: v1
   data:
     config.yaml: |
       enableUserWorkload: true 1
   kind: ConfigMap
   metadata:
   # ...

   1

   添加这个选项或设置为 true

3. 通过检查以下组件是否在 openshift-user-workload-monitoring 命名空间中运行，等待较短的时间段来验证 User Workload Monitoring Setup：

   $ oc get pods -n openshift-user-workload-monitoring

   输出示例

   NAME                                   READY   STATUS    RESTARTS   AGE
   prometheus-operator-6844b4b99c-b57j9   2/2     Running   0          43s
   prometheus-user-workload-0             5/5     Running   0          32s
   prometheus-user-workload-1             5/5     Running   0          32s
   thanos-ruler-user-workload-0           3/3     Running   0          32s
   thanos-ruler-user-workload-1           3/3     Running   0          32s

4. 验证 openshift-user-workload-monitoring 中是否存在 user-workload-monitoring-config ConfigMap。如果存在，请跳过这个过程中的剩余步骤。

   $ oc get configmap user-workload-monitoring-config -n openshift-user-workload-monitoring

   输出示例

   Error from server (NotFound): configmaps "user-workload-monitoring-config" not found

5. 为 User Workload Monitoring 创建一个 user-workload-monitoring-config ConfigMap 对象，并将它保存为 2_configure_user_workload_monitoring.yaml 文件：

   输出示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |

6. 应用 2_configure_user_workload_monitoring.yaml 文件：

   $ oc apply -f 2_configure_user_workload_monitoring.yaml
   configmap/user-workload-monitoring-config created

流程

1. 确保 openshift-adp-velero-metrics-svc 服务存在。它应当包含 app.kubernetes.io/name=velero 标签，这些标签将用作 ServiceMonitor 对象的选择器。

   $ oc get svc -n openshift-adp -l app.kubernetes.io/name=velero

   输出示例

   NAME                               TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
   openshift-adp-velero-metrics-svc   ClusterIP   172.30.38.244   <none>        8085/TCP   1h

2. 创建一个与现有 service 标签匹配的 ServiceMonitor YAML 文件，并将文件保存为 3_create_oadp_service_monitor.yaml。服务监控器在 openshift-adp 命名空间中创建，其中 openshift-adp-velero-metrics-svc 服务所在的位置。

   ServiceMonitor 对象示例

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     labels:
       app: oadp-service-monitor
     name: oadp-service-monitor
     namespace: openshift-adp
   spec:
     endpoints:
     - interval: 30s
       path: /metrics
       targetPort: 8085
       scheme: http
     selector:
       matchLabels:
         app.kubernetes.io/name: "velero"

3. 应用 3_create_oadp_service_monitor.yaml 文件：

   $ oc apply -f 3_create_oadp_service_monitor.yaml

   输出示例

   servicemonitor.monitoring.coreos.com/oadp-service-monitor created

流程

1. 使用示例 OADPBackupFailing 警报创建一个 PrometheusRule YAML 文件，并将其保存为 4_create_oadp_alert_rule.yaml。

   OADPBackupFailing 警报示例

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: sample-oadp-alert
     namespace: openshift-adp
   spec:
     groups:
     - name: sample-oadp-backup-alert
       rules:
       - alert: OADPBackupFailing
         annotations:
           description: 'OADP had {{$value | humanize}} backup failures over the last 2 hours.'
           summary: OADP has issues creating backups
         expr: |
           increase(velero_backup_failure_total{job="openshift-adp-velero-metrics-svc"}[2h]) > 0
         for: 5m
         labels:
           severity: warning

   在本例中，Alert 在以下情况下显示：

   • 在最后 2 个小时内增加了新的故障备份（大于 0），且状态至少维持了 5 分钟。
   • 如果第一次增加的时间小于 5 分钟，则 Alert 将处于 Pending 状态，之后它将进入 Firing 状态。

2. 应用 4_create_oadp_alert_rule.yaml 文件，该文件在 openshift-adp 命名空间中创建 PrometheusRule 对象：

   $ oc apply -f 4_create_oadp_alert_rule.yaml

   输出示例

   prometheusrule.monitoring.coreos.com/sample-oadp-alert created