4.19. OADP 和 ROSA

流程

1. 运行以下命令来创建以下环境变量：

   重要

   更改集群名称来匹配您的 ROSA 集群，并确保以管理员身份登录到集群。在继续操作前，确保所有字段被正常输出。

   $ export CLUSTER_NAME=my-cluster 

   1

   
     export ROSA_CLUSTER_ID=$(rosa describe cluster -c ${CLUSTER_NAME} --output json | jq -r .id)
     export REGION=$(rosa describe cluster -c ${CLUSTER_NAME} --output json | jq -r .region.id)
     export OIDC_ENDPOINT=$(oc get authentication.config.openshift.io cluster -o jsonpath='{.spec.serviceAccountIssuer}' | sed 's|^https://||')
     export AWS_ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)
     export CLUSTER_VERSION=$(rosa describe cluster -c ${CLUSTER_NAME} -o json | jq -r .version.raw_id | cut -f -2 -d '.')
     export ROLE_NAME="${CLUSTER_NAME}-openshift-oadp-aws-cloud-credentials"
     export SCRATCH="/tmp/${CLUSTER_NAME}/oadp"
     mkdir -p ${SCRATCH}
     echo "Cluster ID: ${ROSA_CLUSTER_ID}, Region: ${REGION}, OIDC Endpoint:
     ${OIDC_ENDPOINT}, AWS Account ID: ${AWS_ACCOUNT_ID}"

   Copy to Clipboard Toggle word wrap

   1

   将 my-cluster 替换为您的 ROSA 集群名称。

2. 在 AWS 帐户中，创建一个 IAM 策略以允许访问 AWS S3：

   1. 运行以下命令，检查策略是否存在：

      $ POLICY_ARN=$(aws iam list-policies --query "Policies[?PolicyName=='RosaOadpVer1'].{ARN:Arn}" --output text) 

      1

      Copy to Clipboard Toggle word wrap

      1

      将 RosaOadp 替换为您的策略名称。

   2. 输入以下命令来创建策略 JSON 文件，然后在 ROSA 中创建策略：

      注意

      如果没有找到策略 ARN，命令会创建策略。如果策略 ARN 已存在，则 if 语句会有意跳过策略创建。

      $ if [[ -z "${POLICY_ARN}" ]]; then
        cat << EOF > ${SCRATCH}/policy.json 

      1

      
        {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Action": [
              "s3:CreateBucket",
              "s3:DeleteBucket",
              "s3:PutBucketTagging",
              "s3:GetBucketTagging",
              "s3:PutEncryptionConfiguration",
              "s3:GetEncryptionConfiguration",
              "s3:PutLifecycleConfiguration",
              "s3:GetLifecycleConfiguration",
              "s3:GetBucketLocation",
              "s3:ListBucket",
              "s3:GetObject",
              "s3:PutObject",
              "s3:DeleteObject",
              "s3:ListBucketMultipartUploads",
              "s3:AbortMultipartUploads",
              "s3:ListMultipartUploadParts",
              "s3:DescribeSnapshots",
              "ec2:DescribeVolumes",
              "ec2:DescribeVolumeAttribute",
              "ec2:DescribeVolumesModifications",
              "ec2:DescribeVolumeStatus",
              "ec2:CreateTags",
              "ec2:CreateVolume",
              "ec2:CreateSnapshot",
              "ec2:DeleteSnapshot"
            ],
            "Resource": "*"
          }
         ]}
      EOF
      
        POLICY_ARN=$(aws iam create-policy --policy-name "RosaOadpVer1" \
        --policy-document file:///${SCRATCH}/policy.json --query Policy.Arn \
        --tags Key=rosa_openshift_version,Value=${CLUSTER_VERSION} Key=rosa_role_prefix,Value=ManagedOpenShift Key=operator_namespace,Value=openshift-oadp Key=operator_name,Value=openshift-oadp \
        --output text)
        fi

      Copy to Clipboard Toggle word wrap

      1

      SCRATCH 是为环境变量创建的临时目录的名称。

   3. 运行以下命令来查看策略 ARN：

      $ echo ${POLICY_ARN}

      Copy to Clipboard Toggle word wrap

3. 为集群创建 IAM 角色信任策略：

   1. 运行以下命令来创建信任策略文件：

      $ cat <<EOF > ${SCRATCH}/trust-policy.json
        {
            "Version":2012-10-17",
            "Statement": [{
              "Effect": "Allow",
              "Principal": {
                "Federated": "arn:aws:iam::${AWS_ACCOUNT_ID}:oidc-provider/${OIDC_ENDPOINT}"
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                "StringEquals": {
                  "${OIDC_ENDPOINT}:sub": [
                    "system:serviceaccount:openshift-adp:openshift-adp-controller-manager",
                    "system:serviceaccount:openshift-adp:velero"]
                }
              }
            }]
        }
      EOF

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令来创建角色：

      $ ROLE_ARN=$(aws iam create-role --role-name \
        "${ROLE_NAME}" \
        --assume-role-policy-document file://${SCRATCH}/trust-policy.json \
      --tags Key=rosa_cluster_id,Value=${ROSA_CLUSTER_ID} Key=rosa_openshift_version,Value=${CLUSTER_VERSION} Key=rosa_role_prefix,Value=ManagedOpenShift Key=operator_namespace,Value=openshift-adp Key=operator_name,Value=openshift-oadp \
         --query Role.Arn --output text)

      Copy to Clipboard Toggle word wrap

   3. 运行以下命令来查看角色 ARN：

      $ echo ${ROLE_ARN}

      Copy to Clipboard Toggle word wrap

4. 运行以下命令，将 IAM 策略附加到 IAM 角色：

   $ aws iam attach-role-policy --role-name "${ROLE_NAME}" \
     --policy-arn ${POLICY_ARN}

   Copy to Clipboard Toggle word wrap

流程

1. 输入以下命令，从 AWS 令牌文件创建 OpenShift Container Platform secret：

   1. 创建凭证文件：

      $ cat <<EOF > ${SCRATCH}/credentials
        [default]
        role_arn = ${ROLE_ARN}
        web_identity_token_file = /var/run/secrets/openshift/serviceaccount/token
        region = <aws_region> 

      1

      
      EOF

      Copy to Clipboard Toggle word wrap

      1

      将 <aws_region> 替换为用于 STS 端点的 AWS 区域。

   2. 为 OADP 创建命名空间：

      $ oc create namespace openshift-adp

      Copy to Clipboard Toggle word wrap

   3. 创建 OpenShift Container Platform secret：

      $ oc -n openshift-adp create secret generic cloud-credentials \
        --from-file=${SCRATCH}/credentials

      Copy to Clipboard Toggle word wrap
      注意

      在 OpenShift Container Platform 版本 4.14 及更新的版本中，OADP Operator 通过 Operator Lifecycle Manager (OLM) 和 Cloud Credentials Operator (CCO)支持新的标准化 STS 工作流。在此工作流中，您不需要创建上述 secret，您需要在使用 OpenShift Container Platform Web 控制台安装 OLM 管理的 Operator 时提供角色 ARN，请参阅使用 Web 控制台从 OperatorHub 安装。

      前面的 secret 由 CCO 自动创建。

2. 安装 OADP Operator：

   1. 在 OpenShift Container Platform Web 控制台中，浏览 Operators OperatorHub。
   2. 搜索 OADP Operator。
   3. 在 role_ARN 字段中，粘贴之前创建的 role_arn，再点 Install。

3. 输入以下命令，使用 AWS 凭证创建 AWS 云存储：

   $ cat << EOF | oc create -f -
     apiVersion: oadp.openshift.io/v1alpha1
     kind: CloudStorage
     metadata:
       name: ${CLUSTER_NAME}-oadp
       namespace: openshift-adp
     spec:
       creationSecret:
         key: credentials
         name: cloud-credentials
       enableSharedConfig: true
       name: ${CLUSTER_NAME}-oadp
       provider: aws
       region: $REGION
   EOF

   Copy to Clipboard Toggle word wrap

4. 输入以下命令检查应用程序的存储默认存储类：

   $ oc get pvc -n <namespace>

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   applog   Bound    pvc-351791ae-b6ab-4e8b-88a4-30f73caf5ef8   1Gi        RWO            gp3-csi        4d19h
   mysql    Bound    pvc-16b8e009-a20a-4379-accc-bc81fedd0621   1Gi        RWO            gp3-csi        4d19h

   Copy to Clipboard Toggle word wrap

5. 运行以下命令来获取存储类：

   $ oc get storageclass

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   gp2                 kubernetes.io/aws-ebs   Delete          WaitForFirstConsumer   true                   4d21h
   gp2-csi             ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h
   gp3                 ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h
   gp3-csi (default)   ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h

   Copy to Clipboard Toggle word wrap

   注意

   以下存储类可以正常工作：

   • gp3-csi
   • gp2-csi
   • gp3
   • gp2

   如果要备份的应用程序或应用程序都使用带有 Container Storage Interface (CSI) 的持久性卷 (PV)，建议在 OADP DPA 配置中包含 CSI 插件。

6. 创建 DataProtectionApplication 资源，以配置存储备份和卷快照的存储的连接：

   1. 如果您只使用 CSI 卷，请输入以下命令部署数据保护应用程序：

      $ cat << EOF | oc create -f -
        apiVersion: oadp.openshift.io/v1alpha1
        kind: DataProtectionApplication
        metadata:
          name: ${CLUSTER_NAME}-dpa
          namespace: openshift-adp
        spec:
          backupImages: true 

      1

      
          features:
            dataMover:
              enable: false
          backupLocations:
          - bucket:
              cloudStorageRef:
                name: ${CLUSTER_NAME}-oadp
              credential:
                key: credentials
                name: cloud-credentials
              prefix: velero
              default: true
              config:
                region: ${REGION}
          configuration:
            velero:
              defaultPlugins:
              - openshift
              - aws
              - csi
            nodeAgent:  

      2

      
              enable: false
              uploaderType: kopia 

      3

      
      EOF

      Copy to Clipboard Toggle word wrap

      1

      ROSA 支持内部镜像备份。如果您不想使用镜像备份，请将此字段设置为 false。

      2

      请参阅有关 nodeAgent 属性的重要备注。

      3

      上传程序的类型。可能的值为 restic 或 kopia。内置 Data Mover 使用 Kopia 作为默认的上传程序机制，无论 uploaderType 字段的值是什么。

1. 如果使用 CSI 或非 CSI 卷，请输入以下命令来部署数据保护应用程序：

   $ cat << EOF | oc create -f -
     apiVersion: oadp.openshift.io/v1alpha1
     kind: DataProtectionApplication
     metadata:
       name: ${CLUSTER_NAME}-dpa
       namespace: openshift-adp
     spec:
       backupImages: true 

   1

   
       backupLocations:
       - bucket:
           cloudStorageRef:
             name: ${CLUSTER_NAME}-oadp
           credential:
             key: credentials
             name: cloud-credentials
           prefix: velero
           default: true
           config:
             region: ${REGION}
       configuration:
         velero:
           defaultPlugins:
           - openshift
           - aws
         nodeAgent: 

   2

   
           enable: false
           uploaderType: restic
       snapshotLocations:
         - velero:
             config:
               credentialsFile: /tmp/credentials/openshift-adp/cloud-credentials-credentials 

   3

   
               enableSharedConfig: "true" 

   4

   
               profile: default 

   5

   
               region: ${REGION} 

   6

   
             provider: aws
   EOF

   Copy to Clipboard Toggle word wrap

   1

   ROSA 支持内部镜像备份。如果您不想使用镜像备份，请将此字段设置为 false。

   2

   请参阅有关 nodeAgent 属性的重要备注。

   3

   credentialsFile 字段是 pod 上存储桶凭证的挂载位置。

   4

   enableSharedConfig 字段允许 snapshotLocations 共享或重复使用为存储桶定义的凭证。

   5

   使用 AWS 凭证文件中设置的配置集名称。

   6

   将 region 指定为您的 AWS 区域。这必须与集群区域相同。

   现在，您可以备份和恢复 OpenShift Container Platform 应用程序，如 备份应用程序 中所述。