4.9. OADP 和 AWS STS

流程

1. 运行以下命令来定义 cluster_name 环境变量：

   $ export CLUSTER_NAME= <AWS_cluster_name> 1

   1

   变量可以设置为任何值。

2. 运行以下命令，获取cluster 的详情，如 AWS_ACCOUNT_ID, OIDC_ENDPOINT ：

   $ export CLUSTER_VERSION=$(oc get clusterversion version -o jsonpath='{.status.desired.version}{"\n"}')
   
   export AWS_CLUSTER_ID=$(oc get clusterversion version -o jsonpath='{.spec.clusterID}{"\n"}')
   
   export OIDC_ENDPOINT=$(oc get authentication.config.openshift.io cluster -o jsonpath='{.spec.serviceAccountIssuer}' | sed 's|^https://||')
   
   export REGION=$(oc get infrastructures cluster -o jsonpath='{.status.platformStatus.aws.region}' --allow-missing-template-keys=false || echo us-east-2)
   
   export AWS_ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)
   
   export ROLE_NAME="${CLUSTER_NAME}-openshift-oadp-aws-cloud-credentials"

3. 运行以下命令，创建一个临时目录来存储所有文件：

   $ export SCRATCH="/tmp/${CLUSTER_NAME}/oadp"
   mkdir -p ${SCRATCH}

4. 运行以下命令显示所有收集的详细信息：

   $ echo "Cluster ID: ${AWS_CLUSTER_ID}, Region: ${REGION}, OIDC Endpoint:
   ${OIDC_ENDPOINT}, AWS Account ID: ${AWS_ACCOUNT_ID}"

5. 在 AWS 帐户中，创建一个 IAM 策略以允许访问 AWS S3：

   1. 运行以下命令，检查策略是否存在：

      $ export POLICY_NAME="OadpVer1" 1

      1

      变量可以设置为任何值。

      $ POLICY_ARN=$(aws iam list-policies --query "Policies[?PolicyName=='$POLICY_NAME'].{ARN:Arn}" --output text)

   2. 输入以下命令来创建策略 JSON 文件，然后创建策略：

      注意

      如果没有找到策略 ARN，命令会创建策略。如果策略 ARN 已存在，则 if 语句会有意跳过策略创建。

      $ if [[ -z "${POLICY_ARN}" ]]; then
      cat << EOF > ${SCRATCH}/policy.json
      {
      "Version": "2012-10-17",
      "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "s3:CreateBucket",
           "s3:DeleteBucket",
           "s3:PutBucketTagging",
           "s3:GetBucketTagging",
           "s3:PutEncryptionConfiguration",
           "s3:GetEncryptionConfiguration",
           "s3:PutLifecycleConfiguration",
           "s3:GetLifecycleConfiguration",
           "s3:GetBucketLocation",
           "s3:ListBucket",
           "s3:GetObject",
           "s3:PutObject",
           "s3:DeleteObject",
           "s3:ListBucketMultipartUploads",
           "s3:AbortMultipartUpload",
           "s3:ListMultipartUploadParts",
           "ec2:DescribeSnapshots",
           "ec2:DescribeVolumes",
           "ec2:DescribeVolumeAttribute",
           "ec2:DescribeVolumesModifications",
           "ec2:DescribeVolumeStatus",
           "ec2:CreateTags",
           "ec2:CreateVolume",
           "ec2:CreateSnapshot",
           "ec2:DeleteSnapshot"
         ],
         "Resource": "*"
       }
      ]}
      EOF
      
      POLICY_ARN=$(aws iam create-policy --policy-name $POLICY_NAME \
      --policy-document file:///${SCRATCH}/policy.json --query Policy.Arn \
      --tags Key=openshift_version,Value=${CLUSTER_VERSION} Key=operator_namespace,Value=openshift-adp Key=operator_name,Value=oadp \
      --output text) 1
      fi

      1

      SCRATCH 是为存储文件创建的临时目录的名称。

   3. 运行以下命令来查看策略 ARN：

      $ echo ${POLICY_ARN}

6. 为集群创建 IAM 角色信任策略：

   1. 运行以下命令来创建信任策略文件：

      $ cat <<EOF > ${SCRATCH}/trust-policy.json
      {
          "Version": "2012-10-17",
          "Statement": [{
            "Effect": "Allow",
            "Principal": {
              "Federated": "arn:aws:iam::${AWS_ACCOUNT_ID}:oidc-provider/${OIDC_ENDPOINT}"
            },
            "Action": "sts:AssumeRoleWithWebIdentity",
            "Condition": {
              "StringEquals": {
                "${OIDC_ENDPOINT}:sub": [
                  "system:serviceaccount:openshift-adp:openshift-adp-controller-manager",
                  "system:serviceaccount:openshift-adp:velero"]
              }
            }
          }]
      }
      EOF

   2. 运行以下命令，为集群创建 IAM 角色信任策略：

      $ ROLE_ARN=$(aws iam create-role --role-name \
        "${ROLE_NAME}" \
        --assume-role-policy-document file://${SCRATCH}/trust-policy.json \
        --tags Key=cluster_id,Value=${AWS_CLUSTER_ID}  Key=openshift_version,Value=${CLUSTER_VERSION} Key=operator_namespace,Value=openshift-adp Key=operator_name,Value=oadp --query Role.Arn --output text)

   3. 运行以下命令来查看角色 ARN：

      $ echo ${ROLE_ARN}

7. 运行以下命令，将 IAM 策略附加到 IAM 角色：

   $ aws iam attach-role-policy --role-name "${ROLE_NAME}" --policy-arn ${POLICY_ARN}

流程

1. 输入以下命令，从 AWS 令牌文件创建 OpenShift Container Platform secret：

   1. 创建凭证文件：

      $ cat <<EOF > ${SCRATCH}/credentials
        [default]
        role_arn = ${ROLE_ARN}
        web_identity_token_file = /var/run/secrets/openshift/serviceaccount/token
      EOF

   2. 为 OADP 创建命名空间：

      $ oc create namespace openshift-adp

   3. 创建 OpenShift Container Platform secret：

      $ oc -n openshift-adp create secret generic cloud-credentials \
        --from-file=${SCRATCH}/credentials

      注意

      在 OpenShift Container Platform 版本 4.14 及更新的版本中，OADP Operator 通过 Operator Lifecycle Manager (OLM) 和 Cloud Credentials Operator (CCO)支持新的标准化 STS 工作流。在此工作流中，您不需要创建上述 secret，您需要在使用 OpenShift Container Platform Web 控制台安装 OLM 管理的 Operator 时提供角色 ARN，请参阅使用 Web 控制台从 OperatorHub 安装。

      前面的 secret 由 CCO 自动创建。

2. 安装 OADP Operator：

   1. 在 OpenShift Container Platform Web 控制台中，浏览 Operators OperatorHub。
   2. 搜索 OADP Operator。
   3. 在 role_ARN 字段中，粘贴之前创建的 role_arn，再点 Install。

3. 输入以下命令，使用 AWS 凭证创建 AWS 云存储：

   $ cat << EOF | oc create -f -
     apiVersion: oadp.openshift.io/v1alpha1
     kind: CloudStorage
     metadata:
       name: ${CLUSTER_NAME}-oadp
       namespace: openshift-adp
     spec:
       creationSecret:
         key: credentials
         name: cloud-credentials
       enableSharedConfig: true
       name: ${CLUSTER_NAME}-oadp
       provider: aws
       region: $REGION
   EOF

4. 输入以下命令检查应用程序的存储默认存储类：

   $ oc get pvc -n <namespace>

   输出示例

   NAME     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   applog   Bound    pvc-351791ae-b6ab-4e8b-88a4-30f73caf5ef8   1Gi        RWO            gp3-csi        4d19h
   mysql    Bound    pvc-16b8e009-a20a-4379-accc-bc81fedd0621   1Gi        RWO            gp3-csi        4d19h

5. 运行以下命令来获取存储类：

   $ oc get storageclass

   输出示例

   NAME                PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   gp2                 kubernetes.io/aws-ebs   Delete          WaitForFirstConsumer   true                   4d21h
   gp2-csi             ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h
   gp3                 ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h
   gp3-csi (default)   ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   4d21h

   注意

   以下存储类可以正常工作：

   • gp3-csi
   • gp2-csi
   • gp3
   • gp2

   如果要备份的应用程序或应用程序都使用带有 Container Storage Interface (CSI) 的持久性卷 (PV)，建议在 OADP DPA 配置中包含 CSI 插件。

6. 创建 DataProtectionApplication 资源，以配置存储备份和卷快照的存储的连接：

   1. 如果您只使用 CSI 卷，请输入以下命令部署数据保护应用程序：

      $ cat << EOF | oc create -f -
        apiVersion: oadp.openshift.io/v1alpha1
        kind: DataProtectionApplication
        metadata:
          name: ${CLUSTER_NAME}-dpa
          namespace: openshift-adp
        spec:
          backupImages: true 1
          features:
            dataMover:
              enable: false
          backupLocations:
          - bucket:
              cloudStorageRef:
                name: ${CLUSTER_NAME}-oadp
              credential:
                key: credentials
                name: cloud-credentials
              prefix: velero
              default: true
              config:
                region: ${REGION}
          configuration:
            velero:
              defaultPlugins:
              - openshift
              - aws
              - csi
            restic:
              enable: false
      EOF

      1

      如果您不想使用镜像备份，请将此字段设置为 false。

1. 如果使用 CSI 或非 CSI 卷，请输入以下命令来部署数据保护应用程序：

   $ cat << EOF | oc create -f -
     apiVersion: oadp.openshift.io/v1alpha1
     kind: DataProtectionApplication
     metadata:
       name: ${CLUSTER_NAME}-dpa
       namespace: openshift-adp
     spec:
       backupImages: true 1
       features:
         dataMover:
            enable: false
       backupLocations:
       - bucket:
           cloudStorageRef:
             name: ${CLUSTER_NAME}-oadp
           credential:
             key: credentials
             name: cloud-credentials
           prefix: velero
           default: true
           config:
             region: ${REGION}
       configuration:
         velero:
           defaultPlugins:
           - openshift
           - aws
         nodeAgent: 2
           enable: false
           uploaderType: restic
       snapshotLocations:
         - velero:
             config:
               credentialsFile: /tmp/credentials/openshift-adp/cloud-credentials-credentials 3
               enableSharedConfig: "true" 4
               profile: default 5
               region: ${REGION} 6
             provider: aws
   EOF

   1

   如果您不想使用镜像备份，请将此字段设置为 false。

   2

   请参阅有关 nodeAgent 属性的重要备注。

   3

   credentialsFile 字段是 pod 上存储桶凭证的挂载位置。

   4

   enableSharedConfig 字段允许 snapshotLocations 共享或重复使用为存储桶定义的凭证。

   5

   使用 AWS 凭证文件中设置的配置集名称。

   6

   将 region 指定为您的 AWS 区域。这必须与集群区域相同。

   现在，您可以备份和恢复 OpenShift Container Platform 应用程序，如 备份应用程序 中所述。