迁移

1. 在所有集群中安装 Cluster Application Migration Operator

   注意

   Cluster Application Migration Operator 默认在目标集群上安装 CAM 工具（CAM web 控制台和迁移控制器）。您可以 在 OpenShift Container Platform 3 和远程集群中安装 CAM 工具。

2. 配置复制存储库，这是 CAM 工具用来迁移数据的中间对象存储
3. 在 CAM web 控制台中添加源集群
4. 在 CAM web 控制台中添加复制存储库

5. 创建迁移计划，包含以下数据迁移选项之一：

   • Copy：CAM 工具将数据从源集群复制到复制存储库，再从复制存储库把数据复制到目标集群。

     

   • Move：CAM 工具从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。

     注意

     虽然复制存储库没有出现在此图表中，但实际迁移过程需要它。

     

6. 运行迁移计划，使用以下选项之一：

   • Stage （可选）在不停止应用程序的情况下将数据复制到目标集群。

     Stage 可以多次运行，以便在迁移前将大多数数据复制到目标。这样可最小化实际迁移时间和应用程序停机时间。

   • Migrate 在源集群中停止应用程序，并在目标集群中重新创建其资源。您可以选择在不停止应用程序的情况下迁移工作负载。

流程

1. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket <bucket_name> \ 1
       --region <bucket_region> 2

   1

   指定 S3 存储桶名称。

   2

   指定 S3 存储桶区域，例如 us-east-1。

2. 创建 IAM 用户 velero：

   $ aws iam create-user --user-name velero

3. 创建 EC2 EBS 快照策略：

   $ cat > velero-ec2-snapshot-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           }
       ]
   }
   EOF

4. 为一个或所有 S3 存储桶创建 AWS S3 访问策略：

   $ cat > velero-s3-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>/*" 1
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>" 2
               ]
           }
       ]
   }
   EOF

   1 2

   要授予对单一 S3 存储桶的访问权限，请指定存储桶名称。要授予对所有 AWS S3 存储桶的访问权限，请指定 * 而不是存储桶名称：

   "Resource": [
       "arn:aws:s3:::*"

5. 将 EC2 EBS 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-ebs \
     --policy-document file://velero-ec2-snapshot-policy.json

6. 将 AWS S3 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-s3 \
     --policy-document file://velero-s3-policy.json

7. 为 velero 创建访问密钥：

   $ aws iam create-access-key --user-name velero
   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>, 1
           "AccessKeyId": <AWS_ACCESS_KEY_ID> 2
       }
   }

   1 2

   记录 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY_ID 以将 AWS 存储库添加到 CAM Web 控制台。

流程

1. 运行 gsutil init 以登录：

   $ gsutil init
   Welcome! This command will take you through the configuration of gcloud.
   
   Your current configuration has been set to: [default]
   
   To continue, you must login. Would you like to login (Y/n)?

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket_name> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建 velero 服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero Storage"

6. 将 SERVICE_ACCOUNT_EMAIL 变量设置为服务帐户的电子邮件地址：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
     --filter="displayName:Velero Storage" \
     --format 'value(email)')

7. 向服务帐户授予权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
   )
   
   gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
   
   gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
       --role projects/$PROJECT_ID/roles/velero.server
   
   gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

8. 将服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

   $ gcloud iam service-accounts keys create credentials-velero \
     --iam-account $SERVICE_ACCOUNT_EMAIL

流程

1. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

2. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location <CentralUS> 1

   1

   指定位置。

3. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID=velerobackups

4. 创建 Azure 存储帐户：

   $ az storage account create \
     --name $AZURE_STORAGE_ACCOUNT_ID \
     --resource-group $AZURE_RESOURCE_GROUP \
     --sku Standard_GRS \
     --encryption-services blob \
     --https-only true \
     --kind BlobStorage \
     --access-tier Hot

5. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

6. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

7. 为 velero 创建服务主体和凭证：

   $ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
   $ AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
   $ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" --role "Contributor" --query 'password' -o tsv`
   $ AZURE_CLIENT_ID=`az ad sp list --display-name "velero" --query '[0].appId' -o tsv`

8. 在 credentials-velero 文件中保存服务主体的凭证：

   $ cat << EOF  > ./credentials-velero
   AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
   AZURE_TENANT_ID=${AZURE_TENANT_ID}
   AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
   AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
   AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
   AZURE_CLOUD_NAME=AzurePublicCloud
   EOF

流程

1. 使用您的红帽客户门户网站账户登陆到 registry.redhat.io：

   $ sudo podman login registry.redhat.io

   注意

   如果系统是为无根 Podman 容器配置的，则此过程不需要 sudo 。

2. 下载 operator.yml 文件：

   $ sudo podman cp $(sudo podman create registry.redhat.io/rhcam-1-2/openshift-migration-rhel7-operator:v1.2):/operator.yml ./

3. 下载 controller-3.yml 文件：

   $ sudo podman cp $(sudo podman create registry.redhat.io/rhcam-1-2/openshift-migration-rhel7-operator:v1.2):/controller-3.yml ./

4. 登录您的 OpenShift Container Platform 3 集群。

5. 验证集群可以在 registry.redhat.io 中进行身份验证：

   $ oc run test --image registry.redhat.io/ubi8 --command sleep infinity

6. 创建 Cluster Application Migration Operator CR 对象：

   $ oc create -f operator.yml
   namespace/openshift-migration created
   rolebinding.rbac.authorization.k8s.io/system:deployers created
   serviceaccount/migration-operator created
   customresourcedefinition.apiextensions.k8s.io/migrationcontrollers.migration.openshift.io created
   role.rbac.authorization.k8s.io/migration-operator created
   rolebinding.rbac.authorization.k8s.io/migration-operator created
   clusterrolebinding.rbac.authorization.k8s.io/migration-operator created
   deployment.apps/migration-operator created
   Error from server (AlreadyExists): error when creating "./operator.yml":
   rolebindings.rbac.authorization.k8s.io "system:image-builders" already exists 1
   Error from server (AlreadyExists): error when creating "./operator.yml":
   rolebindings.rbac.authorization.k8s.io "system:image-pullers" already exists 2

   1 2

   您可以忽略 Error from server (AlreadyExists) 信息。它们是由 Cluster Application Migration Operator 为早期版本的 OpenShift Container Platform 3 创建资源造成的，这些资源在以后的版本中已提供。

7. 创建 Migration controller CR 对象：

   $ oc create -f controller-3.yml

8. 确认 Velero 和 Restic Pod 正在运行：

   $ oc get pods -n openshift-migration

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 使用 Filter by keyword 项（在这里是 Migration）找到 Cluster Application Migration Operator。
3. 选择 Cluster Application Migration Operator 并点 Install。
4. 在 Create Operator Subscription 页面中，选择 openshift-migration 命名空间，并指定批准策略。

5. 点 Subscribe。

   在 Installed Operators 页中，Cluster Application Migration Operator 会出现在 openshift-migration 项目中，其状态为 InstallSucceeded。

6. 在 Provided APIs 中点 View 12 more…​.
7. 点 Create New → MigrationController。
8. 点击 Create。
9. 点 Workloads → Pod 来验证 Controller Manager 、Migration UI 、Restic 和 Velero Pod 是否正在运行。

流程

1. 登录到已安装 CAM 工具的集群。

2. 获取 CORS 配置的值：

   $ oc get -n openshift-migration route/migration -o go-template='(?i)//{{ .spec.host }}(:|\z){{ println }}' | sed 's,\.,\\.,g'

3. 登陆到 OpenShift Container Platform 3 源集群。

4. 将 CORS 配置值添加到 /etc/origin/master/master-config.yaml 配置文件的 corsAllowedOrigins 字段中：

   corsAllowedOrigins:
   - (?i)//migration-openshift-migration\.apps\.cluster\.com(:|\z) 1
   - (?i)//openshift\.default\.svc(:|\z)
   - (?i)//kubernetes\.default(:|\z)

   1

   指定您的 CORS 配置。

5. 重启 API 服务器和控制器管理器以应用更改：

   • 在 OpenShift Container Platform 3.7 和 3.9 中，这些组件作为独立主机进程运行，由 systemd 管理，并通过运行以下命令来重新启动：

     $ systemctl restart atomic-openshift-master-api atomic-openshift-master-controllers

   • 在 OpenShift Container Platform 3.10 和 3.11 中，这些组件在由 kubelet 管理的静态 Pod 中运行，并通过运行以下命令来重新启动：

     $ /usr/local/bin/master-restart api
     $ /usr/local/bin/master-restart controllers

6. 验证配置：

   $ curl -v -k -X OPTIONS \
   "<cluster_url>/apis/migration.openshift.io/v1alpha1/namespaces/openshift-migration/migclusters" \ 1
   -H "Access-Control-Request-Method: GET" \
   -H "Access-Control-Request-Headers: authorization" \
   -H "Origin: https://<CAM_web_console_url>" 2

   1

   指定您配置的 CORS 集群的 URL。

   2

   指定 CAM web 控制台的 URL。URL 基于 CORS 配置值，例如 https://migration-openshift-migration.apps.cluster。

   输出结果类似如下：

   < HTTP/2 204
   < access-control-allow-credentials: true
   < access-control-allow-headers: Content-Type, Content-Length, Accept-Encoding, X-CSRF-Token, Authorization, X-Requested-With, If-Modified-Since
   < access-control-allow-methods: POST, GET, OPTIONS, PUT, DELETE, PATCH
   < access-control-allow-origin: https://migration-openshift-migration.apps.cluster
   < access-control-expose-headers: Date
   < cache-control: no-store

流程

1. 登录到已安装 CAM 工具的 OpenShift Container Platform 集群。

2. 运行以下命令来获取 CAM web 控制台 URL:

   $ oc get -n openshift-migration route/migration -o go-template='https://{{ .spec.host }}'
   https://migration-openshift-migration.apps.<cluster>.openshift.com

3. 启动浏览器并进入 CAM web 控制台。

   注意

   如果在安装 CAM Operator 后尝试立即访问 CAM web 控制台，则该控制台可能无法加载，因为 Operator 仍然在配置集群并正在启用跨原始资源共享。等待几分钟后重试。

4. 如果您使用自签名的 CA 证书，则会提示您接受源集群 API 服务器的 CA 证书。网页会引导您接受剩余证书的过程。
5. 使用 OpenShift Container Platform 的用户名和密码进行登陆。

流程

1. 登录到源集群。

2. 获取服务帐户令牌：

   $ oc sa get-token mig -n openshift-migration
   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJtaWciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoibWlnLXRva2VuLWs4dDJyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6Im1pZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImE1YjFiYWMwLWMxYmYtMTFlOS05Y2NiLTAyOWRmODYwYjMwOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDptaWc6bWlnIn0.xqeeAINK7UXpdRqAtOj70qhBJPeMwmgLomV9iFxr5RoqUgKchZRG2J2rkqmPm6vr7K-cm7ibD1IBpdQJCcVDuoHYsFgV4mp9vgOfn9osSDp2TGikwNz4Az95e81xnjVUmzh-NjDsEpw71DH92iHV_xt2sTwtzftS49LpPW2LjrV0evtNBP_t_RfskdArt5VSv25eORl7zScqfe1CiMkcVbf2UqACQjo3LbkpfN26HAioO2oH0ECPiRzT0Xyh-KwFutJLS9Xgghyw-LD9kPKcE_xbbJ9Y4Rqajh7WdPYuB0Jd9DPVrslmzK-F6cgHHYoZEv0SvLQi-PO0rpDrcjOEQQ

3. 登录到 CAM web 控制台。
4. 在 Clusters 部分，点 Add cluster。

5. 填写以下字段：

   • Cluster name：可包括小写字母（a-z）和数字（0-9）。不能包含空格或国际字符。
   • URL：集群 API 服务器的 URL，如 https://<master1.example.com>:8443。
   • Service account token：从源集群获取的字符串。
   • Azure cluster：可选。如果要使用 Azure 快照复制数据，请选择此项。
   • Azure resource group：如果选中了 Azure cluster，则会出现此字段。

6. 点 Add cluster。

   集群会出现在 Clusters 部分。

流程

1. 登录到 CAM web 控制台。
2. 在 Replication repositories 部分，点 Add repository。

3. 选择 Storage provider type 并填写以下字段：

   • AWS 适用于 S3、MCSG 和通用 S3 供应商：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • S3 bucket name：指定您创建的 S3 存储桶的名称。
     • S3 bucket region：指定 S3 存储桶区域。AWS S3 必填。Optional 用于其他 S3 供应商。
     • S3 端点：指定 S3 服务的 URL，而不是存储桶，例如：https://<s3-storage.apps.cluster.com>。通用 S3 供应商必填。您必须使用 https:// 前缀。
     • S3 provider access key：为 AWS 指定 <AWS_SECRET_ACCESS_KEY> ，或者为 MCG 指定 S3 供应商访问密钥。
     • S3 provider secret access key：为 AWS 指定 <AWS_ACCESS_KEY_ID> ，或者为 MCG 指定 S3 供应商 secret 访问密钥。
     • Require SSL verification：如果您使用的是通用 S3 供应商，则清除此复选框。

   • GCP：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • GCP bucket name：指定 GCP 存储桶的名称。
     • GCP credential JSON blob：在 credentials-velero 文件中指定字符串。

   • Azure：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • Azure resource group：指定 Azure Blob 存储的资源组。
     • Azure storage account name：指定 Azure Blob 存储帐户名称
     • Azure credentials - INI file contents：在 credentials-velero 文件中指定字符串。
4. 点 Add repository 并等待连接验证。

5. 点 Close。

   新存储库会出现在 Replication repositories 部分。

流程

1. 编辑迁移控制器 CR：

   $ oc get migrationcontroller -n openshift-migration
   NAME AGE
   migration-controller 5d19h
   
   $ oc edit migrationcontroller -n openshift-migration

2. 更新以下参数：

   [...]
   migration_controller: true
   
   # This configuration is loaded into mig-controller, and should be set on the
   # cluster where `migration_controller: true`
   mig_pv_limit: 100
   mig_pod_limit: 100
   mig_namespace_limit: 10
   [...]

流程

1. 登录到 CAM web 控制台。
2. 在 Plans 部分，点 Add Plan。

3. 输入 Plan name 并点 Next。

   Plan name 最多可包含 253 个小写字母数字字符（a-z，0-9）。它不能包含空格或下划线（_）。

4. 选一个 Source cluster。
5. 选一个 Target cluster。
6. 选一个 Replication repository。
7. 选择要迁移的项目并点 Next。

8. 选择 Copy 或 Move PV：

   • Copy 将源集群的 PV 中的数据复制到复制存储库中，然后在目标集群中新创建的具有类似特征的 PV 上恢复它。
   • Move 从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。
9. 点 Next。

10. 为 PV 选择 Copy method：

    • Snapshot 使用云供应商的快照功能备份和恢复磁盘。它比 Filesystem 快得多。

      注意

      存储和集群必须位于同一区域，存储类必须兼容。

    • Filesystem 将源磁盘中的数据文件复制到新创建的目标磁盘。

11. 为 PV 选择一个 Storage class。

    如果选择了 Filesystem 复制方法，您可以在迁移过程中更改存储类，例如：从 Red Hat Gluster Storage 或 NFS 存储改为 Red Hat Ceph Storage。

12. 点 Finish。

13. 点 Close。

    迁移计划会出现在 Plans 部分。

流程

1. 登录到 OpenShift Container Platform 4 集群上的 CAM web 控制台。
2. 选择迁移计划。

3. 点 Stage 以在不停止应用程序的情况下，将数据从源集群复制到目标集群。

   您可以多次运行 Stage 以减少实际迁移时间。

4. 当准备好迁移应用程序工作负载时，点 Migrate。

   Migrate 在源集群中停止应用程序工作负载，并在目标集群中重新创建其资源。

5. 另外，还可以在 Migrate 窗口中选择 Do not stop applications on the source cluster during migration。
6. 点 Migrate。

7. 迁移完成后，在 OpenShift Container Platform 4.2 web 控制台中确认已成功迁移了应用程序：

   1. 点 Home → Projects。
   2. 点迁移的项目查看其状态。
   3. 在 Routes 部分，点击 Location 验证应用程序是否正常运行。
   4. 点 Workloads → Pods 来验证 Pod 在迁移的命名空间中运行。
   5. 点 Storage → Persistent volumes 确认正确置备了被迁移的持久性卷。

流程

1. 在 Red Hat 客户门户网站中，导航至 Downloads → Red Hat OpenShift Container Platform。
2. 在 Download Red Hat OpenShift Container Platform 页面中，从 Product Variant 列表中选择 Red Hat OpenShift Container Platform 。
3. 从 Version 列表中选择 CPMA 1.0 for RHEL 7。这个二进制文件适用于 RHEL 7 和 RHEL 8。
4. 点 Download Now 为 Linux 或 MacOSX 下载 cpma，或为 Windows 下载 cpma.exe。
5. 对于 Linux 或 MacOSX，把文件保存在由 $PATH 定义的目录中；对于 Windows，把文件保存在由 %PATH% 定义的目录中。

6. 对于 Linux，把文件设置为可执行：

   $ sudo chmod +x cpma

流程

1. 登陆到 OpenShift Container Platform 3 集群：

   $ oc login https://<master1.example.com> 1

   1

   OpenShift Container Platform 3 主（master）节点。您必须登录到集群以接收 Kubernetes 和 OpenShift Container Platform API 的令牌。

2. 运行 CPMA。根据每个提示输入，如下例所示：

   $ cpma --manifests=false 1
   ? Do you wish to save configuration for future use? true
   ? What will be the source for OCP3 config files? Remote host 2
   ? Path to crio config file /etc/crio/crio.conf
   ? Path to etcd config file /etc/etcd/etcd.conf
   ? Path to master config file /etc/origin/master/master-config.yaml
   ? Path to node config file /etc/origin/node/node-config.yaml
   ? Path to registries config file /etc/containers/registries.conf
   ? Do wish to find source cluster using KUBECONFIG or prompt it? KUBECONFIG
   ? Select cluster obtained from KUBECONFIG contexts master1-example-com:443
   ? Select master node master1.example.com
   ? SSH login root 3
   ? SSH Port 22
   ? Path to private SSH key /home/user/.ssh/openshift_key
   ? Path to application data, skip to use current directory .
   INFO[29 Aug 19 00:07 UTC] Starting manifest and report generation
   INFO[29 Aug 19 00:07 UTC] Transform:Starting for - API
   INFO[29 Aug 19 00:07 UTC] APITransform::Extract
   INFO[29 Aug 19 00:07 UTC] APITransform::Transform:Reports
   INFO[29 Aug 19 00:07 UTC] Transform:Starting for - Cluster
   INFO[29 Aug 19 00:08 UTC] ClusterTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportQuotas
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportPVs
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportNamespaces
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportNodes
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportRBAC
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportStorageClasses
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Crio
   INFO[29 Aug 19 00:08 UTC] CrioTransform::Extract
   WARN[29 Aug 19 00:08 UTC] Skipping Crio: No configuration file available
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Docker
   INFO[29 Aug 19 00:08 UTC] DockerTransform::Extract
   INFO[29 Aug 19 00:08 UTC] DockerTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - ETCD
   INFO[29 Aug 19 00:08 UTC] ETCDTransform::Extract
   INFO[29 Aug 19 00:08 UTC] ETCDTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - OAuth
   INFO[29 Aug 19 00:08 UTC] OAuthTransform::Extract
   INFO[29 Aug 19 00:08 UTC] OAuthTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - SDN
   INFO[29 Aug 19 00:08 UTC] SDNTransform::Extract
   INFO[29 Aug 19 00:08 UTC] SDNTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Image
   INFO[29 Aug 19 00:08 UTC] ImageTransform::Extract
   INFO[29 Aug 19 00:08 UTC] ImageTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Project
   INFO[29 Aug 19 00:08 UTC] ProjectTransform::Extract
   INFO[29 Aug 19 00:08 UTC] ProjectTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Flushing reports to disk
   INFO[29 Aug 19 00:08 UTC] Report:Added: report.json
   INFO[29 Aug 19 00:08 UTC] Report:Added: report.html
   INFO[29 Aug 19 00:08 UTC] Successfully finished transformations

   1

   --manifests=false：不生成 CR 清单

   2

   Remote host：远程模式

   3

   SSH login：为了访问配置文件，SSH 用户必须在 OpenShift Container Platform 3 集群上具有 sudo 权限。

   如果您没有指定输出目录，CPMA 会在当前目录中创建以下文件和目录：

   • cpma.yaml 文件：运行 CPMA 时提供的配置选项
   • master1.example.com/: master 节点中的配置文件
   • report.json: JSON 格式的报告
   • report.html: HTML 格式的报告
3. 在浏览器中打开 report.html 文件来查看 CPMA 报告。

4. 如果生成 CR 清单，将 CR 清单应用到 OpenShift Container Platform 4.2 集群，如下例所示：

   $ oc apply -f 100_CPMA-cluster-config-secret-htpasswd-secret.yaml

流程

1. 获取 CR 名称：

   $ oc get <cr> -n openshift-migration 1
   NAME                                   AGE
   88435fe0-c9f8-11e9-85e6-5d593ce65e10   6m42s

   1

   指定您要查看的迁移 CR。

2. 查看 CR：

   $ oc describe <cr> 88435fe0-c9f8-11e9-85e6-5d593ce65e10 -n openshift-migration

   输出结果类似以下示例。

流程

1. 登录到 CAM 控制台。
2. 点击 Plans 查看迁移计划列表。
3. 点一个迁移计划的 Options 菜单 并选择 Logs。
4. 点 Download Logs 为所有集群下载迁移控制器、Velero 和 Restic 的日志。

5. 要下载特定的日志：

   1. 指定日志选项：

      • Cluster：选择源、目标或 CAM 主机集群。
      • Log source：选择 Velero、Restic 或 Controller。

      • Pod source：选择 Pod 名称，例如：controller-manager-78c469849c-v6wcf

        此时会显示所选日志。

        您可以通过更改您的选择来清除日志选择设置。

   2. 点 Download Selected 下载所选日志。

流程

1. 在 OpenShift Container Platform web 控制台中导航至 Operators → Installed Operators。
2. 点 Cluster Application Migration Operator。
3. 在 MigrationController 标签页中点 migration-controller。

4. 在 YAML 标签页中，更新以下参数值：

   spec:
     restic_timeout: 1h 1

   1

   有效单元是 h （小时）、m （分钟）和 s （秒），例如 3h30m15s。

5. 点 Save。

流程

1. 在目标集群中，切换到迁移的项目：

   $ oc project <project>

2. 获取部署的资源：

   $ oc get all

3. 删除部署的资源以确保应用程序没有在目标集群中运行，并访问 PVC 上的数据：

   $ oc delete <resource_type>

4. 要停止 DaemonSet 而不删除它，在 YAML 文件中更新 nodeSelector ：

   apiVersion: extensions/v1beta1
   kind: DaemonSet
   metadata:
     name: hello-daemonset
   spec:
     selector:
         matchLabels:
           name: hello-daemonset
     template:
       metadata:
         labels:
           name: hello-daemonset
       spec:
         nodeSelector:
           role: worker 1

   1

   指定一个没有存在于任何节点上的nodeSelector 值。

5. 更新每个 PV 的重新声明策略，以便删除不必要的数据。在迁移过程中，绑定 PV 的重新声明策略是reclaim，以确保应用程序从源集群中被删除时不会丢失数据。您可以在回滚过程中删除这些 PV。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain 1
     ...
   status:
     ...

   1

   指定 Recycle 或 Delete。

6. 在源集群中，切换到迁移的项目并获取其部署的资源：

   $ oc project <project>
   $ oc get all

7. 启动每个部署资源的一个或多个副本：

   $ oc scale --replicas=1 <resource_type>/<resource_name>

8. 如果在操作中被更改了，把 DaemonSet 的 nodeSelector 改回其原始值。

流程

1. 进入要存储 must-gather 数据的目录。

2. 运行 oc adm must-gather 命令：

   $ oc adm must-gather --image=registry.redhat.io/rhcam-1-2/openshift-migration-must-gather-rhel8

   must-gather 工具程序收集集群数据，并把它保存在 must-gather.local.<uid> 目录中。

3. 从 must-gather 数据中删除验证密钥和其他敏感信息。

4. 创建一个包含 must-gather.local.<uid> 目录内容的归档文件：

   $ tar cvaf must-gather.tar.gz must-gather.local.<uid>/

   在红帽客户门户中，为您的问题单附上这个压缩文件。

1. 在所有集群中安装 Cluster Application Migration Operator

   注意

   Cluster Application Migration Operator 默认在目标集群上安装 CAM 工具（CAM web 控制台和迁移控制器）。您可以 在 OpenShift Container Platform 3 和远程集群中安装 CAM 工具。

2. 配置复制存储库，这是 CAM 工具用来迁移数据的中间对象存储
3. 在 CAM web 控制台中添加源集群
4. 在 CAM web 控制台中添加复制存储库

5. 创建迁移计划，包含以下数据迁移选项之一：

   • Copy：CAM 工具将数据从源集群复制到复制存储库，再从复制存储库把数据复制到目标集群。

     

   • Move：CAM 工具从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。

     注意

     虽然复制存储库没有出现在此图表中，但实际迁移过程需要它。

     

6. 运行迁移计划，使用以下选项之一：

   • Stage （可选）在不停止应用程序的情况下将数据复制到目标集群。

     Stage 可以多次运行，以便在迁移前将大多数数据复制到目标。这样可最小化实际迁移时间和应用程序停机时间。

   • Migrate 在源集群中停止应用程序，并在目标集群中重新创建其资源。您可以选择在不停止应用程序的情况下迁移工作负载。

流程

1. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket <bucket_name> \ 1
       --region <bucket_region> 2

   1

   指定 S3 存储桶名称。

   2

   指定 S3 存储桶区域，例如 us-east-1。

2. 创建 IAM 用户 velero：

   $ aws iam create-user --user-name velero

3. 创建 EC2 EBS 快照策略：

   $ cat > velero-ec2-snapshot-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           }
       ]
   }
   EOF

4. 为一个或所有 S3 存储桶创建 AWS S3 访问策略：

   $ cat > velero-s3-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>/*" 1
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>" 2
               ]
           }
       ]
   }
   EOF

   1 2

   要授予对单一 S3 存储桶的访问权限，请指定存储桶名称。要授予对所有 AWS S3 存储桶的访问权限，请指定 * 而不是存储桶名称：

   "Resource": [
       "arn:aws:s3:::*"

5. 将 EC2 EBS 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-ebs \
     --policy-document file://velero-ec2-snapshot-policy.json

6. 将 AWS S3 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-s3 \
     --policy-document file://velero-s3-policy.json

7. 为 velero 创建访问密钥：

   $ aws iam create-access-key --user-name velero
   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>, 1
           "AccessKeyId": <AWS_ACCESS_KEY_ID> 2
       }
   }

   1 2

   记录 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY_ID 以将 AWS 存储库添加到 CAM Web 控制台。

流程

1. 运行 gsutil init 以登录：

   $ gsutil init
   Welcome! This command will take you through the configuration of gcloud.
   
   Your current configuration has been set to: [default]
   
   To continue, you must login. Would you like to login (Y/n)?

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket_name> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建 velero 服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero Storage"

6. 将 SERVICE_ACCOUNT_EMAIL 变量设置为服务帐户的电子邮件地址：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
     --filter="displayName:Velero Storage" \
     --format 'value(email)')

7. 向服务帐户授予权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
   )
   
   gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
   
   gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
       --role projects/$PROJECT_ID/roles/velero.server
   
   gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

8. 将服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

   $ gcloud iam service-accounts keys create credentials-velero \
     --iam-account $SERVICE_ACCOUNT_EMAIL

流程

1. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

2. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location <CentralUS> 1

   1

   指定位置。

3. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID=velerobackups

4. 创建 Azure 存储帐户：

   $ az storage account create \
     --name $AZURE_STORAGE_ACCOUNT_ID \
     --resource-group $AZURE_RESOURCE_GROUP \
     --sku Standard_GRS \
     --encryption-services blob \
     --https-only true \
     --kind BlobStorage \
     --access-tier Hot

5. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

6. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

7. 为 velero 创建服务主体和凭证：

   $ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
   $ AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
   $ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" --role "Contributor" --query 'password' -o tsv`
   $ AZURE_CLIENT_ID=`az ad sp list --display-name "velero" --query '[0].appId' -o tsv`

8. 在 credentials-velero 文件中保存服务主体的凭证：

   $ cat << EOF  > ./credentials-velero
   AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
   AZURE_TENANT_ID=${AZURE_TENANT_ID}
   AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
   AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
   AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
   AZURE_CLOUD_NAME=AzurePublicCloud
   EOF

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Catalog → OperatorHub。
2. 使用 Filter by keyword 项（在这里是 Migration）找到 Cluster Application Migration Operator。
3. 选择 Cluster Application Migration Operator 并点 Install。
4. 在 Create Operator Subscription 页面中，选择 openshift-migration 命名空间，并指定批准策略。

5. 点 Subscribe。

   在 Installed Operators 页中，Cluster Application Migration Operator 会出现在 openshift-migration 项目中，其状态为 InstallSucceeded。

6. 在 Provided APIs 中点 View 12 more…​.
7. 点 Create New → MigrationController。

8. 更新 migration_controller 和 migration_ui 参数，并在 spec 中添加 deprecated_cors_configuration 参数：

   spec:
     [...]
     migration_controller: false
     migration_ui: false
     [...]
     deprecated_cors_configuration: true

9. 点击 Create。
10. 点 Workloads → Pod 来验证 Restic 和 Velero Pod 是否正在运行。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 使用 Filter by keyword 项（在这里是 Migration）找到 Cluster Application Migration Operator。
3. 选择 Cluster Application Migration Operator 并点 Install。
4. 在 Create Operator Subscription 页面中，选择 openshift-migration 命名空间，并指定批准策略。

5. 点 Subscribe。

   在 Installed Operators 页中，Cluster Application Migration Operator 会出现在 openshift-migration 项目中，其状态为 InstallSucceeded。

6. 在 Provided APIs 中点 View 12 more…​.
7. 点 Create New → MigrationController。
8. 点击 Create。
9. 点 Workloads → Pod 来验证 Controller Manager 、Migration UI 、Restic 和 Velero Pod 是否正在运行。

流程

1. 登录到已安装 CAM 工具的集群。

2. 获取 CORS 配置的值：

   $ oc get -n openshift-migration route/migration -o go-template='(?i)//{{ .spec.host }}(:|\z){{ println }}' | sed 's,\.,\\.,g'

3. 登录到源集群。

4. 编辑 OAuth 服务器 CR：

   $ oc edit authentication.operator cluster

5. 将 CORS 配置值添加到 spec 的 unsupportedConfigOverrides 下的 corsAllowedOrigins 中：

   spec:
     unsupportedConfigOverrides:
       corsAllowedOrigins:
       - (?i)//migration-openshift-migration\.apps\.cluster\.com(:|\z) 1

   1

   指定您的 CORS 配置值。

6. 保存文件以使改变生效。

7. 编辑 Kubernetes API 服务器 CR：

   $ oc edit kubeapiserver.operator cluster

8. 将 CORS 配置值添加到 spec 的 unsupportedConfigOverrides 下的 corsAllowedOrigins 中：

   spec:
     unsupportedConfigOverrides:
       corsAllowedOrigins:
       - (?i)//migration-openshift-migration\.apps\.cluster\.com(:|\z) 1

   1

   指定您的 CORS 配置值。

9. 保存文件以使改变生效。

10. 验证配置：

    $ curl -v -k -X OPTIONS \
    "<cluster_url>/apis/migration.openshift.io/v1alpha1/namespaces/openshift-migration/migclusters" \ 1
    -H "Access-Control-Request-Method: GET" \
    -H "Access-Control-Request-Headers: authorization" \
    -H "Origin: https://<CAM_web_console_url>" 2

    1

    指定您配置的 CORS 集群的 URL。

    2

    指定 CAM web 控制台的 URL。URL 基于 CORS 配置值，例如 https://migration-openshift-migration.apps.cluster。

    输出结果类似如下：

    < HTTP/2 204
    < access-control-allow-credentials: true
    < access-control-allow-headers: Content-Type, Content-Length, Accept-Encoding, X-CSRF-Token, Authorization, X-Requested-With, If-Modified-Since
    < access-control-allow-methods: POST, GET, OPTIONS, PUT, DELETE, PATCH
    < access-control-allow-origin: https://migration-openshift-migration.apps.cluster
    < access-control-expose-headers: Date
    < cache-control: no-store

流程

1. 登录到已安装 CAM 工具的 OpenShift Container Platform 集群。

2. 运行以下命令来获取 CAM web 控制台 URL:

   $ oc get -n openshift-migration route/migration -o go-template='https://{{ .spec.host }}'
   https://migration-openshift-migration.apps.<cluster>.openshift.com

3. 启动浏览器并进入 CAM web 控制台。

   注意

   如果在安装 CAM Operator 后尝试立即访问 CAM web 控制台，则该控制台可能无法加载，因为 Operator 仍然在配置集群并正在启用跨原始资源共享。等待几分钟后重试。

4. 如果您使用自签名的 CA 证书，则会提示您接受源集群 API 服务器的 CA 证书。网页会引导您接受剩余证书的过程。
5. 使用 OpenShift Container Platform 的用户名和密码进行登陆。

流程

1. 登录到源集群。

2. 获取服务帐户令牌：

   $ oc sa get-token mig -n openshift-migration
   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJtaWciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoibWlnLXRva2VuLWs4dDJyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6Im1pZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImE1YjFiYWMwLWMxYmYtMTFlOS05Y2NiLTAyOWRmODYwYjMwOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDptaWc6bWlnIn0.xqeeAINK7UXpdRqAtOj70qhBJPeMwmgLomV9iFxr5RoqUgKchZRG2J2rkqmPm6vr7K-cm7ibD1IBpdQJCcVDuoHYsFgV4mp9vgOfn9osSDp2TGikwNz4Az95e81xnjVUmzh-NjDsEpw71DH92iHV_xt2sTwtzftS49LpPW2LjrV0evtNBP_t_RfskdArt5VSv25eORl7zScqfe1CiMkcVbf2UqACQjo3LbkpfN26HAioO2oH0ECPiRzT0Xyh-KwFutJLS9Xgghyw-LD9kPKcE_xbbJ9Y4Rqajh7WdPYuB0Jd9DPVrslmzK-F6cgHHYoZEv0SvLQi-PO0rpDrcjOEQQ

3. 登录到 CAM web 控制台。
4. 在 Clusters 部分，点 Add cluster。

5. 填写以下字段：

   • Cluster name：可包括小写字母（a-z）和数字（0-9）。不能包含空格或国际字符。
   • URL：集群 API 服务器的 URL，如 https://<master1.example.com>:8443。
   • Service account token：从源集群获取的字符串。
   • Azure cluster：可选。如果要使用 Azure 快照复制数据，请选择此项。
   • Azure resource group：如果选中了 Azure cluster，则会出现此字段。

6. 点 Add cluster。

   集群会出现在 Clusters 部分。

流程

1. 登录到 CAM web 控制台。
2. 在 Replication repositories 部分，点 Add repository。

3. 选择 Storage provider type 并填写以下字段：

   • AWS 适用于 S3、MCSG 和通用 S3 供应商：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • S3 bucket name：指定您创建的 S3 存储桶的名称。
     • S3 bucket region：指定 S3 存储桶区域。AWS S3 必填。Optional 用于其他 S3 供应商。
     • S3 端点：指定 S3 服务的 URL，而不是存储桶，例如：https://<s3-storage.apps.cluster.com>。通用 S3 供应商必填。您必须使用 https:// 前缀。
     • S3 provider access key：为 AWS 指定 <AWS_SECRET_ACCESS_KEY> ，或者为 MCG 指定 S3 供应商访问密钥。
     • S3 provider secret access key：为 AWS 指定 <AWS_ACCESS_KEY_ID> ，或者为 MCG 指定 S3 供应商 secret 访问密钥。
     • Require SSL verification：如果您使用的是通用 S3 供应商，则清除此复选框。

   • GCP：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • GCP bucket name：指定 GCP 存储桶的名称。
     • GCP credential JSON blob：在 credentials-velero 文件中指定字符串。

   • Azure：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • Azure resource group：指定 Azure Blob 存储的资源组。
     • Azure storage account name：指定 Azure Blob 存储帐户名称
     • Azure credentials - INI file contents：在 credentials-velero 文件中指定字符串。
4. 点 Add repository 并等待连接验证。

5. 点 Close。

   新存储库会出现在 Replication repositories 部分。

流程

1. 编辑迁移控制器 CR：

   $ oc get migrationcontroller -n openshift-migration
   NAME AGE
   migration-controller 5d19h
   
   $ oc edit migrationcontroller -n openshift-migration

2. 更新以下参数：

   [...]
   migration_controller: true
   
   # This configuration is loaded into mig-controller, and should be set on the
   # cluster where `migration_controller: true`
   mig_pv_limit: 100
   mig_pod_limit: 100
   mig_namespace_limit: 10
   [...]

流程

1. 登录到 CAM web 控制台。
2. 在 Plans 部分，点 Add Plan。

3. 输入 Plan name 并点 Next。

   Plan name 最多可包含 253 个小写字母数字字符（a-z，0-9）。它不能包含空格或下划线（_）。

4. 选一个 Source cluster。
5. 选一个 Target cluster。
6. 选一个 Replication repository。
7. 选择要迁移的项目并点 Next。

8. 选择 Copy 或 Move PV：

   • Copy 将源集群的 PV 中的数据复制到复制存储库中，然后在目标集群中新创建的具有类似特征的 PV 上恢复它。
   • Move 从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。
9. 点 Next。

10. 为 PV 选择 Copy method：

    • Snapshot 使用云供应商的快照功能备份和恢复磁盘。它比 Filesystem 快得多。

      注意

      存储和集群必须位于同一区域，存储类必须兼容。

    • Filesystem 将源磁盘中的数据文件复制到新创建的目标磁盘。

11. 为 PV 选择一个 Storage class。

    如果选择了 Filesystem 复制方法，您可以在迁移过程中更改存储类，例如：从 Red Hat Gluster Storage 或 NFS 存储改为 Red Hat Ceph Storage。

12. 点 Finish。

13. 点 Close。

    迁移计划会出现在 Plans 部分。

流程

1. 登录到 OpenShift Container Platform 4 集群上的 CAM web 控制台。
2. 选择迁移计划。

3. 点 Stage 以在不停止应用程序的情况下，将数据从源集群复制到目标集群。

   您可以多次运行 Stage 以减少实际迁移时间。

4. 当准备好迁移应用程序工作负载时，点 Migrate。

   Migrate 在源集群中停止应用程序工作负载，并在目标集群中重新创建其资源。

5. 另外，还可以在 Migrate 窗口中选择 Do not stop applications on the source cluster during migration。
6. 点 Migrate。

7. 迁移完成后，在 OpenShift Container Platform 4.2 web 控制台中确认已成功迁移了应用程序：

   1. 点 Home → Projects。
   2. 点迁移的项目查看其状态。
   3. 在 Routes 部分，点击 Location 验证应用程序是否正常运行。
   4. 点 Workloads → Pods 来验证 Pod 在迁移的命名空间中运行。
   5. 点 Storage → Persistent volumes 确认正确置备了被迁移的持久性卷。

流程

1. 获取 CR 名称：

   $ oc get <cr> -n openshift-migration 1
   NAME                                   AGE
   88435fe0-c9f8-11e9-85e6-5d593ce65e10   6m42s

   1

   指定您要查看的迁移 CR。

2. 查看 CR：

   $ oc describe <cr> 88435fe0-c9f8-11e9-85e6-5d593ce65e10 -n openshift-migration

   输出结果类似以下示例。

流程

1. 登录到 CAM 控制台。
2. 点击 Plans 查看迁移计划列表。
3. 点一个迁移计划的 Options 菜单 并选择 Logs。
4. 点 Download Logs 为所有集群下载迁移控制器、Velero 和 Restic 的日志。

5. 要下载特定的日志：

   1. 指定日志选项：

      • Cluster：选择源、目标或 CAM 主机集群。
      • Log source：选择 Velero、Restic 或 Controller。

      • Pod source：选择 Pod 名称，例如：controller-manager-78c469849c-v6wcf

        此时会显示所选日志。

        您可以通过更改您的选择来清除日志选择设置。

   2. 点 Download Selected 下载所选日志。

流程

1. 在 OpenShift Container Platform web 控制台中导航至 Operators → Installed Operators。
2. 点 Cluster Application Migration Operator。
3. 在 MigrationController 标签页中点 migration-controller。

4. 在 YAML 标签页中，更新以下参数值：

   spec:
     restic_timeout: 1h 1

   1

   有效单元是 h （小时）、m （分钟）和 s （秒），例如 3h30m15s。

5. 点 Save。

流程

1. 在目标集群中，切换到迁移的项目：

   $ oc project <project>

2. 获取部署的资源：

   $ oc get all

3. 删除部署的资源以确保应用程序没有在目标集群中运行，并访问 PVC 上的数据：

   $ oc delete <resource_type>

4. 要停止 DaemonSet 而不删除它，在 YAML 文件中更新 nodeSelector ：

   apiVersion: extensions/v1beta1
   kind: DaemonSet
   metadata:
     name: hello-daemonset
   spec:
     selector:
         matchLabels:
           name: hello-daemonset
     template:
       metadata:
         labels:
           name: hello-daemonset
       spec:
         nodeSelector:
           role: worker 1

   1

   指定一个没有存在于任何节点上的nodeSelector 值。

5. 更新每个 PV 的重新声明策略，以便删除不必要的数据。在迁移过程中，绑定 PV 的重新声明策略是reclaim，以确保应用程序从源集群中被删除时不会丢失数据。您可以在回滚过程中删除这些 PV。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain 1
     ...
   status:
     ...

   1

   指定 Recycle 或 Delete。

6. 在源集群中，切换到迁移的项目并获取其部署的资源：

   $ oc project <project>
   $ oc get all

7. 启动每个部署资源的一个或多个副本：

   $ oc scale --replicas=1 <resource_type>/<resource_name>

8. 如果在操作中被更改了，把 DaemonSet 的 nodeSelector 改回其原始值。

流程

1. 进入要存储 must-gather 数据的目录。

2. 运行 oc adm must-gather 命令：

   $ oc adm must-gather --image=registry.redhat.io/rhcam-1-2/openshift-migration-must-gather-rhel8

   must-gather 工具程序收集集群数据，并把它保存在 must-gather.local.<uid> 目录中。

3. 从 must-gather 数据中删除验证密钥和其他敏感信息。

4. 创建一个包含 must-gather.local.<uid> 目录内容的归档文件：

   $ tar cvaf must-gather.tar.gz must-gather.local.<uid>/

   在红帽客户门户中，为您的问题单附上这个压缩文件。

1. 在所有集群中安装 Cluster Application Migration Operator

   注意

   Cluster Application Migration Operator 默认在目标集群上安装 CAM 工具（CAM web 控制台和迁移控制器）。您可以 在 OpenShift Container Platform 3 和远程集群中安装 CAM 工具。

2. 配置复制存储库，这是 CAM 工具用来迁移数据的中间对象存储
3. 在 CAM web 控制台中添加源集群
4. 在 CAM web 控制台中添加复制存储库

5. 创建迁移计划，包含以下数据迁移选项之一：

   • Copy：CAM 工具将数据从源集群复制到复制存储库，再从复制存储库把数据复制到目标集群。

     

   • Move：CAM 工具从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。

     注意

     虽然复制存储库没有出现在此图表中，但实际迁移过程需要它。

     

6. 运行迁移计划，使用以下选项之一：

   • Stage （可选）在不停止应用程序的情况下将数据复制到目标集群。

     Stage 可以多次运行，以便在迁移前将大多数数据复制到目标。这样可最小化实际迁移时间和应用程序停机时间。

   • Migrate 在源集群中停止应用程序，并在目标集群中重新创建其资源。您可以选择在不停止应用程序的情况下迁移工作负载。

流程

1. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket <bucket_name> \ 1
       --region <bucket_region> 2

   1

   指定 S3 存储桶名称。

   2

   指定 S3 存储桶区域，例如 us-east-1。

2. 创建 IAM 用户 velero：

   $ aws iam create-user --user-name velero

3. 创建 EC2 EBS 快照策略：

   $ cat > velero-ec2-snapshot-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           }
       ]
   }
   EOF

4. 为一个或所有 S3 存储桶创建 AWS S3 访问策略：

   $ cat > velero-s3-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>/*" 1
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>" 2
               ]
           }
       ]
   }
   EOF

   1 2

   要授予对单一 S3 存储桶的访问权限，请指定存储桶名称。要授予对所有 AWS S3 存储桶的访问权限，请指定 * 而不是存储桶名称：

   "Resource": [
       "arn:aws:s3:::*"

5. 将 EC2 EBS 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-ebs \
     --policy-document file://velero-ec2-snapshot-policy.json

6. 将 AWS S3 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-s3 \
     --policy-document file://velero-s3-policy.json

7. 为 velero 创建访问密钥：

   $ aws iam create-access-key --user-name velero
   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>, 1
           "AccessKeyId": <AWS_ACCESS_KEY_ID> 2
       }
   }

   1 2

   记录 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY_ID 以将 AWS 存储库添加到 CAM Web 控制台。

流程

1. 运行 gsutil init 以登录：

   $ gsutil init
   Welcome! This command will take you through the configuration of gcloud.
   
   Your current configuration has been set to: [default]
   
   To continue, you must login. Would you like to login (Y/n)?

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket_name> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建 velero 服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero Storage"

6. 将 SERVICE_ACCOUNT_EMAIL 变量设置为服务帐户的电子邮件地址：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
     --filter="displayName:Velero Storage" \
     --format 'value(email)')

7. 向服务帐户授予权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
   )
   
   gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
   
   gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
       --role projects/$PROJECT_ID/roles/velero.server
   
   gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

8. 将服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

   $ gcloud iam service-accounts keys create credentials-velero \
     --iam-account $SERVICE_ACCOUNT_EMAIL

流程

1. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

2. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location <CentralUS> 1

   1

   指定位置。

3. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID=velerobackups

4. 创建 Azure 存储帐户：

   $ az storage account create \
     --name $AZURE_STORAGE_ACCOUNT_ID \
     --resource-group $AZURE_RESOURCE_GROUP \
     --sku Standard_GRS \
     --encryption-services blob \
     --https-only true \
     --kind BlobStorage \
     --access-tier Hot

5. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

6. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

7. 为 velero 创建服务主体和凭证：

   $ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
   $ AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
   $ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" --role "Contributor" --query 'password' -o tsv`
   $ AZURE_CLIENT_ID=`az ad sp list --display-name "velero" --query '[0].appId' -o tsv`

8. 在 credentials-velero 文件中保存服务主体的凭证：

   $ cat << EOF  > ./credentials-velero
   AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
   AZURE_TENANT_ID=${AZURE_TENANT_ID}
   AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
   AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
   AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
   AZURE_CLOUD_NAME=AzurePublicCloud
   EOF

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 使用 Filter by keyword 项（在这里是 Migration）找到 Cluster Application Migration Operator。
3. 选择 Cluster Application Migration Operator 并点 Install。
4. 在 Create Operator Subscription 页面中，选择 openshift-migration 命名空间，并指定批准策略。

5. 点 Subscribe。

   在 Installed Operators 页中，Cluster Application Migration Operator 会出现在 openshift-migration 项目中，其状态为 InstallSucceeded。

6. 在 Provided APIs 中点 View 12 more…​.
7. 点 Create New → MigrationController。

8. 在 spec 小节中更新 migration_controller 和 migration_ui 参数：

   spec:
     [...]
     migration_controller: false
     migration_ui: false
     [...]

9. 点击 Create。
10. 点 Workloads → Pod 来验证 Restic 和 Velero Pod 是否正在运行。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 使用 Filter by keyword 项（在这里是 Migration）找到 Cluster Application Migration Operator。
3. 选择 Cluster Application Migration Operator 并点 Install。
4. 在 Create Operator Subscription 页面中，选择 openshift-migration 命名空间，并指定批准策略。

5. 点 Subscribe。

   在 Installed Operators 页中，Cluster Application Migration Operator 会出现在 openshift-migration 项目中，其状态为 InstallSucceeded。

6. 在 Provided APIs 中点 View 12 more…​.
7. 点 Create New → MigrationController。
8. 点击 Create。
9. 点 Workloads → Pod 来验证 Controller Manager 、Migration UI 、Restic 和 Velero Pod 是否正在运行。

流程

1. 登录到已安装 CAM 工具的集群。

2. 获取 CORS 配置的值：

   $ oc get -n openshift-migration route/migration -o go-template='(?i)//{{ .spec.host }}(:|\z){{ println }}' | sed 's,\.,\\.,g'

3. 登录到源集群。

4. 编辑 Kubernetes API 服务器 CR：

   $ oc edit apiserver.config.openshift.io cluster

5. 将 CORS 配置值添加到 spec 小节中的 additionalCORSAllowedOrigins：

   spec:
     additionalCORSAllowedOrigins:
     - (?i)//migration-openshift-migration\.apps\.cluster\.com(:|\z) 1

   1

   指定您的 CORS 配置值。

6. 保存文件以使改变生效。

7. 验证配置：

   $ curl -v -k -X OPTIONS \
   "<cluster_url>/apis/migration.openshift.io/v1alpha1/namespaces/openshift-migration/migclusters" \ 1
   -H "Access-Control-Request-Method: GET" \
   -H "Access-Control-Request-Headers: authorization" \
   -H "Origin: https://<CAM_web_console_url>" 2

   1

   指定您配置的 CORS 集群的 URL。

   2

   指定 CAM web 控制台的 URL。URL 基于 CORS 配置值，例如 https://migration-openshift-migration.apps.cluster。

   输出结果类似如下：

   < HTTP/2 204
   < access-control-allow-credentials: true
   < access-control-allow-headers: Content-Type, Content-Length, Accept-Encoding, X-CSRF-Token, Authorization, X-Requested-With, If-Modified-Since
   < access-control-allow-methods: POST, GET, OPTIONS, PUT, DELETE, PATCH
   < access-control-allow-origin: https://migration-openshift-migration.apps.cluster
   < access-control-expose-headers: Date
   < cache-control: no-store

流程

1. 登录到已安装 CAM 工具的 OpenShift Container Platform 集群。

2. 运行以下命令来获取 CAM web 控制台 URL:

   $ oc get -n openshift-migration route/migration -o go-template='https://{{ .spec.host }}'
   https://migration-openshift-migration.apps.<cluster>.openshift.com

3. 启动浏览器并进入 CAM web 控制台。

   注意

   如果在安装 CAM Operator 后尝试立即访问 CAM web 控制台，则该控制台可能无法加载，因为 Operator 仍然在配置集群并正在启用跨原始资源共享。等待几分钟后重试。

4. 如果您使用自签名的 CA 证书，则会提示您接受源集群 API 服务器的 CA 证书。网页会引导您接受剩余证书的过程。
5. 使用 OpenShift Container Platform 的用户名和密码进行登陆。

流程

1. 登录到源集群。

2. 获取服务帐户令牌：

   $ oc sa get-token mig -n openshift-migration
   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJtaWciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoibWlnLXRva2VuLWs4dDJyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6Im1pZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImE1YjFiYWMwLWMxYmYtMTFlOS05Y2NiLTAyOWRmODYwYjMwOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDptaWc6bWlnIn0.xqeeAINK7UXpdRqAtOj70qhBJPeMwmgLomV9iFxr5RoqUgKchZRG2J2rkqmPm6vr7K-cm7ibD1IBpdQJCcVDuoHYsFgV4mp9vgOfn9osSDp2TGikwNz4Az95e81xnjVUmzh-NjDsEpw71DH92iHV_xt2sTwtzftS49LpPW2LjrV0evtNBP_t_RfskdArt5VSv25eORl7zScqfe1CiMkcVbf2UqACQjo3LbkpfN26HAioO2oH0ECPiRzT0Xyh-KwFutJLS9Xgghyw-LD9kPKcE_xbbJ9Y4Rqajh7WdPYuB0Jd9DPVrslmzK-F6cgHHYoZEv0SvLQi-PO0rpDrcjOEQQ

3. 登录到 CAM web 控制台。
4. 在 Clusters 部分，点 Add cluster。

5. 填写以下字段：

   • Cluster name：可包括小写字母（a-z）和数字（0-9）。不能包含空格或国际字符。
   • URL：集群 API 服务器的 URL，如 https://<master1.example.com>:8443。
   • Service account token：从源集群获取的字符串。
   • Azure cluster：可选。如果要使用 Azure 快照复制数据，请选择此项。
   • Azure resource group：如果选中了 Azure cluster，则会出现此字段。

6. 点 Add cluster。

   集群会出现在 Clusters 部分。

流程

1. 登录到 CAM web 控制台。
2. 在 Replication repositories 部分，点 Add repository。

3. 选择 Storage provider type 并填写以下字段：

   • AWS 适用于 S3、MCSG 和通用 S3 供应商：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • S3 bucket name：指定您创建的 S3 存储桶的名称。
     • S3 bucket region：指定 S3 存储桶区域。AWS S3 必填。Optional 用于其他 S3 供应商。
     • S3 端点：指定 S3 服务的 URL，而不是存储桶，例如：https://<s3-storage.apps.cluster.com>。通用 S3 供应商必填。您必须使用 https:// 前缀。
     • S3 provider access key：为 AWS 指定 <AWS_SECRET_ACCESS_KEY> ，或者为 MCG 指定 S3 供应商访问密钥。
     • S3 provider secret access key：为 AWS 指定 <AWS_ACCESS_KEY_ID> ，或者为 MCG 指定 S3 供应商 secret 访问密钥。
     • Require SSL verification：如果您使用的是通用 S3 供应商，则清除此复选框。

   • GCP：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • GCP bucket name：指定 GCP 存储桶的名称。
     • GCP credential JSON blob：在 credentials-velero 文件中指定字符串。

   • Azure：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • Azure resource group：指定 Azure Blob 存储的资源组。
     • Azure storage account name：指定 Azure Blob 存储帐户名称
     • Azure credentials - INI file contents：在 credentials-velero 文件中指定字符串。
4. 点 Add repository 并等待连接验证。

5. 点 Close。

   新存储库会出现在 Replication repositories 部分。

流程

1. 编辑迁移控制器 CR：

   $ oc get migrationcontroller -n openshift-migration
   NAME AGE
   migration-controller 5d19h
   
   $ oc edit migrationcontroller -n openshift-migration

2. 更新以下参数：

   [...]
   migration_controller: true
   
   # This configuration is loaded into mig-controller, and should be set on the
   # cluster where `migration_controller: true`
   mig_pv_limit: 100
   mig_pod_limit: 100
   mig_namespace_limit: 10
   [...]

流程

1. 登录到 CAM web 控制台。
2. 在 Plans 部分，点 Add Plan。

3. 输入 Plan name 并点 Next。

   Plan name 最多可包含 253 个小写字母数字字符（a-z，0-9）。它不能包含空格或下划线（_）。

4. 选一个 Source cluster。
5. 选一个 Target cluster。
6. 选一个 Replication repository。
7. 选择要迁移的项目并点 Next。

8. 选择 Copy 或 Move PV：

   • Copy 将源集群的 PV 中的数据复制到复制存储库中，然后在目标集群中新创建的具有类似特征的 PV 上恢复它。
   • Move 从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。
9. 点 Next。

10. 为 PV 选择 Copy method：

    • Snapshot 使用云供应商的快照功能备份和恢复磁盘。它比 Filesystem 快得多。

      注意

      存储和集群必须位于同一区域，存储类必须兼容。

    • Filesystem 将源磁盘中的数据文件复制到新创建的目标磁盘。

11. 为 PV 选择一个 Storage class。

    如果选择了 Filesystem 复制方法，您可以在迁移过程中更改存储类，例如：从 Red Hat Gluster Storage 或 NFS 存储改为 Red Hat Ceph Storage。

12. 点 Finish。

13. 点 Close。

    迁移计划会出现在 Plans 部分。

流程

1. 登录到 OpenShift Container Platform 4 集群上的 CAM web 控制台。
2. 选择迁移计划。

3. 点 Stage 以在不停止应用程序的情况下，将数据从源集群复制到目标集群。

   您可以多次运行 Stage 以减少实际迁移时间。

4. 当准备好迁移应用程序工作负载时，点 Migrate。

   Migrate 在源集群中停止应用程序工作负载，并在目标集群中重新创建其资源。

5. 另外，还可以在 Migrate 窗口中选择 Do not stop applications on the source cluster during migration。
6. 点 Migrate。

7. 迁移完成后，在 OpenShift Container Platform 4.2 web 控制台中确认已成功迁移了应用程序：

   1. 点 Home → Projects。
   2. 点迁移的项目查看其状态。
   3. 在 Routes 部分，点击 Location 验证应用程序是否正常运行。
   4. 点 Workloads → Pods 来验证 Pod 在迁移的命名空间中运行。
   5. 点 Storage → Persistent volumes 确认正确置备了被迁移的持久性卷。

流程

1. 获取 CR 名称：

   $ oc get <cr> -n openshift-migration 1
   NAME                                   AGE
   88435fe0-c9f8-11e9-85e6-5d593ce65e10   6m42s

   1

   指定您要查看的迁移 CR。

2. 查看 CR：

   $ oc describe <cr> 88435fe0-c9f8-11e9-85e6-5d593ce65e10 -n openshift-migration

   输出结果类似以下示例。

流程

1. 登录到 CAM 控制台。
2. 点击 Plans 查看迁移计划列表。
3. 点一个迁移计划的 Options 菜单 并选择 Logs。
4. 点 Download Logs 为所有集群下载迁移控制器、Velero 和 Restic 的日志。

5. 要下载特定的日志：

   1. 指定日志选项：

      • Cluster：选择源、目标或 CAM 主机集群。
      • Log source：选择 Velero、Restic 或 Controller。

      • Pod source：选择 Pod 名称，例如：controller-manager-78c469849c-v6wcf

        此时会显示所选日志。

        您可以通过更改您的选择来清除日志选择设置。

   2. 点 Download Selected 下载所选日志。

流程

1. 在 OpenShift Container Platform web 控制台中导航至 Operators → Installed Operators。
2. 点 Cluster Application Migration Operator。
3. 在 MigrationController 标签页中点 migration-controller。

4. 在 YAML 标签页中，更新以下参数值：

   spec:
     restic_timeout: 1h 1

   1

   有效单元是 h （小时）、m （分钟）和 s （秒），例如 3h30m15s。

5. 点 Save。

流程

1. 在目标集群中，切换到迁移的项目：

   $ oc project <project>

2. 获取部署的资源：

   $ oc get all

3. 删除部署的资源以确保应用程序没有在目标集群中运行，并访问 PVC 上的数据：

   $ oc delete <resource_type>

4. 要停止 DaemonSet 而不删除它，在 YAML 文件中更新 nodeSelector ：

   apiVersion: extensions/v1beta1
   kind: DaemonSet
   metadata:
     name: hello-daemonset
   spec:
     selector:
         matchLabels:
           name: hello-daemonset
     template:
       metadata:
         labels:
           name: hello-daemonset
       spec:
         nodeSelector:
           role: worker 1

   1

   指定一个没有存在于任何节点上的nodeSelector 值。

5. 更新每个 PV 的重新声明策略，以便删除不必要的数据。在迁移过程中，绑定 PV 的重新声明策略是reclaim，以确保应用程序从源集群中被删除时不会丢失数据。您可以在回滚过程中删除这些 PV。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain 1
     ...
   status:
     ...

   1

   指定 Recycle 或 Delete。

6. 在源集群中，切换到迁移的项目并获取其部署的资源：

   $ oc project <project>
   $ oc get all

7. 启动每个部署资源的一个或多个副本：

   $ oc scale --replicas=1 <resource_type>/<resource_name>

8. 如果在操作中被更改了，把 DaemonSet 的 nodeSelector 改回其原始值。

流程

1. 进入要存储 must-gather 数据的目录。

2. 运行 oc adm must-gather 命令：

   $ oc adm must-gather --image=registry.redhat.io/rhcam-1-2/openshift-migration-must-gather-rhel8

   must-gather 工具程序收集集群数据，并把它保存在 must-gather.local.<uid> 目录中。

3. 从 must-gather 数据中删除验证密钥和其他敏感信息。

4. 创建一个包含 must-gather.local.<uid> 目录内容的归档文件：

   $ tar cvaf must-gather.tar.gz must-gather.local.<uid>/

   在红帽客户门户中，为您的问题单附上这个压缩文件。