迁移

1. 在所有集群中安装 Cluster Application Migration Operator

   您可以在有限的或没有互联网访问的受限环境中安装 Cluster Application Migration Operator。源和目标集群必须可以在相互间进行访问，而需要可以访问 registry 的镜像（mirror）.

2. 配置复制存储库，这是 CAM 工具用来迁移数据的中间对象存储

   源和目标集群必须有对复制存储库的不受限制的网络访问权限。在受限环境中，您可以使用内部托管的 S3 存储存储库。如果使用代理服务器，您必须确保将复制存储库列入白名单。

3. 在 CAM web 控制台中添加源集群
4. 在 CAM web 控制台中添加复制存储库

5. 创建迁移计划，包含以下数据迁移选项之一：

   • Copy：CAM 工具将数据从源集群复制到复制存储库，再从复制存储库把数据复制到目标集群。

     

   • Move：CAM 工具从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。

     注意

     虽然复制存储库没有出现在此图表中，但实际迁移过程需要它。

     

6. 运行迁移计划，使用以下选项之一：

   • Stage （可选）在不停止应用程序的情况下将数据复制到目标集群。

     Stage 可以多次运行，以便在迁移前将大多数数据复制到目标。这样可最小化实际迁移时间和应用程序停机时间。

   • Migrate 在源集群中停止应用程序，并在目标集群中重新创建其资源。您可以选择在不停止应用程序的情况下迁移工作负载。

流程

1. 登录到已安装 CAM 工具的 OpenShift Container Platform 集群。

2. 运行以下命令来获取 CAM web 控制台 URL:

   $ oc get -n openshift-migration route/migration -o go-template='https://{{ .spec.host }}'

   输出类似于以下： https://migration-openshift-migration.apps.cluster.openshift.com。

3. 启动浏览器并进入 CAM web 控制台。

   注意

   如果在安装 Cluster Application Migration Operator 后尝试立即访问 CAM web 控制台，则该控制台可能无法加载，因为 Operator 仍然在配置集群。等待几分钟后重试。

4. 如果您使用自签名的 CA 证书，则会提示您接受源集群 API 服务器的 CA 证书。网页会引导您接受剩余证书的过程。
5. 使用 OpenShift Container Platform 的用户名和密码进行登陆。

流程

1. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket <bucket_name> \ 1
       --region <bucket_region> 2

   1

   指定 S3 存储桶名称。

   2

   指定 S3 存储桶区域，例如 us-east-1。

2. 创建 IAM 用户 velero：

   $ aws iam create-user --user-name velero

3. 创建 EC2 EBS 快照策略：

   $ cat > velero-ec2-snapshot-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           }
       ]
   }
   EOF

4. 为一个或所有 S3 存储桶创建 AWS S3 访问策略：

   $ cat > velero-s3-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>/*" 1
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>" 2
               ]
           }
       ]
   }
   EOF

   1 2

   要授予对单一 S3 存储桶的访问权限，请指定存储桶名称。要授予对所有 AWS S3 存储桶的访问权限，请指定 * 而不是存储桶名称：

   "Resource": [
       "arn:aws:s3:::*"

5. 将 EC2 EBS 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-ebs \
     --policy-document file://velero-ec2-snapshot-policy.json

6. 将 AWS S3 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-s3 \
     --policy-document file://velero-s3-policy.json

7. 为 velero 创建访问密钥：

   $ aws iam create-access-key --user-name velero
   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>, 1
           "AccessKeyId": <AWS_ACCESS_KEY_ID> 2
       }
   }

   1 2

   记录 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY_ID 以将 AWS 存储库添加到 CAM Web 控制台。

流程

1. 运行 gsutil init 以登录：

   $ gsutil init
   Welcome! This command will take you through the configuration of gcloud.
   
   Your current configuration has been set to: [default]
   
   To continue, you must login. Would you like to login (Y/n)?

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket_name> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建 velero 服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero Storage"

6. 将 SERVICE_ACCOUNT_EMAIL 变量设置为服务帐户的电子邮件地址：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
     --filter="displayName:Velero Storage" \
     --format 'value(email)')

7. 向服务帐户授予权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
   )
   
   gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
   
   gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
       --role projects/$PROJECT_ID/roles/velero.server
   
   gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

8. 将服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

   $ gcloud iam service-accounts keys create credentials-velero \
     --iam-account $SERVICE_ACCOUNT_EMAIL

流程

1. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

2. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location <CentralUS> 1

   1

   指定位置。

3. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID=velerobackups

4. 创建 Azure 存储帐户：

   $ az storage account create \
     --name $AZURE_STORAGE_ACCOUNT_ID \
     --resource-group $AZURE_RESOURCE_GROUP \
     --sku Standard_GRS \
     --encryption-services blob \
     --https-only true \
     --kind BlobStorage \
     --access-tier Hot

5. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

6. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

7. 为 velero 创建服务主体和凭证：

   $ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
   $ AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
   $ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" --role "Contributor" --query 'password' -o tsv`
   $ AZURE_CLIENT_ID=`az ad sp list --display-name "velero" --query '[0].appId' -o tsv`

8. 在 credentials-velero 文件中保存服务主体的凭证：

   $ cat << EOF  > ./credentials-velero
   AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
   AZURE_TENANT_ID=${AZURE_TENANT_ID}
   AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
   AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
   AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
   AZURE_CLOUD_NAME=AzurePublicCloud
   EOF

流程

1. 登录到集群。

2. 获取服务帐户令牌：

   $ oc sa get-token mig -n openshift-migration
   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJtaWciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoibWlnLXRva2VuLWs4dDJyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6Im1pZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImE1YjFiYWMwLWMxYmYtMTFlOS05Y2NiLTAyOWRmODYwYjMwOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDptaWc6bWlnIn0.xqeeAINK7UXpdRqAtOj70qhBJPeMwmgLomV9iFxr5RoqUgKchZRG2J2rkqmPm6vr7K-cm7ibD1IBpdQJCcVDuoHYsFgV4mp9vgOfn9osSDp2TGikwNz4Az95e81xnjVUmzh-NjDsEpw71DH92iHV_xt2sTwtzftS49LpPW2LjrV0evtNBP_t_RfskdArt5VSv25eORl7zScqfe1CiMkcVbf2UqACQjo3LbkpfN26HAioO2oH0ECPiRzT0Xyh-KwFutJLS9Xgghyw-LD9kPKcE_xbbJ9Y4Rqajh7WdPYuB0Jd9DPVrslmzK-F6cgHHYoZEv0SvLQi-PO0rpDrcjOEQQ

3. 登录到 CAM web 控制台。
4. 在 Clusters 部分，点 Add cluster。

5. 填写以下字段：

   • Cluster name：可包括小写字母（a-z）和数字（0-9）。不能包含空格或国际字符。
   • URL：集群 API 服务器的 URL，如 https://<master1.example.com>:8443。
   • Service account token：从源集群获取的字符串。
   • Azure cluster：可选。如果要使用 Azure 快照复制数据，请选择此项。
   • Azure resource group：如果选中了 Azure cluster，则会出现此字段。
   • 如果您使用自定义 CA 捆绑包，请点击 Browse 并浏览到所需的 CA 捆绑包文件。

6. 点 Add cluster。

   集群会出现在 Clusters 部分。

流程

1. 登录到 CAM web 控制台。
2. 在 Replication repositories 部分，点 Add repository。

3. 选择 Storage provider type 并填写以下字段：

   • AWS 适用于 S3、MCSG 和通用 S3 供应商：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • S3 bucket name：指定您创建的 S3 存储桶的名称。
     • S3 bucket region：指定 S3 存储桶区域。AWS S3 必填。Optional 用于其他 S3 供应商。
     • S3 端点：指定 S3 服务的 URL，而不是存储桶，例如：https://<s3-storage.apps.cluster.com>。通用 S3 供应商必填。您必须使用 https:// 前缀。
     • S3 provider access key：为 AWS 指定 <AWS_SECRET_ACCESS_KEY> ，或者为 MCG 指定 S3 供应商访问密钥。
     • S3 provider secret access key：为 AWS 指定 <AWS_ACCESS_KEY_ID> ，或者为 MCG 指定 S3 供应商 secret 访问密钥。
     • Require SSL verification：如果您使用的是通用 S3 供应商，则清除此复选框。
     • 如果您使用自定义 CA 捆绑包，请点击 Browse 并浏览到所需的 Base64 编码的 CA 捆绑包文件。

   • GCP：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • GCP bucket name：指定 GCP 存储桶的名称。
     • GCP credential JSON blob：在 credentials-velero 文件中指定字符串。

   • Azure：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • Azure resource group：指定 Azure Blob 存储的资源组。
     • Azure storage account name：指定 Azure Blob 存储帐户名称
     • Azure credentials - INI file contents：在 credentials-velero 文件中指定字符串。
4. 点 Add repository 并等待连接验证。

5. 点 Close。

   新存储库会出现在 Replication repositories 部分。

流程

1. 编辑迁移控制器 CR：

   $ oc get migrationcontroller -n openshift-migration
   NAME AGE
   migration-controller 5d19h
   
   $ oc edit migrationcontroller -n openshift-migration

2. 更新以下参数：

   ...
   migration_controller: true
   
   # This configuration is loaded into mig-controller, and should be set on the
   # cluster where `migration_controller: true`
   mig_pv_limit: 100
   mig_pod_limit: 100
   mig_namespace_limit: 10
   ...

流程

1. 登录到 CAM web 控制台。
2. 在 Plans 部分，点 Add Plan。

3. 输入 Plan name 并点 Next。

   Plan name 最多可包含 253 个小写字母数字字符（a-z，0-9）。它不能包含空格或下划线（_）。

4. 选一个 Source cluster。
5. 选一个 Target cluster。
6. 选一个 Replication repository。
7. 选择要迁移的项目并点 Next。

8. 选择 Copy 或 Move PV：

   • Copy 将源集群的 PV 中的数据复制到复制存储库中，然后在目标集群中新创建的具有类似特征的 PV 上恢复它。

     可选： 您可以通过选择 Verify copy来使用文件系统的方法来验证复制的数据。这个选项为每个源文件生成 checksum 并在恢复后对其进行检查。这可能会大大降低性能。

   • Move 从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。
9. 点 Next。

10. 为 PV 选择 Copy method：

    • Snapshot 使用云供应商的快照功能备份和恢复磁盘。它比 Filesystem 快得多。

      注意

      存储和集群必须位于同一区域，存储类必须兼容。

    • Filesystem 将源磁盘中的数据文件复制到新创建的目标磁盘。

11. 为 PV 选择一个 Storage class。

    如果选择了 Filesystem 复制方法，您可以在迁移过程中更改存储类，例如：从 Red Hat Gluster Storage 或 NFS 存储改为 Red Hat Ceph Storage。

12. 点 Next。

13. 如果您要添加迁移 hook，请点击 Add Hook 并执行以下步骤：

    1. 指定存储桶的名称。
    2. 选择 Ansible playbook 来使用您自己的 playbook 或 Custom container image 来使用以其他语言编写的 hook。
    3. 点击 Browse 上传 playbook。
    4. 可选： 如果您未使用默认 Ansible 运行时镜像，请指定自定义 Ansible 镜像。
    5. 指定要运行 hook 的集群。
    6. 获取服务帐户名称。
    7. 指定命名空间。

    8. 选择您希望 hook 运行的迁移步骤：

       • PreBackup: 在源集群上启动备份前的任务
       • PostBackup: 在源集群中完成备份任务后
       • PreRestore: 在目标集群上启动恢复前的任务
       • PostRestore: 在目标集群中完成恢复后的任务

14. 点 Add。

    您可以在迁移计划中添加最多四个 hook，将每个 hook 分配给不同的迁移步骤。

15. 点 Finish。

16. 点 Close。

    迁移计划会出现在 Plans 部分。

流程

1. 登录目标集群上的 CAM web 控制台。
2. 选择迁移计划。

3. 点 Stage 以在不停止应用程序的情况下，将数据从源集群复制到目标集群。

   您可以多次运行 Stage 以减少实际迁移时间。

4. 当准备好迁移应用程序工作负载时，点 Migrate。

   Migrate 在源集群中停止应用程序工作负载，并在目标集群中重新创建其资源。

5. 另外，还可以在 Migrate 窗口中选择 Do not stop applications on the source cluster during migration。
6. 点 Migrate。
7. 可选： 要停止迁移过，请点击 Options 菜单 并选择 Cancel。

8. 迁移完成后，在 OpenShift Container Platform web 控制台中确认已成功迁移了应用程序：

   1. 点 Home → Projects。
   2. 点迁移的项目查看其状态。
   3. 在 Routes 部分，点击 Location 验证应用程序是否正常运行。
   4. 点 Workloads → Pods 来验证 Pod 在迁移的命名空间中运行。
   5. 点 Storage → Persistent volumes 确认正确置备了被迁移的持久性卷。

流程

1. 在 Red Hat 客户门户网站中，导航至 Downloads → Red Hat OpenShift Container Platform。
2. 在 Download Red Hat OpenShift Container Platform 页面中，从 Product Variant 列表中选择 Red Hat OpenShift Container Platform 。
3. 从 Version 列表中选择 CPMA 1.0 for RHEL 7。这个二进制文件适用于 RHEL 7 和 RHEL 8。
4. 点 Download Now 为 Linux 或 MacOSX 下载 cpma，或为 Windows 下载 cpma.exe。
5. 对于 Linux 或 MacOSX，把文件保存在由 $PATH 定义的目录中；对于 Windows，把文件保存在由 %PATH% 定义的目录中。

6. 对于 Linux，把文件设置为可执行：

   $ sudo chmod +x cpma

流程

1. 登陆到 OpenShift Container Platform 3 集群：

   $ oc login https://<master1.example.com> 1

   1

   OpenShift Container Platform 3 主（master）节点。您必须登录到集群以接收 Kubernetes 和 OpenShift Container Platform API 的令牌。

2. 运行 CPMA。根据每个提示输入，如下例所示：

   $ cpma --manifests=false 1
   ? Do you wish to save configuration for future use? true
   ? What will be the source for OCP3 config files? Remote host 2
   ? Path to crio config file /etc/crio/crio.conf
   ? Path to etcd config file /etc/etcd/etcd.conf
   ? Path to master config file /etc/origin/master/master-config.yaml
   ? Path to node config file /etc/origin/node/node-config.yaml
   ? Path to registries config file /etc/containers/registries.conf
   ? Do wish to find source cluster using KUBECONFIG or prompt it? KUBECONFIG
   ? Select cluster obtained from KUBECONFIG contexts master1-example-com:443
   ? Select master node master1.example.com
   ? SSH login root 3
   ? SSH Port 22
   ? Path to private SSH key /home/user/.ssh/openshift_key
   ? Path to application data, skip to use current directory .
   INFO[29 Aug 19 00:07 UTC] Starting manifest and report generation
   INFO[29 Aug 19 00:07 UTC] Transform:Starting for - API
   INFO[29 Aug 19 00:07 UTC] APITransform::Extract
   INFO[29 Aug 19 00:07 UTC] APITransform::Transform:Reports
   INFO[29 Aug 19 00:07 UTC] Transform:Starting for - Cluster
   INFO[29 Aug 19 00:08 UTC] ClusterTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportQuotas
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportPVs
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportNamespaces
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportNodes
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportRBAC
   INFO[29 Aug 19 00:08 UTC] ClusterReport::ReportStorageClasses
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Crio
   INFO[29 Aug 19 00:08 UTC] CrioTransform::Extract
   WARN[29 Aug 19 00:08 UTC] Skipping Crio: No configuration file available
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Docker
   INFO[29 Aug 19 00:08 UTC] DockerTransform::Extract
   INFO[29 Aug 19 00:08 UTC] DockerTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - ETCD
   INFO[29 Aug 19 00:08 UTC] ETCDTransform::Extract
   INFO[29 Aug 19 00:08 UTC] ETCDTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - OAuth
   INFO[29 Aug 19 00:08 UTC] OAuthTransform::Extract
   INFO[29 Aug 19 00:08 UTC] OAuthTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - SDN
   INFO[29 Aug 19 00:08 UTC] SDNTransform::Extract
   INFO[29 Aug 19 00:08 UTC] SDNTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Image
   INFO[29 Aug 19 00:08 UTC] ImageTransform::Extract
   INFO[29 Aug 19 00:08 UTC] ImageTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Transform:Starting for - Project
   INFO[29 Aug 19 00:08 UTC] ProjectTransform::Extract
   INFO[29 Aug 19 00:08 UTC] ProjectTransform::Transform:Reports
   INFO[29 Aug 19 00:08 UTC] Flushing reports to disk
   INFO[29 Aug 19 00:08 UTC] Report:Added: report.json
   INFO[29 Aug 19 00:08 UTC] Report:Added: report.html
   INFO[29 Aug 19 00:08 UTC] Successfully finished transformations

   1

   --manifests=false：不生成 CR 清单

   2

   Remote host：远程模式

   3

   SSH login：为了访问配置文件，SSH 用户必须在 OpenShift Container Platform 3 集群上具有 sudo 权限。

   如果您没有指定输出目录，CPMA 会在当前目录中创建以下文件和目录：

   • cpma.yaml 文件：运行 CPMA 时提供的配置选项
   • master1.example.com/: master 节点中的配置文件
   • report.json: JSON 格式的报告
   • report.html: HTML 格式的报告
3. 在浏览器中打开 report.html 文件来查看 CPMA 报告。

4. 如果生成 CR 清单，将 CR 清单应用到 OpenShift Container Platform 4.3 集群，如下例所示：

   $ oc apply -f 100_CPMA-cluster-config-secret-htpasswd-secret.yaml

流程

1. 获取 CR 名称：

   $ oc get <migration_cr> -n openshift-migration 1

   1

   指定迁移 CR，如 migmigration。

   输出结果类似以下：

   NAME                                   AGE
   88435fe0-c9f8-11e9-85e6-5d593ce65e10   6m42s

2. 查看 CR：

   $ oc describe <migration_cr> <88435fe0-c9f8-11e9-85e6-5d593ce65e10> -n openshift-migration

   输出结果类似以下示例。

流程

1. 登录到 CAM 控制台。
2. 点击 Plans 查看迁移计划列表。
3. 点击特定迁移计划 的 Options 菜单并选择 Logs。
4. 点 Download Logs 为所有集群下载迁移控制器、Velero 和 Restic 的日志。

5. 要下载特定的日志：

   1. 指定日志选项：

      • Cluster：选择源、目标或 CAM 主机集群。
      • Log source：选择 Velero、Restic 或 Controller。

      • Pod source：选择 Pod 名称，例如：controller-manager-78c469849c-v6wcf

        此时会显示所选日志。

        您可以通过更改您的选择来清除日志选择设置。

   2. 点 Download Selected 下载所选日志。

流程

1. 运行迁移计划

2. 查看 MigPlan CR:

   $ oc describe migplan <migplan_name> -n openshift-migration 1

   1

   指定迁移计划的名称。

   输出结果类似以下：

   metadata:
     ...
     uid: 79509e05-61d6-11e9-bc55-02ce4781844a 1
   status:
     ...
     conditions:
     - category: Warn
       lastTransitionTime: 2020-04-30T17:16:23Z
       message: 'Some namespaces contain GVKs incompatible with destination cluster.
         See: `incompatibleNamespaces` for details'
       status: "True"
       type: GVKsIncompatible
     incompatibleNamespaces:
     - gvks:
       - group: batch
         kind: cronjobs 2
         version: v2alpha1
       - group: batch
         kind: scheduledjobs 3
         version: v2alpha1

   1

   记录 MigPlan UID。

   2 3

   记录已弃用的 GVK。

3. 获取与 MigPlan UID 关联的 MigMigration 名称：

   $ oc get migmigration -o json | jq -r '.items[] | select(.metadata.ownerReferences[].uid=="<migplan_uid>") | .metadata.name' 1

   1

   指定 MigPlan UID。

4. 获取与 MigMigration 名称关联的 MigMigration UID:

   $ oc get migmigration <migmigration_name> -o jsonpath='{.metadata.uid}' 1

   1

   指定 MigMigration 名称。

5. 获取与 MigMigration UID 关联的 Velero 备份名称：

   $ oc get backup.velero.io --selector migration-initial-backup="<migmigration_uid>" -o jsonpath={.items[*].metadata.name} 1

   1

   指定 MigMigration UID。

6. 在您的本地机器中下载 Velero 备份内容：

   • 对于 AWS S3:

     $ aws s3 cp s3://<bucket_name>/velero/backups/<backup_name> <backup_local_dir> --recursive 1

     1

     指定存储桶、备份名称和您的本地备份目录名称。

   • 对于GCP：

     $ gsutil cp gs://<bucket_name>/velero/backups/<backup_name> <backup_local_dir> --recursive 1

     1

     指定存储桶、备份名称和您的本地备份目录名称。

   • 对于 Azure:

     $ azcopy copy 'https://velerobackups.blob.core.windows.net/velero/backups/<backup_name>' '<backup_local_dir>' --recursive 1

     1

     指定备份名称和您的本地备份目录名称。

7. 解压 Velero 备份归档文件：

   $ tar -xfv <backup_local_dir>/<backup_name>.tar.gz -C <backup_local_dir>

8. 在每个已弃用的 GVK 中以离线模式运行 oc convert:

   $ oc convert -f <backup_local_dir>/resources/<gvk>.yaml 1

   1

   指定已弃用的 GVK。

9. 在目标集群中创建转换的 GVK:

   $ oc create -f <gvk>.yaml 1

   1

   指定转换的 GVK。

流程

1. 在目标集群中，切换到迁移的项目：

   $ oc project <project>

2. 获取部署的资源：

   $ oc get all

3. 删除部署的资源以确保应用程序没有在目标集群中运行，并访问 PVC 上的数据：

   $ oc delete <resource_type>

4. 要停止 DaemonSet 而不删除它，在 YAML 文件中更新 nodeSelector ：

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: hello-daemonset
   spec:
     selector:
         matchLabels:
           name: hello-daemonset
     template:
       metadata:
         labels:
           name: hello-daemonset
       spec:
         nodeSelector:
           role: worker 1

   1

   指定一个没有存在于任何节点上的nodeSelector 值。

5. 更新每个 PV 的重新声明策略，以便删除不必要的数据。在迁移过程中，绑定 PV 的重新声明策略是reclaim，以确保应用程序从源集群中被删除时不会丢失数据。您可以在回滚过程中删除这些 PV。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain 1
     ...
   status:
     ...

   1

   指定 Recycle 或 Delete。

6. 在源集群中，切换到迁移的项目：

   $ oc project <project_name>

7. 获取项目部署的资源：

   $ oc get all

8. 启动每个部署资源的一个或多个副本：

   $ oc scale --replicas=1 <resource_type>/<resource_name>

9. 如果在操作中被更改了，把 DaemonSet 的 nodeSelector 改回其原始值。

流程

1. 进入要存储 must-gather 数据的目录。

2. 运行 oc adm must-gather 命令：

   $ oc adm must-gather --image=registry.redhat.io/rhcam-1-2/openshift-migration-must-gather-rhel8

   must-gather 工具程序收集集群数据，并把它保存在 must-gather.local.<uid> 目录中。

3. 从 must-gather 数据中删除验证密钥和其他敏感信息。

4. 创建一个包含 must-gather.local.<uid> 目录内容的归档文件：

   $ tar cvaf must-gather.tar.gz must-gather.local.<uid>/

   在红帽客户门户中，为您的问题单附上这个压缩文件。

1. 在所有集群中安装 Cluster Application Migration Operator

   您可以在有限的或没有互联网访问的受限环境中安装 Cluster Application Migration Operator。源和目标集群必须可以在相互间进行访问，而需要可以访问 registry 的镜像（mirror）.

2. 配置复制存储库，这是 CAM 工具用来迁移数据的中间对象存储

   源和目标集群必须有对复制存储库的不受限制的网络访问权限。在受限环境中，您可以使用内部托管的 S3 存储存储库。如果使用代理服务器，您必须确保将复制存储库列入白名单。

3. 在 CAM web 控制台中添加源集群
4. 在 CAM web 控制台中添加复制存储库

5. 创建迁移计划，包含以下数据迁移选项之一：

   • Copy：CAM 工具将数据从源集群复制到复制存储库，再从复制存储库把数据复制到目标集群。

     

   • Move：CAM 工具从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。

     注意

     虽然复制存储库没有出现在此图表中，但实际迁移过程需要它。

     

6. 运行迁移计划，使用以下选项之一：

   • Stage （可选）在不停止应用程序的情况下将数据复制到目标集群。

     Stage 可以多次运行，以便在迁移前将大多数数据复制到目标。这样可最小化实际迁移时间和应用程序停机时间。

   • Migrate 在源集群中停止应用程序，并在目标集群中重新创建其资源。您可以选择在不停止应用程序的情况下迁移工作负载。

流程

1. 登录到已安装 CAM 工具的 OpenShift Container Platform 集群。

2. 运行以下命令来获取 CAM web 控制台 URL:

   $ oc get -n openshift-migration route/migration -o go-template='https://{{ .spec.host }}'

   输出类似于以下： https://migration-openshift-migration.apps.cluster.openshift.com。

3. 启动浏览器并进入 CAM web 控制台。

   注意

   如果在安装 Cluster Application Migration Operator 后尝试立即访问 CAM web 控制台，则该控制台可能无法加载，因为 Operator 仍然在配置集群。等待几分钟后重试。

4. 如果您使用自签名的 CA 证书，则会提示您接受源集群 API 服务器的 CA 证书。网页会引导您接受剩余证书的过程。
5. 使用 OpenShift Container Platform 的用户名和密码进行登陆。

流程

1. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket <bucket_name> \ 1
       --region <bucket_region> 2

   1

   指定 S3 存储桶名称。

   2

   指定 S3 存储桶区域，例如 us-east-1。

2. 创建 IAM 用户 velero：

   $ aws iam create-user --user-name velero

3. 创建 EC2 EBS 快照策略：

   $ cat > velero-ec2-snapshot-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           }
       ]
   }
   EOF

4. 为一个或所有 S3 存储桶创建 AWS S3 访问策略：

   $ cat > velero-s3-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>/*" 1
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>" 2
               ]
           }
       ]
   }
   EOF

   1 2

   要授予对单一 S3 存储桶的访问权限，请指定存储桶名称。要授予对所有 AWS S3 存储桶的访问权限，请指定 * 而不是存储桶名称：

   "Resource": [
       "arn:aws:s3:::*"

5. 将 EC2 EBS 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-ebs \
     --policy-document file://velero-ec2-snapshot-policy.json

6. 将 AWS S3 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-s3 \
     --policy-document file://velero-s3-policy.json

7. 为 velero 创建访问密钥：

   $ aws iam create-access-key --user-name velero
   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>, 1
           "AccessKeyId": <AWS_ACCESS_KEY_ID> 2
       }
   }

   1 2

   记录 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY_ID 以将 AWS 存储库添加到 CAM Web 控制台。

流程

1. 运行 gsutil init 以登录：

   $ gsutil init
   Welcome! This command will take you through the configuration of gcloud.
   
   Your current configuration has been set to: [default]
   
   To continue, you must login. Would you like to login (Y/n)?

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket_name> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建 velero 服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero Storage"

6. 将 SERVICE_ACCOUNT_EMAIL 变量设置为服务帐户的电子邮件地址：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
     --filter="displayName:Velero Storage" \
     --format 'value(email)')

7. 向服务帐户授予权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
   )
   
   gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
   
   gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
       --role projects/$PROJECT_ID/roles/velero.server
   
   gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

8. 将服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

   $ gcloud iam service-accounts keys create credentials-velero \
     --iam-account $SERVICE_ACCOUNT_EMAIL

流程

1. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

2. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location <CentralUS> 1

   1

   指定位置。

3. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID=velerobackups

4. 创建 Azure 存储帐户：

   $ az storage account create \
     --name $AZURE_STORAGE_ACCOUNT_ID \
     --resource-group $AZURE_RESOURCE_GROUP \
     --sku Standard_GRS \
     --encryption-services blob \
     --https-only true \
     --kind BlobStorage \
     --access-tier Hot

5. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

6. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

7. 为 velero 创建服务主体和凭证：

   $ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
   $ AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
   $ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" --role "Contributor" --query 'password' -o tsv`
   $ AZURE_CLIENT_ID=`az ad sp list --display-name "velero" --query '[0].appId' -o tsv`

8. 在 credentials-velero 文件中保存服务主体的凭证：

   $ cat << EOF  > ./credentials-velero
   AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
   AZURE_TENANT_ID=${AZURE_TENANT_ID}
   AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
   AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
   AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
   AZURE_CLOUD_NAME=AzurePublicCloud
   EOF

流程

1. 登录到集群。

2. 获取服务帐户令牌：

   $ oc sa get-token mig -n openshift-migration
   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJtaWciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoibWlnLXRva2VuLWs4dDJyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6Im1pZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImE1YjFiYWMwLWMxYmYtMTFlOS05Y2NiLTAyOWRmODYwYjMwOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDptaWc6bWlnIn0.xqeeAINK7UXpdRqAtOj70qhBJPeMwmgLomV9iFxr5RoqUgKchZRG2J2rkqmPm6vr7K-cm7ibD1IBpdQJCcVDuoHYsFgV4mp9vgOfn9osSDp2TGikwNz4Az95e81xnjVUmzh-NjDsEpw71DH92iHV_xt2sTwtzftS49LpPW2LjrV0evtNBP_t_RfskdArt5VSv25eORl7zScqfe1CiMkcVbf2UqACQjo3LbkpfN26HAioO2oH0ECPiRzT0Xyh-KwFutJLS9Xgghyw-LD9kPKcE_xbbJ9Y4Rqajh7WdPYuB0Jd9DPVrslmzK-F6cgHHYoZEv0SvLQi-PO0rpDrcjOEQQ

3. 登录到 CAM web 控制台。
4. 在 Clusters 部分，点 Add cluster。

5. 填写以下字段：

   • Cluster name：可包括小写字母（a-z）和数字（0-9）。不能包含空格或国际字符。
   • URL：集群 API 服务器的 URL，如 https://<master1.example.com>:8443。
   • Service account token：从源集群获取的字符串。
   • Azure cluster：可选。如果要使用 Azure 快照复制数据，请选择此项。
   • Azure resource group：如果选中了 Azure cluster，则会出现此字段。
   • 如果您使用自定义 CA 捆绑包，请点击 Browse 并浏览到所需的 CA 捆绑包文件。

6. 点 Add cluster。

   集群会出现在 Clusters 部分。

流程

1. 登录到 CAM web 控制台。
2. 在 Replication repositories 部分，点 Add repository。

3. 选择 Storage provider type 并填写以下字段：

   • AWS 适用于 S3、MCSG 和通用 S3 供应商：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • S3 bucket name：指定您创建的 S3 存储桶的名称。
     • S3 bucket region：指定 S3 存储桶区域。AWS S3 必填。Optional 用于其他 S3 供应商。
     • S3 端点：指定 S3 服务的 URL，而不是存储桶，例如：https://<s3-storage.apps.cluster.com>。通用 S3 供应商必填。您必须使用 https:// 前缀。
     • S3 provider access key：为 AWS 指定 <AWS_SECRET_ACCESS_KEY> ，或者为 MCG 指定 S3 供应商访问密钥。
     • S3 provider secret access key：为 AWS 指定 <AWS_ACCESS_KEY_ID> ，或者为 MCG 指定 S3 供应商 secret 访问密钥。
     • Require SSL verification：如果您使用的是通用 S3 供应商，则清除此复选框。
     • 如果您使用自定义 CA 捆绑包，请点击 Browse 并浏览到所需的 Base64 编码的 CA 捆绑包文件。

   • GCP：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • GCP bucket name：指定 GCP 存储桶的名称。
     • GCP credential JSON blob：在 credentials-velero 文件中指定字符串。

   • Azure：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • Azure resource group：指定 Azure Blob 存储的资源组。
     • Azure storage account name：指定 Azure Blob 存储帐户名称
     • Azure credentials - INI file contents：在 credentials-velero 文件中指定字符串。
4. 点 Add repository 并等待连接验证。

5. 点 Close。

   新存储库会出现在 Replication repositories 部分。

流程

1. 编辑迁移控制器 CR：

   $ oc get migrationcontroller -n openshift-migration
   NAME AGE
   migration-controller 5d19h
   
   $ oc edit migrationcontroller -n openshift-migration

2. 更新以下参数：

   ...
   migration_controller: true
   
   # This configuration is loaded into mig-controller, and should be set on the
   # cluster where `migration_controller: true`
   mig_pv_limit: 100
   mig_pod_limit: 100
   mig_namespace_limit: 10
   ...

流程

1. 登录到 CAM web 控制台。
2. 在 Plans 部分，点 Add Plan。

3. 输入 Plan name 并点 Next。

   Plan name 最多可包含 253 个小写字母数字字符（a-z，0-9）。它不能包含空格或下划线（_）。

4. 选一个 Source cluster。
5. 选一个 Target cluster。
6. 选一个 Replication repository。
7. 选择要迁移的项目并点 Next。

8. 选择 Copy 或 Move PV：

   • Copy 将源集群的 PV 中的数据复制到复制存储库中，然后在目标集群中新创建的具有类似特征的 PV 上恢复它。

     可选： 您可以通过选择 Verify copy来使用文件系统的方法来验证复制的数据。这个选项为每个源文件生成 checksum 并在恢复后对其进行检查。这可能会大大降低性能。

   • Move 从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。
9. 点 Next。

10. 为 PV 选择 Copy method：

    • Snapshot 使用云供应商的快照功能备份和恢复磁盘。它比 Filesystem 快得多。

      注意

      存储和集群必须位于同一区域，存储类必须兼容。

    • Filesystem 将源磁盘中的数据文件复制到新创建的目标磁盘。

11. 为 PV 选择一个 Storage class。

    如果选择了 Filesystem 复制方法，您可以在迁移过程中更改存储类，例如：从 Red Hat Gluster Storage 或 NFS 存储改为 Red Hat Ceph Storage。

12. 点 Next。

13. 如果您要添加迁移 hook，请点击 Add Hook 并执行以下步骤：

    1. 指定存储桶的名称。
    2. 选择 Ansible playbook 来使用您自己的 playbook 或 Custom container image 来使用以其他语言编写的 hook。
    3. 点击 Browse 上传 playbook。
    4. 可选： 如果您未使用默认 Ansible 运行时镜像，请指定自定义 Ansible 镜像。
    5. 指定要运行 hook 的集群。
    6. 获取服务帐户名称。
    7. 指定命名空间。

    8. 选择您希望 hook 运行的迁移步骤：

       • PreBackup: 在源集群上启动备份前的任务
       • PostBackup: 在源集群中完成备份任务后
       • PreRestore: 在目标集群上启动恢复前的任务
       • PostRestore: 在目标集群中完成恢复后的任务

14. 点 Add。

    您可以在迁移计划中添加最多四个 hook，将每个 hook 分配给不同的迁移步骤。

15. 点 Finish。

16. 点 Close。

    迁移计划会出现在 Plans 部分。

流程

1. 登录目标集群上的 CAM web 控制台。
2. 选择迁移计划。

3. 点 Stage 以在不停止应用程序的情况下，将数据从源集群复制到目标集群。

   您可以多次运行 Stage 以减少实际迁移时间。

4. 当准备好迁移应用程序工作负载时，点 Migrate。

   Migrate 在源集群中停止应用程序工作负载，并在目标集群中重新创建其资源。

5. 另外，还可以在 Migrate 窗口中选择 Do not stop applications on the source cluster during migration。
6. 点 Migrate。
7. 可选： 要停止迁移过，请点击 Options 菜单 并选择 Cancel。

8. 迁移完成后，在 OpenShift Container Platform web 控制台中确认已成功迁移了应用程序：

   1. 点 Home → Projects。
   2. 点迁移的项目查看其状态。
   3. 在 Routes 部分，点击 Location 验证应用程序是否正常运行。
   4. 点 Workloads → Pods 来验证 Pod 在迁移的命名空间中运行。
   5. 点 Storage → Persistent volumes 确认正确置备了被迁移的持久性卷。

流程

1. 获取 CR 名称：

   $ oc get <migration_cr> -n openshift-migration 1

   1

   指定迁移 CR，如 migmigration。

   输出结果类似以下：

   NAME                                   AGE
   88435fe0-c9f8-11e9-85e6-5d593ce65e10   6m42s

2. 查看 CR：

   $ oc describe <migration_cr> <88435fe0-c9f8-11e9-85e6-5d593ce65e10> -n openshift-migration

   输出结果类似以下示例。

流程

1. 登录到 CAM 控制台。
2. 点击 Plans 查看迁移计划列表。
3. 点击特定迁移计划 的 Options 菜单并选择 Logs。
4. 点 Download Logs 为所有集群下载迁移控制器、Velero 和 Restic 的日志。

5. 要下载特定的日志：

   1. 指定日志选项：

      • Cluster：选择源、目标或 CAM 主机集群。
      • Log source：选择 Velero、Restic 或 Controller。

      • Pod source：选择 Pod 名称，例如：controller-manager-78c469849c-v6wcf

        此时会显示所选日志。

        您可以通过更改您的选择来清除日志选择设置。

   2. 点 Download Selected 下载所选日志。

流程

1. 在目标集群中，切换到迁移的项目：

   $ oc project <project>

2. 获取部署的资源：

   $ oc get all

3. 删除部署的资源以确保应用程序没有在目标集群中运行，并访问 PVC 上的数据：

   $ oc delete <resource_type>

4. 要停止 DaemonSet 而不删除它，在 YAML 文件中更新 nodeSelector ：

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: hello-daemonset
   spec:
     selector:
         matchLabels:
           name: hello-daemonset
     template:
       metadata:
         labels:
           name: hello-daemonset
       spec:
         nodeSelector:
           role: worker 1

   1

   指定一个没有存在于任何节点上的nodeSelector 值。

5. 更新每个 PV 的重新声明策略，以便删除不必要的数据。在迁移过程中，绑定 PV 的重新声明策略是reclaim，以确保应用程序从源集群中被删除时不会丢失数据。您可以在回滚过程中删除这些 PV。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain 1
     ...
   status:
     ...

   1

   指定 Recycle 或 Delete。

6. 在源集群中，切换到迁移的项目：

   $ oc project <project_name>

7. 获取项目部署的资源：

   $ oc get all

8. 启动每个部署资源的一个或多个副本：

   $ oc scale --replicas=1 <resource_type>/<resource_name>

9. 如果在操作中被更改了，把 DaemonSet 的 nodeSelector 改回其原始值。

流程

1. 进入要存储 must-gather 数据的目录。

2. 运行 oc adm must-gather 命令：

   $ oc adm must-gather --image=registry.redhat.io/rhcam-1-2/openshift-migration-must-gather-rhel8

   must-gather 工具程序收集集群数据，并把它保存在 must-gather.local.<uid> 目录中。

3. 从 must-gather 数据中删除验证密钥和其他敏感信息。

4. 创建一个包含 must-gather.local.<uid> 目录内容的归档文件：

   $ tar cvaf must-gather.tar.gz must-gather.local.<uid>/

   在红帽客户门户中，为您的问题单附上这个压缩文件。

1. 在所有集群中安装 Cluster Application Migration Operator

   您可以在有限的或没有互联网访问的受限环境中安装 Cluster Application Migration Operator。源和目标集群必须可以在相互间进行访问，而需要可以访问 registry 的镜像（mirror）.

2. 配置复制存储库，这是 CAM 工具用来迁移数据的中间对象存储

   源和目标集群必须有对复制存储库的不受限制的网络访问权限。在受限环境中，您可以使用内部托管的 S3 存储存储库。如果使用代理服务器，您必须确保将复制存储库列入白名单。

3. 在 CAM web 控制台中添加源集群
4. 在 CAM web 控制台中添加复制存储库

5. 创建迁移计划，包含以下数据迁移选项之一：

   • Copy：CAM 工具将数据从源集群复制到复制存储库，再从复制存储库把数据复制到目标集群。

     

   • Move：CAM 工具从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。

     注意

     虽然复制存储库没有出现在此图表中，但实际迁移过程需要它。

     

6. 运行迁移计划，使用以下选项之一：

   • Stage （可选）在不停止应用程序的情况下将数据复制到目标集群。

     Stage 可以多次运行，以便在迁移前将大多数数据复制到目标。这样可最小化实际迁移时间和应用程序停机时间。

   • Migrate 在源集群中停止应用程序，并在目标集群中重新创建其资源。您可以选择在不停止应用程序的情况下迁移工作负载。

流程

1. 登录到已安装 CAM 工具的 OpenShift Container Platform 集群。

2. 运行以下命令来获取 CAM web 控制台 URL:

   $ oc get -n openshift-migration route/migration -o go-template='https://{{ .spec.host }}'

   输出类似于以下： https://migration-openshift-migration.apps.cluster.openshift.com。

3. 启动浏览器并进入 CAM web 控制台。

   注意

   如果在安装 Cluster Application Migration Operator 后尝试立即访问 CAM web 控制台，则该控制台可能无法加载，因为 Operator 仍然在配置集群。等待几分钟后重试。

4. 如果您使用自签名的 CA 证书，则会提示您接受源集群 API 服务器的 CA 证书。网页会引导您接受剩余证书的过程。
5. 使用 OpenShift Container Platform 的用户名和密码进行登陆。

流程

1. 创建 AWS S3 存储桶：

   $ aws s3api create-bucket \
       --bucket <bucket_name> \ 1
       --region <bucket_region> 2

   1

   指定 S3 存储桶名称。

   2

   指定 S3 存储桶区域，例如 us-east-1。

2. 创建 IAM 用户 velero：

   $ aws iam create-user --user-name velero

3. 创建 EC2 EBS 快照策略：

   $ cat > velero-ec2-snapshot-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ec2:DescribeVolumes",
                   "ec2:DescribeSnapshots",
                   "ec2:CreateTags",
                   "ec2:CreateVolume",
                   "ec2:CreateSnapshot",
                   "ec2:DeleteSnapshot"
               ],
               "Resource": "*"
           }
       ]
   }
   EOF

4. 为一个或所有 S3 存储桶创建 AWS S3 访问策略：

   $ cat > velero-s3-policy.json <<EOF
   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:DeleteObject",
                   "s3:PutObject",
                   "s3:AbortMultipartUpload",
                   "s3:ListMultipartUploadParts"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>/*" 1
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "s3:ListBucketMultipartUploads"
               ],
               "Resource": [
                   "arn:aws:s3:::<bucket_name>" 2
               ]
           }
       ]
   }
   EOF

   1 2

   要授予对单一 S3 存储桶的访问权限，请指定存储桶名称。要授予对所有 AWS S3 存储桶的访问权限，请指定 * 而不是存储桶名称：

   "Resource": [
       "arn:aws:s3:::*"

5. 将 EC2 EBS 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-ebs \
     --policy-document file://velero-ec2-snapshot-policy.json

6. 将 AWS S3 策略附加到 velero：

   $ aws iam put-user-policy \
     --user-name velero \
     --policy-name velero-s3 \
     --policy-document file://velero-s3-policy.json

7. 为 velero 创建访问密钥：

   $ aws iam create-access-key --user-name velero
   {
     "AccessKey": {
           "UserName": "velero",
           "Status": "Active",
           "CreateDate": "2017-07-31T22:24:41.576Z",
           "SecretAccessKey": <AWS_SECRET_ACCESS_KEY>, 1
           "AccessKeyId": <AWS_ACCESS_KEY_ID> 2
       }
   }

   1 2

   记录 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY_ID 以将 AWS 存储库添加到 CAM Web 控制台。

流程

1. 运行 gsutil init 以登录：

   $ gsutil init
   Welcome! This command will take you through the configuration of gcloud.
   
   Your current configuration has been set to: [default]
   
   To continue, you must login. Would you like to login (Y/n)?

2. 设置 BUCKET 变量：

   $ BUCKET=<bucket_name> 1

   1

   指定存储桶名称。

3. 创建存储桶：

   $ gsutil mb gs://$BUCKET/

4. 将 PROJECT_ID 变量设置为您的活跃项目：

   $ PROJECT_ID=$(gcloud config get-value project)

5. 创建 velero 服务帐户：

   $ gcloud iam service-accounts create velero \
       --display-name "Velero Storage"

6. 将 SERVICE_ACCOUNT_EMAIL 变量设置为服务帐户的电子邮件地址：

   $ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
     --filter="displayName:Velero Storage" \
     --format 'value(email)')

7. 向服务帐户授予权限：

   $ ROLE_PERMISSIONS=(
       compute.disks.get
       compute.disks.create
       compute.disks.createSnapshot
       compute.snapshots.get
       compute.snapshots.create
       compute.snapshots.useReadOnly
       compute.snapshots.delete
       compute.zones.get
   )
   
   gcloud iam roles create velero.server \
       --project $PROJECT_ID \
       --title "Velero Server" \
       --permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
   
   gcloud projects add-iam-policy-binding $PROJECT_ID \
       --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
       --role projects/$PROJECT_ID/roles/velero.server
   
   gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}

8. 将服务帐户的密钥保存到当前目录中的 credentials-velero 文件中：

   $ gcloud iam service-accounts keys create credentials-velero \
     --iam-account $SERVICE_ACCOUNT_EMAIL

流程

1. 设置 AZURE_RESOURCE_GROUP 变量：

   $ AZURE_RESOURCE_GROUP=Velero_Backups

2. 创建 Azure 资源组：

   $ az group create -n $AZURE_RESOURCE_GROUP --location <CentralUS> 1

   1

   指定位置。

3. 设置 AZURE_STORAGE_ACCOUNT_ID 变量：

   $ AZURE_STORAGE_ACCOUNT_ID=velerobackups

4. 创建 Azure 存储帐户：

   $ az storage account create \
     --name $AZURE_STORAGE_ACCOUNT_ID \
     --resource-group $AZURE_RESOURCE_GROUP \
     --sku Standard_GRS \
     --encryption-services blob \
     --https-only true \
     --kind BlobStorage \
     --access-tier Hot

5. 设置 BLOB_CONTAINER 变量：

   $ BLOB_CONTAINER=velero

6. 创建 Azure Blob 存储容器：

   $ az storage container create \
     -n $BLOB_CONTAINER \
     --public-access off \
     --account-name $AZURE_STORAGE_ACCOUNT_ID

7. 为 velero 创建服务主体和凭证：

   $ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
   $ AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
   $ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" --role "Contributor" --query 'password' -o tsv`
   $ AZURE_CLIENT_ID=`az ad sp list --display-name "velero" --query '[0].appId' -o tsv`

8. 在 credentials-velero 文件中保存服务主体的凭证：

   $ cat << EOF  > ./credentials-velero
   AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
   AZURE_TENANT_ID=${AZURE_TENANT_ID}
   AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
   AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
   AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
   AZURE_CLOUD_NAME=AzurePublicCloud
   EOF

流程

1. 登录到集群。

2. 获取服务帐户令牌：

   $ oc sa get-token mig -n openshift-migration
   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJtaWciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoibWlnLXRva2VuLWs4dDJyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6Im1pZyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImE1YjFiYWMwLWMxYmYtMTFlOS05Y2NiLTAyOWRmODYwYjMwOCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDptaWc6bWlnIn0.xqeeAINK7UXpdRqAtOj70qhBJPeMwmgLomV9iFxr5RoqUgKchZRG2J2rkqmPm6vr7K-cm7ibD1IBpdQJCcVDuoHYsFgV4mp9vgOfn9osSDp2TGikwNz4Az95e81xnjVUmzh-NjDsEpw71DH92iHV_xt2sTwtzftS49LpPW2LjrV0evtNBP_t_RfskdArt5VSv25eORl7zScqfe1CiMkcVbf2UqACQjo3LbkpfN26HAioO2oH0ECPiRzT0Xyh-KwFutJLS9Xgghyw-LD9kPKcE_xbbJ9Y4Rqajh7WdPYuB0Jd9DPVrslmzK-F6cgHHYoZEv0SvLQi-PO0rpDrcjOEQQ

3. 登录到 CAM web 控制台。
4. 在 Clusters 部分，点 Add cluster。

5. 填写以下字段：

   • Cluster name：可包括小写字母（a-z）和数字（0-9）。不能包含空格或国际字符。
   • URL：集群 API 服务器的 URL，如 https://<master1.example.com>:8443。
   • Service account token：从源集群获取的字符串。
   • Azure cluster：可选。如果要使用 Azure 快照复制数据，请选择此项。
   • Azure resource group：如果选中了 Azure cluster，则会出现此字段。
   • 如果您使用自定义 CA 捆绑包，请点击 Browse 并浏览到所需的 CA 捆绑包文件。

6. 点 Add cluster。

   集群会出现在 Clusters 部分。

流程

1. 登录到 CAM web 控制台。
2. 在 Replication repositories 部分，点 Add repository。

3. 选择 Storage provider type 并填写以下字段：

   • AWS 适用于 S3、MCSG 和通用 S3 供应商：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • S3 bucket name：指定您创建的 S3 存储桶的名称。
     • S3 bucket region：指定 S3 存储桶区域。AWS S3 必填。Optional 用于其他 S3 供应商。
     • S3 端点：指定 S3 服务的 URL，而不是存储桶，例如：https://<s3-storage.apps.cluster.com>。通用 S3 供应商必填。您必须使用 https:// 前缀。
     • S3 provider access key：为 AWS 指定 <AWS_SECRET_ACCESS_KEY> ，或者为 MCG 指定 S3 供应商访问密钥。
     • S3 provider secret access key：为 AWS 指定 <AWS_ACCESS_KEY_ID> ，或者为 MCG 指定 S3 供应商 secret 访问密钥。
     • Require SSL verification：如果您使用的是通用 S3 供应商，则清除此复选框。
     • 如果您使用自定义 CA 捆绑包，请点击 Browse 并浏览到所需的 Base64 编码的 CA 捆绑包文件。

   • GCP：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • GCP bucket name：指定 GCP 存储桶的名称。
     • GCP credential JSON blob：在 credentials-velero 文件中指定字符串。

   • Azure：

     • Replication repository name：指定 CAM web 控制台中的复制存储库。
     • Azure resource group：指定 Azure Blob 存储的资源组。
     • Azure storage account name：指定 Azure Blob 存储帐户名称
     • Azure credentials - INI file contents：在 credentials-velero 文件中指定字符串。
4. 点 Add repository 并等待连接验证。

5. 点 Close。

   新存储库会出现在 Replication repositories 部分。

流程

1. 编辑迁移控制器 CR：

   $ oc get migrationcontroller -n openshift-migration
   NAME AGE
   migration-controller 5d19h
   
   $ oc edit migrationcontroller -n openshift-migration

2. 更新以下参数：

   ...
   migration_controller: true
   
   # This configuration is loaded into mig-controller, and should be set on the
   # cluster where `migration_controller: true`
   mig_pv_limit: 100
   mig_pod_limit: 100
   mig_namespace_limit: 10
   ...

流程

1. 登录到 CAM web 控制台。
2. 在 Plans 部分，点 Add Plan。

3. 输入 Plan name 并点 Next。

   Plan name 最多可包含 253 个小写字母数字字符（a-z，0-9）。它不能包含空格或下划线（_）。

4. 选一个 Source cluster。
5. 选一个 Target cluster。
6. 选一个 Replication repository。
7. 选择要迁移的项目并点 Next。

8. 选择 Copy 或 Move PV：

   • Copy 将源集群的 PV 中的数据复制到复制存储库中，然后在目标集群中新创建的具有类似特征的 PV 上恢复它。

     可选： 您可以通过选择 Verify copy来使用文件系统的方法来验证复制的数据。这个选项为每个源文件生成 checksum 并在恢复后对其进行检查。这可能会大大降低性能。

   • Move 从源集群中卸载一个远程卷（例如 NFS），在目标集群上创建一个指向这个远程卷的 PV 资源，然后在目标集群中挂载远程卷。在目标集群中运行的应用程序使用源集群使用的同一远程卷。远程卷必须可以被源集群和目标集群访问。
9. 点 Next。

10. 为 PV 选择 Copy method：

    • Snapshot 使用云供应商的快照功能备份和恢复磁盘。它比 Filesystem 快得多。

      注意

      存储和集群必须位于同一区域，存储类必须兼容。

    • Filesystem 将源磁盘中的数据文件复制到新创建的目标磁盘。

11. 为 PV 选择一个 Storage class。

    如果选择了 Filesystem 复制方法，您可以在迁移过程中更改存储类，例如：从 Red Hat Gluster Storage 或 NFS 存储改为 Red Hat Ceph Storage。

12. 点 Next。

13. 如果您要添加迁移 hook，请点击 Add Hook 并执行以下步骤：

    1. 指定存储桶的名称。
    2. 选择 Ansible playbook 来使用您自己的 playbook 或 Custom container image 来使用以其他语言编写的 hook。
    3. 点击 Browse 上传 playbook。
    4. 可选： 如果您未使用默认 Ansible 运行时镜像，请指定自定义 Ansible 镜像。
    5. 指定要运行 hook 的集群。
    6. 获取服务帐户名称。
    7. 指定命名空间。

    8. 选择您希望 hook 运行的迁移步骤：

       • PreBackup: 在源集群上启动备份前的任务
       • PostBackup: 在源集群中完成备份任务后
       • PreRestore: 在目标集群上启动恢复前的任务
       • PostRestore: 在目标集群中完成恢复后的任务

14. 点 Add。

    您可以在迁移计划中添加最多四个 hook，将每个 hook 分配给不同的迁移步骤。

15. 点 Finish。

16. 点 Close。

    迁移计划会出现在 Plans 部分。

流程

1. 登录目标集群上的 CAM web 控制台。
2. 选择迁移计划。

3. 点 Stage 以在不停止应用程序的情况下，将数据从源集群复制到目标集群。

   您可以多次运行 Stage 以减少实际迁移时间。

4. 当准备好迁移应用程序工作负载时，点 Migrate。

   Migrate 在源集群中停止应用程序工作负载，并在目标集群中重新创建其资源。

5. 另外，还可以在 Migrate 窗口中选择 Do not stop applications on the source cluster during migration。
6. 点 Migrate。
7. 可选： 要停止迁移过，请点击 Options 菜单 并选择 Cancel。

8. 迁移完成后，在 OpenShift Container Platform web 控制台中确认已成功迁移了应用程序：

   1. 点 Home → Projects。
   2. 点迁移的项目查看其状态。
   3. 在 Routes 部分，点击 Location 验证应用程序是否正常运行。
   4. 点 Workloads → Pods 来验证 Pod 在迁移的命名空间中运行。
   5. 点 Storage → Persistent volumes 确认正确置备了被迁移的持久性卷。

流程

1. 获取 CR 名称：

   $ oc get <migration_cr> -n openshift-migration 1

   1

   指定迁移 CR，如 migmigration。

   输出结果类似以下：

   NAME                                   AGE
   88435fe0-c9f8-11e9-85e6-5d593ce65e10   6m42s

2. 查看 CR：

   $ oc describe <migration_cr> <88435fe0-c9f8-11e9-85e6-5d593ce65e10> -n openshift-migration

   输出结果类似以下示例。

流程

1. 登录到 CAM 控制台。
2. 点击 Plans 查看迁移计划列表。
3. 点击特定迁移计划 的 Options 菜单并选择 Logs。
4. 点 Download Logs 为所有集群下载迁移控制器、Velero 和 Restic 的日志。

5. 要下载特定的日志：

   1. 指定日志选项：

      • Cluster：选择源、目标或 CAM 主机集群。
      • Log source：选择 Velero、Restic 或 Controller。

      • Pod source：选择 Pod 名称，例如：controller-manager-78c469849c-v6wcf

        此时会显示所选日志。

        您可以通过更改您的选择来清除日志选择设置。

   2. 点 Download Selected 下载所选日志。

流程

1. 在目标集群中，切换到迁移的项目：

   $ oc project <project>

2. 获取部署的资源：

   $ oc get all

3. 删除部署的资源以确保应用程序没有在目标集群中运行，并访问 PVC 上的数据：

   $ oc delete <resource_type>

4. 要停止 DaemonSet 而不删除它，在 YAML 文件中更新 nodeSelector ：

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: hello-daemonset
   spec:
     selector:
         matchLabels:
           name: hello-daemonset
     template:
       metadata:
         labels:
           name: hello-daemonset
       spec:
         nodeSelector:
           role: worker 1

   1

   指定一个没有存在于任何节点上的nodeSelector 值。

5. 更新每个 PV 的重新声明策略，以便删除不必要的数据。在迁移过程中，绑定 PV 的重新声明策略是reclaim，以确保应用程序从源集群中被删除时不会丢失数据。您可以在回滚过程中删除这些 PV。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain 1
     ...
   status:
     ...

   1

   指定 Recycle 或 Delete。

6. 在源集群中，切换到迁移的项目：

   $ oc project <project_name>

7. 获取项目部署的资源：

   $ oc get all

8. 启动每个部署资源的一个或多个副本：

   $ oc scale --replicas=1 <resource_type>/<resource_name>

9. 如果在操作中被更改了，把 DaemonSet 的 nodeSelector 改回其原始值。

流程

1. 进入要存储 must-gather 数据的目录。

2. 运行 oc adm must-gather 命令：

   $ oc adm must-gather --image=registry.redhat.io/rhcam-1-2/openshift-migration-must-gather-rhel8

   must-gather 工具程序收集集群数据，并把它保存在 must-gather.local.<uid> 目录中。

3. 从 must-gather 数据中删除验证密钥和其他敏感信息。

4. 创建一个包含 must-gather.local.<uid> 目录内容的归档文件：

   $ tar cvaf must-gather.tar.gz must-gather.local.<uid>/

   在红帽客户门户中，为您的问题单附上这个压缩文件。