为带有 Advanced Cluster Management 的 Regional-DR 配置 OpenShift Data Foundation

流程

1. 在每个受管集群上安装 OpenShift Data Foundation 版本 4.10。

   如需有关 OpenShift Data Foundation 部署的信息，请参阅基础架构特定的部署指南 （如 AWS、VMware、Bare metal、Azure）。

2. 使用以下命令验证每个受管集群上是否成功部署：

   $ oc get storagecluster -n openshift-storage ocs-storagecluster -o jsonpath='{.status.phase}{"\n"}'

   对于 Multicloud 对象网关(MCG)：

   $ oc get noobaa -n openshift-storage noobaa -o jsonpath='{.status.phase}{"\n"}'

   如果状态结果在主受管集群和二级受管集群上都处于 Ready 状态，则继续在受管集群上启用镜像(mirror)。

步骤

1. 在 Hub 集群中，导航到 OperatorHub 并使用 OpenShift DR Hub Operator 的搜索过滤器。
2. 按照屏幕说明，将操作器安装到 openshift-dr-system 项目中。

3. 使用以下命令验证 Operator Pod 是否处于 Running 状态：

   $ oc get pods -n openshift-dr-system

   输出示例：

   NAME                                 	READY   STATUS    RESTARTS   AGE
   ramen-hub-operator-898c5989b-96k65   	2/2     Running   0          4m14s

流程

1. 将以下 YAML 保存到文件 ocs-storagecluster-ceph-rbdmirror.yaml。

   allowVolumeExpansion: true
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: ocs-storagecluster-ceph-rbdmirror
   parameters:
     clusterID: openshift-storage
     csi.storage.k8s.io/controller-expand-secret-name: rook-csi-rbd-provisioner
     csi.storage.k8s.io/controller-expand-secret-namespace: openshift-storage
     csi.storage.k8s.io/fstype: ext4
     csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node
     csi.storage.k8s.io/node-stage-secret-namespace: openshift-storage
     csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner
     csi.storage.k8s.io/provisioner-secret-namespace: openshift-storage
     imageFeatures: layering,exclusive-lock,object-map,fast-diff
     imageFormat: "2"
     pool: ocs-storagecluster-cephblockpool
   provisioner: openshift-storage.rbd.csi.ceph.com
   reclaimPolicy: Delete
   volumeBindingMode: Immediate

2. 在两个受管集群中创建文件。

   $ oc create -f ocs-storagecluster-ceph-rbdmirror.yaml

   输出示例：

   storageclass.storage.k8s.io/ocs-storagecluster-ceph-rbdmirror created

步骤

1. 提取主受管集群的入口证书，并将输出保存到 primary.crt。

   $ oc get cm default-ingress-cert -n openshift-config-managed -o jsonpath="{['data']['ca-bundle\.crt']}" > primary.crt

2. 提取二级受管集群的入口证书，并将输出保存到 secondary.crt。

   $ oc get cm default-ingress-cert -n openshift-config-managed -o jsonpath="{['data']['ca-bundle\.crt']}" > secondary.crt

3. 在主受管集群, 二级受管集群, 和 Hub cluster 上创建一个新的 ConfigMap 用于保存远程集群的证书捆绑，其文件名为 cm-clusters-crt.yaml。

   注意

   如本示例文件所示，每个集群可能有超过三个证书。另外，请确保在从之前创建的 primary.crt 和 secondary.crt 文件中复制并粘贴后，证书内容会被正确缩进。

   apiVersion: v1
   data:
     ca-bundle.crt: |
       -----BEGIN CERTIFICATE-----
       <copy contents of cert1 from primary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert2 from primary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert3 primary.crt here>
       -----END CERTIFICATE----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert1 from secondary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert2 from secondary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert3 from secondary.crt here>
       -----END CERTIFICATE-----
   kind: ConfigMap
   metadata:
     name: user-ca-bundle
     namespace: openshift-config

4. 在主受管集群、二级受管集群和 Hub 集群上创建 ConfigMap 文件。

   $ oc create -f cm-clusters-crt.yaml

   输出示例：

   configmap/user-ca-bundle created

   重要

   对于 Hub 集群，使用 DRPolicy 资源验证对象存储桶的访问权限，必须在 Hub 集群上创建相同的 ConfigMap cm-clusters-crt.yaml。

5. 对主受管集群、二级受管集群和 Hub 集群上的默认代理资源进行补丁。

   $ oc patch proxy cluster --type=merge  --patch='{"spec":{"trustedCA":{"name":"user-ca-bundle"}}}'

   输出示例：

   proxy.config.openshift.io/cluster patched

步骤

1. 在 Hub 集群中，导航到 openshift-dr-system 项目中的 Installed Operators，然后点击 OpenShift DR Hub Operator。您应该会看到两个可用的 API，DRPolicy 和 DRPlacementControl。
2. 为 DRPolicy 点 Create instance 并点击 YAML 视图。

3. 在将 <cluster1> 和 <cluster2> 替换为 ACM 中的受管集群的正确名称后，复制并保存到名为 drpolicy.yaml 的文件。使用任意值（只要它们是唯一的，例如 east 和 west）替换 <string_value_1> 和 <string_value_2>。schedulingInterval 应该是之前在 MirrorPeer 中配置的值之一（例如：5m)。

   apiVersion: ramendr.openshift.io/v1alpha1
   kind: DRPolicy
   metadata:
     name: odr-policy-5m
   spec:
     drClusterSet:
     - name: <cluster1>
       region: <string_value_1>
       s3ProfileName: s3profile-<cluster1>-ocs-storagecluster
     - name: <cluster2>
       region: <string_value_2>
       s3ProfileName: s3profile-<cluster2>-ocs-storagecluster
     schedulingInterval: 5m

   注意

   不需要指定一个命名空间来创建此资源，因为 DRPolicy 是一个集群范围的资源。

4. 将唯一 drpolicy.yaml 文件的内容复制到 YAML 视图中。您必须完全替换原始的内容。

5. 在 YAML 视图屏幕上点 Create。

   重要

   DRPolicy schedulingInterval 必须匹配在 MirroPeer 资源中配置的一个值（例如 5m）。要在 MirrorPeer 中配置的卷复制使用其他 DR Intervals，则需要使用新值（如 15m）创建额外的 DRPolicy 资源。确保将 DRPolicy 名称更改为一个唯一值，这有助于标识复制间隔（如 odr-policy-15m）。

6. 通过在 Hub 集群 上运行命令来验证已成功为每个创建的 DRPolicy 资源创建了 DRPolicy ：这个示例是 odr-policy-5m ：

   $ oc get drpolicy odr-policy-5m -n openshift-dr-system -o jsonpath='{.status.conditions[].reason}{"\n"}'

   输出示例：

   Succeeded

步骤

1. 编辑 Hub 集群上的 ConfigMag ramen-hub-operator-config，添加 deploymentAutomationEnabled=true，如下所示：

   $ oc edit configmap ramen-hub-operator-config -n openshift-dr-system

   apiVersion: v1
   data:
     ramen_manager_config.yaml: |
       apiVersion: ramendr.openshift.io/v1alpha1
       drClusterOperator:
         deploymentAutomationEnabled: true  ## <-- Add to enable installation of ODR Cluster operator on managed clusters
         catalogSourceName: redhat-operators
         catalogSourceNamespaceName: openshift-marketplace
         channelName: stable-4.10
         clusterServiceVersionName: odr-cluster-operator.v4.10.0
         namespaceName: openshift-dr-system
         packageName: odr-cluster-operator
   [...]

2. 验证在主受管集群和二级受管集群中是否安装否成功，使用以下命令：

   $ oc get csv,pod -n openshift-dr-system

   输出示例：

   NAME                                                                      DISPLAY                         VERSION   REPLACES   PHASE
   clusterserviceversion.operators.coreos.com/odr-cluster-operator.v4.10.0   Openshift DR Cluster Operator   4.10.0               Succeeded
   
   NAME                                             READY   STATUS    RESTARTS   AGE
   pod/ramen-dr-cluster-operator-5564f9d669-f6lbc   2/2     Running   0          5m32s

   您还可以进入每个受管集群的 OperatorHub，并确认是否安装了 OpenShift DR Cluster Operator。

流程

1. 编辑 Hub 集群上的 ConfigMag ramen-hub-operator-config 以添加 s3SecretDistributionEnabled=true，如下所示：

   $ oc edit configmap ramen-hub-operator-config -n openshift-dr-system

   apiVersion: v1
   data:
     ramen_manager_config.yaml: |
       apiVersion: ramendr.openshift.io/v1alpha1
       drClusterOperator:
         deploymentAutomationEnabled: true
         s3SecretDistributionEnabled: true  ## <-- Add to enable automatic transfer of s3secrets
         catalogSourceName: redhat-operators
         catalogSourceNamespaceName: openshift-marketplace
         channelName: stable-4.10
         clusterServiceVersionName: odr-cluster-operator.v4.10.0
         namespaceName: openshift-dr-system
         packageName: odr-cluster-operator
   [...]

2. 在两个受管集群中运行此命令，验证 secret 的传输是否成功。

   $ oc get secrets -n openshift-dr-system | grep Opaque

   输出示例：

   8b3fb9ed90f66808d988c7edfa76eba35647092   Opaque        2      11m
   af5f82f21f8f77faf3de2553e223b535002e480   Opaque        2      11m

步骤

1. 在 Hub 集群上为 busybox 示例应用程序创建一个命名空间或项目。

   $ oc new-project busybox-sample

   注意

   如果需要，可以使用除 busybox-sample 以外的不同项目名称。在通过 Advanced Cluster Manager 控制台部署示例应用程序时，确保使用与此步骤中创建相同的项目名称。

2. 创建 DRPlacementControl 资源

   DRPlacementControl 是一个 API，在 Hub 集群上安装 OpenShift DR Hub Operator 后可用。它基本上是一个 Advanced Cluster Manager PlacementRule 协调器，它根据作为 DRPolicy 一部分的集群中的数据可用性来编排放置决策。

   1. 在 Hub 集群中，导航到 busybox-sample 项目中的 Installed Operators，再单击 OpenShift DR Hub Operator。您应该会看到两个可用的 API，DRPolicy 和 DRPlacementControl。
   2. 为 DRPlacementControl 创建一个实例，然后进入 YAML 视图。确保已选中 busybox-sample 项目。

   3. 在将 <cluster1> 替换为 Advanced Cluster Manager 中的受管集群的正确名称后，将以下 YAML 保存到名为 busybox-drpc.yaml 的文件。修改具有所需复制间隔的 DRPolicy 的 drPolicyRef name。

      apiVersion: ramendr.openshift.io/v1alpha1
      kind: DRPlacementControl
      metadata:
        labels:
          app: busybox-sample
        name: busybox-drpc
      spec:
        drPolicyRef:
          name: odr-policy-5m     ## <-- Modify to specify desired DRPolicy and RPO
        placementRef:
          kind: PlacementRule
          name: busybox-placement
        preferredCluster: <cluster1>
        pvcSelector:
          matchLabels:
            appname: busybox

   4. 将唯一 busybox-drpc.yaml 文件的内容复制到 YAML 视图（完全替换原始内容）。

   5. 在 YAML 视图屏幕上点 Create。

      您还可以使用以下 CLI 命令创建此资源：

      $ oc create -f busybox-drpc.yaml -n busybox-sample

      输出示例：

      drplacementcontrol.ramendr.openshift.io/busybox-drpc created

      重要

      此资源必须在 busybox-sample 命名空间（或您之前创建的任何命名空间）中创建。

3. 创建 Placement Rule 资源，以定义可以部署资源模板的目标集群。使用放置规则促进应用程序的多集群部署。

   1. 将以下 YAML 复制到名为 busybox-placementrule.yaml 的文件中。

      apiVersion: apps.open-cluster-management.io/v1
      kind: PlacementRule
      metadata:
        labels:
          app: busybox-sample
        name: busybox-placement
      spec:
        clusterConditions:
        - status: "True"
          type: ManagedClusterConditionAvailable
        clusterReplicas: 1
        schedulerName: ramen

   2. 为 busybox-sample 应用创建 Placement Rule 资源。

      $ oc create -f busybox-placementrule.yaml -n busybox-sample

      输出示例：

      placementrule.apps.open-cluster-management.io/busybox-placement created

      重要

      此资源必须在 busybox-sample 命名空间（或您之前创建的任何命名空间）中创建。

4. 使用 RHACM 控制台创建示例应用程序

   1. 如果尚未登录，请使用您的 OpenShift 凭据登录 RHACM 控制台。

      $ oc get route multicloud-console -n open-cluster-management -o jsonpath --template="https://{.spec.host}/multicloud/applications{'\n'}"

      输出示例：

      https://multicloud-console.apps.perf3.example.com/multicloud/applications

   2. 导航到 Applications，再单击 Create application。
   3. 选择类型 Subscription。
   4. 输入应用程序 Name （如 busybox）和 Namespace （如 busybox-sample）。
   5. 在 Repository location for resources 部分中，选择 Repository type Git。

   6. 输入示例应用程序的 Git 存储库 URL、github Branch 和 Path，在其中创建资源 busybox Pod 和 PVC。

      使用示例应用程序存储库作为 https://github.com/RamenDR/ocm-ramen-samples，其中 Branch 是 main，Path 是 busybox-odr。

      重要

      在继续操作前，确保创建了新的 StorageClass ocs-storagecluster-ceph-rbdmirror，如创建 Mirror StorageClass 资源部分所述。

      使用以下命令验证是否已创建：

      oc get storageclass | grep rbdmirror | awk '{print $1}'

      输出示例：

      ocs-storagecluster-ceph-rbdmirror

   7. 将表单向下滚动到 Select clusters to deploy 部分，然后点击 Select an existing placement configuration。
   8. 从下拉列表中选择 现有 Placement Rule （如 busybox-placement）。

   9. 点击 Save。

      在下一屏幕上，滚动到底部。您可以看到应用程序拓扑上有所有的绿色对勾图标。

      注意

      要获取更多信息，请点击任何拓扑元素，拓扑视图右侧会显示一个窗口。

5. 验证示例应用部署和复制。

   现在 busybox 应用程序已部署到首选的集群（在 DRPlacementControl 中指定），可以验证部署。

   1. 登录到您的受管集群，其中 busybox 由 RHACM 部署。

      $ oc get pods,pvc -n busybox-sample

      输出示例：

      NAME          READY   STATUS    RESTARTS   AGE
      pod/busybox   1/1     Running   0          6m
      
      NAME                                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
      persistentvolumeclaim/busybox-pvc   Bound    pvc-a56c138a-a1a9-4465-927f-af02afbbff37   1Gi        RWO            ocs-storagecluster-ceph-rbd   6m

   2. 验证是否也为 busybox PVC 创建了复制资源。

      $ oc get volumereplication,volumereplicationgroup -n busybox-sample

      输出示例：

      NAME                                                             AGE   VOLUMEREPLICATIONCLASS           PVCNAME       DESIREDSTATE   CURRENTSTATE
      volumereplication.replication.storage.openshift.io/busybox-pvc   6m   odf-rbd-volumereplicationclass   busybox-pvc   primary        Primary
      
      NAME                                                       AGE
      volumereplicationgroup.ramendr.openshift.io/busybox-drpc   6m

   3. 通过对主受管集群和次受管集群运行以下命令，验证 busybox 卷是否已复制到备用集群。

      $ oc get cephblockpool ocs-storagecluster-cephblockpool -n openshift-storage -o jsonpath='{.status.mirroringStatus.summary}{"\n"}'

      输出示例：

      {"daemon_health":"OK","health":"OK","image_health":"OK","states":{"replaying":2}}

      注意

      两个受管集群都应该具有完全相同的输出，新的状态为 "states":{"replaying":2}'。

步骤

1. 在 Hub 集群中，导航到 Installed Operators，然后点 Openshift DR Hub Operator。
2. 单击 DRPlacementControl 选项卡。
3. 单击 DRPC busybox-drpc，然后单击 YAML 视图。

4. 添加 action 和 failoverCluster 详情，如下方屏幕截图所示。failoverCluster 应该是第二个受管集群的 ACM 集群名称。

   DRPlacementControl 添加 Failover 操作

   

5. 点击 Save。

6. 验证 application busybox 是否现在在次受管集群中运行，即 YAML 文件中指定的故障转移集群 ocp4perf2。

   $ oc get pods,pvc -n busybox-sample

   输出示例：

   NAME          READY   STATUS    RESTARTS   AGE
   pod/busybox   1/1     Running   0          35s
   
   NAME                                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/busybox-pvc   Bound    pvc-79f2a74d-6e2c-48fb-9ed9-666b74cfa1bb   5Gi        RWO            ocs-storagecluster-ceph-rbd   35s

7. 验证 busybox 不再在主受管集群上运行。

   $ oc get pods,pvc -n busybox-sample

   输出示例：

   No resources found in busybox-sample namespace.

步骤

1. 在 Hub 集群中，导航到 Installed Operators，然后点 Openshift DR Hub Operator。
2. 单击 DRPlacementControl 选项卡。
3. 单击 DRPC busybox-drpc，然后单击 YAML 视图。

4. 将操作改为 Relocate

   DRPlacementControl 修改重新分配的操作

   

5. 点击 Save。

6. 验证 busybox 应用程序已在主受管集群中运行。故障转移是在 YAML 文件中指定的 preferredCluster ocp4perf1，它是故障转移操作前应用程序运行的位置。

   $ oc get pods,pvc -n busybox-sample

   输出示例：

   NAME          READY   STATUS    RESTARTS   AGE
   pod/busybox   1/1     Running   0          60s
   
   NAME                                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/busybox-pvc   Bound    pvc-79f2a74d-6e2c-48fb-9ed9-666b74cfa1bb   5Gi        RWO            ocs-storagecluster-ceph-rbd   61s

7. 验证 busybox 是否在第二个受管集群中运行。busybox 应用程序不应在此受管集群上运行。

   $ oc get pods,pvc -n busybox-sample

   输出示例：

   No resources found in busybox-sample namespace.