Regional-DR 向け Advanced Cluster Management と OpenShift Data Foundation の設定

手順

1. 各マネージドクラスターに OpenShift Data Foundation バージョン 4.10 をインストールします。

   OpenShift Data Foundation のデプロイメントについては、インフラストラクチャー固有のデプロイメントガイド (AWS、VMware、ベアメタル、Azure など) を参照してください。

2. 以下のコマンドを使用して、各マネージドクラスターでデプロイメントが正常であることを確認します。

   $ oc get storagecluster -n openshift-storage ocs-storagecluster -o jsonpath='{.status.phase}{"\n"}'

   および Multicloud Object Gateway (MCG) キーの場合:

   $ oc get noobaa -n openshift-storage noobaa -o jsonpath='{.status.phase}{"\n"}'

   両クエリーのステータスが プライマリーマネージドクラスター および セカンダリーマネージドクラスター で Ready である場合は、 マネージドクラスターでミラーリングの有効化に進みます。

手順

1. ハブクラスターで OperatorHub に移動し、OpenShift-DR Hub Operator の検索フィルターを使用します。
2. 画面の指示に従って、Operator をプロジェクト openshift-dr-system にインストールします。

3. 次のコマンドを使用して、オペレーター Pod が Running 状態にあることを確認します。

   $ oc get pods -n openshift-dr-system

   出力例:

   NAME                                 	READY   STATUS    RESTARTS   AGE
   ramen-hub-operator-898c5989b-96k65   	2/2     Running   0          4m14s

手順

1. 次の YAML をファイル名 ocs-storagecluster-ceph-rbdmirror.yaml に保存します。

   allowVolumeExpansion: true
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: ocs-storagecluster-ceph-rbdmirror
   parameters:
     clusterID: openshift-storage
     csi.storage.k8s.io/controller-expand-secret-name: rook-csi-rbd-provisioner
     csi.storage.k8s.io/controller-expand-secret-namespace: openshift-storage
     csi.storage.k8s.io/fstype: ext4
     csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node
     csi.storage.k8s.io/node-stage-secret-namespace: openshift-storage
     csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner
     csi.storage.k8s.io/provisioner-secret-namespace: openshift-storage
     imageFeatures: layering,exclusive-lock,object-map,fast-diff
     imageFormat: "2"
     pool: ocs-storagecluster-cephblockpool
   provisioner: openshift-storage.rbd.csi.ceph.com
   reclaimPolicy: Delete
   volumeBindingMode: Immediate

2. 両方のマネージドクラスターにファイルを作成します。

   $ oc create -f ocs-storagecluster-ceph-rbdmirror.yaml

   出力例:

   storageclass.storage.k8s.io/ocs-storagecluster-ceph-rbdmirror created

手順

1. プライマリーマネージドクラスター の Ingress 証明書を展開し、出力を primary.crt に保存します。

   $ oc get cm default-ingress-cert -n openshift-config-managed -o jsonpath="{['data']['ca-bundle\.crt']}" > primary.crt

2. セカンダリーマネージドクラスターの Ingress 証明書を抽出し、出力を secondary.crt に保存します。

   $ oc get cm default-ingress-cert -n openshift-config-managed -o jsonpath="{['data']['ca-bundle\.crt']}" > secondary.crt

3. プライマリーマネージドクラスター、セカンダリーマネージドクラスター、および ハブクラスター 上のファイル名 cm-clusters-crt.yaml を使用して、リモートクラスターの証明書バンドルを保持する新しい ConfigMap を作成します。

   注記

   この例のように、クラスターごとに 3 つ以上の証明書が存在する可能性があります。また、以前作成した primary.crt ファイルおよび secondary.crt ファイルから、証明書の内容をコピーして貼り付けた後に、証明書の内容が正しくインデントされていることを確認します。

   apiVersion: v1
   data:
     ca-bundle.crt: |
       -----BEGIN CERTIFICATE-----
       <copy contents of cert1 from primary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert2 from primary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert3 primary.crt here>
       -----END CERTIFICATE----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert1 from secondary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert2 from secondary.crt here>
       -----END CERTIFICATE-----
   
       -----BEGIN CERTIFICATE-----
       <copy contents of cert3 from secondary.crt here>
       -----END CERTIFICATE-----
   kind: ConfigMap
   metadata:
     name: user-ca-bundle
     namespace: openshift-config

4. プライマリーマネージドクラスター、セカンダリーマネージドクラスター、およびハブクラスターに ConfigMap ファイルを作成します。

   $ oc create -f cm-clusters-crt.yaml

   出力例:

   configmap/user-ca-bundle created

   重要

   ハブクラスターが DRPolicy リソースを使用してオブジェクトバケットへのアクセスを確認するには、同じ ConfigMap cm-clusters-crt.yaml をハブクラスターに作成する必要もあります。

5. プライマリーマネージドクラスター、セカンダリーマネージドクラスター、および ハブクラスター 上のデフォルトのプロキシーリソースにパッチを適用します。

   $ oc patch proxy cluster --type=merge  --patch='{"spec":{"trustedCA":{"name":"user-ca-bundle"}}}'

   出力例:

   proxy.config.openshift.io/cluster patched

手順

1. ハブクラスターで、openshift-dr-system プロジェクトで Installed Operators に移動し、OpenShift DR Hub Operator をクリックします。2 つの利用可能な API (DRPolicy と DRPlacementControl) が表示されるはずです。
2. DRPolicy の Create instance をクリックし、YAML view をクリックします。

3. <cluster1> および <cluster2> を ACM のマネージドクラスターの正しい名前に置き換えてから、以下の YAML を、ファイル名 drpolicy.yaml に保存します。<string_value_1> および <string_value_2> は、一意である限り任意の値に置き換えます (例: east と west)。SchedulingInterval は、以前に MirrorPeer で設定された値の 1 つである必要があります (例:5m)。

   apiVersion: ramendr.openshift.io/v1alpha1
   kind: DRPolicy
   metadata:
     name: odr-policy-5m
   spec:
     drClusterSet:
     - name: <cluster1>
       region: <string_value_1>
       s3ProfileName: s3profile-<cluster1>-ocs-storagecluster
     - name: <cluster2>
       region: <string_value_2>
       s3ProfileName: s3profile-<cluster2>-ocs-storagecluster
     schedulingInterval: 5m

   注記

   DRPolicy はクラスタースコープのリソースであるため、このリソースを作成するために namespace を指定する必要はありません。

4. 一意の drpolicy.yaml ファイルの内容を YAML ビューにコピーします。元のコンテンツを完全に置き換える必要があります。

5. YAML ビュー画面の Create をクリックします。

   重要

   DRPolicy の schedulingInterval は、MirroPeer リソースで設定されている値の 1 つ (5m など) と一致する必要があります。MirrorPeer で設定されたボリュームレプリケーションに他の schedulingIntervals のいずれかを使用するには、新しい値 (つまり、15m) で追加の DRPolicy リソースを作成する必要があります。DRPolicy nameを一意で、レプリケーション間隔の識別に役立つように変更してください (例: odr-policy-15m)。

6. 作成された DRPolicy リソースごとに ハブクラスター でコマンドを実行して、DRPolicy が正常に作成されていることを確認します。この例は、odr-policy-5m の場合です。

   $ oc get drpolicy odr-policy-5m -n openshift-dr-system -o jsonpath='{.status.conditions[].reason}{"\n"}'

   出力例:

   Succeeded

手順

1. ハブクラスターで ConfigMag ramen-hub-operator-config を編集して、次のように deploymentAutomationEnabled=true を追加します。

   $ oc edit configmap ramen-hub-operator-config -n openshift-dr-system

   apiVersion: v1
   data:
     ramen_manager_config.yaml: |
       apiVersion: ramendr.openshift.io/v1alpha1
       drClusterOperator:
         deploymentAutomationEnabled: true  ## <-- Add to enable installation of ODR Cluster operator on managed clusters
         catalogSourceName: redhat-operators
         catalogSourceNamespaceName: openshift-marketplace
         channelName: stable-4.10
         clusterServiceVersionName: odr-cluster-operator.v4.10.0
         namespaceName: openshift-dr-system
         packageName: odr-cluster-operator
   [...]

2. プライマリーマネージドクラスターでインストールが成功したことを確認し、セカンダリーマネージドクラスターで次のコマンドを実行します。

   $ oc get csv,pod -n openshift-dr-system

   出力例:

   NAME                                                                      DISPLAY                         VERSION   REPLACES   PHASE
   clusterserviceversion.operators.coreos.com/odr-cluster-operator.v4.10.0   Openshift DR Cluster Operator   4.10.0               Succeeded
   
   NAME                                             READY   STATUS    RESTARTS   AGE
   pod/ramen-dr-cluster-operator-5564f9d669-f6lbc   2/2     Running   0          5m32s

   各マネージドクラスターの Operator Hub に移動して、OpenShift DR Cluster Operator がインストールされているかどうかを確認することもできます。

手順

1. 次のように、ハブクラスターの ConfigMag ramen-hub-operator-config 設定を編集して、s3SecretDistributionEnabled=true を追加します。

   $ oc edit configmap ramen-hub-operator-config -n openshift-dr-system

   apiVersion: v1
   data:
     ramen_manager_config.yaml: |
       apiVersion: ramendr.openshift.io/v1alpha1
       drClusterOperator:
         deploymentAutomationEnabled: true
         s3SecretDistributionEnabled: true  ## <-- Add to enable automatic transfer of s3secrets
         catalogSourceName: redhat-operators
         catalogSourceNamespaceName: openshift-marketplace
         channelName: stable-4.10
         clusterServiceVersionName: odr-cluster-operator.v4.10.0
         namespaceName: openshift-dr-system
         packageName: odr-cluster-operator
   [...]

2. 両方のマネージドクラスターでこのコマンドを実行して、シークレットの転送が成功したことを確認します。

   $ oc get secrets -n openshift-dr-system | grep Opaque

   出力例:

   8b3fb9ed90f66808d988c7edfa76eba35647092   Opaque        2      11m
   af5f82f21f8f77faf3de2553e223b535002e480   Opaque        2      11m

手順

1. busybox サンプルアプリケーションのハブクラスターで namespace または プロジェクト を作成します。

   $ oc new-project busybox-sample

   注記

   必要に応じて、busybox-sample 以外のプロジェクト名を使用できます。Advanced Cluster Manager コンソールでサンプルアプリケーションをデプロイする場合は、この手順で作成したものと同じプロジェクト名を使用するようにしてください。

2. DRPlacementControl リソースを作成します。

   DRPlacementControl は、ハブクラスターに OpenShift DR Hub Operator をインストールした後に利用可能な API です。これは、概説としては、DRPolicy の一部であるクラスター間でのデータ可用性に基づいて配置の決定をオーケストレーションする Advanced Cluster Manager PlacementRule リコンサイラーです。

   1. ハブクラスターで、busybox-sample プロジェクトで Installed Operators に移動し、OpenShift DR Hub Operator をクリックします。2 つの利用可能な API (DRPolicy と DRPlacementControl) が表示されるはずです。
   2. DRPlacementControl のインスタンスを作成してから、YAML ビューに移動します。busybox-sample プロジェクトが選択されていることを確認します。

   3. <cluster1> を Advanced Cluster Manager のマネージドクラスターの正しい名前に置き換えたあと、以下の YAML をファイル名 busybox-drpc.yaml に保存します。目的のレプリケーション間隔を持つ DRPolicy の drPolicyRef名 を変更します。

      apiVersion: ramendr.openshift.io/v1alpha1
      kind: DRPlacementControl
      metadata:
        labels:
          app: busybox-sample
        name: busybox-drpc
      spec:
        drPolicyRef:
          name: odr-policy-5m     ## <-- Modify to specify desired DRPolicy and RPO
        placementRef:
          kind: PlacementRule
          name: busybox-placement
        preferredCluster: <cluster1>
        pvcSelector:
          matchLabels:
            appname: busybox

   4. 一意の busybox-drpc.yaml ファイルの内容を YAML ビューにコピーします (元のコンテンツを完全に置き換え)。

   5. YAML ビュー画面の Create をクリックします。

      以下の CLI コマンドを使用してこのリソースを作成することもできます。

      $ oc create -f busybox-drpc.yaml -n busybox-sample

      出力例:

      drplacementcontrol.ramendr.openshift.io/busybox-drpc created

      重要

      このリソースは、busybox-sample namespace (または先に作成した namespace) に作成する必要があります。

3. リソーステンプレートのデプロイ先のターゲットクラスターを定義する Placement Rule リソースを作成します。配置ルールを使用すると、アプリケーションのマルチクラスターデプロイメントが容易になります。

   1. 以下の YAML をファイル名 busybox-placementrule.yaml にコピーし、保存します。

      apiVersion: apps.open-cluster-management.io/v1
      kind: PlacementRule
      metadata:
        labels:
          app: busybox-sample
        name: busybox-placement
      spec:
        clusterConditions:
        - status: "True"
          type: ManagedClusterConditionAvailable
        clusterReplicas: 1
        schedulerName: ramen

   2. busybox-sample アプリケーションの PlacementRule リソースを作成します。

      $ oc create -f busybox-placementrule.yaml -n busybox-sample

      出力例:

      placementrule.apps.open-cluster-management.io/busybox-placement created

      重要

      このリソースは、busybox-sample namespace (または先に作成した namespace) に作成する必要があります。

4. RHACM コンソールを使用した サンプルアプリケーション の作成

   1. まだログインしていない場合は、OpenShift 認証情報を使用して RHACM コンソールにログインします。

      $ oc get route multicloud-console -n open-cluster-management -o jsonpath --template="https://{.spec.host}/multicloud/applications{'\n'}"

      出力例:

      https://multicloud-console.apps.perf3.example.com/multicloud/applications

   2. Applications に移動し、Create application をクリックします。
   3. 種類は Subscriptionを選択します。
   4. アプリケーションの Name (busybox など) および Namespace (busybox-sample など) を入力します。
   5. Repository location for resources セクションで Repository type Git を選択します。

   6. サンプルアプリケーションの github Branch および Path で、 Git リポジトリー URL を入力します。リソース busybox Pod および PVC が作成されます。

      Branch が main で、Path は busybox-odr である https://github.com/RamenDR/ocm-ramen-samples として、サンプルアプリケーションリポジトリーを使用します。

      重要

      続行する前に、Create Mirroring StorageClass resource セクションで説明されているように、新しい StorageClass ocs-storagecluster-ceph-rbdmirror が作成されていることを確認してください。

      次のコマンドを使用して作成されていることを確認します。

      oc get storageclass | grep rbdmirror | awk '{print $1}'

      出力例:

      ocs-storagecluster-ceph-rbdmirror

   7. Select clusters to deploy to セクションまでフォームを下にスクロールして、Select an existing placement configuration をクリックします。
   8. ドロップダウンリストから Existing Placement Rule (busybox-placement など) を選択します。

   9. Save をクリックします。

      次に表示される画面で下部までスクロールします。アプリケーショントポロジーのチェックマークがすべて緑であることが確認できるはずです。

      注記

      詳細な情報を表示するには、トポロジー要素のいずれかをクリックすると、トポロジービューの右側にウィンドウが表示されます。

5. サンプルアプリケーションのデプロイメントおよびレプリケーションを確認します。

   busybox アプリケーションが (DRPlacementControl で指定された) preferredCluster にデプロイされたので、デプロイメントを検証できるようになりました。

   1. busybox が RHACM によってデプロイされたマネージドクラスターにログオンします。

      $ oc get pods,pvc -n busybox-sample

      出力例:

      NAME          READY   STATUS    RESTARTS   AGE
      pod/busybox   1/1     Running   0          6m
      
      NAME                                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
      persistentvolumeclaim/busybox-pvc   Bound    pvc-a56c138a-a1a9-4465-927f-af02afbbff37   1Gi        RWO            ocs-storagecluster-ceph-rbd   6m

   2. レプリケーションリソースも busybox PVC に作成されていることを確認します。

      $ oc get volumereplication,volumereplicationgroup -n busybox-sample

      出力例:

      NAME                                                             AGE   VOLUMEREPLICATIONCLASS           PVCNAME       DESIREDSTATE   CURRENTSTATE
      volumereplication.replication.storage.openshift.io/busybox-pvc   6m   odf-rbd-volumereplicationclass   busybox-pvc   primary        Primary
      
      NAME                                                       AGE
      volumereplicationgroup.ramendr.openshift.io/busybox-drpc   6m

   3. Primary managed cluster と Secondary マネージドクラスター の両方で以下のコマンドを実行して、busybox ボリュームが代替クラスターに複製されていることを確認します。

      $ oc get cephblockpool ocs-storagecluster-cephblockpool -n openshift-storage -o jsonpath='{.status.mirroringStatus.summary}{"\n"}'

      出力例:

      {"daemon_health":"OK","health":"OK","image_health":"OK","states":{"replaying":2}}

      注記

      両方のマネージドクラスターの出力はまったく同じで、新しいステータスが "states":{"replaying":2}` となっているはずです。

手順

1. ハブクラスターで Installed Operators に移動し、Openshift DR Hub Operator をクリックします。
2. DRPlacementControl タブをクリックします。
3. DRPC busybox-drpc をクリックしてから、YAML ビューをクリックします。

4. 以下のスクリーンショットのように、action および failoverCluster の詳細を追加します。failoverCluster はセカンダリーマネージドクラスターの ACM クラスター名である必要があります。

   DRPlacementControl add action Failover

   

5. Save をクリックします。

6. アプリケーションの busybox がセカンダリーマネージドクラスター (YAML ファイルに指定されるフェイルオーバークラスター ocp4perf2) で実行されていることを確認します。

   $ oc get pods,pvc -n busybox-sample

   出力例:

   NAME          READY   STATUS    RESTARTS   AGE
   pod/busybox   1/1     Running   0          35s
   
   NAME                                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/busybox-pvc   Bound    pvc-79f2a74d-6e2c-48fb-9ed9-666b74cfa1bb   5Gi        RWO            ocs-storagecluster-ceph-rbd   35s

7. busybox がプライマリーマネージドクラスターで実行していないことを確認します。

   $ oc get pods,pvc -n busybox-sample

   出力例:

   No resources found in busybox-sample namespace.

手順

1. ハブクラスターで Installed Operators に移動し、Openshift DR Hub Operator をクリックします。
2. DRPlacementControl タブをクリックします。
3. DRPC busybox-drpc をクリックしてから、YAML ビューをクリックします。

4. action を Relocate に変更

   DRPlacementControl modify action to Relocate

   

5. Save をクリックします。

6. アプリケーション busybox がプライマリーマネージドクラスターで実行されているかどうかを確認します。フェイルオーバー操作の前にアプリケーションが実行していた YAML ファイルで指定されている preferredCluster ocp4perf1 へのフェイルバックが行われます。

   $ oc get pods,pvc -n busybox-sample

   出力例:

   NAME          READY   STATUS    RESTARTS   AGE
   pod/busybox   1/1     Running   0          60s
   
   NAME                                STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/busybox-pvc   Bound    pvc-79f2a74d-6e2c-48fb-9ed9-666b74cfa1bb   5Gi        RWO            ocs-storagecluster-ceph-rbd   61s

7. busybox がセカンダリーマネージドクラスターで実行しているかどうかを確認します。busybox アプリケーションは、このマネージドクラスターでは実行しないようにしてください。

   $ oc get pods,pvc -n busybox-sample

   出力例:

   No resources found in busybox-sample namespace.