VMware vSphere 上での OpenShift Data Foundation のデプロイ

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. スクロールするか、OpenShift Data Foundation を Filter by keyword ボックスに入力し、OpenShift Data Foundation Operator を検索します。
4. Install をクリックします。

5. Install Operator ページで、以下のオプションを設定します。

   1. Channel を stable-4.12 として更新します。
   2. Installation Mode オプションで A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-storage を選択します。namespace openshift-storage が存在しない場合は、Operator のインストール時に作成されます。

   4. 承認ストラテジーを Automatic または Manual として選択します。

      Automatic (自動) 更新を選択すると、Operator Lifecycle Manager (OLM) は介入なしに、Operator の実行中のインスタンスを自動的にアップグレードします。

      Manual 更新を選択すると、OLM は更新要求を作成します。クラスター管理者は、Operator を新しいバージョンに更新できるように更新要求を手動で承認する必要があります。

   5. Console プラグイン に Enable オプションが選択されていることを確認します。
   6. Install をクリックします。

手順

1. Vault で Key/Value (KV) バックエンドパスを有効にします。

   Vault KV シークレットエンジン API の場合は、バージョン 1 です。

   $ vault secrets enable -path=odf kv

   Copy to Clipboard Toggle word wrap

   Vault KV シークレットエンジン API の場合は、バージョン 2 を使用します。

   $ vault secrets enable -path=odf kv-v2

   Copy to Clipboard Toggle word wrap

2. シークレットに対して書き込み操作または削除操作を実行するようにユーザーを制限するポリシーを作成します。

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

   Copy to Clipboard Toggle word wrap

3. 上記のポリシーに一致するトークンを作成します。

   $ vault token create -policy=odf -format json

   Copy to Clipboard Toggle word wrap

手順

1. サービスアカウントを作成します。

   $ oc -n openshift-storage create serviceaccount <serviceaccount_name>

   Copy to Clipboard Toggle word wrap

   ここで、<serviceaccount_name> はサービスアカウントの名前を指定します。

   以下に例を示します。

   $ oc -n openshift-storage create serviceaccount odf-vault-auth

   Copy to Clipboard Toggle word wrap

2. clusterrolebindings と clusterroles を作成します。

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:_<serviceaccount_name>_

   Copy to Clipboard Toggle word wrap

   以下に例を示します。

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:odf-vault-auth

   Copy to Clipboard Toggle word wrap

3. serviceaccount トークンおよび CA 証明書のシークレットを作成します。

   $ cat <<EOF | oc create -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: odf-vault-auth-token
     namespace: openshift-storage
     annotations:
       kubernetes.io/service-account.name: <serviceaccount_name>
   type: kubernetes.io/service-account-token
   data: {}
   EOF

   Copy to Clipboard Toggle word wrap

   ここで、<serviceaccount_name> は、前の手順で作成したサービスアカウントです。

4. シークレットからトークンと CA 証明書を取得します。

   $ SA_JWT_TOKEN=$(oc -n openshift-storage get secret odf-vault-auth-token -o jsonpath="{.data['token']}" | base64 --decode; echo)
   $ SA_CA_CRT=$(oc -n openshift-storage get secret odf-vault-auth-token -o jsonpath="{.data['ca\.crt']}" | base64 --decode; echo)

   Copy to Clipboard Toggle word wrap

5. OCP クラスターエンドポイントを取得します。

   $ OCP_HOST=$(oc config view --minify --flatten -o jsonpath="{.clusters[0].cluster.server}")

   Copy to Clipboard Toggle word wrap

6. サービスアカウントの発行者を取得します。

   $ oc proxy &
   $ proxy_pid=$!
   $ issuer="$( curl --silent http://127.0.0.1:8001/.well-known/openid-configuration | jq -r .issuer)"
   $ kill $proxy_pid

   Copy to Clipboard Toggle word wrap

7. 前の手順で収集した情報を使用して、Vault で Kubernetes 認証方法を設定します。

   $ vault auth enable kubernetes

   Copy to Clipboard Toggle word wrap

   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT" \
             issuer="$issuer"

   Copy to Clipboard Toggle word wrap
   重要

   発行者が空の場合は Vault で Kubernetes 認証方法を設定します。

   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT"

   Copy to Clipboard Toggle word wrap

8. Vault で Key/Value (KV) バックエンドパスを有効にします。

   Vault KV シークレットエンジン API の場合は、バージョン 1 を使用します。

   $ vault secrets enable -path=odf kv

   Copy to Clipboard Toggle word wrap

   Vault KV シークレットエンジン API の場合は、バージョン 2 を使用します。

   $ vault secrets enable -path=odf kv-v2

   Copy to Clipboard Toggle word wrap

9. シークレットに対して write または delete 操作を実行するようにユーザーを制限するポリシーを作成します。

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

   Copy to Clipboard Toggle word wrap

10. ロールを作成します。

    $ vault write auth/kubernetes/role/odf-rook-ceph-op \
            bound_service_account_names=rook-ceph-system,rook-ceph-osd,noobaa \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

    Copy to Clipboard Toggle word wrap

    ロール odf-rook-ceph-op は、後でストレージシステムの作成中に KMS 接続の詳細を設定するときに使用されます。

    $ vault write auth/kubernetes/role/odf-rook-ceph-osd \
            bound_service_account_names=rook-ceph-osd \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

    Copy to Clipboard Toggle word wrap

手順

1. OpenShift Web コンソールで、Operators → Installed Operators をクリックし、インストールされた Operator を表示します。

   選択された Project が openshift-storage であることを確認します。

2. OpenShift Data Foundation Operator をクリックした後、Create StorageSystem をクリックします。

3. Backing storage ページで、以下を選択します。

   1. Deployment type オプションで Full Deployment を選択します。
   2. Use an existing StorageClass オプションを選択します。

   3. Storage Class を選択します。

      デフォルトでは thin に設定されます。シックプロビジョニングのストレージ用に、zeroedthick または eagerzeroedthick ディスクフォーマットでストレージクラスを作成した場合は、そのストレージクラスがデフォルトの thin ストレージクラスに加えて表示されます。

   4. Next をクリックします。

4. Capacity and nodes ページで、必要な情報を提供します。

   1. ドロップダウンリストから Requested Capacity の値を選択します。デフォルトで、これは 2 TiB に設定されます。

      注記

      初期ストレージ容量を選択すると、クラスターの拡張は、選択された使用可能な容量を使用してのみ実行されます (raw ストレージの 3 倍)。

   2. Select Nodes セクションで、少なくとも 3 つの利用可能なノードを選択します。

   3. オプション: 選択したノードを OpenShift Data Foundation 専用にする場合は、Taint nodes チェックボックスを選択します。

      高可用性を確保するために、ワーカーノードは 3 つの異なる物理ノード、ラック、障害ドメインに分散します。

      vCenter の非アフィニティーを使用して OpenShift Data Foundation のラックラベルをデータセンターの物理ノードおよびラックラベルに合わせて調整し、同じ物理シャーシに 2 つのワーカーノードがスケジュールされないようにします。

      選択したノードが集約された 30 CPU および 72 GiB の RAM の OpenShift Data Foundation クラスターの要件と一致しない場合は、最小クラスターがデプロイされます。ノードの最小要件については、プランニングガイドの リソース要件 セクションを参照してください。

      Taint nodes チェックボックスを選択して、選択したノードを OpenShift Data Foundation 専用にします。

   4. Next をクリックします。

5. オプション: Security and network ページで、要件に応じて以下を設定します。

   1. 暗号化を有効にするには、Enable data encryption for block and file storage を選択します。

   2. 暗号化レベルのいずれかまたは両方を選択します。

      • クラスター全体の暗号化

        クラスター全体を暗号化します (ブロックおよびファイル)。

      • StorageClass の暗号化

        暗号化対応のストレージクラスを使用して、暗号化された永続ボリューム (ブロックのみ) を作成します。

   3. オプション: Connect to an external key management service チェックボックスを選択します。これはクラスター全体の暗号化の場合はオプションになります。

      1. Key Management Service Provider ドロップダウンリストから、Vault または Thales CipherTrust Manager (using KMIP) を選択します。Vault を選択した場合は、次の手順に進みます。Thales CipherTrust Manager (using KMIP) を選択した場合は、手順 iii に進みます。

      2. Authentication Method を選択します。

         トークン認証方式の使用

         • Vault ('https://<hostname or ip>') サーバーの一意の Connection Name、ホストの Address、Port 番号および Token を入力します。

         • Advanced Settings をデプロイメントして、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

           • OpenShift Data Foundation 専用かつ特有のキーと値のシークレットパスを Backend Path に入力します。
           • オプション: TLS Server Name および Vault Enterprise Namespace を入力します。
           • PEM でエンコードされた、該当の証明書ファイルをアップロードし、CA Certificate、Client Certificate、および Client Private Key を指定します。
           • Save をクリックして、手順 iv に進みます。

         Kubernetes 認証方式の使用

         • Vault ('https://<hostname or ip>') サーバーの一意の Connection Name、ホストの Address、Port 番号、および Role 名を入力します。

         • Advanced Settings をデプロイメントして、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

           • OpenShift Data Foundation 専用かつ特有のキーと値のシークレットパスを Backend Path に入力します。
           • 該当する場合は、TLS Server Name および Authentication Path を入力します。
           • PEM でエンコードされた、該当の証明書ファイルをアップロードし、CA Certificate、Client Certificate、および Client Private Key を指定します。
           • Save をクリックして、手順 iv に進みます。

      3. Thales CipherTrust Manager (using KMIP) を KMS プロバイダーとして使用するには、次の手順に従います。

         1. プロジェクト内のキー管理サービスの一意の Connection Name を入力します。

         2. Address および Port セクションで、Thales CipherTrust Manager の IP と、KMIP インターフェイスが有効になっているポートを入力します。以下に例を示します。

            • Address: 123.34.3.2
            • Port: 5696
         3. Client Certificate、CA certificate、および Client Private Key をアップロードします。
         4. StorageClass 暗号化が有効になっている場合は、上記で生成された暗号化および復号化に使用する一意の識別子を入力します。
         5. TLS Server フィールドはオプションであり、KMIP エンドポイントの DNS エントリーがない場合に使用します。たとえば、kmip_all_<port>.ciphertrustmanager.local などです。
      4. Network を選択します。

   4. 単一のネットワークを使用する場合は Default (SDN) を選択し、複数のネットワークインターフェイスを使用する場合は Custom (Multus) ネットワークを選択します。

      1. ドロップダウンメニューから Public Network Interface を選択します。

      2. ドロップダウンメニューから Cluster Network Interface を選択します。

         注記

         追加のネットワークインターフェイスを 1 つだけ使用している場合は、単一のNetworkAttachementDefinition(Public Network Interfaceにはocs-public-cluster) を選択し、Cluster Network Interfaceは空白のままにします。

      3. Next をクリックします。

6. Review and create ページで、設定の詳細を確認します。

   設定を変更するには、Back をクリックします。

7. Create StorageSystem をクリックします。

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. Filter by keyword ボックスに local storage を入力し、Operator の一覧から Local Storage Operator を見つけ、これをクリックします。

4. Install Operator ページで、以下のオプションを設定します。

   1. チャンネルを 4.12 または stable のいずれかにして更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace で Operator recommended namespace openshift-local-storage を選択します。
   4. 承認を Automatic として更新します。
5. Install をクリックします。

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. スクロールするか、OpenShift Data Foundation を Filter by keyword ボックスに入力し、OpenShift Data Foundation Operator を検索します。
4. Install をクリックします。

5. Install Operator ページで、以下のオプションを設定します。

   1. Channel を stable-4.12 として更新します。
   2. Installation Mode オプションで A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-storage を選択します。namespace openshift-storage が存在しない場合は、Operator のインストール時に作成されます。

   4. 承認ストラテジーを Automatic または Manual として選択します。

      Automatic (自動) 更新を選択すると、Operator Lifecycle Manager (OLM) は介入なしに、Operator の実行中のインスタンスを自動的にアップグレードします。

      Manual 更新を選択すると、OLM は更新要求を作成します。クラスター管理者は、Operator を新しいバージョンに更新できるように更新要求を手動で承認する必要があります。

   5. Console プラグイン に Enable オプションが選択されていることを確認します。
   6. Install をクリックします。

手順

1. OpenShift Web コンソールで、Operators → Installed Operators をクリックし、インストールされた Operator を表示します。

   選択された Project が openshift-storage であることを確認します。

2. OpenShift Data Foundation Operator をクリックした後、Create StorageSystem をクリックします。

3. Backing storage ページで、以下を実行します。

   1. Deployment type オプションで Full Deployment を選択します。
   2. Create a new StorageClass using the local storage devices オプションを選択します。

   3. Next をクリックします。

      注記

      Local Storage Operator がまだインストールされていない場合は、インストールするように求められます。Install をクリックし、ローカルストレージ Operator のインストール で説明されているように手順に従います。

4. Create local volume set ページで、以下の情報を提供します。

   1. LocalVolumeSet および StorageClass の名前を入力します。

      デフォルトでは、ストレージクラス名としてローカルボリュームセット名が表示されます。名前を変更できます。

   2. 以下のいずれかを選択します。

      • Disks on all nodes: すべてのノードにある選択したフィルターに一致する利用可能なディスクを使用します。

      • Disks on selected nodes: 選択したノードにある選択したフィルターに一致する利用可能なディスクを使用します。

        重要

        • フレキシブルスケーリング機能は、3 つ以上のノードで作成したストレージクラスターが 3 つ以上のアベイラビリティーゾーンの最低要件未満に分散されている場合にのみ有効になります。

          フレキシブルスケーリングの詳細は、フレキシブルスケーリングが有効な場合に YAML を使用した OpenShift Data Foundation クラスターのスケーリング に関する ナレッジベースの記事 を参照してください。

        • フレキシブルスケーリング機能はデプロイ時に有効になり、後で有効または無効にすることはできません。

        • 選択したノードが集約された 30 CPU および 72 GiB の RAM の OpenShift Data Foundation クラスターの要件と一致しない場合は、最小クラスターがデプロイされます。

          ノードの最小要件については、プランニングガイドの リソース要件 セクションを参照してください。

   3. Disk Type の利用可能なリストから、SSD/NVMe を選択します。

   4. Advanced セクションを拡張し、以下のオプションを設定します。

      ボリュームモード	デフォルトではブロックが選択されます。
      デバイスタイプ	ドロップダウンリストから 1 つ以上のデバイスタイプを選択します。
      ディスクサイズ	デバイスの最小サイズ 100GB と、含める必要のあるデバイスの最大サイズを設定します。
      ディスクの最大数の制限	これは、ノードで作成できる PV の最大数を示します。このフィールドが空のままの場合、PV は一致するノードで利用可能なすべてのディスクに作成されます。

   5. Next をクリックします。

      LocalVolumeSet の作成を確認するポップアップが表示されます。

   6. Yes をクリックして続行します。

5. Capacity and nodes ページで、以下を設定します。

   1. Available raw capacity には、ストレージクラスに関連付けられた割り当てられたすべてのディスクに基づいて容量の値が設定されます。これには少し時間がかかります。Selected nodes リストには、ストレージクラスに基づくノードが表示されます。
   2. オプション: 選択したノードを OpenShift Data Foundation 専用にする場合は、Taint nodes チェックボックスを選択します。
   3. Next をクリックします。

6. オプション: Security and network ページで、要件に応じて以下を設定します。

   1. 暗号化を有効にするには、Enable data encryption for block and file storage を選択します。

   2. 以下の Encryption level (暗号化レベル) のいずれかを選択します。

      • Cluster-wide encryption: クラスター全体 (ブロックおよびファイル) を暗号化します。
      • StorageClass encryption: 暗号化対応のストレージクラスを使用して暗号化された永続ボリューム (ブロックのみ) を作成します。

   3. オプション: Connect to an external key management service チェックボックスを選択します。これはクラスター全体の暗号化の場合はオプションになります。

      1. Key Management Service Provider ドロップダウンリストから、Vault または Thales CipherTrust Manager (using KMIP) を選択します。Vault を選択した場合は、次の手順に進みます。Thales CipherTrust Manager (using KMIP) を選択した場合は、手順 iii に進みます。

      2. Authentication Method を選択します。

         トークン認証方式の使用

         • Vault ('https://<hostname or ip>') サーバーの一意の Connection Name、ホストの Address、Port 番号および Token を入力します。

         • Advanced Settings をデプロイメントして、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

           • OpenShift Data Foundation 専用かつ特有のキーと値のシークレットパスを Backend Path に入力します。
           • オプション: TLS Server Name および Vault Enterprise Namespace を入力します。
           • PEM でエンコードされた、該当の証明書ファイルをアップロードし、CA Certificate、Client Certificate、および Client Private Key を指定します。
           • Save をクリックして、手順 iv に進みます。

         Kubernetes 認証方式の使用

         • Vault ('https://<hostname or ip>') サーバーの一意の Connection Name、ホストの Address、Port 番号、および Role 名を入力します。

         • Advanced Settings をデプロイメントして、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

           • OpenShift Data Foundation 専用かつ特有のキーと値のシークレットパスを Backend Path に入力します。
           • 該当する場合は、TLS Server Name および Authentication Path を入力します。
           • PEM でエンコードされた、該当の証明書ファイルをアップロードし、CA Certificate、Client Certificate、および Client Private Key を指定します。
           • Save をクリックして、手順 iv に進みます。

      3. Thales CipherTrust Manager (using KMIP) を KMS プロバイダーとして使用するには、次の手順に従います。

         1. プロジェクト内のキー管理サービスの一意の Connection Name を入力します。

         2. Address および Port セクションで、Thales CipherTrust Manager の IP と、KMIP インターフェイスが有効になっているポートを入力します。以下に例を示します。

            • Address: 123.34.3.2
            • Port: 5696
         3. Client Certificate、CA certificate、および Client Private Key をアップロードします。
         4. StorageClass 暗号化が有効になっている場合は、上記で生成された暗号化および復号化に使用する一意の識別子を入力します。
         5. TLS Server フィールドはオプションであり、KMIP エンドポイントの DNS エントリーがない場合に使用します。たとえば、kmip_all_<port>.ciphertrustmanager.local などです。
      4. Network を選択します。

   4. 以下のいずれかを選択します。

      • 単一のネットワークを使用している場合は、Default (SDN) を選択します。

      • 複数のネットワークインターフェイスを使用している場合は、Custom (Multus) を選択します。

        1. ドロップダウンメニューから Public Network Interface を選択します。

        2. ドロップダウンメニューから Cluster Network Interface を選択します。

           注記

           追加のネットワークインターフェイスを 1 つだけ使用している場合は、単一のNetworkAttachementDefinition(Public Network Interface にはocs-public-cluster) を選択し、Cluster Network Interface は空白のままにします。

   5. Next をクリックします。

7. Review and create ページで、設定の詳細を確認します。

   • 設定を変更するには、Back をクリックして前の設定ページに戻ります。
8. Create StorageSystem をクリックします。

手順

1. OpenShift Web コンソールから Workloads → Pods をクリックします。

2. Project ドロップダウンリストから openshift-storage を選択します。

   注記

   Show default projects オプションが無効になっている場合は、切り替えボタンを使用して、すべてのデフォルトプロジェクトをリスト表示します。

   コンポーネントごとに想定される Pod 数や、ノード数に合わせてこの数値がどのように変化するかなどの詳細は、表4.1「OpenShift Data Foundation クラスターに対応する Pod」 を参照してください。

3. 実行中および完了した Pod のフィルターを設定して、次の Pod が Running および Completed 状態であることを確認します。

   Expand

   表4.1 OpenShift Data Foundation クラスターに対応する Pod

   コンポーネント	対応する Pod
   OpenShift Data Foundation Operator	ocs-operator-* (任意のストレージノードに 1 Pod) ocs-metrics-exporter-* (任意のストレージノードに 1 Pod) odf-operator-controller-manager-* (任意のストレージノードに 1 Pod) odf-console-* (任意のストレージノードに 1 Pod) csi-addons-controller-manager-* (任意のストレージノードに 1 Pod)
   Rook-ceph Operator	rook-ceph-operator-* (任意のストレージノードに 1 Pod)
   Multicloud Object Gateway	noobaa-operator-* (任意のストレージノードに 1 Pod) noobaa-core-* (任意のストレージノードに 1 Pod) noobaa-db-pg-* (任意のストレージノードに 1 Pod) noobaa-endpoint-* (任意のストレージノードに 1 Pod)
   MON	rook-ceph-mon-* (ストレージノードに分散する 3 Pod)
   MGR	rook-ceph-mgr-* (任意のストレージノードに 1 Pod)
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* (ストレージノードに分散する 2 Pod)
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* (任意のストレージノードに 1 Pod)
   CSI	cephfs csi-cephfsplugin-* (各ストレージノードに 1 Pod) csi-cephfsplugin-provisioner-* (ストレージノードに分散する 2 Pod) rbd csi-rbdplugin-* (各ストレージノードに 1 Pod) csi-rbdplugin-provisioner-* (ストレージノードに分散する 2 Pod)
   rook-ceph-crashcollector	rook-ceph-crashcollector-* (各ストレージノードに 1 Pod)
   OSD	rook-ceph-osd-* (各デバイス用に 1 Pod) rook-ceph-osd-prepare-ocs-deviceset-* (各デバイス用に 1 Pod)

   Show more

手順

1. OpenShift Web コンソールで、Storage → Data Foundation をクリックします。
2. Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。
3. Block and File タブの Status カードで、Storage Cluster に緑色のチェックマークが表示されていることを確認します。
4. Details カードで、クラスター情報が表示されていることを確認します。

手順

1. OpenShift Web コンソールで、Storage → Data Foundation をクリックします。

2. Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。

   1. Object タブの Status card で、Object Service と Data Resiliency の両方に緑色のチェックマークが表示されていることを確認します。
   2. Details カードで、MCG 情報が表示されることを確認します。

手順

1. OpenShift Web コンソールの左側のペインから Storage → Storage Classes をクリックします。

2. 以下のストレージクラスが OpenShift Data Foundation クラスターの作成時に作成されることを確認します。

   • ocs-storagecluster-ceph-rbd
   • ocs-storagecluster-cephfs
   • openshift-storage.noobaa.io
   • ocs-storagecluster-ceph-rgw