使用 IBM Power 部署 OpenShift Data Foundation

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword… 框中键入 local storage，从操作器列表中搜索 Local Storage operator 并单击它。

4. 在 Install Operator 页面中设置以下选项：

   1. 将频道更新为 stable。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-local-storage。
   4. 批准策略为 Automatic。
5. 点 Install。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 更新频道为 stable-4.12。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

6. 将 Approval Strategy 选为 Automatic 或 Manual。

   如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

   如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

7. 确保为 Console 插件 选择了 Enable 选项。
8. 点 Install。

流程

1. 在密码库中启用 Key/Value(KV)后端路径。

   对于 vault KV 机密引擎 API，版本 1：

   $ vault secrets enable -path=odf kv

   对于 vault KV 机密引擎 API，版本 2：

   $ vault secrets enable -path=odf kv-v2

2. 创建策略来限制用户在 secret 上执行写入或删除操作：

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

3. 创建与上述策略匹配的令牌：

   $ vault token create -policy=odf -format json

流程

1. 创建服务帐户：

   $ oc -n openshift-storage create serviceaccount <serviceaccount_name>

   其中, <serviceaccount_name> 指定服务帐户的名称。

   例如：

   $ oc -n openshift-storage create serviceaccount odf-vault-auth

2. 创建 clusterrolebindings 和 clusterroles:

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:_<serviceaccount_name>_

   例如：

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:odf-vault-auth

3. 为 serviceaccount 令牌和 CA 证书创建 secret。

   $ cat <<EOF | oc create -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: odf-vault-auth-token
     namespace: openshift-storage
     annotations:
       kubernetes.io/service-account.name: <serviceaccount_name>
   type: kubernetes.io/service-account-token
   data: {}
   EOF

   其中，<serviceaccount_name> 是上一步中创建的服务帐户。

4. 从 secret 获取令牌和 CA 证书。

   $ SA_JWT_TOKEN=$(oc -n openshift-storage get secret odf-vault-auth-token -o jsonpath="{.data['token']}" | base64 --decode; echo)
   $ SA_CA_CRT=$(oc -n openshift-storage get secret odf-vault-auth-token -o jsonpath="{.data['ca\.crt']}" | base64 --decode; echo)

5. 检索 OCP 集群端点。

   $ OCP_HOST=$(oc config view --minify --flatten -o jsonpath="{.clusters[0].cluster.server}")

6. 获取服务帐户签发者：

   $ oc proxy &
   $ proxy_pid=$!
   $ issuer="$( curl --silent http://127.0.0.1:8001/.well-known/openid-configuration | jq -r .issuer)"
   $ kill $proxy_pid

7. 使用上一步中收集的信息在 Vault 中设置 Kubernetes 身份验证方法：

   $ vault auth enable kubernetes

   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT" \
             issuer="$issuer"

   重要

   当签发者为空时，在 Vault 中配置 Kubernetes 验证方法：

   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT"

8. 在 Vault 中启用 Key/Value(KV)后端路径。

   对于 Vault KV secret 引擎 API，版本 1：

   $ vault secrets enable -path=odf kv

   对于 Vault KV secret 引擎 API，版本 2：

   $ vault secrets enable -path=odf kv-v2

9. 创建策略来限制用户在 secret 上执行写入或删除操作：

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

10. 生成角色：

    $ vault write auth/kubernetes/role/odf-rook-ceph-op \
            bound_service_account_names=rook-ceph-system,rook-ceph-osd,noobaa \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

    在创建存储系统期间配置 KMS 连接详情时，会稍后使用角色 odf-rook-ceph-op。

    $ vault write auth/kubernetes/role/odf-rook-ceph-osd \
            bound_service_account_names=rook-ceph-osd \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

流程

1. 使用 OpenShift Data Foundation 标签列出并验证工作程序节点的名称。

   $ oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

   输出示例：

   NAME       STATUS   ROLES    AGE     VERSION
   worker-0   Ready    worker   2d11h   v1.23.3+e419edf
   worker-1   Ready    worker   2d11h   v1.23.3+e419edf
   worker-2   Ready    worker   2d11h   v1.23.3+e419edf

2. 登录到用于 OpenShift Data Foundation 资源的每个 worker 节点，并查找您在部署 Openshift Container Platform 时附加的额外磁盘的名称。

   $ oc debug node/<node name>

   输出示例：

   $ oc debug node/worker-0
   Starting pod/worker-0-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.0.63
   If you don't see a command prompt, try pressing enter.
   sh-4.4#
   sh-4.4# chroot /host
   sh-4.4# lsblk
   NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
   loop1    7:1    0   500G  0 loop
   sda      8:0    0   500G  0 disk
   sdb      8:16   0   120G  0 disk
   |-sdb1   8:17   0     4M  0 part
   |-sdb3   8:19   0   384M  0 part
   `-sdb4   8:20   0 119.6G  0 part
   sdc      8:32   0   500G  0 disk
   sdd      8:48   0   120G  0 disk
   |-sdd1   8:49   0     4M  0 part
   |-sdd3   8:51   0   384M  0 part
   `-sdd4   8:52   0 119.6G  0 part
   sde      8:64   0   500G  0 disk
   sdf      8:80   0   120G  0 disk
   |-sdf1   8:81   0     4M  0 part
   |-sdf3   8:83   0   384M  0 part
   `-sdf4   8:84   0 119.6G  0 part
   sdg      8:96   0   500G  0 disk
   sdh      8:112  0   120G  0 disk
   |-sdh1   8:113  0     4M  0 part
   |-sdh3   8:115  0   384M  0 part
   `-sdh4   8:116  0 119.6G  0 part
   sdi      8:128  0   500G  0 disk
   sdj      8:144  0   120G  0 disk
   |-sdj1   8:145  0     4M  0 part
   |-sdj3   8:147  0   384M  0 part
   `-sdj4   8:148  0 119.6G  0 part
   sdk      8:160  0   500G  0 disk
   sdl      8:176  0   120G  0 disk
   |-sdl1   8:177  0     4M  0 part
   |-sdl3   8:179  0   384M  0 part
   `-sdl4   8:180  0 119.6G  0 part /sysroot
   sdm      8:192  0   500G  0 disk
   sdn      8:208  0   120G  0 disk
   |-sdn1   8:209  0     4M  0 part
   |-sdn3   8:211  0   384M  0 part /boot
   `-sdn4   8:212  0 119.6G  0 part
   sdo      8:224  0   500G  0 disk
   sdp      8:240  0   120G  0 disk
   |-sdp1   8:241  0     4M  0 part
   |-sdp3   8:243  0   384M  0 part
   `-sdp4   8:244  0 119.6G  0 part

   在本例中，对于 worker-0，可用的 500G 本地设备为 sda, sdc, sde,sdg, sdi, sdk, sdm,sdo。

3. 对于所有其他带有被 OpenShift Data Foundation 使用的存储设备的 worker 节点，重复以上步骤。详情请查看本知识库文章。

流程

1. 登录 OpenShift Web 控制台。
2. 在 openshift-local-storage 命名空间中点击 Operators → Installed Operators 来查看安装的 Operator。
3. 单击 Local Storage 安装的操作器。
4. 在 Operator Details 页面中，点 Local Volume 链接。
5. 单击 Create Local Volume。
6. 点 YAML 视图来配置本地卷。

7. 使用以下 YAML 为块 PV 定义 LocalVolume 自定义资源。

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: localblock
     namespace: openshift-local-storage
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector:
       nodeSelectorTerms:
         - matchExpressions:
             - key: kubernetes.io/hostname
               operator: In
               values:
                 - worker-0
                 - worker-1
                 - worker-2
     storageClassDevices:
       - devicePaths:
           - /dev/sda
         storageClassName: localblock
         volumeMode: Block

   以上定义从 worker-0, worker-1 和 worker-2 节点选择一个 sda 本地设备。localblock 存储类被创建，持久性卷由 sda 提供。

   重要

   根据您的环境，指定 nodeSelector 的适当值。在所有 worker 节点上，设备名称都应该相同。您还可以指定多个 devicePath。

8. 点 Create。

9. 确认是否已创建 diskmaker-manager pod 和持久性卷。

   1. 对于 Pod

      1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。
      2. 从 Project 下拉列表中，选择 openshift-local-storage。
      3. 检查您在创建 LocalVolume CR 时使用的每个 worker 节点是否有 diskmaker-manager pod。

   2. 对于持久性卷

      1. 从 OpenShift Web 控制台左侧窗格中，点击 Storage → PersistentVolumes。

      2. 使用名称 local-pv-* 检查持久性卷。持久性卷的数量将等同于 worker 节点的数量和在创建 localVolume CR 时置备的存储设备数量。

         重要

         • 只有在您使用三个或更多节点创建的存储集群分布到三个可用区的最低要求时，才会启用灵活的扩展功能。

           这个功能仅在 Red Hat OpenShift Data Foundation 版本 4.7 及更新的版本中提供。存储集群从以前的版本升级到版本 4.7 或更高版本不支持灵活的扩展。如需更多信息，请参阅 发行注记的新功能部分中的 OpenShift Data Foundation 集群灵活性扩展。

         • 灵活扩展功能会在部署时启用，以后无法启用或禁用。

10. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

    确保所选 项目 为 openshift-storage。

11. 单击 OpenShift Data Foundation 操作器，然后单击 Create StorageSystem。

12. 在 Backing storage 页面中，执行以下操作：

    1. 为部署类型选项选择 Full Deployment。
    2. 选择 Use a existing StorageClass 选项。

    3. 选择在安装 LocalVolume 时使用的存储类。

       默认情况下，设置为 none。

    4. 点 Next。

13. 在 Capacity 和 nodes 页面中，配置以下内容：

    1. 可用的原始容量会根据与存储类关联的所有附加磁盘填充容量值。这将需要一些时间才能出现。
    2. Selected nodes 列表根据存储类显示节点。
    3. 可选：选中 Taint nodes 复选框，以将所选节点专用于 OpenShift Data Foundation。
    4. 点 Next。

14. 可选：在 Security and network 页面中，根据您的要求进行配置：

    1. 若要启用加密，可选择为块存储和文件存储启用数据加密。

    2. 选择以下一个或两个加密级别 ：

       • 集群范围的加密

         加密整个集群（块和文件）。

       • StorageClass 加密

         使用启用加密的存储类创建加密的持久性卷（仅块）。

    3. 选中连接到外部密钥管理服务复选框。这是集群范围加密的可选选项。

       1. 从 Key Management Service Provider 下拉列表中，选择 Vault 或 Thales CipherTrust Manager (using KMIP)。如果选择了 Vault，请进入下一步。如果您选择了 KMS Vendor (using KMIP)，请转到步骤 iii。

       2. 选择身份验证方法。

          使用令牌验证方法

          • 输入唯一的连接名称 , Vault 服务器的主机地址（'https://<hostname 或 ip>'），端口号和令牌。

          • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情：

            • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
            • （可选）输入 TLS 服务器名称和 Vault Enterprise 命名空间。
            • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
            • 点 Save 并跳过步骤 d。

          使用 Kubernetes 验证方法

          • 输入唯一的 Vault Connection Name, Vault 服务器的主机地址（'https://<hostname 或 ip>'）、端口号和角色名称。

          • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情：

            • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
            • 可选：输入 TLS Server Name 和 Authentication Path （如果适用）。
            • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
            • 点 Save 并跳过步骤 d。

       3. 在项目中输入密钥管理服务的唯一连接名称。

       4. 在 Address 和 Port 部分中，输入端点。例如：

          • Address: 123.34.3.2 <IP>)
          • 端口 ：5696
       5. 上传 客户端证书、CA 证书和 客户端私钥。
       6. 如果启用了 StorageClass 加密，请输入用于加密和解密的唯一标识符。
       7. TLS Server 字段是可选的，并在没有 KMIP 端点的 DNS 条目时使用。例如，kmip_all_<port>.ciphertrustmanager.local。
       8. 选择 网络。
    4. 选择 Default(SDN) 网络，因为 IBM Power 上的 OpenShift Data Foundation 尚不支持 Multus。
    5. 点 Next。

15. 在 Review and create 页：

    1. 查看配置详情。若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
    2. 单击 Create StorageSystem。

流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。

2. 从 Project 下拉列表中选择 openshift-storage。

   注意

   如果禁用 Show default projects 选项，请使用切换按钮列出所有默认项目。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 3.1 “对应 OpenShift Data Foundation 集群的 Pod”。

3. 点 Running 和 Completed 标签页验证以下 pod 是否处于运行状态并完成状态：

   表 3.1. 对应 OpenShift Data Foundation 集群的 Pod

   组件	对应的 pod
   OpenShift Data Foundation Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocS-metrics-exporter-*（任何 worker 节点上 1 个 pod） odF-operator-controller-manager-*（任何 worker 节点上 1 个 pod） odf-console-* (任何 worker 节点上 1 个 pod) csi-addons-controller-manager-* （任何 worker 节点上 1 个 pod）
   Rook-ceph Operator	rook-ceph-operator-*（ 任何 worker 节点上 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-* (任何存储节点上 1 个 pod) noobaa-db-pg-* (任何存储节点上 1 个 pod) noobaa-endpoint-* (任何存储节点上 1 个 pod)
   MON	rook-ceph-mon-* （每个存储节点上 3 个 pod）
   MGR	rook-ceph-mgr-*（任何存储节点上 1 个 pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （在存储节点间分布 2 个 pod）
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* （任何存储节点上的 1 个 pod）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）
   rook-ceph-crashcollector	rook-ceph-crashcollector-*（每个存储节点上 1 个 pod）
   OSD	rook-ceph-osd-* (每个设备 1 个 pod) rook-ceph-osd-prepare-* (每个设备 1 个 pod)

流程

1. 在 OpenShift Web 控制台中，点 Storage → Data Foundation。
2. 点 Storage Systems 选项卡，然后点 ocs-storagecluster-storagesystem。
3. 在 Overview 选项卡下的 Block and File 仪表板的 Status 卡 中，验证 Storage Cluster 和 Data Resiliency 都带有绿色勾号标记。
4. 在 Details 卡 中，验证是否显示集群信息。

流程

1. 在 OpenShift Web 控制台中，点 Storage → Data Foundation。

2. 在 Overview 选项卡的 Status 卡中，点 Storage System，然后点弹出框中的存储系统链接。

   1. 在 Object 选项卡的 Status 卡 中，验证 Object Service 和数据弹性 都具有绿色勾号。
   2. 在 Details 卡中，验证是否显示了 MCG 信息。

流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Storage → Storage Classes。

2. 验证是否在创建 OpenShift Data Foundation 集群时创建了以下存储类：

   • ocs-storagecluster-ceph-rbd
   • ocs-storagecluster-cephfs
   • openshift-storage.noobaa.io
   • ocs-storagecluster-ceph-rgw

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword… 框中键入 local storage，从操作器列表中搜索 Local Storage operator 并单击它。

4. 在 Install Operator 页面中设置以下选项：

   1. 将频道更新为 stable。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-local-storage。
   4. 批准策略为 Automatic。
5. 点 Install。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 更新频道为 stable-4.12。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

6. 将 Approval Strategy 选为 Automatic 或 Manual。

   如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

   如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

7. 确保为 Console 插件 选择了 Enable 选项。
8. 点 Install。

流程

1. 登录 OpenShift Web 控制台。
2. 在 openshift-local-storage 命名空间中，点 Operators → Installed Operators 查看已安装的 Operator。
3. 单击 Local Storage 安装的操作器。
4. 在 Operator Details 页面中，点 Local Volume 链接。
5. 单击 Create Local Volume。
6. 点 YAML 视图来配置本地卷。

7. 使用以下 YAML 为文件系统 PV 定义 LocalVolume 自定义资源。

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: localblock
     namespace: openshift-local-storage
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector:
       nodeSelectorTerms:
         - matchExpressions:
             - key: kubernetes.io/hostname
               operator: In
               values:
                 - worker-0
                 - worker-1
                 - worker-2
     storageClassDevices:
       - devicePaths:
           - /dev/sda
         storageClassName: localblock
         volumeMode: Filesystem

   以上定义从 worker-0, worker-1 和 worker-2 节点选择一个 sda 本地设备。localblock 存储类被创建，持久性卷由 sda 提供。

   重要

   根据您的环境，指定 nodeSelector 的适当值。在所有 worker 节点上，设备名称都应该相同。您还可以指定多个 devicePath。

8. 点 Create。

9. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

10. 单击 OpenShift Data Foundation operator，然后单击 Create StorageSystem。
11. 在 Backing storage 页面中，为 Deployment 类型选择 Multicloud Object Gateway。

12. 选择 Use a existing StorageClass 选项用于 备份存储类型。

    1. 选择在安装 LocalVolume 时使用的存储类。
13. 点 Next。

14. 可选：在 Security 页面中，选择连接到外部密钥管理服务。

    1. 默认情况下，Key Management Service Provider 设置为 Vault。
    2. 输入 Vault Service Name、Vault 服务器的主机地址 ('https://<hostname 或 ip>')、端口号和 Token。

    3. 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情：

       1. 在后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
       2. （可选）输入 TLS 服务器名称和 Vault Enterprise 命名空间。
       3. 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
       4. 点 Save。
    4. 点 Next。

15. 在 Review and create 页面中，查看配置详情：

    若要修改任何配置设置，请单击 Back。

16. 单击 Create StorageSystem。