使用 IBM Power 部署 OpenShift Data Foundation

流程

1. 在 Vault 中启用 Key/Value(KV)后端路径。

   对于 Vault KV secret 引擎 API，版本 1：

   $ vault secrets enable -path=odf kv

   对于 Vault KV secret 引擎 API，版本 2：

   $ vault secrets enable -path=odf kv-v2

2. 使用以下命令，创建一个策略来限制用户对机密执行写入或删除操作。

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

3. 创建与上述策略匹配的令牌。

   $ vault token create -policy=odf -format json

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyworr 框中键入 local storage，从操作器列表中搜索 Local Storage operator 并单击它。

4. 在 Install Operator 页面中设置以下选项：

   1. 更新频道为 stable。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-local-storage。
   4. 批准策略为 Automatic。
5. 点 Install。

流程

1. 在 OpenShift Web 控制台左侧窗格中导航，以点击 Operators → OperatorHub。
2. 在 Filter by keyword 框中滚动或输入关键字以搜索 OpenShift Data Foundation Operator。
3. 在 OpenShift Data Foundation operator 页面上，单击 Install。

4. 在 Install Operator 页面中，默认选择以下所需选项：

   1. 更新频道是 stable-4.9。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

5. 将 Approval Strategy 选为 Automatic 或 Manual。

   如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

   如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

6. 确保为 Console 插件 选择了 Enable 选项。
7. 点 Install。

流程

1. 使用 OpenShift Data Foundation 标签列出并验证工作程序节点的名称。

   $ oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

   输出示例：

   NAME       STATUS   ROLES    AGE     VERSION
   worker-0   Ready    worker   2d11h   v1.21.1+f36aa36
   worker-1   Ready    worker   2d11h   v1.21.1+f36aa36
   worker-2   Ready    worker   2d11h   v1.21.1+f36aa36

2. 登录到用于 OpenShift Data Foundation 资源的每个 worker 节点，并查找您在部署 Openshift Container Platform 时附加的额外磁盘的名称。

   $ oc debug node/<node name>

   输出示例：

   $ oc debug node/worker-0
   Starting pod/worker-0-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.0.63
   If you don't see a command prompt, try pressing enter.
   sh-4.4#
   sh-4.4# chroot /host
   sh-4.4# lsblk
   NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
   loop1    7:1    0   500G  0 loop
   sda      8:0    0   500G  0 disk
   sdb      8:16   0   120G  0 disk
   |-sdb1   8:17   0     4M  0 part
   |-sdb3   8:19   0   384M  0 part
   `-sdb4   8:20   0 119.6G  0 part
   sdc      8:32   0   500G  0 disk
   sdd      8:48   0   120G  0 disk
   |-sdd1   8:49   0     4M  0 part
   |-sdd3   8:51   0   384M  0 part
   `-sdd4   8:52   0 119.6G  0 part
   sde      8:64   0   500G  0 disk
   sdf      8:80   0   120G  0 disk
   |-sdf1   8:81   0     4M  0 part
   |-sdf3   8:83   0   384M  0 part
   `-sdf4   8:84   0 119.6G  0 part
   sdg      8:96   0   500G  0 disk
   sdh      8:112  0   120G  0 disk
   |-sdh1   8:113  0     4M  0 part
   |-sdh3   8:115  0   384M  0 part
   `-sdh4   8:116  0 119.6G  0 part
   sdi      8:128  0   500G  0 disk
   sdj      8:144  0   120G  0 disk
   |-sdj1   8:145  0     4M  0 part
   |-sdj3   8:147  0   384M  0 part
   `-sdj4   8:148  0 119.6G  0 part
   sdk      8:160  0   500G  0 disk
   sdl      8:176  0   120G  0 disk
   |-sdl1   8:177  0     4M  0 part
   |-sdl3   8:179  0   384M  0 part
   `-sdl4   8:180  0 119.6G  0 part /sysroot
   sdm      8:192  0   500G  0 disk
   sdn      8:208  0   120G  0 disk
   |-sdn1   8:209  0     4M  0 part
   |-sdn3   8:211  0   384M  0 part /boot
   `-sdn4   8:212  0 119.6G  0 part
   sdo      8:224  0   500G  0 disk
   sdp      8:240  0   120G  0 disk
   |-sdp1   8:241  0     4M  0 part
   |-sdp3   8:243  0   384M  0 part
   `-sdp4   8:244  0 119.6G  0 part

   在本例中，对于 worker-0，可用的 500G 本地设备为 sda, sdc, sde,sdg, sdi, sdk, sdm,sdo

3. 对于所有其他带有被 OpenShift Data Foundation 使用的存储设备的 worker 节点，重复以上步骤。详情请查看本知识库文章。

流程

1. 登录 OpenShift Web 控制台。
2. 在 openshift-local-storage 命名空间中点击 Operators → Installed Operators 来查看安装的 Operator。
3. 单击 Local Storage 安装的操作器。
4. 在 Operator Details 页面中，点 Local Volume 链接。
5. 单击 Create Local Volume。
6. 点 YAML 视图来配置本地卷。

7. 使用以下 YAML 为块 PV 定义 LocalVolume 自定义资源。

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: localblock
     namespace: openshift-local-storage
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector:
       nodeSelectorTerms:
         - matchExpressions:
             - key: kubernetes.io/hostname
               operator: In
               values:
                 - worker-0
                 - worker-1
                 - worker-2
     storageClassDevices:
       - devicePaths:
           - /dev/sda
         storageClassName: localblock
         volumeMode: Block

   以上定义从 worker-0, worker-1 和 worker-2 节点选择一个 sda 本地设备。localblock 存储类被创建，持久性卷由 sda 提供。

   重要

   根据您的环境，指定 nodeSelector 的适当值。在所有 worker 节点上，设备名称都应该相同。您还可以指定多个 devicePath。

8. 点击 Create。

9. 确认是否已创建 diskmaker-manager pod 和持久性卷。

   1. 对于 Pod

      1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。
      2. 从 Project 下拉列表中，选择 openshift-local-storage。
      3. 检查您在创建 LocalVolume CR 时使用的每个 worker 节点是否有 diskmaker-manager pod。

   2. 对于持久性卷

      1. 从 OpenShift Web 控制台左侧窗格中，点击 Storage → PersistentVolumes。

      2. 使用名称 local-pv-* 检查持久性卷。持久性卷的数量将等同于 worker 节点的数量和在创建 localVolume CR 时置备的存储设备数量。

         重要

         • 只有在您使用 3 个或更多节点创建的存储集群分布到 3 个可用区的最低要求时，才会启用灵活的扩展功能。

           有关灵活扩展的信息，请参阅扩展存储指南中的使用 YAML 添加容量部分。

10. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

    确保所选 项目 为 openshift-storage。

11. 单击 OpenShift Data Foundation 操作器，然后单击 Create StorageSystem。

12. 在 Backing storage 页面中，选择以下选项：

    1. 选择 Use a existing StorageClass 选项。

    2. 选择在安装 LocalVolume 时使用的存储类。

       默认情况下，设置为 none。

    3. 点 Next。

13. 在 Capacity and nodes 页面中，提供必要的信息：

    1. 可用的原始容量会根据与存储类关联的所有附加磁盘填充容量值。这将需要一些时间才能出现。
    2. Selected nodes 列表根据存储类显示节点。
    3. 点 Next。

14. 可选： 在 Security and network 页面中，根据您的要求配置以下内容：

    1. 若要启用加密，可选择为块存储和文件存储启用数据加密。

    2. 选择以下一个或两个加密级别 ：

       • 集群范围的加密

         加密整个集群（块和文件）。

       • StorageClass 加密

         使用启用加密的存储类创建加密的持久性卷（仅块）。

    3. 选中连接到外部密钥管理服务复选框。这是集群范围加密的可选选项。

       1. 默认情况下，Key Management Service Provider 设置为 Vault。
       2. 输入 Vault Service Name、Vault 服务器的主机地址 （'https://<hostname 或 ip>'）、端口号和 Token。

       3. 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

          1. 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
          2. （可选）输入 TLS 服务器名称和 Vault Enterprise 命名空间。
          3. 通过上传相应的 PEM 编码证书文件提供 CA 证书、客户端证书和客户端私钥。
          4. 点击 Save。
    4. 选择 Default(SDN)，因为 IBM Power 上的 OpenShift Data Foundation 尚不支持 Multus。
    5. 点 Next。

15. 在 Review and create page 中：

    1. 查看配置详情。若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
    2. 单击 Create StorageSystem。

流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。

2. 从 Project 下拉列表中选择 openshift-storage。

   注意

   如果禁用 Show default projects 选项，请使用切换按钮列出所有默认项目。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 3.1 “对应 OpenShift Data Foundation 集群的 Pod”。

3. 点 Running 和 Completed 标签页验证以下 pod 是否处于运行状态并完成状态：

   表 3.1. 对应 OpenShift Data Foundation 集群的 Pod

   组件	对应的 pod
   OpenShift Data Foundation Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocS-metrics-exporter-*（任何 worker 节点上 1 个 pod） odF-operator-controller-manager-*（任何 worker 节点上 1 个 pod） odf-console-* (任何 worker 节点上 1 个 pod)
   Rook-ceph Operator	rook-ceph-operator-*（ 任何 worker 节点上 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-* (任何存储节点上 1 个 pod) noobaa-db-pg-* (任何存储节点上 1 个 pod) noobaa-endpoint-* (任何存储节点上 1 个 pod)
   MON	rook-ceph-mon-* （每个存储节点上 3 个 pod）
   MGR	rook-ceph-mgr-*（任何存储节点上 1 个 pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （在存储节点间分布 2 个 pod）
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* （任何存储节点上的 1 个 pod）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）
   rook-ceph-crashcollector	rook-ceph-crashcollector-*（每个存储节点上 1 个 pod）
   OSD	rook-ceph-osd-* (每个设备 1 个 pod) rook-ceph-osd-prepare-ocs-deviceset-* （每个设备 1 个 pod）

流程

1. 在 OpenShift Web 控制台中，点 Storage → OpenShift Data Foundation。
2. 点 Storage Systems 选项卡，然后点 ocs-storagecluster-storagesystem。
3. 在 Overview 选项卡下的 Block and File 仪表板的 Status 卡 中，验证 Storage Cluster 和 Data Resiliency 都带有绿色勾号标记。
4. 在 Details 卡 中，验证是否显示集群信息。

流程

1. 在 OpenShift Web 控制台中，点 Storage → OpenShift Data Foundation。

2. 在 Overview 选项卡的 Status 卡中，点 Storage System，然后点弹出框中的存储系统链接。

   1. 在 Object 选项卡的 Status 卡 中，验证 Object Service 和数据弹性 都具有绿色勾号。
   2. 在 Details 卡中，验证是否显示了 MCG 信息。

流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Storage → Storage Classes。

2. 验证是否在创建 OpenShift Data Foundation 集群时创建了以下存储类：

   • ocs-storagecluster-ceph-rbd
   • ocs-storagecluster-cephfs
   • openshift-storage.noobaa.io
   • ocs-storagecluster-ceph-rgw

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyworr 框中键入 local storage，从操作器列表中搜索 Local Storage operator 并单击它。

4. 在 Install Operator 页面中设置以下选项：

   1. 更新频道为 stable。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-local-storage。
   4. 批准策略为 Automatic。
5. 点 Install。

流程

1. 在 OpenShift Web 控制台左侧窗格中导航，以点击 Operators → OperatorHub。
2. 在 Filter by keyword 框中滚动或输入关键字以搜索 OpenShift Data Foundation Operator。
3. 在 OpenShift Data Foundation operator 页面上，单击 Install。

4. 在 Install Operator 页面中，默认选择以下所需选项：

   1. 更新频道是 stable-4.9。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

5. 将 Approval Strategy 选为 Automatic 或 Manual。

   如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

   如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

6. 确保为 Console 插件 选择了 Enable 选项。
7. 点 Install。

流程

1. 登录 OpenShift Web 控制台。
2. 在 openshift-local-storage 命名空间中，点 Operators → Installed Operators 查看已安装的 Operator。
3. 单击 Local Storage 安装的操作器。
4. 在 Operator Details 页面中，点 Local Volume 链接。
5. 单击 Create Local Volume。
6. 点 YAML 视图来配置本地卷。

7. 使用以下 YAML 为文件系统 PV 定义 LocalVolume 自定义资源。

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: localblock
     namespace: openshift-local-storage
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector:
       nodeSelectorTerms:
         - matchExpressions:
             - key: kubernetes.io/hostname
               operator: In
               values:
                 - worker-0
                 - worker-1
                 - worker-2
     storageClassDevices:
       - devicePaths:
           - /dev/sda
         storageClassName: localblock
         volumeMode: Filesystem

   以上定义从 worker-0, worker-1 和 worker-2 节点选择一个 sda 本地设备。localblock 存储类被创建，持久性卷由 sda 提供。

   重要

   根据您的环境，指定 nodeSelector 的适当值。在所有 worker 节点上，设备名称都应该相同。您还可以指定多个 devicePath。

8. 点击 Create。

9. 通过注解 本地块 存储类，将本地块存储类作为默认存储类。

   1. 从 OpenShift Web 控制台左侧窗格中，点 Storage → StorageClasses。
   2. 点 localblock storageClass。
   3. 通过将 Key storageclass.kubernetes.io/is-default-class 和 Value 添加为 true 来编辑 注释。
   4. 点击 Save。

10. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

    确保所选项目为 openshift-storage。

11. 单击 OpenShift Data Foundation operator，然后单击 Create StorageSystem。
12. 在 Backing storage 页面中，展开 Advanced。
13. 为 Deployment 类型选择 Multicloud Object Gateway。
14. 点 Next。

15. 可选：在 Security 页面中，选择连接到外部密钥管理服务。

    1. 默认情况下，Key Management Service Provider 设置为 Vault。
    2. 输入 Vault Service Name、Vault 服务器的主机地址 ('https://<hostname 或 ip>')、端口号和 Token。

    3. 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

       1. 在后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
       2. （可选）输入 TLS 服务器名称和 Vault Enterprise 命名空间。
       3. 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
       4. 点击 Save。
    4. 点 Next。

16. 在 Review and create 页面中，查看配置详情：

    若要修改任何配置设置，请单击 Back。

17. 单击 Create StorageSystem。