3.2. 为外部 IBM FlashSystem 存储创建 OpenShift Data Foundation 集群
在 OpenShift Container Platform 上安装 OpenShift Data Foundation operator 后,需要创建新的 OpenShift Data Foundation 集群。
先决条件
- 对于 Red Hat Enterprise Linux® 操作系统,确保 iSCSI 的连接性,然后在主机上配置 Linux 多路径设备。
- 对于 Red Hat Enterprise Linux CoreOS 或已经安装的软件包,请在主机上配置 Linux 多路径设备。
- 根据您的存储系统说明,确保为每个 worker 配置存储连接。有关最新支持的 FlashSystem 产品和版本,请参阅 IBM 文档中的 Spectrum 虚拟化系列产品文档中的"安装"部分。
流程
在 OpenShift Web 控制台中,点 Operators
Installed Operators 查看所有已安装的 Operator。 确保所选 项目 为
openshift-storage
。- 单击 OpenShift Data Foundation,然后单击 Create StorageSystem。
在 Backing storage 页面中,选择以下选项:
- 为 Deployment 类型选项选择 Full Deployment 。
- 从可用选项中选择 Connect a external storage platform。
- 从 Storage platform 列表中选择 IBM FlashSystem Storage。
- 点 Next。
在 Create Storage class 页面中,提供以下信息:
为存储类输入一个名称。
在创建块存储持久性卷时,请选择存储类 <storage_class_name> 以获得最佳性能。存储类允许到 FlashSystem 的直接 I/O 路径。
输入 IBM FlashSystem 连接的后续 g 详情:
- IP 地址
- 用户名
- 密码
- 池名称
-
在 卷模式中,选择
thick
或thin
。 - 点 Next。
在 Capacity and nodes 页面中,提供所需的详情:
为 Requested capacity 选择一个值。
可用的选项有
0.5 TiB
、2 TiB
和4 TiB
。请求的容量在基础架构存储类上动态分配。在三个不同的区域中至少选择三个节点。
建议从每个节点至少 14 个 CPU 和 34 GiB RAM 开始。如果选择的节点与 OpenShift Data Foundation 的一个聚合的 30 个 CPU 和 72 GiB RAM 的要求不匹配,则会部署一个最小的集群。如需最低起始节点要求,请参阅规划指南中的资源要求部分。
- 点 Next。
可选:在 Security and network 页面中,提供所需的详情:
- 若要启用加密,可选择为块存储和文件存储启用数据加密。
选择任意一个或两个加密级别:
- Cluster-wide encryption 来加密整个集群(块存储和文件存储)。
- Storage class encryption 以使用加密启用的存储类创建加密的持久性卷(仅限块)。
选择 Connect to an external key management service 复选框。这是集群范围加密的可选选项。
- 默认情况下,Key Management Service Provider 设置为 Vault。
- 输入 Vault Service Name、Vault 服务器的主机地址 ('https://<hostname 或 ip>')、端口号和 Token。
展开 Advanced Settings ,以根据您的 Vault 配置输入其他设置和证书详情。
- 在后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
- 可选:输入 TLS Server Name 和 Vault Enterprise 命名空间。
- 通过上传相应的 PEM 编码证书文件提供 CA 证书、客户端证书和客户端私钥。
- 点击 Save。
如果使用一个单一网络,选择 Default (SDN),如果使用多网络接口,选择 Custom (Multus)。
- 从下拉菜单中选择公共网络接口。
-
从下拉菜单中选择集群网络接口。注:如果您只使用一个额外网络接口,请选择单个
NetworkAttachementDefinition
,即ocs-public-cluster
用于公共网络接口,并将 Cluster Network Interface 留空。
- 点 Next。
在 Review and create 页面中,检查所有详情是否正确:
- 若要修改任何配置设置,请单击 Back 以返回到上一配置页面。
- 单击 Create StorageSystem。
验证步骤
- 验证 pod 的状态
-
从 OpenShift Web 控制台左侧窗格中,点击 Workloads
Pods。 从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
表 3.1. 对应 OpenShift Data Foundation 组件的 Pod 组件 对应的 pod OpenShift Data Foundation Operator
-
OCS-operator-*
(在任何 worker 节点上有 1 个 pod) -
ocS-metrics-exporter-*
(任何 worker 节点上 1 个 pod) -
odF-operator-controller-manager-*
(任何 worker 节点上 1 个 pod) -
odf-console-*
(任何 worker 节点上 1 个 pod) -
csi-addons-controller-manager-*
(任何 worker 节点上 1 个 pod)
ibm-storage-odf-operator
-
ibm-storage-odf-operator-*
(任何 worker 节点上 2 个 pod) -
ibm-odf-console-*
ibm-flashsystem-storage
ibm-flashsystem-storage-*(
任何 worker 节点上 1 个 pod)rook-ceph Operator
rook-ceph-operator-*(
任何 worker 节点上 1 个 pod)多云对象网关
-
noobaa-operator-*
(任何 worker 节点上 1 个 pod) -
noobaa-core-*
(任何 worker 节点上有 1 个 pod) -
noobaa-db-pg-*
(任何 worker 节点上有 1 个 pod) -
noobaa-endpoint-*(
任何 worker 节点上有 1 个 pod)
CSI
-
ibm-block-csi-*
(任何 worker 节点上 1 个 pod)
-
-
从 OpenShift Web 控制台左侧窗格中,点击 Workloads
- 验证 OpenShift Data Foundation 集群是否健康
-
在 Web 控制台中,点击 Storage
Data Foundation。 - 在 Overview 选项卡的 Status 卡中,验证 Storage System 有一个绿色勾号标记。
- 在 Details 卡中,验证是否显示集群信息。
-
在 Web 控制台中,点击 Storage
有关使用 Block and File 仪表板的 OpenShift Data Foundation 健康状况的更多信息,请参阅监控 OpenShift Data Foundation。
- 证明 Multicloud 对象网关处于健康状态
-
在 Web 控制台中,点击 Storage
Data Foundation。 - 在 Overview 选项卡的 Status 卡中,单击 Storage System,然后单击弹出中的 storage 系统链接。
- 在 Object 选项卡的 Status 卡中,验证 Object Service 和数据弹性都具有绿色勾号。
- 在 Details 卡中,验证是否显示了 MCG 信息。
-
在 Web 控制台中,点击 Storage
有关使用对象仪表板的 OpenShift Data Foundation 健康状况的更多信息,请参阅监控 OpenShift Data Foundation。
- 验证 IBM FlashSystem 是否已连接并且存储集群已就绪
- 运行以下命令,以验证 OpenShift 数据基础集群是否已连接到外部 IBM FlashSystem:
$ oc get flashsystemclusters.odf.ibm.com NAME AGE PHASE CREATED AT ibm-flashsystemcluster 35s 2021-09-23T07:44:52Z
- 验证存储系统的存储系统
- 运行以下命令,以验证 IBM FlashSystem 存储集群的 storageSystem。
$ oc get storagesystems.odf.openshift.io NAME STORAGE-SYSTEM-KIND STORAGE-SYSTEM-NAME ibm-flashsystemcluster-storagesystem flashsystemcluster.odf.ibm.com/v1alpha1 ibm-flashsystemcluster ocs-storagecluster-storagesystem storagecluster.ocs.openshift.io/v1 ocs-storagecluster
- 验证 IBM operator 的订阅
- 运行以下命令验证订阅:
$ oc get subscriptions.operators.coreos.com NAME PACKAGE SOURCE CHANNEL ibm-block-csi-operator-stable-certified-operators-openshift-marketplace ibm-block-csi-operator certified-operators stable ibm-storage-odf-operator ibm-storage-odf-operator odf-catalogsource stable-v1 noobaa-operator-alpha-odf-catalogsource-openshift-storage noobaa-operator odf-catalogsource alpha ocs-operator-alpha-odf-catalogsource-openshift-storage ocs-operator odf-catalogsource alpha odf-operator odf-operator odf-catalogsource alpha
- 验证 CSV
- 运行以下命令,以验证 CSV 是否处于 succeeded 状态。
$ oc get csv NAME DISPLAY VERSION REPLACES PHASE ibm-block-csi-operator.v1.6.0 Operator for IBM block storage CSI driver 1.6.0 ibm-block-csi-operator.v1.5.0 Succeeded ibm-storage-odf-operator.v0.2.1 IBM Storage ODF operator 0.2.1 Installing noobaa-operator.v5.9.0 NooBaa Operator 5.9.0 Succeeded ocs-operator.v4.10.0 OpenShift Container Storage 4.10.0 Succeeded odf-operator.v4.10.0 OpenShift Data Foundation 4.10.0 Succeeded
- 验证 IBM operator 和 CSI pod
- 运行以下命令以验证 IBM operator 和 CSI pod:
$ oc get pods NAME READY STATUS RESTARTS AGE 5cb2b16ec2b11bf63dbe691d44a63535dc026bb5315d5075dc6c398b3c58l94 0/1 Completed 0 10m 7c806f6568f85cf10d72508261a2535c220429b54dbcf87349b9b4b9838fctg 0/1 Completed 0 8m47s c4b05566c04876677a22d39fc9c02512401d0962109610e85c8fb900d3jd7k2 0/1 Completed 0 10m c5d1376974666727b02bf25b3a4828241612186744ef417a668b4bc1759rzts 0/1 Completed 0 10m ibm-block-csi-operator-7b656d6cc8-bqnwp 1/1 Running 0 8m3s ibm-odf-console-97cb7c84c-r52dq 0/1 ContainerCreating 0 8m4s ibm-storage-odf-operator-57b8bc47df-mgkc7 1/2 ImagePullBackOff 0 94s noobaa-operator-7698579d56-x2zqs 1/1 Running 0 9m37s ocs-metrics-exporter-94b57d764-zq2g2 1/1 Running 0 9m32s ocs-operator-5d96d778f6-vxlq5 1/1 Running 0 9m33s odf-catalogsource-j7q72 1/1 Running 0 10m odf-console-8987868cd-m7v29 1/1 Running 0 9m35s odf-operator-controller-manager-5dbf785564-rwsgq 2/2 Running 0 9m35s rook-ceph-operator-68b4b976d8-dlc6w 1/1 Running 0 9m32s