扩展存储
在 OpenShift Data Foundation 中扩展操作的说明
摘要
使开源包含更多
红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。我们从这四个术语开始:master、slave、黑名单和白名单。由于此项工作十分艰巨,这些更改将在即将推出的几个发行版本中逐步实施。详情请查看 CTO Chris Wright 的信息。
对红帽文档提供反馈
我们感谢您对文档提供反馈信息。请告诉我们如何让它更好。提供反馈:
关于特定内容的简单评论:
- 请确定您使用 Multi-page HTML 格式查看文档。另外,确定 Feedback 按钮出现在文档页的右上方。
- 用鼠标指针高亮显示您想评论的文本部分。
- 点在高亮文本上弹出的 Add Feedback。
- 按照显示的步骤操作。
要提交更复杂的反馈,请创建一个 Bugzilla ticket:
- 进入 Bugzilla 网站。
- 在 Component 部分中,选择 文档。
- 在 Description 中输入您要提供的信息。包括文档相关部分的链接。
- 点 Submit Bug。
第 1 章 扩展存储简介
Red Hat OpenShift Data Foundation 是高度可扩展的存储系统。OpenShift Data Foundation 允许您添加数量为三的倍数、三个或任何数量(根据部署类型)的磁盘来进行扩展。
- 对于内部(动态置备)部署模式,您可以一次添加 3 个磁盘来提高容量。
- 对于内部连接的(基于本地存储 Operator)模式,您可以在少于 3 个故障域的情况下进行部署。
启用灵活扩展部署后,您可以通过添加任意数量的磁盘来向上扩展。对于具有 3 个故障域的部署,您将能够通过数量为 3 的倍数的磁盘来向上扩展。
有关以外部模式扩展存储的信息,请参阅 Red Hat Ceph Storage 文档。
每个节点最多可以使用九个存储设备。在节点丢失期间,大量存储设备将导致恢复时间更长。本建议可确保节点保持低于云供应商动态存储设备附加限制,以及限制使用本地存储设备的节点故障后恢复时间。
在扩展时,您必须确保每个扩展要求有足够的 CPU 和内存资源。
默认支持的存储类
-
AWS 上的
gp2-csi
-
VMware 为
thin
-
Red Hat Virtualization 为
ovirt-csi-sc
-
Microsoft Azure 为
managed_premium
1.1. Red Hat OpenShift Data Foundation 支持的部署
用户置备的基础架构:
- Amazon Web Services (AWS)
- VMware
- 裸机
- IBM Power
- IBM Z 或 LinuxONE
安装程序置备的基础架构:
- Amazon Web Services (AWS)
- Microsoft Azure
- Red Hat Virtualization
- VMware
第 2 章 扩展存储的要求
在继续扩展存储节点前,请参考以下部分以了解特定 Red Hat OpenShift Data Foundation 实例的节点要求:
始终确保您有大量的存储容量。
如果存储完全填满,则无法添加容量、删除内容或从存储中迁移内容以完全释放空间。完全存储很难恢复。
当集群存储容量达到总容量的 75%(接近满)和 85%(满)时,会发出容量警报。始终及时处理容量警告的信息,并定期检查您的存储以确保您不会耗尽存储空间。
如果您完全耗尽存储空间,请联系 红帽客户支持。
第 3 章 扩展 AWS OpenShift Data Foundation 集群的存储容量
要在 AWS 集群中扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用两个池的副本时,可用空间可能会有所不同。
3.1. 在集群中扩展存储容量
要在用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点 Add。
-
要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
3.2. 在 AWS 集群上扩展存储容量
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
3.2.1. 添加节点
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。建议您始终在三个(各自位于不同故障域中的一个)中添加节点。
虽然我们建议在以下三个之一中添加节点,但您仍可在灵活扩展部署时添加一个节点的灵活性。请参阅知识库文章 Verify if flexibility scaling is enabled。
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
3.2.1.1. 在安装程序置备的基础架构中添加节点
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
3.2.1.2. 在用户置备的基础架构中添加节点
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
3.2.2. 扩展存储容量
要扩展存储容量,请参阅通过添加容量来向上扩展存储。
第 4 章 为裸机 OpenShift Data Foundation 集群扩展存储
要扩展裸机集群中配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用两个池的副本时,可用空间可能会有所不同。
4.1. 扩展使用本地存储设备创建的集群
要扩展使用本地存储设备创建的 OpenShift Data Foundation 集群,需要将新磁盘添加到存储节点。建议您在部署 OpenShift Data Foundation 过程中使用的新磁盘不支持异构磁盘/OSD。
对于具有三个故障域的部署,您可以以三的倍数添加磁盘来扩展存储,且来自每个故障域中的节点的磁盘数量相同。例如,如果添加六个磁盘来扩展,则会从三个故障域中的每个域的节点中都获取两个磁盘。如果磁盘数量不是三的倍数,则它只消耗三倍数的磁盘,剩余磁盘将不会使用。
对于包括少于三个故障域的部署,可以灵活地添加磁盘数量。在这种情况下,您可以添加任意数量的磁盘。为了检查是否启用了灵活扩展,请参阅知识库文章 Verify if flexible scaling is enabled。
灵活扩展功能会在部署时启用,以后无法启用或禁用。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 用于扩展的磁盘已附加到存储节点
-
LocalVolumeDiscovery
和LocalVolumeSet
对象已创建。
流程
要添加容量,您可以使用部署期间置备的存储类或与过滤器匹配的其它存储类。
- 在 OpenShift Web 控制台中,点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
点 Storage Systems 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 根据您的要求,选择您添加磁盘或新存储类的存储类。显示的可用容量基于存储类中可用的本地磁盘。
- 点 Add。
- 要检查状态,进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
4.2. 在裸机集群中扩展存储容量
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。可以添加的节点数量没有限制。从技术支持角度来看,2000 个节点是 OpenShift Data Foundation 的限制。
横向扩展存储容量可分为两个步骤
- 使用本地存储设备添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
4.2.1. 使用本地存储设备添加节点
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。图 4.1. 显示添加新主机名的 YAML
- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
4.2.2. 扩展存储容量
要扩展存储容量,请参阅通过添加容量来向上扩展存储。
第 5 章 扩展 VMware OpenShift Data Foundation 集群的存储
5.1. 在 VMware 集群中扩展存储
要在 VMware 用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点 Add。
-
要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
5.2. 扩展使用本地存储设备创建的集群
要扩展使用本地存储设备创建的 OpenShift Data Foundation 集群,需要将新磁盘添加到存储节点。建议您在部署 OpenShift Data Foundation 过程中使用的新磁盘不支持异构磁盘/OSD。
对于具有三个故障域的部署,您可以以三的倍数添加磁盘来扩展存储,且来自每个故障域中的节点的磁盘数量相同。例如,如果添加六个磁盘来扩展,则会从三个故障域中的每个域的节点中都获取两个磁盘。如果磁盘数量不是三的倍数,则它只消耗三倍数的磁盘,剩余磁盘将不会使用。
对于包括少于三个故障域的部署,可以灵活地添加磁盘数量。在这种情况下,您可以添加任意数量的磁盘。为了检查是否启用了灵活扩展,请参阅知识库文章 Verify if flexible scaling is enabled。
灵活扩展功能会在部署时启用,以后无法启用或禁用。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 用于扩展的磁盘已附加到存储节点
-
LocalVolumeDiscovery
和LocalVolumeSet
对象已创建。
流程
要添加容量,您可以使用部署期间置备的存储类或与过滤器匹配的其它存储类。
- 在 OpenShift Web 控制台中,点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
点 Storage Systems 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 根据您的要求,选择您添加磁盘或新存储类的存储类。显示的可用容量基于存储类中可用的本地磁盘。
- 点 Add。
- 要检查状态,进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
5.3. 在 VMware 集群中扩展存储容量
5.3.1. 在安装程序置备的基础架构中添加节点
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
5.3.2. 在用户置备的基础架构中添加节点
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
5.3.3. 使用本地存储设备添加节点
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。图 5.1. 显示添加新主机名的 YAML
- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
5.3.4. 扩展存储容量
扩展存储容量:
- 有关动态存储设备,请参阅通过添加容量来扩展存储。
- 对于本地存储设备,请参阅扩展使用本地存储设备创建的集群
第 6 章 扩展 Microsoft Azure OpenShift Data Foundation 集群的存储
要在 Microsoft Azure 集群上扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用两个池的副本时,可用空间可能会有所不同。
6.1. 在集群中扩展存储容量
要在用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点 Add。
-
要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
6.2. 在 Microsoft Azure 集群上扩展存储容量
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
6.2.1. 在安装程序置备的基础架构中添加节点
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
6.2.2. 扩展存储容量
要扩展存储容量,请参阅通过添加容量来向上扩展存储。
第 7 章 扩展 Red Hat Virtualization OpenShift Data Foundation 集群存储
要在 Red Hat Virtualization 集群中扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用两个池的副本时,可用空间可能会有所不同。
7.1. 在集群中扩展存储容量
要在用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点 Add。
-
要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
7.2. 在 Red Hat Virtualization 集群中扩展存储容量
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
7.2.1. 在安装程序置备的基础架构中添加节点
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
7.2.2. 使用本地存储设备添加节点
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。图 7.1. 显示添加新主机名的 YAML
- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
7.2.3. 扩展存储容量
扩展存储容量:
- 有关动态存储设备,请参阅通过添加容量来扩展存储。
- 对于本地存储设备,请参阅扩展使用本地存储设备创建的集群
第 8 章 扩展 IBM Z 或 LinuxONE OpenShift Data Foundation 集群的存储
8.1. 通过在 IBM Z 或 LinuxONE 基础架构上为您的 OpenShift Data Foundation 节点添加容量来扩展存储
您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
灵活扩展功能会在部署时启用,以后无法启用或禁用。
先决条件
- 正在运行的 OpenShift Data Foundation 平台。
- OpenShift Web 控制台的管理特权。
- 要使用部署期间置备的存储类之外的存储类进行扩展,首先定义一个额外的存储类。详情请参阅创建存储类。
流程
使用 zFCP 磁盘添加额外的硬件资源。
列出所有磁盘。
$ lszdev
输出示例:
TYPE ID ON PERS NAMES zfcp-host 0.0.8204 yes yes zfcp-lun 0.0.8204:0x102107630b1b5060:0x4001402900000000 yes no sda sg0 zfcp-lun 0.0.8204:0x500407630c0b50a4:0x3002b03000000000 yes yes sdb sg1 qeth 0.0.bdd0:0.0.bdd1:0.0.bdd2 yes no encbdd0 generic-ccw 0.0.0009 yes no
SCSI 磁盘以
zfcp-lun
表示,其结构为<device-id>:<wwpn>:<lun-id>
。第一个磁盘用于操作系统。新磁盘的设备 ID 可以相同。附加一个新的 SCSI 磁盘。
$ chzdev -e 0.0.8204:0x400506630b1b50a4:0x3001301a00000000
注意新磁盘的设备 ID 必须与要替换的磁盘相同。新磁盘通过其 WWPN 和 LUN ID 进行标识。
列出所有 FCP 设备以验证新磁盘是否已配置。
$ lszdev zfcp-lun TYPE ID ON PERS NAMES zfcp-lun 0.0.8204:0x102107630b1b5060:0x4001402900000000 yes no sda sg0 zfcp-lun 0.0.8204:0x500507630b1b50a4:0x4001302a00000000 yes yes sdb sg1 zfcp-lun 0.0.8204:0x400506630b1b50a4:0x3001301a00000000 yes yes sdc sg2
- 导航到 OpenShift Web 控制台。
- 单击左侧导航栏中的 Operators。
- 选择 Installed Operators。
- 在窗口中点 OpenShift Data Foundation Operator。
在顶部导航栏中,向右滚动并单击 Storage Systems 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
从选项菜单中选择 Add Capacity。
Raw Capacity 字段显示在存储类创建过程中设置的大小。所消耗的存储总量是这个大小的三倍,因为 OpenShift Data Foundation 使用的副本数为 3。
- 点 Add。
- 要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
8.2. 在 IBM Z 或 LinuxONE 集群中扩展存储容量
8.2.1. 使用本地存储设备添加节点
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。图 8.1. 显示添加新主机名的 YAML
- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
8.2.2. 扩展存储容量
要扩展存储容量,请参阅通过添加容量来向上扩展存储。
第 9 章 为 IBM Power OpenShift Data Foundation 集群扩展存储
要在 IBM Power 集群中扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用两个池的副本时,可用空间可能会有所不同。
9.1. 通过使用本地存储设备为 IBM Power 基础架构上的 OpenShift Data Foundation 节点添加容量来扩展存储
要扩展使用本地存储设备创建的 OpenShift Data Foundation 集群,需要将新磁盘添加到存储节点。建议您在部署 OpenShift Data Foundation 过程中使用的新磁盘不支持异构磁盘/OSD。
您可以将存储容量(额外存储设备)添加到 IBM Power 基础架构上基于 OpenShift Data Foundation worker 节点配置的本地存储中。
灵活扩展功能会在部署时启用,以后无法启用或禁用。
先决条件
- 您必须登录到 OpenShift Container Platform 集群。
您必须已安装本地存储 Operator。使用以下步骤:
- 您必须有三个存储类型和大小相同的 OpenShift Container Platform worker 节点(例如,0.5TB SSD),与原始 OpenShift Data Foundation StorageCluster 创建时相同。
流程
要为 OpenShift Container Platform 节点添加安装 OpenShift Data Foundation 的存储容量,您需要
找到您要添加的可用设备,即每个 worker 节点最少一个设备。您可以按照相关部署指南中查找可用存储设备的步骤进行操作。
注意确保您为要为其添加存储的所有现有节点(最小 3 个)执行此流程。
在
LocalVolume
自定义资源(CR)中添加额外的磁盘。$ oc edit -n openshift-local-storage localvolume localblock
输出示例:
spec: logLevel: Normal managementState: Managed nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - worker-0 - worker-1 - worker-2 storageClassDevices: - devicePaths: - /dev/sda - /dev/sdx # newly added device storageClassName: localblock volumeMode: Block
确保在编辑 CR 后保存更改。
输出示例:
localvolume.local.storage.openshift.io/localblock edited
您可以在此 CR 中看到添加新设备。
-
sdx
-
显示新创建的持久性卷 (PV),带有
localVolume
CR 中使用的storageclass
名称。$ oc get pv | grep localblock | grep Available
输出示例:
local-pv-a04ffd8 500Gi RWO Delete Available localblock 24s local-pv-a0ca996b 500Gi RWO Delete Available localblock 23s local-pv-c171754a 500Gi RWO Delete Available localblock 23s
- 导航到 OpenShift Web 控制台。
- 单击左侧导航栏中的 Operators。
- 选择 Installed Operators。
- 在窗口中点 OpenShift Data Foundation Operator。
在顶部导航栏中,向右滚动并单击 Storage System 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
从选项菜单中选择 Add Capacity。
在此对话框中,将 Storage Class 名称设置为
localVolume
CR 中使用的名称。显示的可用容量基于存储类中可用的本地磁盘。- 点 Add。
- 要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证可用的容量。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
-
点 Storage Systems 选项卡,然后点
ocs-storagecluster-storagesystem
。 导航到 Overview → Block and File 选项卡,然后检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
<OSD-pod-name>
是 OSD pod 的名称。
例如:
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
输出示例:
NODE compute-1
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
$ oc debug node/<node-name>
<node-name>
是节点的名称。
$ chroot /host
检查
ocs-deviceset
名称旁边的crypt
关键字。$ lsblk
只有在红帽支持团队帮助下,才支持集群缩减。
9.2. 在 IBM Power 集群上扩展存储容量
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤:
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
9.2.1. 使用 IBM Power 中的本地存储设备添加节点
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 您必须登录到 OpenShift Container Platform 集群。
- 您必须有三个存储类型和大小相同的 OpenShift Container Platform worker 节点(例如,2TB SSD 驱动器),与原始 OpenShift Data Foundation StorageCluster 创建时相同。
流程
- 使用所需基础架构获取新的 IBM Power 机器。请参阅平台要求。
使用新的 IBM Power 机器创建新的 OpenShift Container Platform 节点。
检查处于
Pending
状态的证书签名请求(CSR)。$ oc get csr
批准新节点需要的所有 CSR。
$ oc adm certificate approve <Certificate_Name>
<Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
并点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点本地卷选项卡。
-
在
LocalVolume
旁边,点 Action 菜单 (⋮) → Edit Local Volume。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。图 9.1. 显示添加新主机名的 YAML
- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
执行以下命令终端,并验证输出中是否存在新节点:
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
9.2.2. 扩展存储容量
要扩展存储容量,请参阅通过添加容量来向上扩展存储。