扩展存储
在 OpenShift Data Foundation 中扩展操作的说明
摘要
使开源包含更多 复制链接链接已复制到粘贴板!
红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。我们从这四个术语开始:master、slave、黑名单和白名单。由于此项工作十分艰巨,这些更改将在即将推出的几个发行版本中逐步实施。详情请查看 CTO Chris Wright 的信息。
对红帽文档提供反馈 复制链接链接已复制到粘贴板!
我们感谢您对文档提供反馈信息。请告诉我们如何让它更好。
要提供反馈,请创建一个 Bugzilla ticket:
- 进入 Bugzilla 网站。
- 在 Component 部分中,选择 文档。
- 在 Description 中输入您要提供的信息。包括文档相关部分的链接。
- 点 Submit Bug。
第 1 章 扩展存储简介 复制链接链接已复制到粘贴板!
Red Hat OpenShift Data Foundation 是一个高度可扩展的存储系统。OpenShift Data Foundation 允许您添加数量为三的倍数、三个或任何数量(根据部署类型)的磁盘来进行扩展。
- 对于内部(动态置备)部署模式,您可以一次添加 3 个磁盘来提高容量。
- 对于内部连接的(基于本地存储 Operator)模式,您可以在少于 3 个故障域的情况下进行部署。
启用灵活扩展部署后,您可以通过添加任意数量的磁盘来向上扩展。对于具有 3 个故障域的部署,您将能够通过数量为 3 的倍数的磁盘来向上扩展。
有关以外部模式扩展存储的信息,请参阅 Red Hat Ceph Storage 文档。
您可以每个节点最多使用 twelve 存储设备。在节点丢失期间,大量存储设备将导致恢复时间更长。本建议可确保节点保持低于云供应商动态存储设备附加限制,以及限制使用本地存储设备的节点故障后恢复时间。
在扩展时,您必须确保每个扩展要求有足够的 CPU 和内存资源。
默认支持的存储类
-
AWS 上的
gp2-csi
-
VMware 为
thin
-
Microsoft Azure 为
managed_premium
1.1. Red Hat OpenShift Data Foundation 支持的部署 复制链接链接已复制到粘贴板!
用户置备的基础架构:
- Amazon Web Services (AWS)
- VMware
- 裸机
- IBM Power
- IBM Z or IBM® LinuxONE
安装程序置备的基础架构:
- Amazon Web Services (AWS)
- Microsoft Azure
- VMware
- 裸机
第 2 章 扩展存储的要求 复制链接链接已复制到粘贴板!
在继续扩展存储节点前,请参考以下部分以了解特定 Red Hat OpenShift Data Foundation 实例的节点要求:
始终确保您有大量的存储容量。
如果存储完全填满,则无法添加容量、删除内容或从存储中迁移内容以完全释放空间。完全存储很难恢复。
当集群存储容量达到总容量的 75%(接近满)和 85%(满)时,会发出容量警报。始终及时处理容量警告的信息,并定期检查您的存储以确保您不会耗尽存储空间。
如果您完全耗尽存储空间,请联系 红帽客户支持。
第 3 章 扩展 AWS OpenShift Data Foundation 集群的存储容量 复制链接链接已复制到粘贴板!
要在 AWS 集群中扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用副本 2 池时,可用空间可能会有所不同。
3.1. 在集群中扩展存储容量 复制链接链接已复制到粘贴板!
要在用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点击 Add。
-
要检查状态,请导航到 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新对象存储设备(OSD)及其对应的新持久卷声明(PVC)是否已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
3.2. 在 AWS 集群上扩展存储容量 复制链接链接已复制到粘贴板!
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
3.2.1. 添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。建议您始终在三个(各自位于不同故障域中的一个)中添加节点。
虽然建议在三个的倍数中添加节点,但您仍可在灵活扩展部署时添加一个节点。请参阅知识库文章 Verify if flexibility scaling is enabled。
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
3.2.1.1. 在安装程序置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。如果是裸机安装程序置备的基础架构部署,您必须首先扩展集群。具体步骤请参阅 扩展集群。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
3.2.1.2. 在用户置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅 平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。oc get csr
$ oc get csr
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 批准新节点需要的所有 CSR。
oc adm certificate approve <Certificate_Name>
$ oc adm certificate approve <Certificate_Name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <new_node_name>
- 是新节点的名称。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
3.2.2. 扩展存储容量 复制链接链接已复制到粘贴板!
要扩展存储容量,请参阅 扩展集群上的存储容量。
第 4 章 为裸机 OpenShift Data Foundation 集群扩展存储 复制链接链接已复制到粘贴板!
要扩展裸机集群中配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用副本 2 池时,可用空间可能会有所不同。
4.1. 扩展使用本地存储设备创建的集群 复制链接链接已复制到粘贴板!
要扩展使用本地存储设备创建的 OpenShift Data Foundation 集群,您需要向存储节点添加新磁盘。新磁盘大小必须与部署期间使用的磁盘大小相同,因为 OpenShift Data Foundation 不支持异构磁盘/OSD。
对于具有三个故障域的部署,您可以在 3 的倍数中添加磁盘来扩展存储,其数量与来自每个故障域中的节点的磁盘数量相同。例如,如果添加六个磁盘来扩展,则会从三个故障域中的每个域的节点中都获取两个磁盘。如果磁盘数量不是三的倍数,则它只消耗三倍数的磁盘,剩余磁盘将不会使用。
对于少于三个故障域的部署,可以灵活地添加任意数量的磁盘。确保启用了灵活的扩展。如需更多信息,请参阅知识库文章 Verify if flexible scaling is enabled。
灵活扩展功能会在部署时启用,之后无法启用或禁用。
先决条件
- OpenShift Container Platform 控制台的管理特权。
- 正在运行的 OpenShift Data Foundation 存储集群。
- 确保要用于扩展的磁盘已附加到存储节点
-
确保已创建
LocalVolumeDiscovery
和LocalVolumeSet
对象。
流程
要添加容量,您可以使用部署期间置备的存储类或与过滤器匹配的其它存储类。
- 在 OpenShift Web 控制台中,点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 根据您的要求,选择您添加磁盘或新存储类的存储类。显示的可用容量基于存储类中可用的本地磁盘。
- 点 Add。
- 要检查状态,进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
4.2. 在裸机集群中扩展存储容量 复制链接链接已复制到粘贴板!
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。可以添加的节点数量没有限制。但是,从技术支持角度来看,2000 个节点是 OpenShift Data Foundation 的限制。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
4.2.1. 添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。建议您始终在三个(各自位于不同故障域中的一个)中添加节点。
虽然建议在三个的倍数中添加节点,但您仍可在灵活扩展部署时添加一个节点。请参阅知识库文章 Verify if flexibility scaling is enabled。
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
4.2.1.1. 在安装程序置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。如果是裸机安装程序置备的基础架构部署,您必须首先扩展集群。具体步骤请参阅 扩展集群。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
4.2.1.2. 使用本地存储设备添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅 平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。oc get csr
$ oc get csr
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 批准新节点需要的所有 CSR。
oc adm certificate approve <Certificate_Name>
$ oc adm certificate approve <Certificate_Name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
4.2.2. 扩展存储容量 复制链接链接已复制到粘贴板!
要扩展存储容量,请参阅通过添加容量来扩展存储。
第 5 章 扩展 VMware OpenShift Data Foundation 集群的存储 复制链接链接已复制到粘贴板!
5.1. 在动态置备的 VMware 集群上扩展存储 复制链接链接已复制到粘贴板!
要在 VMware 用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- OpenShift Container Platform 控制台的管理特权。
- 正在运行的 OpenShift Data Foundation 存储集群。
- 确保磁盘的大小和类型与初始部署期间使用的磁盘相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点 Add。
-
要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
5.2. 扩展使用本地存储设备创建的集群 复制链接链接已复制到粘贴板!
要扩展使用本地存储设备创建的 OpenShift Data Foundation 集群,您需要向存储节点添加新磁盘。新磁盘大小必须与部署期间使用的磁盘大小相同,因为 OpenShift Data Foundation 不支持异构磁盘/OSD。
对于具有三个故障域的部署,您可以在 3 的倍数中添加磁盘来扩展存储,其数量与来自每个故障域中的节点的磁盘数量相同。例如,如果添加六个磁盘来扩展,则会从三个故障域中的每个域的节点中都获取两个磁盘。如果磁盘数量不是三的倍数,则它只消耗三倍数的磁盘,剩余磁盘将不会使用。
对于少于三个故障域的部署,可以灵活地添加任意数量的磁盘。确保启用了灵活的扩展。如需更多信息,请参阅知识库文章 Verify if flexible scaling is enabled。
灵活扩展功能会在部署时启用,之后无法启用或禁用。
先决条件
- OpenShift Container Platform 控制台的管理特权。
- 正在运行的 OpenShift Data Foundation 存储集群。
- 确保要用于扩展的磁盘已附加到存储节点
-
确保已创建
LocalVolumeDiscovery
和LocalVolumeSet
对象。
流程
要添加容量,您可以使用部署期间置备的存储类或与过滤器匹配的其它存储类。
- 在 OpenShift Web 控制台中,点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 根据您的要求,选择您添加磁盘或新存储类的存储类。显示的可用容量基于存储类中可用的本地磁盘。
- 点 Add。
- 要检查状态,进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
5.3. 在 VMware 集群中扩展存储容量 复制链接链接已复制到粘贴板!
5.3.1. 在安装程序置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。如果是裸机安装程序置备的基础架构部署,您必须首先扩展集群。具体步骤请参阅 扩展集群。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
5.3.2. 在用户置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅 平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。oc get csr
$ oc get csr
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 批准新节点需要的所有 CSR。
oc adm certificate approve <Certificate_Name>
$ oc adm certificate approve <Certificate_Name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <new_node_name>
- 是新节点的名称。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
5.3.3. 使用本地存储设备添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅 平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。oc get csr
$ oc get csr
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 批准新节点需要的所有 CSR。
oc adm certificate approve <Certificate_Name>
$ oc adm certificate approve <Certificate_Name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
5.3.4. 扩展存储容量 复制链接链接已复制到粘贴板!
扩展存储容量:
- 有关动态存储设备,请参阅 扩展集群上的存储容量。
- 对于本地存储设备,请参阅 扩展使用本地存储设备创建的集群
第 6 章 扩展 Microsoft Azure OpenShift Data Foundation 集群的存储 复制链接链接已复制到粘贴板!
要在 Microsoft Azure 集群上扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用副本 2 池时,可用空间可能会有所不同。
6.1. 在集群中扩展存储容量 复制链接链接已复制到粘贴板!
要在用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点击 Add。
-
要检查状态,请导航到 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新对象存储设备(OSD)及其对应的新持久卷声明(PVC)是否已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
6.2. 在 Microsoft Azure 集群上扩展存储容量 复制链接链接已复制到粘贴板!
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
6.2.1. 在安装程序置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。如果是裸机安装程序置备的基础架构部署,您必须首先扩展集群。具体步骤请参阅 扩展集群。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
6.2.2. 扩展存储容量 复制链接链接已复制到粘贴板!
要扩展存储容量,请参阅 扩展集群上的存储容量。
第 7 章 扩展 GCP OpenShift Data Foundation 集群的存储容量 复制链接链接已复制到粘贴板!
要在 GCP 集群中扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用副本 2 池时,可用空间可能会有所不同。
7.1. 在集群中扩展存储容量 复制链接链接已复制到粘贴板!
要在用户置备的基础架构上增加动态创建的存储集群中的存储容量,您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
- 该磁盘的大小应该与初始部署过程中使用的大小相同。
流程
- 登录 OpenShift Web 控制台。
- 点 Operators → Installed Operators。
- 点 OpenShift Data Foundation Operator。
单击 Storage Systems 选项卡。
- 点击存储系统名称最右侧的 Action Menu(⋮) 来扩展选项菜单。
- 从选项菜单中选择 Add Capacity。
- 选择 Storage Class。选择您要用来置备新存储设备的存储类。
- 点击 Add。
-
要检查状态,请导航到 Storage → Data Foundation,并验证 Status 卡中的
Storage System
有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新对象存储设备(OSD)及其对应的新持久卷声明(PVC)是否已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
7.2. 在 GCP 集群上扩展存储容量 复制链接链接已复制到粘贴板!
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
7.2.1. 添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。建议您始终在三个(各自位于不同故障域中的一个)中添加节点。
虽然建议在三个的倍数中添加节点,但您仍可在灵活扩展部署时添加一个节点。请参阅知识库文章 Verify if flexibility scaling is enabled。
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
7.2.1.1. 在安装程序置备的基础架构中添加节点 复制链接链接已复制到粘贴板!
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
- 导航到 Compute → Machine Sets。
在您要添加节点的机器集中,选择 Edit Machine Count。
- 添加节点数量,然后点 Save。
- 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。
将 OpenShift 数据基础标签应用到新节点。
- 对于新节点,点击 Action 菜单(⋮) → Edit Labels。
- 添加 cluster.ocs.openshift.io/openshift-storage,然后点 Save。
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。如果是裸机安装程序置备的基础架构部署,您必须首先扩展集群。具体步骤请参阅 扩展集群。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
7.2.2. 扩展存储容量 复制链接链接已复制到粘贴板!
要扩展存储容量,请参阅 扩展集群上的存储容量。
您可以为配置的 Red Hat OpenShift Data Foundation worker 节点添加存储容量和性能。
灵活扩展功能会在部署时启用,以后无法启用或禁用。
先决条件
- 正在运行的 OpenShift Data Foundation 平台。
- OpenShift Web 控制台的管理特权。
- 要使用部署期间置备的存储类之外的存储类进行扩展,首先定义一个额外的存储类。详情请参阅 创建存储类和池。
流程
使用 zFCP 磁盘添加额外的硬件资源。
列出所有磁盘。
lszdev
$ lszdev
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow SCSI 磁盘以
zfcp-lun
表示,其结构为<device-id>:<wwpn>:<lun-id>
。第一个磁盘用于操作系统。新磁盘的设备 ID 可以相同。附加一个新的 SCSI 磁盘。
chzdev -e 0.0.8204:0x400506630b1b50a4:0x3001301a00000000
$ chzdev -e 0.0.8204:0x400506630b1b50a4:0x3001301a00000000
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意新磁盘的设备 ID 必须与要替换的磁盘相同。新磁盘通过其 WWPN 和 LUN ID 进行标识。
列出所有 FCP 设备以验证新磁盘是否已配置。
lszdev zfcp-lun
$ lszdev zfcp-lun TYPE ID ON PERS NAMES zfcp-lun 0.0.8204:0x102107630b1b5060:0x4001402900000000 yes no sda sg0 zfcp-lun 0.0.8204:0x500507630b1b50a4:0x4001302a00000000 yes yes sdb sg1 zfcp-lun 0.0.8204:0x400506630b1b50a4:0x3001301a00000000 yes yes sdc sg2
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
- 导航到 OpenShift Web 控制台。
- 单击左侧导航栏中的 Operators。
- 选择 Installed Operators。
- 在窗口中点 OpenShift Data Foundation Operator。
在顶部导航栏中,向右滚动并单击 Storage Systems 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
从选项菜单中选择 Add Capacity。
Raw Capacity 字段显示在存储类创建过程中设置的大小。所消耗的存储总量是这个大小的三倍,因为 OpenShift Data Foundation 使用的副本数为 3。
- 点 Add。
- 要检查状态,请进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证 Raw Capacity 卡。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
- 在 Overview 选项卡的 Status 卡中,点 Storage System,然后点弹出框中的存储系统链接。
在 Block and File 选项卡中,检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
8.2. 在 IBM Z 或 IBM LinuxONE 集群中扩展存储容量 复制链接链接已复制到粘贴板!
8.2.1. 使用本地存储设备添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 具有 OpenShift Container Platform 控制台的管理权限。
- 您有一个正在运行的 OpenShift Data Foundation Storage Cluster。
流程
根据基础架构类型,执行以下步骤:
- 获取具有所需基础架构的一个新机器。请参阅 平台要求。
- 使用新机器创建一个新的 OpenShift Container Platform worker 节点。
检查处于
Pending
状态的证书签名请求(CSR)。oc get csr
$ oc get csr
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 批准新节点需要的所有 CSR。
oc adm certificate approve <Certificate_Name>
$ oc adm certificate approve <Certificate_Name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
,然后点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点 Local Volume Discovery 选项卡。
-
在
LocalVolumeDiscovery
旁边,点 Action 菜单 (⋮) → Edit Local Volume Discovery。 -
在 YAML 中,将新节点的主机名添加到节点选择器下的
values
字段中。 - 点 Save。
-
在
点 Local Volume Sets 选项卡。
-
在
LocalVolumeSet
旁边,点 Action 菜单 (⋮) → Edit Local Volume Set。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
8.2.2. 扩展存储容量 复制链接链接已复制到粘贴板!
要扩展存储容量,请参阅 扩展集群上的存储容量。
第 9 章 为 IBM Power OpenShift Data Foundation 集群扩展存储 复制链接链接已复制到粘贴板!
要在 IBM Power 集群中扩展配置的 Red Hat OpenShift Data Foundation worker 节点的存储容量,您可以一次添加三个磁盘来提高容量。由于 OpenShift Data Foundation 使用副本数 3 来维持高可用性,因此需要三个磁盘。因此,消耗的存储量是可用空间的三倍。
当启用加密或使用副本 2 池时,可用空间可能会有所不同。
要扩展使用本地存储设备创建的 OpenShift Data Foundation 集群,需要将新磁盘添加到存储节点。建议您在部署 OpenShift Data Foundation 过程中使用的新磁盘不支持异构磁盘/OSD。
您可以将存储容量(额外存储设备)添加到 IBM Power 基础架构上基于 OpenShift Data Foundation worker 节点配置的本地存储中。
灵活扩展功能会在部署时启用,以后无法启用或禁用。
先决条件
- 您必须登录到 OpenShift Container Platform 集群。
您必须已安装本地存储 Operator。使用以下步骤:
- 您必须有三个存储类型和大小相同的 OpenShift Container Platform worker 节点(例如,0.5TB SSD),与原始 OpenShift Data Foundation StorageCluster 创建时相同。
流程
要为 OpenShift Container Platform 节点添加安装 OpenShift Data Foundation 的存储容量,您需要
找到您要添加的可用设备,即每个 worker 节点最少一个设备。您可以按照相关部署指南中查找可用存储设备的步骤进行操作。
注意确保您为要为其添加存储的所有现有节点(最小 3 个)执行此流程。
在
LocalVolume
自定义资源(CR)中添加额外的磁盘。oc edit -n openshift-local-storage localvolume localblock
$ oc edit -n openshift-local-storage localvolume localblock
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 确保在编辑 CR 后保存更改。
输出示例:
localvolume.local.storage.openshift.io/localblock edited
localvolume.local.storage.openshift.io/localblock edited
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 您可以在此 CR 中看到添加新设备。
-
sdx
-
显示新创建的持久性卷 (PV),带有
localVolume
CR 中使用的storageclass
名称。oc get pv | grep localblock | grep Available
$ oc get pv | grep localblock | grep Available
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
local-pv-a04ffd8 500Gi RWO Delete Available localblock 24s local-pv-a0ca996b 500Gi RWO Delete Available localblock 23s local-pv-c171754a 500Gi RWO Delete Available localblock 23s
local-pv-a04ffd8 500Gi RWO Delete Available localblock 24s local-pv-a0ca996b 500Gi RWO Delete Available localblock 23s local-pv-c171754a 500Gi RWO Delete Available localblock 23s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 导航到 OpenShift Web 控制台。
- 单击左侧导航栏中的 Operators。
- 选择 Installed Operators。
- 在窗口中点 OpenShift Data Foundation Operator。
在顶部导航栏中,向右滚动并单击 Storage System 选项卡。
- 点击可见列表旁的 Action 菜单(⋮) 来扩展选项菜单。
从选项菜单中选择 Add Capacity。
在此对话框中,将 Storage Class 名称设置为
localVolume
CR 中使用的名称。显示的可用容量基于存储类中可用的本地磁盘。- 点 Add。
- 要检查状态,进入 Storage → Data Foundation,并验证 Status 卡中的 Storage System 有一个绿色勾号。
验证步骤
验证可用的容量。
- 在 OpenShift Web 控制台中,点 Storage → Data Foundation。
-
点 Storage Systems 选项卡,然后点
ocs-storagecluster-storagesystem
。 导航到 Overview → Block and File 选项卡,然后检查 Raw Capacity 卡。
请注意,容量会根据您的选择而增加。
注意原始容量不考虑复制并显示完整容量。
验证新 OSD 及其对应的新持久卷声明(PVC)已创建。
查看新创建的 OSD 的状态:
- 从 OpenShift Web 控制台点 Workloads → Pods。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
查看 PVC 的状态:
- 从 OpenShift Web 控制台点 Storage → Persistent Volume Claims。
从 Project 下拉列表中选择
openshift-storage
。注意如果禁用 Show default projects 选项,请使用切换按钮列出所有默认项目。
可选:如果在集群中启用了集群范围的加密,请验证新 OSD 设备是否已加密。
识别运行新 OSD pod 的节点。
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/<OSD-pod-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <OSD-pod-name>
是 OSD pod 的名称。
例如:
oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
$ oc get -n openshift-storage -o=custom-columns=NODE:.spec.nodeName pod/rook-ceph-osd-0-544db49d7f-qrgqm
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例:
NODE compute-1
NODE compute-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
对于上一步中确定的每个节点,请执行以下操作:
创建调试 pod,并为所选主机打开 chroot 环境。
oc debug node/<node-name>
$ oc debug node/<node-name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <node-name>
是节点的名称。
chroot /host
$ chroot /host
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
检查
ocs-deviceset
名称旁边的crypt
关键字。lsblk
$ lsblk
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
只有在红帽支持团队帮助下,才支持集群缩减。
9.2. 在 IBM Power 集群上扩展存储容量 复制链接链接已复制到粘贴板!
OpenShift Data Foundation 是高度可扩展的。它可以通过添加具有所需存储的新节点和足够硬件资源(CPU 和 RAM)来扩展它。实际上,无法添加的节点数量,但从支持角度 2000 个节点是 OpenShift Data Foundation 的限值。
横向扩展存储容量可分为两个步骤:
- 添加新节点
- 扩展存储容量
OpenShift Data Foundation 不支持异构 OSD/Disk 大小。
9.2.1. 使用 IBM Power 中的本地存储设备添加节点 复制链接链接已复制到粘贴板!
当现有 worker 节点已在其最大支持的 OSD 运行或者没有足够的资源在现有节点上添加新的 OSD 时,可以添加节点来增加存储容量。
添加 3 的倍数的节点,它们各自在不同的故障域中。虽然建议以 3 个倍数添加节点,但您也可以灵活地在灵活扩展部署时一次只添加一个节点。请参阅知识库文章 Verify is enabled scaling is enabled
OpenShift Data Foundation 不支持异构磁盘大小和类型。要添加的新节点应该具有与初始 OpenShift Data Foundation 部署中使用的相同类型和大小的磁盘。
先决条件
- 您必须登录到 OpenShift Container Platform 集群。
- 您必须有三个存储类型和大小相同的 OpenShift Container Platform worker 节点(例如,2TB SSD 驱动器),与原始 OpenShift Data Foundation StorageCluster 创建时相同。
流程
- 使用所需基础架构获取新的 IBM Power 机器。请参阅 平台要求。
使用新的 IBM Power 机器创建新的 OpenShift Container Platform 节点。
检查处于
Pending
状态的证书签名请求(CSR)。oc get csr
$ oc get csr
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 批准新节点需要的所有 CSR。
oc adm certificate approve <Certificate_Name>
$ oc adm certificate approve <Certificate_Name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow <Certificate_Name>
- 是 CSR 的名称。
- 点 Compute → Nodes,确认新节点是否处于 Ready 状态。
使用以下任一方法之一将 OpenShift Data Foundation 标签应用到新节点:
- 从用户界面
- 对于新节点,点击 Action Menu(⋮) → Edit Labels。
-
添加
cluster.ocs.openshift.io/openshift-storage
并点 Save。
- 使用命令行界面
将 OpenShift 数据基础标签应用到新节点。
oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
<new_node_name>
- 是新节点的名称。
从 OpenShift Web 控制台中点 Operators → Installed Operators。
从 Project 下拉菜单中选择安装 Local Storage Operator 的项目。
- 点 Local Storage。
点本地卷选项卡。
-
在
LocalVolume
旁边,点 Action 菜单 (⋮) → Edit Local Volume。 在 YAML 中,将新节点的主机名添加到
节点选择器
下的values
字段中。图 9.1. 显示添加新主机名的 YAML
- 点 Save。
-
在
建议您添加 3 个节点,每个节点都位于不同的区中。您必须添加 3 个节点,并对所有节点执行此步骤。
验证步骤
在终端中执行以下命令,并验证输出中是否存在新节点:
oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 OpenShift Web 控制台中,点 Workloads → Pods,确认在新节点上至少有以下 pod 处于 Running 状态:
-
csi-cephfsplugin-*
-
csi-rbdplugin-*
-
9.2.2. 扩展存储容量 复制链接链接已复制到粘贴板!
要扩展存储容量,请参阅 扩展集群上的存储容量。