3.5. Storage

Red Hat Ceph Storage 为 OpenStack 提供首选、可扩展、集成和支持的云存储。Red Hat Ceph Storage 与完整的红帽云软件堆栈紧密集成。它提供块和对象存储功能。

Ceph 集群服务器被分成 monitor 和 Object Storage Device (OSD)节点。

OpenStack 支持通过 OpenStack Object Store 服务(swift)访问对象存储。

默认情况下，在使用 director 安装 Red Hat OpenStack Platform 时，会在控制器上放置一个简单的对象存储部署。对于最小工作负载（如 glance 的后端），在生产环境中支持此对象存储。

使用 director 部署 Red Hat Ceph Storage (RHCS)时，OpenStack Image 服务(glance)的默认安装使用 RHCS 作为后端。这允许镜像存储在冗余、快速存储上，提供写时复制克隆(CoW)，以便更快地引导和最佳存储。

但是，这也意味着不建议使用 QCOW2 格式的镜像。如需更多信息，请参阅将镜像转换为 RAW 格式。您必须使用 RAW 镜像从临时后端或卷启动实例。

RHOCP 安装程序自动下载并使用公开的 QCOW2 格式镜像。您可以通过将 clusterOSImage 安装变量设置为外部 RAW 格式的镜像的 URL 或已存储在 OpenStack 镜像服务中的现有 RAW 格式镜像的名称来更改它。对于 OpenShift 4.12，请从 官方源 获取 OpenStack 镜像。

在指导安装中无法使用 clusterOSImage 变量。您必须手动将其添加到 install-config.yaml 文件中。

OpenShift 安装程序使用镜像服务来实现两个目的：

Kubernetes 持久卷(PV)框架允许 OpenShift 用户从底层存储子系统请求存储，而无需了解存储架构。

OpenShift 支持多种提供存储后端访问的方法。对于 OpenStack 16.2 上的 OpenShift 4.12，我们建议尽可能使用支持 Container Storage Interface (CSI)标准的存储后端。CSI 提供了标准化的方法，为容器化工作负载提供对底层块和文件系统的访问。

有关 CSI 的更多信息，请参阅 Kubernetes Container Storage Interface 中的 "Kubernetes CSI Developer" 部分。

3.5.4.1. Manila-CSI 用于 RWX PV

复制链接

OpenShift 支持 OpenStack Manila CSI Driver Operator，以便 OpenShift 能够与 OpenStack 的共享文件系统服务(manila)交互，以从远程共享文件系统置备 PV。

使用共享文件系统服务访问远程共享文件系统意味着容器工作负载可以使用存储后端，允许同时访问计算实例、裸机节点和容器。这种类型的访问（称为 OpenShift PV 作为其访问模式）名为 ReadWriteMany (RWX)，对于复杂的容器用例是必需的。

使用 Manila-CSI 时，OpenShift 用户可以通过 OpenStack API 和共享文件系统服务轻松使用远程共享文件系统。

图 3.4. 为容器工作负载使用 Manila

如果 OpenShift 检测到底层 OpenStack 云中的 Manila，OpenShift 安装程序会自动创建一个存储类。安装程序不会将该存储类设置为默认存储类。

安装程序置备的基础架构安装方法创建的存储类

$ oc get sc
NAME                   PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
csi-manila-default     manila.csi.openstack.org   Delete          Immediate              false                  37d
standard-csi (default) cinder.csi.openstack.org   Delete          WaitForFirstConsumer   true                   37d

有关设置默认 StorageClass 的更多信息，请参阅 更改默认存储类。

对于为 OpenShift 节点提供需要了解的 OpenShift 节点（特别是对于运行 etcd 的节点），有一些要求和选项。本节涵盖您的选项，但请与红帽员工联系以了解更多详细信息。

安装 OpenShift 时，您必须提供快速存储。

# cat /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml
...
CinderEnableIscsiBackend: false
CinderEnableRbdBackend: true
CinderBackupBackend: ceph
NovaEnableRbdBackend: true
GlanceBackend: rbd
...

在我们的解决方案中，我们使用 ceph-ansible 提供的内置 director 模板，通过 director 部署 Red Hat Ceph Storage (RHCS) 4。我们在 director 中将 NovaEnableRbdBackend 属性设置为 false，以将本地存储用于 nova 临时驱动器。

部署使用 超融合基础架构(HCI)模式 进行测试。在 HCI 部署模式计算和存储服务（超融合）中，并针对资源使用情况进行了优化。这等同于具有专用存储节点，但物理基础架构需要较少的。对于您自己的工作负载，您可以选择最适合您的要求的存储布局类型。Ceph 监控器在 OpenStack 控制器上并置。

此 director 部署模式将本地存储(ephemeral)配置为 control plane 节点的后备存储，以及 worker 节点、cinder 卷、glance 镜像和对象存储的 RHCS。此配置可确保 OpenShift control plane 的快速存储，并利用 etcd 为 HA 的弹性构建，同时通过 RHCS 提供 worker 节点和 OpenStack 服务的冗余。

我们使用 director 安装共享文件系统服务(manila)，并使用使用 Ganesha 进行 NFS 的 RHCS 后端进行配置。有关 CephFS NFS 和 Manila CSI 的更多信息，请参阅 Red Hat OSP 16.x 的建议。

有关 Manila CSI 支持的并经认证的第三方存储驱动程序和厂商，请参阅 红帽合作伙伴生态系统目录。

在我们的解决方案中，Red Hat Ceph Storage 支持以下服务：

在我们的解决方案中，OpenShift 将存储用于各种目的。