2.5. 网络注意事项
仔细考虑集群网络的带宽要求,通过订阅划分网络链接,并隔离客户端到集群流量的集群内部流量。
红帽建议在 Ceph 生产部署中使用 10 GB 以太网。1 GB 以太网不适用于生产存储集群。
如果出现驱动器故障,在 1Gbps 网络中复制 1 TB 数据需要 3 小时,而 3 TB 需要 9 小时。3 TB 是典型的驱动器配置。相比之下,使用 10 GB 网络时,复制时间分别为 20 分钟和 1 小时。请记住,当 OSD 出现故障时,集群将通过将其包含的数据复制到池中的其他 OSD 来恢复。
对于大型环境(如机架)的故障,意味着存储集群将使用的带宽要高得多。存储管理员通常希望集群尽快恢复。
至少,存储硬件应使用 10 GB 的以太网链接。如果 Ceph 节点各自有多个驱动器,请为连接和吞吐量添加额外的 10 GB 以太网链接。
在单独的 NIC 上设置前和后端网络。
Ceph 支持公共(前端)网络和群集(后端)网络。公共网络处理客户端流量以及与 Ceph 监视器的通信。集群(后端)网络处理 OSD 心跳、复制、回填和恢复流量。
红帽建议为集群(后端)网络分配带宽,它是前端网络的倍数,使用 osd_pool_default_size
作为您在复制池上的多个基础。红帽还建议在单独的 NIC 上运行公共和集群网络。
在构建包含多个机架(通常用于大型存储实施)的存储群集时,请考虑在"树形"设计中的交换机之间利用尽可能多的网络带宽,以获得最佳性能。典型的 10 GB 以太网交换机有 48 10 GB 端口和四个 40 GB 端口。使用旋转中的 40 GB 端口获得最大吞吐量。或者,考虑将未使用的 10Gbps 端口与 QSFP+ 和 SFP+ 电缆聚合至 40 GB 端口,以连接到另一个机架和机械路由器。
为了优化网络,红帽建议使用巨型帧来提高 CPU/带宽比,以及一个非阻塞的网络交换机后端。红帽 Ceph 存储在通信路径的所有网络设备中,公共和集群网络需要相同的 MTU 值。在在生产环境中使用 Red Hat Ceph Storage 集群之前,验证环境中所有节点和网络设备上的 MTU 值相同。
其它资源
- 如需了解更多详细信息,请参阅红帽 Ceph 存储配置指南 中的验证和配置 MTU 值部分。