第 5 章 多站点配置和管理
作为存储管理员,您可以为各种用例配置和管理多个 Ceph 对象网关。您可以了解在灾难恢复和故障转移事件期间要做什么。另外,您可以在多站点 Ceph 对象网关环境中了解更多有关 realms、zone 和 syncing 策略的信息。
单个 zone 配置通常由一个 zone 和一个 zone group 和一个或者多个 ceph-radosgw
实例组成,您可以在实例之间对网关客户端请求进行负载平衡。在单一区域配置中,通常多个网关实例指向一个 Ceph 存储集群。但是,红帽支持 Ceph 对象网关的几个多站点配置选项:
-
多区 : 更高级的配置由一个 zone group 和多个 zone 组成,每个 zone 都有一个或多个
ceph-radosgw
实例。每个区域都由自己的 Ceph Storage 集群支持。zone group 中的多个 zone 为 zone group 提供灾难恢复,应该其中一个区域遇到了很大的故障。每个区域都处于活跃状态,并可能会接收写操作。除了灾难恢复外,多个活动区域也可能充当内容交付网络的基础。 - multi-zone-group: Formerly called 'regions',Ceph 对象网关也可以支持多个 zone group,每个 zone group 都包含一个或多个 zone。存储在同一域中的 zone group 的对象共享一个全局命名空间,确保 zone group 和 zone 的唯一对象 ID。
- 多个 Realms: Ceph 对象网关支持域的概念,可以是单个 zone group 或多个 zone group,以及域的全局唯一命名空间。多个域提供支持大量配置和命名空间的功能。
如果您有一个配置了多站点的 Red Hat Ceph Storage 6 集群,请不要升级到 6.1.z1 的最新版本,因为加密对象上数据损坏在复制到灾难恢复(DR)站点时可能会出现问题。
先决条件
- 一个正常运行的 Red Hat Ceph Storage 集群。
- 部署 Ceph 对象网关软件。
5.1. 要求和假设 复制链接链接已复制到粘贴板!
多站点配置至少需要两个 Ceph 存储集群,以及至少两个 Ceph 对象网关实例,每个 Ceph 存储集群一个。
本指南假设在地理上至少有两个 Ceph 存储集群,但配置可以在同一物理站点上工作。本指南还假定四个 Ceph 对象网关服务器分别名为 rgw1、
rgw2、
rgw3
和 rgw4
。
多站点配置需要一个 master zone group 和 master zone。此外,每个 zone group 都需要一个 master zone。zone group 可能具有一个或多个次要或非 master 区域。
在规划多站点的网络注意事项时,务必要了解多站点同步网络上观察到的关系带宽和延迟,客户端与与二级站点当前同步状态直接相关客户端。Red Hat Ceph Storage 多站点集群之间的网络链接必须能够处理主要集群,以便在次要站点上保持有效的恢复时间。多站点同步是异步的,其中一个限制是同步网关可以在链路间处理数据的速率。以下是网络互连速度的一个示例,可以是 1GbE 或非数据中心连接,每个客户端网关的每个 8 TB 或累积接收数据。因此,如果您复制到两个其他站点,并且每天需要 16 TB,则多站点复制需要 6 GbE 专用带宽。
红帽还建议将私有以太网或 Dense wavelength-division 多路(DWDM)作为互联网上的 VPN 来说,因为产生额外的开销并不理想。
域 master zone group 中的 master zone 负责存储域元数据的主副本,包括用户、配额和存储桶(由 radosgw-admin
CLI 创建)。此元数据会自动同步到 second zone 和 second zone group。使用 radosgw-admin
CLI 执行的元数据操作必须在 master zone group 的 master zone 中的主机上执行,以确保它们与 second zone group 和 zone 同步。目前,可以对二级域和域组执行元数据操作,但不建议这么做,因为它们不会被同步,从而导致元数据碎片。
在以下示例中,rgw1
主机将充当 master zone group 的 master zone; rgw2
主机将充当 master zone group 的 second zone; rgw3
主机将充当 second zone group 的 master zone;而 rgw4
主机将充当 second zone group 的次要 zone。
当您在多站点存储集群中配置了多个 Ceph 对象网关的大型集群时,红帽建议为每个站点指定超过三个启用了同步的 Ceph 对象网关,以进行多站点同步。如果 Ceph 对象网关超过三个同步,则性能方面的返回同步率会降低,增加争用会导致按与时间相关的错误条件造成增量风险。这是因为一个 sync-fairness 的已知问题 BZ#1740782。
对于此类配置中其余的 Ceph 对象网关(通过负载均衡器专用于客户端 I/O 操作),请运行 ceph config set client.rgw.CLIENT_NODE rgw_run_sync_thread false
命令,以防止它们执行同步操作,然后重启 Ceph 对象网关。
以下是用于同步网关的 HAProxy 的典型配置文件:
示例