3.3. 放置组 tradeoffs

Ceph 可以通过防止永久丢失数据获得好处。但是，在 OSD 失败后，永久数据丢失的风险会增加，直到其数据被完全恢复为止。仍然有可能造成持久性数据丢失。以下场景描述了如何在带有三个数据副本的单个放置组中永久丢失数据：

硬件故障不是例外，而是预计中的情况。要防止持续的场景，理想的恢复过程应该尽可能快。集群的大小、您的硬件配置和放置组的数量在总恢复时扮演重要角色。

Ceph 可能会在 9 个剩余的 OSD 间随机存储剩余的 150 个放置组。因此，每个剩余的 OSD 可能会向所有其他 OSD 发送副本，并接收一些新的对象，因为剩余的 OSD 现在已负责分配给它们的一些 150 个放置组。

总恢复时间取决于支持池的硬件。例如，在一个 10 个 OSD 集群中，如果一个主机包含一个带有 1 TB SSD 的 OSD，且 10 GB/s 交换机连接每个 10 个主机，则恢复时间将花费 M 分钟。相反，如果主机包含两个 SATA OSD，1 GB/s 交换机连接五个主机，恢复将大大延长。值得注意的是，在这种大小的集群中，放置组的数量对数据持久性几乎没有影响。放置组计数可以是 128 或 8192，恢复不能慢或更快。

但是，相同的 Ceph 集群增加到 20 个 OSD，而不是 10 个 OSD 才可以加快恢复速度，因而能显著提高数据持久性。这是因为什么？每个 OSD 现在只参与 75 个放置组，而不是 150 个。20 个 OSD 集群仍然需要所有剩余的 19 个 OSD 执行相同副本操作，以便恢复。在 10 个 OSD 集群中，每个 OSD 必须复制大约 100 GB。在 20 个 OSD 集群中，每个 OSD 必须分别复制 50 GB。如果网络瓶颈是瓶颈，恢复将尽快发生两次。换句话说，随着 OSD 数量增加，恢复时间会减少。

在上述 10 个 OSD 集群中，如果任何 OSD 失败，则大约有 8 个放置组（即 75 pgs / 9 osds 被恢复）将只有一个 Surviving 副本。如果其中任何 8 个剩余的 OSD 失败，则一个放置组的最后对象可能会丢失（即 8 pgs / 8 osds，只有一个剩余副本被恢复）。这是为什么首选从一些大型集群开始（例如 50 个 OSD）。

当集群的大小增加到 20 个 OSD 时，OSD 丢失的放置组数量会损坏。第二个 OSD 大约会降级 2（即 35 pgs / 19 osds 被恢复）而不是 8，而第三个 OSD 仅在含有存活副本的两个 OSD 之一时丢失数据。换句话说，如果在恢复时间范围内丢失一个 OSD 的概率为 0.0001%，它在 10 个 OSD 的集群中为 8 * 0.0001%，在 20 个 OSD 的集群中为 2 * 0.0001%。对于数据持久性，具有 512 或 4096 个放置组的集群中大致相当于有 50 个 OSD。

将 OSD 添加到集群时，可能需要很长时间才能为新的 OSD 填充放置组和对象。但是，任何对象都没有降级，而添加 OSD 不会影响数据持久性。

Ceph 寻求避免热点 - 即，一些 OSD 显著提高了超过其他 OSD 的流量。理想情况下，CRUSH 将对象分配到放置组，以便在放置组被分配给 OSD（也可以随机）时，主 OSD 存储对象会均匀分布在群集和热点上，以及因为数据分发而造成的网络超额订阅问题。

由于 CRUSH 计算每个对象的放置组，但实际上不知道该放置组中各个 OSD 中存储的数据量，因此 放置组数量和 OSD 数量之间的比率可能会大大影响数据的分布。

例如，如果三个副本池中只有一个放置组具有十个 OSD，Ceph 将仅使用三个 OSD 来存储数据，因为 CRUSH 不会有其他选择。当更多放置组可用时，CRUSH 更有可能在 OSD 之间均匀分布对象。CRUSH 也均匀地分配放置组到 OSD。

只要存在一两个数量级的放置组数量超过 OSD，分布就应该是如此。例如，3 个 OSD 256 个放置组，10 个 OSD 512 或 1024 个放置组，以此类推。

OSD 和放置组之间的比率通常解决了在实施对象条带化的 Ceph 客户端的数据分发问题。例如，4TB 块设备可能会分片为 4 MB 对象。

OSD 和放置组之间的比率无法处理其他情形中的数据分布不均匀，因为 CRUSH 不会将对象大小纳入考量。使用 librados 接口存储一些相对较小的对象，有些非常大的对象可能会导致数据分布不均匀。例如，一百万 4K 对象以 4 GB 的总数均匀分布在 10 个 OSD 上的 1000 个放置组中。它们将在每个 OSD 上使用 4 GB / 10 = 400 MB。如果一个 400 MB 对象添加到池中，为放置了该对象的放置组提供支持的三个 OSD 将会填充 400 MB + 400 MB = 800 MB，而其他七个 OSD 仍然仅被占据 400 MB。

对于每个放置组，OSD 和 Ceph 监视器会一直需要内存、网络和 CPU，在恢复期间甚至更多。由集群放置组中的集群对象共享这个开销是放置组存在的主要原因之一。

尽量减少放置组的数量可以节省大量资源。