2.8. CRUSH 可调项

• 在 leaf bucket 中含有少量设备的层次结构中，一些 PG 映射到少于所需副本数。对于"主机"节点，每个 OSD 嵌套在下面，通常会发生这种情况。
• 对于大型集群，一些少量 PG map 到比所需的 OSD 数量更少的 map。当层次结构的多个层面存在时，这更加常见。例如，行、rack、host、osd。
• 当某些 OSD 标出后，数据往往会重新分发到附近 OSD，而非整个层次结构中。

• 版本要求：

  • Ceph 0.48、0.49 及更新的版本
  • Linux 内核 3.6 或更高版本，包括 RBD 内核客户端

• 支持的 CRUSH 可调项：

  • select_local_tries ：本地重试次数。传统值为 2，最佳值为 0。
  • select_local_fallback_tries：Le gacy 值为 5，优化值为 0。
  • select_total_tries: 尝试选择一个项目的总次数。传统值为 19，后续测试表明值 50 更适合典型的集群。对于非常大的集群，可能需要一个更大的值。

Bobtail

• 版本要求：

  • Ceph 0.55、0.56.x 及更新的版本
  • Linux 内核 3.9 或更高版本，包括 RBD 内核客户端

• 支持的 CRUSH 可调项：

  • selectleaf_descend_once ：无论递归选手尝试是重试还是仅尝试一次，并且仅允许原始放置重试。传统默认值为 0，优化值为 1。

• 版本要求：

  • Red Hat Ceph Storage 1.2.3 及更新的版本
  • Red Hat Enterprise Linux 7.1 或更高版本，包括 RBD 内核客户端

• 支持的 CRUSH 可调项：

  • selectleaf_vary_r ：是否递归选择leaf 尝试以 r 的非零值开头，具体取决于父进程已经进行的尝试数。传统默认值为 0，但使用这个值时 CRUSH 有时无法找到映射。就计算成本和正确性而言，最佳价值是 1。但是，对于具有大量现有数据的传统群集，从 0 更改为 1 将导致大量数据移动；值 4 或 5 将允许 CRUSH 查找有效的映射，但移动较少的数据。
  • straw_calc_version ：在 straw bucket 的 CRUSH map 中计算并存储了内部权重存在一些问题。具体来说，当有 CRUSH 权重为 0 或两者兼有权重的项目时，CRUSH 会将数据分发错误，即不与权重成比例。0 的值保留旧的、损坏的内部权重计算；值 1 修复行为。将 straw_calc_version 设置为 1，然后调整 straw bucket，方法是添加、删除、重新加权项目，或者通过使用 reweight-all 命令，如果集群遇到问题条件之一，则可以触发少量到中等数量的数据移动。此可调项选项很特殊，因为它对客户端所需的内核版本绝对没有影响。

• 版本要求：

  • Red Hat Ceph Storage 1.3 及更新的版本
  • Red Hat Enterprise Linux 7.1 或更高版本，包括 RBD 内核客户端

• 新 Bucket 类型：

  • 新的 straw2 bucket 类型修复了原始 straw bucket 中的几个限制。具体来说，旧的 straw bucket 会更改调整权重时应更改的一些映射，而 straw2 bucket 的原始目标则是仅更改与权重已更改的 bucket 项的映射或更改。straw2 bucket 是任何新创建的 bucket 的默认 bucket。将 bucket 类型从 straw 改为 straw2 将导致数量相对少的数据移动量，具体取决于 bucket 项权重之间的不同程度。当权重相同时，不会移动任何数据，当项目权重有显著变化时，移动度也会更多。

• 版本要求：

  • Red Hat Ceph Storage 2 及更新的版本
  • 红帽企业 Linux 7.3 或更高版本，包括 RBD 内核客户端和 CephFS 内核客户端

• 支持的 CRUSH 可调项：

  • selectleaf_stable ：递归选择leaf 尝试是否将对内环使用更好的值，从而在 OSD 标出时显著减少映射更改数量。传统值为 0，而 1 的新值则使用新方法。在现有集群上更改此值将导致大量数据移动，因为几乎所有 PG map 都可能会改变。

• 传统 ：来自 v0.47（Argonaut 前）和更早版本的旧行为。
• Argonaut： v0.48(Argonaut)版本支持的旧值。
• Bob tail ：v0.56(Bobtail)版本支持的值。
• Firefly ：v0.80(Firefly)版本支持的值。
• hammer ：v0.94(Hammer)发行版本所支持的值。
• jewel ：v10.0.2(Jewel)发行版本支持的值。
• Best ：当前的最佳值。
• 默认值 ：新集群的当前默认值。

• 提取最新的 CRUSH map：

  ceph osd getcrushmap -o /tmp/crush

  Copy to Clipboard Toggle word wrap

• 调整可调项.这些值似乎为我们测试的大型和小型集群提供最佳行为。您还需要为 crushtool 指定 --enable-unsafe-tunables 参数才能 执行此操作。请谨慎使用这个选项：

  crushtool -i /tmp/crush --set-choose-local-tries 0 --set-choose-local-fallback-tries 0 --set-choose-total-tries 50 -o /tmp/crush.new

  Copy to Clipboard Toggle word wrap

• 重新注入修改的映射：

  ceph osd setcrushmap -i /tmp/crush.new

  Copy to Clipboard Toggle word wrap