4.3. 为守护进程设置 CRUSH 位置

流程

1. 设置每个 monitor 的位置，与 CRUSH map 匹配：

   语法

   ceph mon set_location HOST datacenter=DATACENTER

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph mon set_location host01 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host04 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host05 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3

   Copy to Clipboard Toggle word wrap

2. 生成 CRUSH 规则，它将两个副本放在每个数据中心上：

   语法

   ceph osd getcrushmap > COMPILED_CRUSHMAP_FILENAME
   crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph osd getcrushmap > crush.map.bin
   [ceph: root@host01 /]# crushtool -d crush.map.bin -o crush.map.txt

   Copy to Clipboard Toggle word wrap

   1. 编辑 decompiled CRUSH map 文件以添加新规则：

      示例

      rule stretch_rule {
              id 1 

      1

      
              type replicated
              min_size 1
              max_size 10
              step take DC1 

      2

      
              step chooseleaf firstn 2 type host
              step emit
              step take DC2 

      3

      
              step chooseleaf firstn 2 type host
              step emit
      }

      Copy to Clipboard Toggle word wrap

      1

      规则 ID 必须是唯一的。在本例中，只有一个带有 id 0 的规则，因此使用 id 1，但您可能需要根据现有规则的数量使用不同的规则 ID。

      2 3

      在本例中，有两个数据中心存储桶，名为 DC1 和 DC2。

      注意

      此规则使集群对数据中心 DC1 具有 read-affinity。因此，所有读取或写入都通过放置在 DC1 中的 Ceph OSD 进行。

      如果这不是理想的要求，并在区间平均分配读取或写入，CRUSH 规则如下：

      示例

      rule stretch_rule {
      id 1
      type replicated
      min_size 1
      max_size 10
      step take default
      step choose firstn 0 type datacenter
      step chooseleaf firstn 2 type host
      step emit
      }

      Copy to Clipboard Toggle word wrap

      在此规则中，数据中心会随机选择，并自动选择。

      如需有关 firstn 和 indep 选项的更多信息，请参阅 CRUSH 规则。

3. 注入 CRUSH map，使规则可供集群使用：

   语法

   crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME
   ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# crushtool -c crush.map.txt -o crush2.map.bin
   [ceph: root@host01 /]# ceph osd setcrushmap -i crush2.map.bin

   Copy to Clipboard Toggle word wrap

4. 如果您没有以连接模式运行 monitor，请将选择策略设置为 connectivity ：

   示例

   [ceph: root@host01 /]# ceph mon set election_strategy connectivity

   Copy to Clipboard Toggle word wrap

5. 通过将 tiebreaker 监控的位置设置为在数据中心间分割，进入扩展模式：

   语法

   ceph mon set_location HOST datacenter=DATACENTER
   ceph mon enable_stretch_mode HOST stretch_rule datacenter

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3
   [ceph: root@host01 /]# ceph mon enable_stretch_mode host07 stretch_rule datacenter

   Copy to Clipboard Toggle word wrap

   在本例中，监控器 mon.host07 是 tiebreaker。

   重要

   tiebreaker monitor 的位置应该与您之前设置非tiebreaker 监视器的数据中心不同。在上例中，它是数据中心 DC3。

   重要

   当您尝试进入扩展模式时，不要将此数据中心添加到 CRUSH map 中，因为它会产生以下错误：

   Error EINVAL: there are 3 datacenters in the cluster but stretch mode currently only works with 2!

   Copy to Clipboard Toggle word wrap
   注意

   如果要编写用于部署 Ceph 的工具，您可以在引导监控器时使用 new -set-crush-location 选项，而不是运行 ceph mon set_location 命令。此选项只接受单个 bucket=location 对，如 ceph-mon --set-crush-location 'datacenter=DC1'，它必须与运行 enable_stretch_mode 命令时指定的 bucket 类型匹配。

6. 验证扩展模式是否已成功启用：

   示例

   [ceph: root@host01 /]# ceph osd dump
   
   epoch 361
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   created 2023-01-16T05:47:28.482717+0000
   modified 2023-01-17T17:36:50.066183+0000
   flags sortbitwise,recovery_deletes,purged_snapdirs,pglog_hardlimit
   crush_version 31
   full_ratio 0.95
   backfillfull_ratio 0.92
   nearfull_ratio 0.85
   require_min_compat_client luminous
   min_compat_client luminous
   require_osd_release quincy
   stretch_mode_enabled true
   stretch_bucket_count 2
   degraded_stretch_mode 0
   recovering_stretch_mode 0
   stretch_mode_bucket 8

   Copy to Clipboard Toggle word wrap

   stretch_mode_enabled 应设为 true。您还可以查看扩展存储桶的数量、扩展模式存储桶以及扩展模式是否降级或恢复。

7. 验证监控器是否在适当的位置：

   示例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host07
   disallowed_leaders host07
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host07; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

   Copy to Clipboard Toggle word wrap

   您还可以看到哪个 monitor 是 tiebreaker，以及 monitor 选择策略。

流程

1. 通过安装 ceph-base RPM 软件包来创建使用此 OSD crush 拓扑的 CRUSH 规则，以便使用 crushtool 命令。

   语法

   dnf -y install ceph-base

   Copy to Clipboard Toggle word wrap

2. 从集群获取编译的 CRUSH map。

   语法

   ceph osd getcrushmap > /etc/ceph/crushmap.bin

   Copy to Clipboard Toggle word wrap

3. 解译 CRUSH map，并将它转换为文本文件以对其进行编辑。

   语法

   crushtool -d /etc/ceph/crushmap.bin -o /etc/ceph/crushmap.txt

   Copy to Clipboard Toggle word wrap

4. 通过编辑文件末尾的 /etc/ceph/crushmap.txt，将以下规则添加到 CRUSH map。此规则在数据中心中平均分配读取和写入。

   语法

   rule stretch_rule {
           id 1
           type replicated
           step take default
           step choose firstn 0 type datacenter
           step chooseleaf firstn 2 type host
           step emit
    }

   Copy to Clipboard Toggle word wrap

   1. （可选）使集群与数据中心 1 具有读/写关联性。

      语法

      rule stretch_rule {
               id 1
               type replicated
               step take DC1
               step chooseleaf firstn 2 type host
               step emit
               step take DC2
               step chooseleaf firstn 2 type host
               step emit
       }

      Copy to Clipboard Toggle word wrap

      The CRUSH rule declared contains the following information:
           Rule name
                Description: A unique name for identifying the rule.
                Value: stretch_rule
           id
                Description: A unique whole number for identifying the rule.
                Value: 1
           type
                Description: Describes a rule for either a storage drive replicated or erasure-coded.
                Value: replicated
           step take default
                Description: Takes the root bucket called default, and begins iterating down the tree.
           step take DC1
                Description: Takes the bucket called DC1, and begins iterating down the tree.
           step choose firstn 0 type datacenter
                Description: Selects the datacenter bucket, and goes into its subtrees.
           step chooseleaf firstn 2 type host
                Description: Selects the number of buckets of the given type. In this case, it is two different hosts located in the datacenter it entered at the previous level.
           step emit
                Description: Outputs the current value and empties the stack. Typically used at the end of a rule, but may also be used to pick from different trees in the same rule.

      Copy to Clipboard Toggle word wrap

5. 从 /etc/ceph/crushmap.txt 编译新的 CRUSH map，并将其转换为二进制文件 /etc/ceph/crushmap2.bin。

   语法

   crushtool -c /path/to/crushmap.txt -o /path/to/crushmap2.bin

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# crushtool -c /etc/ceph/crushmap.txt -o /etc/ceph/crushmap2.bin

   Copy to Clipboard Toggle word wrap

6. 将新创建的 CRUSH map 重新注入集群。

   语法

   ceph osd setcrushmap -i /path/to/compiled_crushmap

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph osd setcrushmap -i /path/to/compiled_crushmap
   17

   Copy to Clipboard Toggle word wrap

   注意

   根据对 CRUSH 映射所做的更改，数字 17 是一个计数器，增加(18、19 等)。