5.4. 使用 Ceph Manager 负载均衡器模块

流程

1. 启用 balancer 模块。

   语法

   [ceph: root@host01 /]# ceph mgr module enable balancer

   Copy to Clipboard Toggle word wrap

2. 打开 balancer 模块。

   语法

   [ceph: root@host01 /]# ceph balancer on

   Copy to Clipboard Toggle word wrap

3. 更新集群上的 min_compact_client。要使用在线优化，集群中必须指示对 Reef 或 later 客户端的支持。

   语法

   ceph osd set-require-min-compat-client reef

   Copy to Clipboard Toggle word wrap

   注意

   如果任何 pre-Reef 客户端或守护进程连接到 monitor，则此命令会失败。要临时解决这个问题，请使用 --yes-i-really-mean-it 标志：

   语法

   [ceph: root@host01 /]# ceph osd set-require-min-compat-client reef --yes-i-really-mean-it

   Copy to Clipboard Toggle word wrap

   You can check what client versions are in use with: the ceph features command.

   Copy to Clipboard Toggle word wrap

   语法

   [ceph: root@host01 /]# ceph features

   Copy to Clipboard Toggle word wrap

4. 将模式更改为 upmap-read 或 read for read balancing。

   默认模式是 upmap，运行以下命令来启用这些模式：

   语法

   ceph balancer mode upmap-read
   ceph balancer mode read

   Copy to Clipboard Toggle word wrap

5. 检查均衡的当前状态。

   语法

   ceph balancer status

   Copy to Clipboard Toggle word wrap

   示例

   [ceph: root@host01 /]# ceph balancer status
   {
   "active": true,
   "last_optimize_duration": "0:00:00.013640",
   "last_optimize_started": "Mon Nov 22 14:47:57 2024",
   "mode": "upmap-read",
   "no_optimization_needed": true,
   "optimize_result": "Unable to find further optimization, or pool(s) pg_num is decreasing, or distribution is already perfect",
   "plans": []
   }

   Copy to Clipboard Toggle word wrap

流程

1. 检查每个池可用的 read_balance_score ：

   [ceph: root@host01 /]# ceph osd pool ls detail

   Copy to Clipboard Toggle word wrap

   如果 read_balance_score 超过 1，则您的池具有未平衡的主 OSD。

   对于同构集群，最佳分数为 [Ceil{(PG/Number of OSDs)}/(PG/Number of OSDs)]/[ ( PG/Number of OSD 的数量)/ (PG/Number of OSD 的数量)]。例如，如果您有一个具有 32 PG 和 10 个 OSD 的池(PG/Number of OSD 的数量) = 32/10 = 3.2。因此，如果所有设备都相同，则最佳分数是 3.2 的 iling 值除以 4/3.2 = 1.25 的 PG/Number of OSDs 的数量。如果您在同一系统中有 64 个 PG 的另一个池，则最佳分数为 7/6.4 =1.09375

   输出示例：

   $ ceph osd pool ls detail
   pool 1 '.mgr' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 1 pgp_num 1 autoscale_mode on last_change 17 flags hashpspool stripe_width 0 pg_num_max 32 pg_num_min 1 application mgr read_balance_score 3.00
   pool 2 'cephfs.a.meta' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 autoscale_mode on last_change 55 lfor 0/0/25 flags hashpspool stripe_width 0 pg_autoscale_bias 4 pg_num_min 16 recovery_priority 5 application cephfs read_balance_score 1.50
   pool 3 'cephfs.a.data' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 128 pgp_num 128 autoscale_mode on last_change 27 lfor 0/0/25 flags hashpspool,bulk stripe_width 0 application cephfs read_balance_score 1.31

   Copy to Clipboard Toggle word wrap

2. 获取 osdmap 的最新副本：

   [ceph: root@host01 /]# ceph osd getmap -o om

   Copy to Clipboard Toggle word wrap

   输出示例：

   got osdmap epoch 56

   Copy to Clipboard Toggle word wrap

3. 运行 optimizer:

   文件 out.txt 包含提议的解决方案。

   [ceph: root@host01 /]# osdmaptool om --read out.txt --read-pool _POOL_NAME_ [--vstart]

   Copy to Clipboard Toggle word wrap

   输出示例：

   $ osdmaptool om --read out.txt --read-pool cephfs.a.meta
   ./bin/osdmaptool: osdmap file 'om'
   writing upmap command output to: out.txt
   ---------- BEFORE ------------
    osd.0 | primary affinity: 1 | number of prims: 4
    osd.1 | primary affinity: 1 | number of prims: 8
    osd.2 | primary affinity: 1 | number of prims: 4
   
   read_balance_score of 'cephfs.a.meta': 1.5
   
   ---------- AFTER ------------
    osd.0 | primary affinity: 1 | number of prims: 5
    osd.1 | primary affinity: 1 | number of prims: 6
    osd.2 | primary affinity: 1 | number of prims: 5
   
   read_balance_score of 'cephfs.a.meta': 1.13
   
   
   num changes: 2

   Copy to Clipboard Toggle word wrap

4. 文件 out.txt 包含提议的解决方案。

   此流程中的命令是运行的常规 Ceph CLI 命令，以便对集群应用更改。如果您在 vstart 集群中工作，您可以传递-- vstart 参数，以便使用 ./bin/ 前缀对 CLI 命令进行格式化。

   [ceph: root@host01 /]# source out.txt

   Copy to Clipboard Toggle word wrap

   输出示例：

   $ cat out.txt
   ceph osd pg-upmap-primary 2.3 0
   ceph osd pg-upmap-primary 2.4 2
   
   $ source out.txt
   change primary for pg 2.3 to osd.0
   change primary for pg 2.4 to osd.2

   Copy to Clipboard Toggle word wrap

   注意

   如果您第一次运行 ceph osd pg-upmap-primary 命令，您可能会收到警告：

   Error EPERM: min_compat_client luminous < reef, which is required for pg-upmap-primary. Try 'ceph osd set-require-min-compat-client reef' before using the new interface

   Copy to Clipboard Toggle word wrap

   在这种情况下，运行推荐的命令 ceph osd set-require-min-compat-client reef 并调整集群的 min-compact-client。