5.4. Ceph Manager バランサーモジュールの使用

手順

1. バランサーモジュールを有効にします。

   構文

   [ceph: root@host01 /]# ceph mgr module enable balancer

2. バランサーモジュールをオンにします。

   構文

   [ceph: root@host01 /]# ceph balancer on

3. クラスター上の min_compact_client を更新します。オンライン最適化を使用するには、クラスターで Reef 以降のクライアントのサポートが指定されている必要があります。

   構文

   ceph osd set-require-min-compat-client reef

   注記

   モニターに Reef 以前のクライアントまたはデーモンが接続されている場合は、このコマンドは失敗します。この問題を回避するには、--yes-i-really-mean-it フラグを使用します。

   構文

   [ceph: root@host01 /]# ceph osd set-require-min-compat-client reef --yes-i-really-mean-it

   You can check what client versions are in use with: the ceph features command.

   構文

   [ceph: root@host01 /]# ceph features

4. 読み取りの負荷を分散するために、モードを upmap-read または read に変更します。

   デフォルトのモードは upmap です。これらのモードを有効にするには、次のいずれかのコマンドを実行します。

   構文

   ceph balancer mode upmap-read
   ceph balancer mode read

5. バランサーの現在の状態を確認します。

   構文

   ceph balancer status

   例

   [ceph: root@host01 /]# ceph balancer status
   {
   "active": true,
   "last_optimize_duration": "0:00:00.013640",
   "last_optimize_started": "Mon Nov 22 14:47:57 2024",
   "mode": "upmap-read",
   "no_optimization_needed": true,
   "optimize_result": "Unable to find further optimization, or pool(s) pg_num is decreasing, or distribution is already perfect",
   "plans": []
   }

手順

1. 各プールで利用可能な read_balance_score を確認します。

   [ceph: root@host01 /]# ceph osd pool ls detail

   read_balance_score が 1 を大幅に上回っている場合、プールには負荷が分散されていないプライマリー OSD があります。

   同種のクラスターの場合、最適なスコアは [Ceil{(PG の数/OSD の数)}/(PG の数/OSD の数]/[PG の数/OSD の数)/(PG の数/OSD の数値)] です。たとえば、32 個の PG と 10 個の OSD を含むプールがある場合は、(PG の数/OSD の数) = 32/10 = 3.2 となります。したがって、すべてのデバイスが同一である場合の最適なスコアは、上限値 3.2 を (PG の数/OSD の数) で割った値、つまり 4/3.2 = 1.25 になります。同じシステム内に 64 PG を持つ別のプールがある場合、最適なスコアは 7/6.4 =1.09375 です。

   出力例:

   $ ceph osd pool ls detail
   pool 1 '.mgr' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 1 pgp_num 1 autoscale_mode on last_change 17 flags hashpspool stripe_width 0 pg_num_max 32 pg_num_min 1 application mgr read_balance_score 3.00
   pool 2 'cephfs.a.meta' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 autoscale_mode on last_change 55 lfor 0/0/25 flags hashpspool stripe_width 0 pg_autoscale_bias 4 pg_num_min 16 recovery_priority 5 application cephfs read_balance_score 1.50
   pool 3 'cephfs.a.data' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 128 pgp_num 128 autoscale_mode on last_change 27 lfor 0/0/25 flags hashpspool,bulk stripe_width 0 application cephfs read_balance_score 1.31

2. osdmap の最新のコピーを取得します。

   [ceph: root@host01 /]# ceph osd getmap -o om

   出力例:

   got osdmap epoch 56

3. オプティマイザーを実行します。

   out.txt ファイルには、提案されたソリューションが含まれています。

   [ceph: root@host01 /]# osdmaptool om --read out.txt --read-pool _POOL_NAME_ [--vstart]

   出力例:

   $ osdmaptool om --read out.txt --read-pool cephfs.a.meta
   ./bin/osdmaptool: osdmap file 'om'
   writing upmap command output to: out.txt
   ---------- BEFORE ------------
    osd.0 | primary affinity: 1 | number of prims: 4
    osd.1 | primary affinity: 1 | number of prims: 8
    osd.2 | primary affinity: 1 | number of prims: 4
   
   read_balance_score of 'cephfs.a.meta': 1.5
   
   ---------- AFTER ------------
    osd.0 | primary affinity: 1 | number of prims: 5
    osd.1 | primary affinity: 1 | number of prims: 6
    osd.2 | primary affinity: 1 | number of prims: 5
   
   read_balance_score of 'cephfs.a.meta': 1.13
   
   
   num changes: 2

4. out.txt ファイルには、提案されたソリューションが含まれています。

   この手順のコマンドは、クラスターに変更を適用するために実行する通常の Ceph CLI コマンドです。vstart クラスターで作業している場合は、--vstart パラメーターを渡すと、CLI コマンドが ./bin/ 接頭辞でフォーマットされるようになります。

   [ceph: root@host01 /]# source out.txt

   出力例:

   $ cat out.txt
   ceph osd pg-upmap-primary 2.3 0
   ceph osd pg-upmap-primary 2.4 2
   
   $ source out.txt
   change primary for pg 2.3 to osd.0
   change primary for pg 2.4 to osd.2

   注記

   ceph osd pg-upmap-primary コマンドを初めて実行すると、次のような警告が表示される場合があります。

   Error EPERM: min_compat_client luminous < reef, which is required for pg-upmap-primary. Try 'ceph osd set-require-min-compat-client reef' before using the new interface

   この場合、推奨コマンド ceph osd set-require-min-compat-client reef を実行し、クラスターの min-compact-client を調整します。