5.4. Ceph Manager バランサーモジュールの使用

手順

1. バランサーモジュールが有効になっているかどうかを確認します。

   例

   [ceph: root@host01 /]# ceph mgr module enable balancer

2. balancer モジュールをオンにします。

   例

   [ceph: root@host01 /]# ceph balancer on

3. モードを変更するには、次のコマンドを使用します。デフォルトのモードは upmap です。

   例

   [ceph: root@host01 /]# ceph balancer mode crush-compat

   あるいは、以下のような場合もあります。

   例

   [ceph: root@host01 /]# ceph balancer mode upmap

4. バランサーの現在の状態を確認します。

   例

   [ceph: root@host01 /]# ceph balancer status

1. プラン の構築。
2. 現在の PG ディストリビューションまたは プラン 実行後に得られる PG ディストリビューションに対するデータ分散の品質の評価。

3. プラン の実行。

   • 現在のディストリビューションを評価し、スコアを付けます。

     例

     [ceph: root@host01 /]# ceph balancer eval

   • 単一プールのディストリビューションを評価するには、以下を実行します。

     構文

     ceph balancer eval POOL_NAME

     例

     [ceph: root@host01 /]# ceph balancer eval rbd

   • 評価の詳細を表示するには、以下を実行します。

     例

     [ceph: root@host01 /]# ceph balancer eval-verbose ...

   • 現在設定されているモードを使用してプランを生成するには、以下を実行します。

     構文

     ceph balancer optimize PLAN_NAME

     PLAN_NAME は、カスタムプラン名に置き換えます。

     例

     [ceph: root@host01 /]# ceph balancer optimize rbd_123

   • プランの内容を表示するには、以下を実行します。

     構文

     ceph balancer show PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer show rbd_123

   • 古いプランを破棄するには、以下を実行します。

     構文

     ceph balancer rm PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer rm rbd_123

   • 現在記録されているプランを表示するには、status コマンドを使用します。

     [ceph: root@host01 /]# ceph balancer status

   • プラン実行後に生じるディストリビューションの品質を計算するには、以下を実行します。

     構文

     ceph balancer eval PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer eval rbd_123

   • プランを実行するには、以下を実行します。

     構文

     ceph balancer execute PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer execute rbd_123

     注記

     ディストリビューションの改善が想定される場合にのみ、プランを実行します。実行後、計画は破棄されます。

手順

1. 各プールで利用可能な read_balance_score を確認します。

   [ceph: root@host01 /]# ceph osd pool ls detail

   read_balance_score が 1 を大幅に上回っている場合、プールにはバランスの取れていないプライマリー OSD があります。

   同種のクラスターの場合、最適なスコアは [Ceil{(PG の数/OSD の数)}/(PG の数/OSD の数]/[PG の数/OSD の数)/(PG の数/OSD の数値)] です。たとえば、32 個の PG と 10 個の OSD を含むプールがある場合は、(PG の数/OSD の数) = 32/10 = 3.2 となります。したがって、すべてのデバイスが同一である場合の最適なスコアは、上限値 3.2 を (PG の数/OSD の数) で割った値、つまり 4/3.2 = 1.25 になります。同じシステム内に 64 PG を持つ別のプールがある場合、最適なスコアは 7/6.4 =1.09375 です。

   出力例:

   $ ceph osd pool ls detail
   pool 1 '.mgr' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 1 pgp_num 1 autoscale_mode on last_change 17 flags hashpspool stripe_width 0 pg_num_max 32 pg_num_min 1 application mgr read_balance_score 3.00
   pool 2 'cephfs.a.meta' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 autoscale_mode on last_change 55 lfor 0/0/25 flags hashpspool stripe_width 0 pg_autoscale_bias 4 pg_num_min 16 recovery_priority 5 application cephfs read_balance_score 1.50
   pool 3 'cephfs.a.data' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 128 pgp_num 128 autoscale_mode on last_change 27 lfor 0/0/25 flags hashpspool,bulk stripe_width 0 application cephfs read_balance_score 1.31

2. osdmap の最新のコピーを取得します。

   [ceph: root@host01 /]# ceph osd getmap -o om

   出力例:

   got osdmap epoch 56

3. オプティマイザーを実行します。

   out.txt ファイルには、提案されたソリューションが含まれています。

   [ceph: root@host01 /]# osdmaptool om --read out.txt --read-pool _POOL_NAME_ [--vstart]

   出力例:

   $ osdmaptool om --read out.txt --read-pool cephfs.a.meta
   ./bin/osdmaptool: osdmap file 'om'
   writing upmap command output to: out.txt
   ---------- BEFORE ------------
    osd.0 | primary affinity: 1 | number of prims: 4
    osd.1 | primary affinity: 1 | number of prims: 8
    osd.2 | primary affinity: 1 | number of prims: 4
   
   read_balance_score of 'cephfs.a.meta': 1.5
   
   ---------- AFTER ------------
    osd.0 | primary affinity: 1 | number of prims: 5
    osd.1 | primary affinity: 1 | number of prims: 6
    osd.2 | primary affinity: 1 | number of prims: 5
   
   read_balance_score of 'cephfs.a.meta': 1.13
   
   
   num changes: 2

4. out.txt ファイルには、提案されたソリューションが含まれています。

   この手順のコマンドは、クラスターに変更を適用するために実行する通常の Ceph CLI コマンドです。vstart クラスターで作業している場合は、--vstart パラメーターを渡すと、CLI コマンドが ./bin/ 接頭辞でフォーマットされるようになります。

   [ceph: root@host01 /]# source out.txt

   出力例:

   $ cat out.txt
   ceph osd pg-upmap-primary 2.3 0
   ceph osd pg-upmap-primary 2.4 2
   
   $ source out.txt
   change primary for pg 2.3 to osd.0
   change primary for pg 2.4 to osd.2

   注記

   ceph osd pg-upmap-primary コマンドを初めて実行すると、次のような警告が表示される場合があります。

   Error EPERM: min_compat_client luminous < reef, which is required for pg-upmap-primary. Try 'ceph osd set-require-min-compat-client reef' before using the new interface

   この場合、推奨コマンド ceph osd set-require-min-compat-client reef を実行し、クラスターの min-compact-client を調整します。