4.3. CRUSH ロケーションをデーモンに設定する

手順

1. CRUSH マップに合わせて、各モニターの位置を設定します。

   構文

   ceph mon set_location HOST datacenter=DATACENTER

   例

   [ceph: root@host01 /]# ceph mon set_location host01 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host04 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host05 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3

2. 各データセンターに 2 つのコピーを配置する CRUSH ルールを生成します。

   構文

   ceph osd getcrushmap > COMPILED_CRUSHMAP_FILENAME
   crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

   例

   [ceph: root@host01 /]# ceph osd getcrushmap > crush.map.bin
   [ceph: root@host01 /]# crushtool -d crush.map.bin -o crush.map.txt

   1. 逆コンパイルされた CRUSH マップファイルを編集して、新しいルールを追加します。

      例

      rule stretch_rule {
              id 1 

      1

      
              type replicated
              min_size 1
              max_size 10
              step take DC1 

      2

      
              step chooseleaf firstn 2 type host
              step emit
              step take DC2 

      3

      
              step chooseleaf firstn 2 type host
              step emit
      }

      1

      ルール id は一意である必要があります。この例では、ID 0 のルールがもう 1 つしかないため、ID 1 が使用されますが、既存のルールの数に応じて、別のルール ID を使用する必要がある場合があります。

      2 3

      この例では、DC1 および DC2 という名前の 2 つのデータセンターバケットがあります。

      注記

      このルールにより、クラスターはデータセンター DC1 に対して読み取りアフィニティーを持ちます。したがって、すべての読み取りまたは書き込みは、DC1 に配置された Ceph OSD を介して行われます。

      これが望ましくなく、読み取りまたは書き込みがゾーン全体に均等に分散される場合、CRUSH ルールは次のようになります。

      例

      rule stretch_rule {
      id 1
      type replicated
      min_size 1
      max_size 10
      step take default
      step choose firstn 0 type datacenter
      step chooseleaf firstn 2 type host
      step emit
      }

      このルールでは、データセンターはランダムかつ自動的に選択されます。

      firstn および indep オプションの詳細は、CRUSH ルール を参照してください。

3. CRUSH マップを挿入して、クラスターでルールを使用できるようにします。

   構文

   crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME
   ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

   例

   [ceph: root@host01 /]# crushtool -c crush.map.txt -o crush2.map.bin
   [ceph: root@host01 /]# ceph osd setcrushmap -i crush2.map.bin

4. 接続モードでモニターを実行しない場合は、選択戦略を connectivity に設定します。

   例

   [ceph: root@host01 /]# ceph mon set election_strategy connectivity

5. tiebreaker モニターの場所をデータセンター間で分割するように設定して、ストレッチモードに入ります。

   構文

   ceph mon set_location HOST datacenter=DATACENTER
   ceph mon enable_stretch_mode HOST stretch_rule datacenter

   例

   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3
   [ceph: root@host01 /]# ceph mon enable_stretch_mode host07 stretch_rule datacenter

   この例では、モニター mon.host07 が tiebreaker です。

   重要

   タイブレーカーモニターの場所は、以前に非 tiebreaker モニターを設定したデータセンターとは異なる必要があります。上記の例では、データセンター DC3 です。

   重要

   ストレッチモードに入ろうとすると、次のエラーが発生するため、このデータセンターを CRUSH マップに追加しないでください。

   Error EINVAL: there are 3 datacenters in the cluster but stretch mode currently only works with 2!

   注記

   Ceph をデプロイするための独自のツールを作成している場合、ceph mon set_location コマンドを実行する代わりに、モニターの起動時に新しい --set-crush-location オプションを使用できます。このオプションは、ceph-mon --set-crush-location 'datacenter=DC1' など、1 つの bucket=location ペアのみを受け入れます。これは、enable_stretch_mode コマンドの実行時に指定したバケットタイプに一致する必要があります。

6. ストレッチモードが正常に有効になっていることを確認します。

   例

   [ceph: root@host01 /]# ceph osd dump
   
   epoch 361
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   created 2023-01-16T05:47:28.482717+0000
   modified 2023-01-17T17:36:50.066183+0000
   flags sortbitwise,recovery_deletes,purged_snapdirs,pglog_hardlimit
   crush_version 31
   full_ratio 0.95
   backfillfull_ratio 0.92
   nearfull_ratio 0.85
   require_min_compat_client luminous
   min_compat_client luminous
   require_osd_release quincy
   stretch_mode_enabled true
   stretch_bucket_count 2
   degraded_stretch_mode 0
   recovering_stretch_mode 0
   stretch_mode_bucket 8

   Stretch_mode_enabled は true に設定する必要があります。また、ストレッチバケット、ストレッチモードバケットの数、およびストレッチモードが低下しているか回復しているかを確認することもできます。

7. モニターが適切な場所にあることを確認します。

   例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host07
   disallowed_leaders host07
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host07; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

   また、どのモニターが tiebreaker であるか、およびモニターの選択戦略も確認できます。

手順

1. crushtool コマンドを使用するために ceph-base RPM パッケージをインストールして、この OSD クラッシュトポロジーを利用する CRUSH ルールを作成します。

   構文

   dnf -y install ceph-base

2. コンパイルされた CRUSH マップをクラスターから取得します。

   構文

   ceph osd getcrushmap > /etc/ceph/crushmap.bin

3. CRUSH マップを逆コンパイルし、テキストファイルに変換して編集します。

   構文

   crushtool -d /etc/ceph/crushmap.bin -o /etc/ceph/crushmap.txt

4. ファイルの末尾にある /etc/ceph/crushmap.txt を編集して、以下のルールを CRUSH マップに追加します。このルールは、読み取りと書き込みをデータセンター全体に均等に分散します。

   構文

   rule stretch_rule {
           id 1
           type replicated
           step take default
           step choose firstn 0 type datacenter
           step chooseleaf firstn 2 type host
           step emit
    }

   1. 必要に応じて、データセンター 1 に対する読み取り/書き込みアフィニティーを持つクラスターを作成します。

      構文

      rule stretch_rule {
               id 1
               type replicated
               step take DC1
               step chooseleaf firstn 2 type host
               step emit
               step take DC2
               step chooseleaf firstn 2 type host
               step emit
       }

      The CRUSH rule declared contains the following information:
           Rule name
                Description: A unique name for identifying the rule.
                Value: stretch_rule
           id
                Description: A unique whole number for identifying the rule.
                Value: 1
           type
                Description: Describes a rule for either a storage drive replicated or erasure-coded.
                Value: replicated
           step take default
                Description: Takes the root bucket called default, and begins iterating down the tree.
           step take DC1
                Description: Takes the bucket called DC1, and begins iterating down the tree.
           step choose firstn 0 type datacenter
                Description: Selects the datacenter bucket, and goes into its subtrees.
           step chooseleaf firstn 2 type host
                Description: Selects the number of buckets of the given type. In this case, it is two different hosts located in the datacenter it entered at the previous level.
           step emit
                Description: Outputs the current value and empties the stack. Typically used at the end of a rule, but may also be used to pick from different trees in the same rule.

5. /etc/ceph/crushmap.txt から新しい CRUSH マップをコンパイルし、バイナリーファイル /etc/ceph/crushmap2.bin に変換します。

   構文

   crushtool -c /path/to/crushmap.txt -o /path/to/crushmap2.bin

   例

   [ceph: root@host01 /]# crushtool -c /etc/ceph/crushmap.txt -o /etc/ceph/crushmap2.bin

6. 新しく作成された CRUSH マップをクラスターに再度注入します。

   構文

   ceph osd setcrushmap -i /path/to/compiled_crushmap

   例

   [ceph: root@host01 /]# ceph osd setcrushmap -i /path/to/compiled_crushmap
   17

   注記

   数字 17 はカウンターであり、CRUSH マップに加えられた変更に応じて増加します (18、19 など)。