第4章 Ceph Storage のストレッチクラスター

手順

1. 新しいストレージクラスターをブートストラップする場合は、ノードを Red Hat Ceph Storage クラスターに追加し、サービスを実行する場所に特定のラベルを設定するサービス設定 .yaml ファイルを作成できます。

   例

   service_type: host
   addr: host01
   hostname: host01
   location:
     root: default
     datacenter: DC1
   labels:
     - osd
     - mon
     - mgr
   ---
   service_type: host
   addr: host02
   hostname: host02
   location:
     datacenter: DC1
   labels:
     - osd
     - mon
   ---
   service_type: host
   addr: host03
   hostname: host03
   location:
     datacenter: DC1
   labels:
     - osd
     - mds
     - rgw
   ---
   service_type: host
   addr: host04
   hostname: host04
   location:
     root: default
     datacenter: DC2
   labels:
     - osd
     - mon
     - mgr
   ---
   service_type: host
   addr: host05
   hostname: host05
   location:
     datacenter: DC2
   labels:
     - osd
     - mon
   ---
   service_type: host
   addr: host06
   hostname: host06
   location:
     datacenter: DC2
   labels:
     - osd
     - mds
     - rgw
   ---
   service_type: host
   addr: host07
   hostname: host07
   labels:
     - mon
   ---
   service_type: mon
   placement:
     label: "mon"
   ---
   service_id: cephfs
   placement:
     label: "mds"
   ---
   service_type: mgr
   service_name: mgr
   placement:
     label: "mgr"
   ---
   service_type: osd
   service_id: all-available-devices
   service_name: osd.all-available-devices
   placement:
     label: "osd"
   spec:
     data_devices:
       all: true
   ---
   service_type: rgw
   service_id: objectgw
   service_name: rgw.objectgw
   placement:
     count: 2
     label: "rgw"
   spec:
     rgw_frontend_port: 8080

   Copy to Clipboard Toggle word wrap

2. --apply-spec オプションを使用してストレージクラスターをブートストラップします。

   構文

   cephadm bootstrap --apply-spec CONFIGURATION_FILE_NAME --mon-ip MONITOR_IP_ADDRESS --ssh-private-key PRIVATE_KEY --ssh-public-key PUBLIC_KEY --registry-url REGISTRY_URL --registry-username USER_NAME --registry-password PASSWORD

   Copy to Clipboard Toggle word wrap

   例

   [root@host01 ~]# cephadm bootstrap --apply-spec initial-config.yaml --mon-ip 10.10.128.68 --ssh-private-key /home/ceph/.ssh/id_rsa --ssh-public-key /home/ceph/.ssh/id_rsa.pub --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1

   Copy to Clipboard Toggle word wrap

   重要

   cephadm bootstrap コマンドでは、さまざまなコマンドオプションを使用できます。ただし、サービス設定ファイルを使用して、ホストの場所を設定するには、--apply-spec オプションを常に含めてください。

手順

1. 非タイブレーカーモニターの場所を設定する予定の 2 つのバケットを CRUSH マップに追加し、バケットタイプを datacenter として指定します。

   構文

   ceph osd crush add-bucket BUCKET_NAME BUCKET_TYPE

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph osd crush add-bucket DC1 datacenter
   [ceph: root@host01 /]# ceph osd crush add-bucket DC2 datacenter

   Copy to Clipboard Toggle word wrap

2. root=default の下にバケットを移動します。

   構文

   ceph osd crush move BUCKET_NAME root=default

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph osd crush move DC1 root=default
   [ceph: root@host01 /]# ceph osd crush move DC2 root=default

   Copy to Clipboard Toggle word wrap

3. 必要な CRUSH 配置に従って、OSD ホストを移動します。

   構文

   ceph osd crush move HOST datacenter=DATACENTER

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph osd crush move host01 datacenter=DC1

   Copy to Clipboard Toggle word wrap

手順

1. CRUSH マップに合わせて、各モニターの位置を設定します。

   構文

   ceph mon set_location HOST datacenter=DATACENTER

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph mon set_location host01 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC1
   [ceph: root@host01 /]# ceph mon set_location host04 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host05 datacenter=DC2
   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3

   Copy to Clipboard Toggle word wrap

2. 各データセンターに 2 つのコピーを配置する CRUSH ルールを生成します。

   構文

   ceph osd getcrushmap > COMPILED_CRUSHMAP_FILENAME
   crushtool -d COMPILED_CRUSHMAP_FILENAME -o DECOMPILED_CRUSHMAP_FILENAME

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph osd getcrushmap > crush.map.bin
   [ceph: root@host01 /]# crushtool -d crush.map.bin -o crush.map.txt

   Copy to Clipboard Toggle word wrap

   1. 逆コンパイルされた CRUSH マップファイルを編集して、新しいルールを追加します。

      例

      rule stretch_rule {
              id 1 

      1

      
              type replicated
              min_size 1
              max_size 10
              step take DC1 

      2

      
              step chooseleaf firstn 2 type host
              step emit
              step take DC2 

      3

      
              step chooseleaf firstn 2 type host
              step emit
      }

      Copy to Clipboard Toggle word wrap

      1

      ルール id は一意である必要があります。この例では、ID 0 のルールがもう 1 つしかないため、ID 1 が使用されますが、既存のルールの数に応じて、別のルール ID を使用する必要がある場合があります。

      2 3

      この例では、DC1 および DC2 という名前の 2 つのデータセンターバケットがあります。

      注記

      このルールにより、クラスターはデータセンター DC1 に対して読み取りアフィニティーを持ちます。したがって、すべての読み取りまたは書き込みは、DC1 に配置された Ceph OSD を介して行われます。

      これが望ましくなく、読み取りまたは書き込みがゾーン全体に均等に分散される場合、クラッシュルールは次のようになります。

      例

      rule stretch_rule {
      id 1
      type replicated
      min_size 1
      max_size 10
      step take default
      step choose firstn 0 type datacenter
      step chooseleaf firstn 2 type host
      step emit
      }

      Copy to Clipboard Toggle word wrap

      このルールでは、データセンターはランダムかつ自動的に選択されます。

      firstn および indep オプションの詳細は、CRUSH ルール を参照してください。

3. CRUSH マップを挿入して、クラスターでルールを使用できるようにします。

   構文

   crushtool -c DECOMPILED_CRUSHMAP_FILENAME -o COMPILED_CRUSHMAP_FILENAME
   ceph osd setcrushmap -i COMPILED_CRUSHMAP_FILENAME

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# crushtool -c crush.map.txt -o crush2.map.bin
   [ceph: root@host01 /]# ceph osd setcrushmap -i crush2.map.bin

   Copy to Clipboard Toggle word wrap

4. 接続モードでモニターを実行しない場合は、選択戦略を connectivity に設定します。

   例

   [ceph: root@host01 /]# ceph mon set election_strategy connectivity

   Copy to Clipboard Toggle word wrap

5. タイブレーカーモニターの場所をデータセンター間で分割するように設定して、ストレッチモードに入ります。

   構文

   ceph mon set_location HOST datacenter=DATACENTER
   ceph mon enable_stretch_mode HOST stretch_rule datacenter

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph mon set_location host07 datacenter=DC3
   [ceph: root@host01 /]# ceph mon enable_stretch_mode host07 stretch_rule datacenter

   Copy to Clipboard Toggle word wrap

   この例では、モニター mon.host07 がタイブレーカーです。

   重要

   タイブレーカーモニターの場所は、以前に非タイブレーカーモニターを設定したデータセンターとは異なる必要があります。上記の例では、データセンター DC3 です。

   重要

   ストレッチモードに入ろうとすると、次のエラーが発生するため、このデータセンターを CRUSH マップに追加しないでください。

   Error EINVAL: there are 3 datacenters in the cluster but stretch mode currently only works with 2!

   Copy to Clipboard Toggle word wrap
   注記

   Ceph をデプロイするための独自のツールを作成している場合、ceph mon set_location コマンドを実行する代わりに、モニターの起動時に新しい --set-crush-location オプションを使用できます。このオプションは、ceph-mon --set-crush-location 'datacenter=DC1' など、1 つの bucket=location ペアのみを受け入れます。これは、enable_stretch_mode コマンドの実行時に指定したバケットタイプに一致する必要があります。

6. ストレッチモードが正常に有効になっていることを確認します。

   例

   [ceph: root@host01 /]# ceph osd dump
   
   epoch 361
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   created 2023-01-16T05:47:28.482717+0000
   modified 2023-01-17T17:36:50.066183+0000
   flags sortbitwise,recovery_deletes,purged_snapdirs,pglog_hardlimit
   crush_version 31
   full_ratio 0.95
   backfillfull_ratio 0.92
   nearfull_ratio 0.85
   require_min_compat_client luminous
   min_compat_client luminous
   require_osd_release quincy
   stretch_mode_enabled true
   stretch_bucket_count 2
   degraded_stretch_mode 0
   recovering_stretch_mode 0
   stretch_mode_bucket 8

   Copy to Clipboard Toggle word wrap

   Stretch_mode_enabled は true に設定する必要があります。また、ストレッチバケット、ストレッチモードバケットの数、およびストレッチモードが低下しているか回復しているかを確認することもできます。

7. モニターが適切な場所にあることを確認します。

   例

   [ceph: root@host01 /]# ceph mon dump
   
   epoch 19
   fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d
   last_changed 2023-01-17T04:12:05.709475+0000
   created 2023-01-16T05:47:25.631684+0000
   min_mon_release 16 (pacific)
   election_strategy: 3
   stretch_mode_enabled 1
   tiebreaker_mon host07
   disallowed_leaders host07
   0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host07; crush_location {datacenter=DC3}
   1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2}
   2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1}
   3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1}
   4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2}
   dumped monmap epoch 19

   Copy to Clipboard Toggle word wrap

   また、どのモニターがタイブレーカーであるか、およびモニターの選択戦略も確認できます。

手順

1. OSD をデプロイするために利用可能なデバイスをリスト表示します。

   構文

   ceph orch device ls [--hostname=HOST_1 HOST_2] [--wide] [--refresh]

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph orch device ls

   Copy to Clipboard Toggle word wrap

2. OSD を特定のホストまたは使用可能なすべてのデバイスにデプロイします。

   • 特定のホスト上の特定のデバイスから OSD を作成します。

     構文

     ceph orch daemon add osd HOST:DEVICE_PATH

     Copy to Clipboard Toggle word wrap

     例

     [ceph: root@host01 /]# ceph orch daemon add osd host03:/dev/sdb

     Copy to Clipboard Toggle word wrap

   • 使用可能なデバイスと未使用のデバイスに OSD をデプロイします。

     重要

     このコマンドは、コロケーションされた WAL および DB デバイスを作成します。コロケーションされていないデバイスを作成する場合は、このコマンドを使用しないでください。

     例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

     Copy to Clipboard Toggle word wrap

3. OSD ホストを CRUSH バケットの下に移動します。

   構文

   ceph osd crush move HOST datacenter=DATACENTER

   Copy to Clipboard Toggle word wrap

   例

   [ceph: root@host01 /]# ceph osd crush move host03 datacenter=DC1
   [ceph: root@host01 /]# ceph osd crush move host06 datacenter=DC2

   Copy to Clipboard Toggle word wrap

   注記

   両方のサイトに同じトポロジーノードを追加してください。ホストが 1 つのサイトのみに追加されると、問題が発生する可能性があります。