コンテナー化された Red Hat Ceph を持つオーバークラウドのデプロイ

手順

1. インベントリーファイルを作成したら、そのファイルを stack ユーザーのホームディレクトリーに保存します (/home/stack/instackenv.json)。

2. stack ユーザーを初期化し、続いて instackenv.json インベントリーファイルを director にインポートします。

   $ source ~/stackrc
   $ openstack overcloud node import ~/instackenv.json

   openstack overcloud node import コマンドは、インベントリーファイルをインポートし、各ノードを director に登録します。

3. カーネルと ramdisk イメージを各ノードに割り当てます。

1. ハードウェアのイントロスペクションをトリガーして、各ノードのハードウェア属性を取得します。

   $ openstack overcloud node introspect --all-manageable --provide

   • --all-manageable オプションを使用して、管理状態にあるノードのみをイントロスペクションします。ここでは、すべてのノードが管理状態にあります。

   • --provide オプションは、イントロスペクション後に全ノードを active の状態にリセットします。

     重要

     このプロセスが正常に完了したことを確認します。ベアメタルノードの場合には、通常 15 分ほどかかります。

2. ノード一覧を取得して UUID を把握します。

   $ openstack baremetal node list

3. 各ノードの properties/capabilities パラメーターに profile オプションを追加して、ノードを特定のプロファイルに手動でタグ付けします。profile オプションを追加すると、適切なプロファイルにノードをタグ付けします。

   注記

   手動でのタグ付けの代わりに、Automated Health Check (AHC) ツールを使用し、ベンチマークデータに基づいて、多数のノードに自動でタグ付けします。

   たとえば、標準的なデプロイメントには、control、compute、および ceph-storage の 3 つのプロファイルが含まれます。以下のコマンドを実行して、3 つのノードを各プロファイルにタグ付けします。

   $ ironic node-update 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0 add properties/capabilities='profile:control,boot_option:local'
   $ ironic node-update 6faba1a9-e2d8-4b7c-95a2-c7fbdc12129a add properties/capabilities='profile:control,boot_option:local'
   $ ironic node-update 5e3b2f50-fcd9-4404-b0a2-59d79924b38e add properties/capabilities='profile:control,boot_option:local'
   $ ironic node-update 484587b2-b3b3-40d5-925b-a26a2fa3036f add properties/capabilities='profile:compute,boot_option:local'
   $ ironic node-update d010460b-38f2-4800-9cc4-d69f0d067efe add properties/capabilities='profile:compute,boot_option:local'
   $ ironic node-update d930e613-3e14-44b9-8240-4f3559801ea6 add properties/capabilities='profile:compute,boot_option:local'
   $ ironic node-update da0cc61b-4882-45e0-9f43-fab65cf4e52b add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update b9f70722-e124-4650-a9b1-aade8121b5ed add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update 68bf8f29-7731-4148-ba16-efb31ab8d34f add properties/capabilities='profile:ceph-storage,boot_option:local'

   ヒント

   Ceph MON サービスおよび Ceph MDS サービス用のノードのタグ付けに使用できる新しいカスタムプロファイルを設定することも可能です。詳しくは、「3章専用ノード上での Ceph サービスのデプロイ」を参照してください。

手順

1. 各ノードのハードウェアイントロスペクションからのディスク情報を確認します。以下のコマンドを実行して、ノードのディスク情報を表示します。

   (undercloud) $ openstack baremetal introspection data save 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0 | jq ".inventory.disks"

   たとえば、1 つのノードのデータで 3 つのディスクが表示される場合があります。

   [
     {
       "size": 299439751168,
       "rotational": true,
       "vendor": "DELL",
       "name": "/dev/sda",
       "wwn_vendor_extension": "0x1ea4dcc412a9632b",
       "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
       "model": "PERC H330 Mini",
       "wwn": "0x61866da04f380700",
       "serial": "61866da04f3807001ea4dcc412a9632b"
     }
     {
       "size": 299439751168,
       "rotational": true,
       "vendor": "DELL",
       "name": "/dev/sdb",
       "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
       "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
       "model": "PERC H330 Mini",
       "wwn": "0x61866da04f380d00",
       "serial": "61866da04f380d001ea4e13c12e36ad6"
     }
     {
       "size": 299439751168,
       "rotational": true,
       "vendor": "DELL",
       "name": "/dev/sdc",
       "wwn_vendor_extension": "0x1ea4e31e121cfb45",
       "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
       "model": "PERC H330 Mini",
       "wwn": "0x61866da04f37fc00",
       "serial": "61866da04f37fc001ea4e31e121cfb45"
     }
   ]

2. openstack baremetal node set --property root_device= コマンドを実行して、ノードのルートディスクを設定します。ルートディスクを定義するのに最も適切なハードウェア属性値を指定します。

   (undercloud) $ openstack baremetal node set --property root_device=’{“serial”:”<serial_number>”} <node-uuid>

   たとえば、ルートデバイスをシリアル番号が 61866da04f380d001ea4e13c12e36ad6 の disk 2 に設定するには、以下のコマンドを実行します。

   (undercloud) $ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

手順

1. overcloud-minimal イメージを使用するように director を設定するには、以下のイメージ定義を含む環境ファイルを作成します。

   parameter_defaults:
     <roleName>Image: overcloud-minimal

2. <roleName> をロール名に置き換え、ロール名に Image を追加します。Ceph Storage ノードの overcloud-minimal イメージの例を以下に示します。

   parameter_defaults:
     CephStorageImage: overcloud-minimal

3. この環境ファイルを openstack overcloud deploy コマンドに渡します。

手順

1. カスタムロールを追加できるように、/home/stack/templates/ の roles_data.yaml ファイルのコピーを作成します。

   $ cp /usr/share/openstack-tripleo-heat-templates/roles_data.yaml /home/stack/templates/roles_data_custom.yaml

2. openstack overcloud deploy コマンドに新しいカスタムロールファイルを追加します。

手順

1. /home/stack/templates/roles_data_custom.yaml ファイルを開きます。
2. Ceph MON サービスのサービスエントリー (OS::TripleO::Services::CephMon) を Controller ロールから削除します。

3. OS::TripleO::Services::CephClient サービスを Controller ロールに追加します。

   [...]
   - name: Controller # the 'primary' role goes first
     CountDefault: 1
     ServicesDefault:
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CephMds
       - OS::TripleO::Services::CephClient
       - OS::TripleO::Services::CephExternal
       - OS::TripleO::Services::CephRbdMirror
       - OS::TripleO::Services::CephRgw
       - OS::TripleO::Services::CinderApi
   [...]

4. roles_data_custom.yaml ファイルの末尾に、Ceph MON サービスおよびその他すべての必要なノードサービスを含むカスタムの CephMon ロールを追加します。

   - name: CephMon
     ServicesDefault:
       # Common Services
       - OS::TripleO::Services::AuditD
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CertmongerUser
       - OS::TripleO::Services::Collectd
       - OS::TripleO::Services::Docker
       - OS::TripleO::Services::FluentdClient
       - OS::TripleO::Services::Kernel
       - OS::TripleO::Services::Ntp
       - OS::TripleO::Services::ContainersLogrotateCrond
       - OS::TripleO::Services::SensuClient
       - OS::TripleO::Services::Snmp
       - OS::TripleO::Services::Timezone
       - OS::TripleO::Services::TripleoFirewall
       - OS::TripleO::Services::TripleoPackages
       - OS::TripleO::Services::Tuned
       # Role-Specific Services
       - OS::TripleO::Services::CephMon

5. openstack flavor create コマンドを実行し、CephMon ロール用に ceph-mon という名前の新規フレーバーを定義します。

   $ openstack flavor create --id auto --ram 6144 --disk 40 --vcpus 4 ceph-mon

   注記

   このコマンドの詳細を確認するには、openstack flavor create --help を実行してください。

6. このフレーバーを新規プロファイルにマッピングします。このプロファイルも ceph-mon という名前です。

   $ openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="ceph-mon" ceph-mon

   注記

   このコマンドの詳細については、openstack flavor set --help を実行してください。

7. ノードを新しい ceph-mon プロファイルにタグ付けします。

   $ ironic node-update UUID add properties/capabilities='profile:ceph-mon,boot_option:local'

8. ceph-mon フレーバーを CephMon ロールに関連付けるには、以下の設定を node-info.yaml ファイルに追加します。

   parameter_defaults:
     OvercloudCephMonFlavor: CephMon
     CephMonCount: 3

手順

1. /home/stack/templates/roles_data_custom.yaml ファイルを開きます。

2. Ceph MDS サービスのサービスエントリー (OS::TripleO::Services::CephMds) を Controller ロールから削除します。

   [...]
   - name: Controller # the 'primary' role goes first
     CountDefault: 1
     ServicesDefault:
       - OS::TripleO::Services::CACerts
       # - OS::TripleO::Services::CephMds 1
       - OS::TripleO::Services::CephMon
       - OS::TripleO::Services::CephExternal
       - OS::TripleO::Services::CephRbdMirror
       - OS::TripleO::Services::CephRgw
       - OS::TripleO::Services::CinderApi
   [...]

   1

   この行をコメントアウトします。次のステップで、このサービスを新しいカスタムロールに追加します。

3. roles_data_custom.yaml ファイルの末尾に、Ceph MDS サービスおよびその他すべての必要なノードサービスを含むカスタムの CephMDS ロールを追加します。

   - name: CephMDS
     ServicesDefault:
       # Common Services
       - OS::TripleO::Services::AuditD
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CertmongerUser
       - OS::TripleO::Services::Collectd
       - OS::TripleO::Services::Docker
       - OS::TripleO::Services::FluentdClient
       - OS::TripleO::Services::Kernel
       - OS::TripleO::Services::Ntp
       - OS::TripleO::Services::ContainersLogrotateCrond
       - OS::TripleO::Services::SensuClient
       - OS::TripleO::Services::Snmp
       - OS::TripleO::Services::Timezone
       - OS::TripleO::Services::TripleoFirewall
       - OS::TripleO::Services::TripleoPackages
       - OS::TripleO::Services::Tuned
       # Role-Specific Services
       - OS::TripleO::Services::CephMds
       - OS::TripleO::Services::CephClient 1

   1

   Ceph MDS サービスには、Ceph MON サービスまたは Ceph Client サービスのいずれかで設定できる管理キーリングが必要です。Ceph MON サービスがない専用のノードに Ceph MDS をデプロイする場合には、新しい CephMDS ロールに Ceph クライアントサービスも追加する必要があります。

4. openstack flavor create コマンドを実行し、このロール用に ceph-mds という名前の新規フレーバーを定義します。

   $ openstack flavor create --id auto --ram 6144 --disk 40 --vcpus 4 ceph-mds

   注記

   このコマンドの詳細を確認するには、openstack flavor create --help を実行してください。

5. 新規の ceph-mdsフレーバーを新規プロファイルにマッピングします。このプロファイルも、ceph-mds という名前になります。

   $ openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="ceph-mds" ceph-mds

   注記

   このコマンドの詳細については、openstack flavor set --help を実行してください。

6. ノードを新しい ceph-mds プロファイルにタグ付けします。

1. 最初の 2 行 (parameter_defaults: および NodeDataLookup:) を一時的にファイルから削除します。
2. cat node-spec-overrides.yaml | jq . を実行します。

手順

1. CephAnsibleExtraConfig パラメーターを更新して、待機およびリトライのデフォルト値を変更します。

   parameter_defaults:
     CephAnsibleExtraConfig:
       health_osd_check_delay: 40
       health_osd_check_retries: 30
       health_mon_check_delay: 20
       health_mon_check_retries: 10

   この例でのクラスターは、Ceph OSD の場合は 30 回確認 (確認ごとに40 秒間待機) し、Ceph MON の場合は 20 回確認 (確認ごとに10 秒間待機) します。

2. 変更を反映するには、openstack overcloud deploy を使用して -e を指定し、更新された yaml ファイルを渡します。

手順

1. OSD/ジャーナルのマッピングを宣言します。

   parameter_defaults:
     CephAnsibleDisksConfig:
      devices:
      - /dev/sda
      - /dev/sdb
      dedicated_devices:
      - /dev/sdc
      - /dev/sdc
      osd_scenario: non-collocated
      journal_size: 8192

手順

1. デフォルトのレプリケーションファクターを 2 に設定します。この例では、4 つのノードを 2 つの異なるルートに分割します。

   parameter_defaults:
     CephPoolDefaultSize: 2

手順

1. 以下のコマンドを実行して、4 つのノードの UUID を取得します。

   for ((x=1; x<=4; x++)); \
   { echo "Node overcloud-ceph0${x}"; \
   openstack baremetal introspection data save overcloud-ceph0${x} | jq .extra.system.product.uuid; }
   Node overcloud-ceph01
   "32C2BC31-F6BB-49AA-971A-377EFDFDB111"
   Node overcloud-ceph02
   "76B4C69C-6915-4D30-AFFD-D16DB74F64ED"
   Node overcloud-ceph03
   "FECF7B20-5984-469F-872C-732E3FEF99BF"
   Node overcloud-ceph04
   "5FFEFA5F-69E4-4A88-B9EA-62811C61C8B3"

   注記

   この例では、overcloud-ceph0[1-4] は Ironic ノードの名前です。これらは、(HostnameMap.yaml を介して) lab-ceph0[1–4] としてデプロイされます。

2. 以下のようにノードの配置を指定します。

   ルート	ラック	ノード
   standard_root	rack1_std	overcloud-ceph01 (lab-ceph01)
   	rack2_std	overcloud-ceph02 (lab-ceph02)
   fast_root	rack1_fast	overcloud-ceph03 (lab-ceph03)
   	rack2_fast	overcloud-ceph04 (lab-ceph04)

   注記

   同じ名前のバケットを 2 つ持つことはできません。lab-ceph01 と lab-ceph03 が同じ物理ラックにある場合でも、rack1 と呼ばれるバケットを 2 つ持つことはできません。そのため、rack1_std および rack1_fast と命名しました。

   注記

   この例では、複数のカスタムルートを示すために「standard_root」という特定のルートの作成方法を説明します。ただし、デフォルトのルートに HDD の OSD ノードを保持することもできたはずです。

3. 以下の NodeDataLookup 構文を使用します。

   NodeDataLookup: {"SYSTEM_UUID": {"osd_crush_location": {"root": "$MY_ROOT", "rack": "$MY_RACK", "host": "$OVERCLOUD_NODE_HOSTNAME"}}}

   注記

   システム UUID を指定してから、CRUSH 階層を上から順に指定する必要があります。また、host パラメーターは、Bare Metal サービス (ironic) ノード名ではなく、ノードのオーバークラウドホスト名を参照する必要があります。設定例と一致するには、以下を入力します。

   parameter_defaults:
     NodeDataLookup: {"32C2BC31-F6BB-49AA-971A-377EFDFDB111": {"osd_crush_location": {"root": "standard_root", "rack": "rack1_std", "host": "lab-ceph01"}},
        "76B4C69C-6915-4D30-AFFD-D16DB74F64ED": {"osd_crush_location": {"root": "standard_root", "rack": "rack2_std", "host": "lab-ceph02"}},
        "FECF7B20-5984-469F-872C-732E3FEF99BF": {"osd_crush_location": {"root": "fast_root", "rack": "rack1_fast", "host": "lab-ceph03"}},
        "5FFEFA5F-69E4-4A88-B9EA-62811C61C8B3": {"osd_crush_location": {"root": "fast_root", "rack": "rack2_fast", "host": "lab-ceph04"}}}

4. ceph-ansible レベルで CRUSH マップ管理を有効にします。

   parameter_defaults:
     CephAnsibleExtraConfig:
       create_crush_tree: true

5. スケジューラーヒントを使用して、Bare Metal サービスノードの UUID がホスト名に正しくマッピングされていることを確認します。

   parameter_defaults:
     CephStorageCount: 4
     OvercloudCephStorageFlavor: ceph-storage
     CephStorageSchedulerHints:
       'capabilities:node': 'ceph-%index%'

6. Bare Metal サービスノードを対応するヒントでタグ付けします。

   openstack baremetal node set --property capabilities='profile:ceph-storage,node:ceph-0,boot_option:local' overcloud-ceph01
   
   openstack baremetal node set --property capabilities=profile:ceph-storage,'node:ceph-1,boot_option:local' overcloud-ceph02
   
   openstack baremetal node set --property capabilities='profile:ceph-storage,node:ceph-2,boot_option:local' overcloud-ceph03
   
   openstack baremetal node set --property capabilities='profile:ceph-storage,node:ceph-3,boot_option:local' overcloud-ceph04

   注記

   予測可能な配置の詳細は、『オーバークラウドの 高度なカスタマイズ』 の「特定の ノード ID の割り当て 」を参照してください。

手順

1. CRUSH ルールを定義するには、以下の構文を使用します。

   parameter_defaults:
     CephAnsibleExtraConfig:
       crush_rules:
         - name: $RULE_NAME
           root: $ROOT_NAME
           type: $REPLICAT_DOMAIN
           default: true/false

   注記

   Default パラメーターを true に設定すると、ルールを指定せずに新しいプールを作成する際にこのルールが使用されます。デフォルトのルールは 1 つだけです。

   以下の例では、ルール standard は、ラックごとに 1 つの複製で standard_root でホストされる OSD ノードをポイントします。ルール fast は、ラックごとに 1 つの複製で standard_root でホストされる OSD ノードをポイントします。

   parameter_defaults:
     CephAnsibleExtraConfig:
       crush_rule_config: true
       crush_rules:
         - name: standard
           root: standard_root
           type: rack
           default: true
         - name: fast
           root: fast_root
           type: rack
           default: false

   注記

   crush_rule_config を true に設定する必要があります。

手順

1. プールプロパティーを定義または変更するには、以下の構文を使用します。

   - name: $POOL_NAME
        pg_num: $PG_COUNT
        rule_name: $RULE_NAME
        application: rbd

2. すべての OSP プールを一覧表示し、適切なルール (この場合は標準) を設定して 高速 ルールを使用する tier2 という新しいプールを作成します。このプールは Block Storage (cinder) によって使用されます。

   parameter_defaults:
     CephPools:
       - name: tier2
         pg_num: 64
         rule_name: fast
         application: rbd
   
       - name: volumes
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: vms
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: backups
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: images
         pg_num: 64
         rule_name: standard
         application: rbd
   
       - name: metrics
         pg_num: 64
         rule_name: standard
         application: openstack_gnocchi

手順

1. 以下のように cinder.conf を更新します。

   parameter_defaults:
     CinderRbdExtraPools:
       - tier2

手順

1. Ceph monitor ノードに接続し、以下のコマンドを実行します。

   # ceph osd tree
   ID WEIGHT  TYPE NAME               UP/DOWN REWEIGHT PRIMARY-AFFINITY
   -7 0.39996 root standard_root
   -6 0.19998     rack rack1_std
   -5 0.19998         host lab-ceph02
    1 0.09999             osd.1            up  1.00000          1.00000
    4 0.09999             osd.4            up  1.00000          1.00000
   -9 0.19998     rack rack2_std
   -8 0.19998         host lab-ceph03
    0 0.09999             osd.0            up  1.00000          1.00000
    3 0.09999             osd.3            up  1.00000          1.00000
   -4 0.19998 root fast_root
   -3 0.19998     rack rack1_fast
   -2 0.19998         host lab-ceph01
    2 0.09999             osd.2            up  1.00000          1.00000
    5 0.09999             osd.5            up  1.00000          1.00000

1. コントローラーノードに heat-admin ユーザーとしてログインします。

   $ nova list
   $ ssh heat-admin@192.168.0.25

2. クラスターの正常性を確認します。

   $ sudo podman exec ceph-mon-$HOSTNAME ceph health

   クラスターに問題がない場合は、上記のコマンドにより、HEALTH_OK というレポートが返されます。これは、クラスターを安全に使用できることを意味します。

3. Ceph monitor サービスを実行するオーバークラウドノードにログインし、クラスター内の全 OSD のステータスを確認します。

   $ sudo podman exec ceph-mon-$HOSTNAME ceph osd tree

4. Ceph Monitor クォーラムのステータスを確認します。

   $ sudo ceph quorum_status

   これにより、クォーラムに参加するモニターとどれがリーダーであるかが表示されます。

5. すべての Ceph OSD が動作中であることを確認します。

   $ ceph osd stat

手順

1. Ceph MON またはコントローラーノードにログインして、Ceph Storage Cluster のリバランスを一時的に無効にします。

   $ sudo podman exec -it ceph-mon-controller-0 ceph osd set noout
   $ sudo podman exec -it ceph-mon-controller-0 ceph osd set norebalance

2. リブートする最初の Ceph Storage ノードを選択し、そのノードにログインします。

3. ノードをリブートします。

   $ sudo reboot

4. ノードがブートするまで待ちます。

5. ノードにログインして、クラスターのステータスを確認します。

   $ sudo podman exec -it ceph-mon-controller-0 ceph status

   pgmap により、すべての pgs が正常な状態 (active+clean) として報告されることを確認します。

6. ノードからログアウトして、次のノードをリブートし、ステータスを確認します。全 Ceph Storage ノードがリブートされるまで、このプロセスを繰り返します。

7. 完了したら、Ceph MON またはコントローラーノードにログインして、クラスターのリバランスを再度有効にします。

   $ sudo podman exec -it ceph-mon-controller-0 ceph osd unset noout
   $ sudo podman exec -it ceph-mon-controller-0 ceph osd unset norebalance

8. 最終のステータスチェックを実行して、クラスターが HEALTH_OK を報告していることを確認します。

   $ sudo podman exec -it ceph-mon-controller-0 ceph status

1. director ホストに stack ユーザーとしてログインし、director の設定を初期化します。

   $ source ~/stackrc

2. 新規ノードの定義テンプレート (例: instackenv-scale.json) で、新しいノードのハードウェアと電源管理の詳細を定義します。

3. このファイルを OpenStack director にインポートします。

   $ openstack overcloud node import ~/instackenv-scale.json

   ノードの定義テンプレートをインポートすると、そのテンプレートで定義されている各ノードが director に登録されます。

4. カーネルと ramdisk イメージを全ノードに割り当てます。

   $ openstack overcloud node configure

1. ハードウェアのイントロスペクションをトリガーして、各ノードのハードウェア属性を取得します。

   $ openstack overcloud node introspect --all-manageable --provide

   • --all-manageable オプションを使用して、管理状態にあるノードのみをイントロスペクションします。ここでは、すべてのノードが管理状態にあります。

   • --provide オプションは、イントロスペクション後に全ノードを active の状態にリセットします。

     重要

     このプロセスが正常に完了したことを確認します。ベアメタルノードの場合には、通常 15 分ほどかかります。

2. ノード一覧を取得して UUID を把握します。

   $ openstack baremetal node list

3. 各ノードの properties/capabilities パラメーターに profile オプションを追加して、ノードを特定のプロファイルに手動でタグ付けします。profile オプションを追加すると、適切なプロファイルにノードをタグ付けします。

   注記

   手動でのタグ付けの代わりに、Automated Health Check (AHC) ツールを使用し、ベンチマークデータに基づいて、多数のノードに自動でタグ付けします。

   たとえば、以下のコマンドは、3 つの追加のノードを ceph-storage プロファイルでタグ付けします。

   $ ironic node-update 551d81f5-4df2-4e0f-93da-6c5de0b868f7 add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update 5e735154-bd6b-42dd-9cc2-b6195c4196d7 add properties/capabilities='profile:ceph-storage,boot_option:local'
   $ ironic node-update 1a2b090c-299d-4c20-a25d-57dd21a7085b add properties/capabilities='profile:ceph-storage,boot_option:local'

手順

1. コントローラーノードに heat-admin ユーザーとしてログインします。director の stack ユーザーには、heat-admin ユーザーにアクセスするための SSH キーがあります。

2. OSD ツリーを一覧表示して、お使いのノードの OSD を検索します。たとえば、削除するノードには、以下の OSD が含まれる場合があります。

   -2 0.09998     host overcloud-cephstorage-0
   0 0.04999         osd.0                         up  1.00000          1.00000
   1 0.04999         osd.1                         up  1.00000          1.00000

3. Ceph Storage ノードの OSD を無効化します。今回は、OSD ID は 0 と 1 です。

   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph osd out 0
   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph osd out 1

4. Ceph Storage クラスターがリバランスを開始します。このプロセスが完了するまで待機してください。以下のコマンドを使用して、ステータスを確認できます。

   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph -w

5. Ceph クラスターのリバランスが完了したら、削除する Ceph Storage ノード (ここでは overcloud-cephstorage-0) に heat-admin ユーザーとしてログインし、ノードを停止します。

   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl disable ceph-osd@0
   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl disable ceph-osd@1

6. OSD を停止します。

   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl stop ceph-osd@0
   [heat-admin@overcloud-cephstorage-0 ~]$ sudo systemctl stop ceph-osd@1

7. コントローラーノードにログインしたら、CRUSH マップから OSD を削除して、データを受信しないようにします。

   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph osd crush remove osd.0
   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph osd crush remove osd.1

8. OSD 認証キーを削除します。

   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph auth del osd.0
   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph auth del osd.1

9. クラスターから OSD を削除します。

   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph osd rm 0
   [heat-admin@overcloud-controller-0 ~]$ sudo podman exec ceph-mon-<HOSTNAME> ceph osd rm 1

10. ノードからログアウトして、stack ユーザーとしてアンダークラウドに戻ります。

    [heat-admin@overcloud-controller-0 ~]$ exit
    [stack@director ~]$

11. director が再度プロビジョニングしないように、Ceph Storage ノードを無効にします。

    [stack@director ~]$ openstack baremetal node list
    [stack@director ~]$ openstack baremetal node maintenance set UUID

12. Ceph Storage ノードを削除するには、ローカルのテンプレートファイルを使用して、director の overcloud スタックへの更新が必要です。最初にオーバークラウドスタックの UUID を特定します。

    $ openstack stack list

13. 削除する Ceph Storage ノードの UUID を特定します。

    $ openstack server list

14. スタックからノードを削除し、それに応じてプランを更新します。

    $ openstack overcloud node delete --stack overcloud <NODE_UUID>

1. stack が更新を完了するまで待機します。heat stack-list --show-nested コマンドを使用して、stack の更新を監視します。

2. 新規ノードを director のノードプールに追加して、Ceph Storage ノードとしてデプロイします。環境ファイル（ここでは ~/templates/storage-config.yaml ）の parameter_defaults セクションで CephStorageCount パラメーターを使用して、オーバークラウド内の Ceph Storage ノードの合計数を定義します。

   parameter_defaults:
     ControllerCount: 3
     OvercloudControlFlavor: control
     ComputeCount: 3
     OvercloudComputeFlavor: compute
     CephStorageCount: 3
     OvercloudCephStorageFlavor: ceph-storage
     CephMonCount: 3
     OvercloudCephMonFlavor: ceph-mon

1. 環境ファイルを更新したら、オーバークラウドを再デプロイします。

   $ openstack overcloud deploy --templates -e <ENVIRONMENT_FILES>

   director は、新しいノードをプロビジョニングし、新しいノードの詳細を用いて stack 全体を更新します。

2. heat-admin ユーザーとしてコントローラーノードにログインし、Ceph Storage ノードのステータスを確認します。

   [heat-admin@overcloud-controller-0 ~]$ sudo ceph status

3. osdmap セクションの値がクラスターで必要なノード数と一致していることを確認します。削除した Ceph Storage ノードは新規ノードに置き換えられます。

1. 以下の heat テンプレートは、OSD デバイスを 3 つ持つ Ceph Storage をデプロイします。

   parameter_defaults:
     CephAnsibleDisksConfig:
       devices:
         - /dev/sdb
         - /dev/sdc
         - /dev/sdd
       osd_scenario: lvm
       osd_objectstore: bluestore

2. OSD を追加するには、「Ceph Storage ノードのディスクレイアウトのマッピング」の説明に従って、ノードのディスクレイアウトを更新します。以下の例では、/dev/sde をテンプレートに追加します。

   parameter_defaults:
     CephAnsibleDisksConfig:
       devices:
         - /dev/sdb
         - /dev/sdc
         - /dev/sdd
         - /dev/sde
       osd_scenario: lvm
       osd_objectstore: bluestore

3. openstack overcloud deploy を実行してオーバークラウドを更新します。

1. ceph-storage0 に SSH 接続し、root でログインします。

2. OSD サービスを無効にし、停止します。

   [root@ceph-storage0 ~]# systemctl disable ceph-osd@4
   [root@ceph-stoarge0 ~]# systemctl stop ceph-osd@4

3. ceph-storage0 からの接続を切断します。
4. controller0 に SSH 接続し、root でログインします。

5. Ceph monitor コンテナーの名前を特定します。

   [root@controller0 ~]# podman ps | grep ceph-mon
   ceph-mon-controller0
   [root@controller0 ~]#

6. Ceph monitor コンテナーを有効にして、望ましくない OSD を out とマークします。

   [root@controller0 ~]# podman exec ceph-mon-controller0 ceph osd out 4

   注記

   このコマンドにより、Ceph はストレージクラスターをリバランスし、データをクラスター内の他の OSD にコピーします。クラスターは、リバランスが完了するまで、一時的に active+clean 状態から離れます。

7. 以下のコマンドを実行し、ストレージクラスターの状態が active+clean になるまで待機します。

   [root@controller0 ~]# podman exec ceph-mon-controller0 ceph -w

8. CRUSH マップから OSD を削除して、データを受信しないようにします。

   [root@controller0 ~]# podman exec ceph-mon-controller0 ceph osd crush remove osd.4

9. OSD 認証キーを削除します。

   [root@controller0 ~]# podman exec ceph-mon-controller0 ceph auth del osd.4

10. OSD を削除します。

    [root@controller0 ~]# podman exec ceph-mon-controller0 ceph osd rm 4

11. controller0から接続を解除します。
12. stack ユーザーとしてアンダークラウドに SSH 接続し、CephAnsibleDisksConfig パラメーターを定義した heat 環境ファイルを見つけます。

13. heat テンプレートに OSD が 4 つ含まれています。

    parameter_defaults:
      CephAnsibleDisksConfig:
        devices:
          - /dev/sdb
          - /dev/sdc
          - /dev/sdd
          - /dev/sde
        osd_scenario: lvm
        osd_objectstore: bluestore

14. テンプレートを変更して /dev/sde を削除します。

    parameter_defaults:
      CephAnsibleDisksConfig:
        devices:
          - /dev/sdb
          - /dev/sdc
          - /dev/sdd
        osd_scenario: lvm
        osd_objectstore: bluestore

15. openstack overcloud deploy を実行してオーバークラウドを更新します。

    注記

    この例では、OSD を使用するすべてのホストから /dev/sde デバイスを削除していることを前提としています。すべてのノードから同じデバイスを削除しない場合は、以下に示すように heat テンプレートを更新し、異なる devices 一覧を持つホストを定義する方法について、「異なる構成の Ceph Storage ノードへのディスクレイアウトのマッピング」を参照してください。