director を使用した Red Hat Ceph Storage および Red Hat OpenStack Platform のデプロイ

手順

1. /home/stack/undercloud.conf を開き、次のパラメーターを追加します。

   clean_nodes=true

2. /home/stack/undercloud.conf を保存します。

3. アンダークラウド設定を更新します。

   openstack undercloud install

手順

1. /home/stack にノードインベントリー JSON ファイルを作成します。

2. ノードごとのハードウェアおよび電源管理の詳細を入力します。

   以下に例を示します。

   {
       "nodes":[
           {
               "mac":[
                   "b1:b1:b1:b1:b1:b1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.205"
           },
           {
               "mac":[
                   "b2:b2:b2:b2:b2:b2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.206"
           },
           {
               "mac":[
                   "b3:b3:b3:b3:b3:b3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.207"
           },
           {
               "mac":[
                   "c1:c1:c1:c1:c1:c1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.208"
           },
           {
               "mac":[
                   "c2:c2:c2:c2:c2:c2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.209"
           },
           {
               "mac":[
                   "c3:c3:c3:c3:c3:c3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.210"
           },
           {
               "mac":[
                   "d1:d1:d1:d1:d1:d1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.211"
           },
           {
               "mac":[
                   "d2:d2:d2:d2:d2:d2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.212"
           },
           {
               "mac":[
                   "d3:d3:d3:d3:d3:d3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.213"
           }
       ]
   }

3. 新しいファイルを保存します。

4. スタックユーザーを初期化します。

   $ source ~/stackrc

5. JSON インベントリーファイルを director にインポートし、ノードを登録する

   $ openstack overcloud node import <inventory_file>

   <inventory_file> を最初の手順で作成したファイルの名前に置き換えます。

6. カーネルと ramdisk イメージを各ノードに割り当てます。

   $ openstack overcloud node configure <node>

手順

1. 各ノードのハードウェアイントロスペクションからのディスク情報を確認します。

   (undercloud)$ openstack baremetal introspection data save <node_uuid> --file <output_file_name>

   • <node_uuid> をノードの UUID に置き換えます。

   • <output_file_name> を、ノードイントロスペクションの出力を含むファイルの名前に置き換えます。

     たとえば、1 つのノードのデータで 3 つのディスクが表示される場合があります。

     [
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sda",
         "wwn_vendor_extension": "0x1ea4dcc412a9632b",
         "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380700",
         "serial": "61866da04f3807001ea4dcc412a9632b"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdb",
         "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
         "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380d00",
         "serial": "61866da04f380d001ea4e13c12e36ad6"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdc",
         "wwn_vendor_extension": "0x1ea4e31e121cfb45",
         "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f37fc00",
         "serial": "61866da04f37fc001ea4e31e121cfb45"
       }
     ]

2. 一意のハードウェアプロパティーを使用して、ノードのルートディスクを設定します。

   (undercloud)$ openstack baremetal node set --property root_device='{<property_value>}' <node-uuid>

   • <property_value> を、ルートディスクの設定に使用するイントロスペクションデータからの一意のハードウェアプロパティー値に置き換えます。

   • <node_uuid> をノードの UUID に置き換えます。

     注記

     一意のハードウェアプロパティーは、ディスクを一意に識別するハードウェアイントロスペクションステップからの任意のプロパティーです。たとえば、次のコマンドは、ディスクのシリアル番号を使用してルートディスクを設定します。

     (undercloud)$ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

3. 最初にネットワークから起動し、次にルートディスクから起動するように、各ノードの BIOS を設定します。

手順

1. /home/stack/templates/overcloud-baremetal-deploy.yaml ファイルを開きます。

2. overcloud-minimal イメージを使用するノードの image プロパティーを追加または更新します。特定のノードまたはロールのすべてのノードでイメージを overcloud-minimal に設定できます。

   注記

   オーバークラウドの最小イメージは、ディスクイメージ全体ではありません。カーネルと RAM ディスクは /home/stack/templates/overcloud-baremetal-deploy.yaml ファイルで指定する必要があります。

   特定のノード

   - name: Ceph
     count: 3
     instances:
     - hostname: overcloud-ceph-0
       name: node00
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd
     - hostname: overcloud-ceph-1
       name: node01
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd
     - hostname: overcloud-ceph-2
       name: node02
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd

   特定のロールのすべてのノード

   - name: Ceph
     count: 3
     defaults:
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd
     instances:
     - hostname: overcloud-ceph-0
       name: node00
     - hostname: overcloud-ceph-1
       name: node01
     - hostname: overcloud-ceph-2
       name: node02

3. roles_data.yaml ロール定義ファイルで、rhsm_enforce パラメーターを False に設定します。

   rhsm_enforce: False

4. プロビジョニングコマンドを実行します。

   (undercloud)$ openstack overcloud node provision \
   --stack overcloud \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

5. overcloud-baremetal-deployed.yaml 環境ファイルを openstack overcloud ceph deploy コマンドに渡します。

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. stackrc ファイルを取得します。

   [stack@director ~]$ source ~/stackrc

3. Controller、Compute、および CephStorage ロールを含む、roles_data.yaml という名前の新しいロールデータファイルを生成します。

   (undercloud)$ openstack overcloud roles \
    generate Controller Compute CephStorage -o /home/stack/templates/roles_data.yaml \

4. roles_data.yaml を開き、次のパラメーターとセクションがあることを確認します。

   セクション/パラメーター	値
   ロールのコメント	Role: CephStorage
   ロール名	name: CephStorage
   description	Ceph node role
   HostnameFormatDefault	%stackname%-novaceph-%index%
   deprecated_nic_config_name	ceph.yaml

5. ノード定義テンプレートに追加して、オーバークラウドの Ceph ノードを登録します。

6. ノードのハードウェアを検査します。

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

7. カスタム Ceph リソースクラスを使用して、Ceph 用に指定する各ベアメタルノードにタグを付けます。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CEPH <node>

   <node> をベアメタルノードの ID に置き換えてください。

8. CephStorage ロールを overcloud-baremetal-deploy.yaml ファイルに追加し、ノードに割り当てる予測可能なノード配置、リソースクラス、またはその他の属性を定義します。

   - name: Controller
     	  count: 3
   - name: Compute
    	  count: 3
   - name: CephStorage
   	  count: 5
       defaults:
   	    resource_class: baremetal.CEPH

9. プロビジョニングコマンドを実行します。

   (undercloud)$ openstack overcloud node provision \
   --stack stack \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

10. 別のターミナルでプロビジョニングの進捗をモニタリングします。プロビジョニングが成功すると、ノードの状態が available から active に変わります。

    (undercloud)$ watch openstack baremetal node list

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 最上位のドメイン接尾辞を設定します。

     openstack overcloud ceph deploy \
             --tld "<domain_name>"

   <domain_name> は、必要なドメイン名に置き換えます。

     openstack overcloud ceph deploy \
             --tld "example.local"

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 次のコマンドを使用して、Ceph Storage クラスターの名前を設定します。

   openstack overcloud ceph deploy \ --cluster <cluster_name>

   $ openstack overcloud ceph deploy \ --cluster central \

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. network_data.yaml というカスタムネットワーク属性を定義する YAML 形式のファイルを作成します。

   重要

   ネットワーク分離を使用すると、標準のネットワークデプロイメントは、2 つの Ceph ネットワークにマッピングされる 2 つのストレージネットワークで構成されます。

   • ストレージネットワーク storage は、Ceph ネットワーク public_network にマップされます。このネットワークは、コンピュートノードから Ceph クラスターへの RBD トラフィックなどのストレージトラフィックを処理します。
   • ストレージネットワーク storage_mgmt は、Ceph ネットワーク cluster_network にマップされます。このネットワークは、Ceph OSD 間のデータレプリケーションなどのストレージ管理トラフィックを処理します。

3. openstack overcloud ceph deploy コマンドと --config オプションを使用して、設定をデプロイします。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --network-data network_data.yaml

   重要

   openstack overcloud ceph deploy コマンドは、--network-data オプションで指定されたネットワークデータファイルを使用して、public_network および cluster_network として使用するネットワークを決定します。コマンドは、--public-network-name および --cluster-network-name オプションで別の名前が指定されていない限り、これらのネットワークがネットワークデータファイルで storage および storage_mgmt という名前であると想定します。

   ネットワーク分離を使用してデプロイする場合は、--network-data オプションを使用する必要があります。このオプションを使用しない場合、デフォルトのアンダークラウド (192.168.24.0/24) が public_network と cluster_network の両方に使用されます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. Ceph クラスターを設定する標準形式の初期化ファイルを作成します。他の設定オプションを含むファイルをすでに作成している場合は、それにネットワーク設定を追加できます。

3. ファイルの [global] セクションに次のパラメーターを追加します。

   • public_network
   • cluster_network

   • ms_bind_ipv4

     重要

     public_network および cluster_network が storage および storage_mgmt と同じネットワークにマップされていることを確認します。

     以下は、複数のサブネットとカスタムネットワーク名を持つネットワーク設定の設定ファイルエントリーの例です。

     [global]
     public_network = 172.16.14.0/24,172.16.15.0/24
     cluster_network = 172.16.12.0/24,172.16.13.0/24
     ms_bind_ipv4 = True
     ms_bind_ipv6 = False

4. コマンド openstack overcloud ceph deploy を --config オプションとともに使用して、設定ファイルをデプロイします。

   $ openstack overcloud ceph deploy \
     --config initial-ceph.conf --network-data network_data.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

3. カスタム CRUSH 階層を定義する設定ファイルを作成します (例: crush_hierarchy.yaml)。

4. そのファイルに以下の設定を追加します。

   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>

   • <osd_host> を、OSD がデプロイされているノードのホスト名 (ceph-0 など) に置き換えます。
   • <rack_num> を、OSD がデプロイメントされているラックの番号 (r0 など) に置き換えます。

5. カスタム OSD レイアウトを使用して Ceph クラスターをデプロイします。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --osd-spec osd_spec.yaml \
           --crush-hierarchy crush_hierarchy.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. カスタムロールを定義する YAML 形式のファイルを作成します。

3. 設定ファイルをデプロイします。

   $ openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --roles-data custom_roles.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. オプション: 標準形式の初期化 (ini) ファイルを使用して Ceph クラスターを設定します。

   1. 設定オプションを含むファイルを作成します。

      以下は、単純な設定ファイルの例です。

      [global]
      osd_crush_chooseleaf type = 0
      log_file = /var/log/ceph/$cluster-$type.$id.log
      
      [mon]
      mon_cluster_log_to_syslog = true

   2. 設定ファイルを作成します。

   3. openstack overcloud ceph deploy --config <configuration_file_name> コマンドを使用して設定をデプロイします。

      <configuration_file_name> を作成したファイルの名前に置き換えます。

      $ openstack overcloud ceph deploy --config initial-ceph.conf

3. オプション: 設定値を cephadm bootstrap コマンドに送信します。

   openstack overcloud ceph deploy --force \ --cephadm-extra-args '<optional_arguments>' \

   <optional_arguments> を設定値に置き換えて、基になるコマンドに提供します。

   注記

   引数 --log-to-file および --skip-prepare-host を使用する場合は、コマンド openstack overcloud ceph deploy --force \ --cephadm-extra-args '--log-to-file --skip-prepare-host' \ が使用されます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 仕様ファイルを生成します。

   openstack overcloud ceph spec deployed_metal.yaml -o <specification_file>

   • <specification_file> を現在のサービス仕様で生成するファイルの名前に置き換えます。

     注記

     deployed_metal.yaml は、openstack overcloud node provision コマンドの出力から取得されます。

3. 生成されたファイルを編集して必要な設定を追加します。

4. カスタムサービス仕様をデプロイします。

   openstack overcloud ceph deploy \
      deployed_metal.yaml \
      -o deployed_ceph.yaml \
      --ceph-spec <specification_file>

   • <specification_file> をカスタムサービス仕様ファイルの名前に置き換えます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 高度な OSD 仕様を定義する YAML 形式のファイルを作成します。

   以下は、カスタム OSD 仕様の例です。

   data_devices:
     rotational: 1
   db_devices:
     rotational: 0

   この例では、すべてのローテーションデバイスがデータデバイスになり、すべての非ローテーションデバイスが共有デバイスとして使用される OSD 仕様を作成します。動的 Ceph サービス仕様が構築されると、service_type が osd の場合、仕様ファイルにあるものは、すべて仕様のセクションに追加されます。

   注記

   カスタム OSD 仕様ファイルには完全な OSD 仕様を含めることはできません。

   以下は、完全な OSD 仕様の例です。

   service_type: osd
   service_id: osd_spec_hdd
   placement:
     host_pattern: 'storage-*'
   data_devices:
     paths:
       - /dev/sda
       - /dev/sdb

   カスタム OSD 仕様ファイルには、同じファイルに複数の YAML ドキュメントを含めないでください。

   以下は、同じファイル内の複数の YAML ドキュメントの例です。

   data_devices:
     paths:
     - /dev/sda
     - /dev/sdb
     - /dev/sdc
   ---
   data_devices:
     paths:
     - /dev/sdk
     - /dev/sdl
     - /dev/sdm

   環境の初回デプロイ後に Red Hat Ceph Storage コマンドラインツールを使用して、これらの要件で OSD 仕様を設定します。詳細は、Red Hat Ceph Storage Operations Guide の Deploying Ceph OSDs using advanced service specifications を参照してください。

3. 仕様ファイルを保存します。

4. 仕様をデプロイします。

   openstack overcloud ceph deploy \ --osd-spec <osd_specification_file>

   <osd_specification_file> を作成した仕様ファイルの名前に置き換えます。

   $ openstack overcloud ceph deploy \ --osd-spec osd_spec.yaml \

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. カスタム設定を定義するファイルを作成します。

   vi /home/stack/templates/storage-config.yaml

3. ファイルに parameter_defaults セクションを追加します。

4. カスタム設定パラメーターを追加します。パラメーター定義の詳細は、オーバークラウドのパラメーター を参照してください。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderBackupBackend: ceph
       NovaEnableRbdBackend: true
       GlanceBackend: rbd

   注記

   カスタム設定ファイルで定義されたパラメーターは、/usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml の対応するデフォルト設定をオーバーライドします。

5. ファイルを保存します。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. Ceph config パラメーターおよびデバイスクラス変数を含む環境ファイル (/home/stack/templates/ceph-config.yaml 等) を作成します。あるいは、既存の環境ファイルに以下の設定を追加することができます。

3. CephCrushRules パラメーターを追加します。CephCrushRules パラメーターには、定義した各クラスまたは Ceph が自動検出する各クラスにルールが含まれている必要があります。新しいプールを作成する際にルールが指定されていない場合は、Ceph が使用するルールがデフォルトとして選択されます。

   CephCrushRules:
   
     - name: HDD
       root: default
       type: host
       class: hdd
       default: true
     - name: SSD
       root: default
       type: host
       class: ssd
       default: false

4. CephPools パラメーターを追加します。

   • rule_name パラメーターを使用して、デフォルトのルールを使用しない各プールの層を指定します。以下の例では、fastpool プールは、fast tier として設定された SSD デバイスクラスを使用して Block Storage ボリュームを管理します。

   • CinderRbdExtraPools パラメーターを使用して、fastpool を Block Storage バックエンドとして設定します。

     CephPools:
       - name: fastpool
         rule_name: SSD
         application: rbd
     CinderRbdExtraPools: fastpool

5. 以下の例を使用して、環境ファイルに正しい値が含まれることを確認します。

   parameter_defaults:
   CephCrushRules:
   
     - name: replicated_hdd
       default: true
       class: hdd
       root: default
       type: host
       CinderRbdExtraPools: fastpool
       CephPools:
     - name: fastpool
       rule_name: SSD
       application: rbd

6. openstack overcloud deploy コマンドで新規の環境ファイルを指定します。

   $ openstack overcloud deploy \
   --templates \
   …
   -e <other_overcloud_environment_files> \
   -e /home/stack/templates/ceph-config.yaml  \
   …

   <other_overcloud_environment_files> をデプロイメントに追加する他の環境ファイルのリストに置き換えます。

手順

1. tripleo-admin ユーザーとしてオーバークラウドのコントローラーノードにログインします。

2. OSD 層が正常に設定されていることを確認するには、以下のコマンドを入力します。

   $ sudo cephadm shell ceph osd tree

3. 作成されるツリービューで、各 OSD に設定したデバイスクラスが CLASS コラムに正しく表示されることを確認します。

4. また、以下のコマンドで、OSD がデバイスクラスに正しく割り当てられていることを確認します。

   $ sudo cephadm shell ceph osd crush tree --show-shadow

5. 作成された階層を以下のコマンドによる結果と比較し、ルールごとに同じ値が適用されることを確認します。

   $ sudo cephadm shell ceph osd crush rule dump <rule_name>

   • <rule_name> を、チェックするルールの名前に置き換えます。

6. 作成したルール名と ID が、デプロイメント中に使用した crush_rules パラメーターに準じて正しいことを確認します。

   $ sudo cephadm shell ceph osd crush rule dump | grep -E "rule_(id|name)"

7. Ceph プールが、ステップ 3 で取得した正しい CRUSH ルール ID に関連付けられていることを確認します。

   $ sudo cephadm shell -- ceph osd dump | grep pool

8. 各プールについて、ルール ID が想定するルール名と一致することを確認してください。

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. デフォルトのコンテナーイメージ準備ファイルを生成します。

   $ sudo openstack tripleo container image prepare default \
     --local-push-destination \
     --output-env-file containers-prepare-parameter.yaml

3. containers-prepare-parameter.yaml ファイルを編集し、要件に合わせて変更を加えます。以下の containers-prepare-parameter.yaml ファイルのサンプルには、Grafana、Prometheus、Alertmanager、および Node Exporter などの Dashboard サービスに関連するイメージの場所およびタグが含まれます。特定のシナリオに応じて値を編集します。

   parameter_defaults:
       ContainerImagePrepare:
       - push_destination: true
           set:
               ceph_alertmanager_image: ose-prometheus-alertmanager
               ceph_alertmanager_namespace: registry.redhat.io/openshift4
               ceph_alertmanager_tag: v4.12
               ceph_grafana_image: rhceph-6-dashboard-rhel9
               ceph_grafana_namespace: registry.redhat.io/rhceph
               ceph_grafana_tag: 6
               ceph_image: rhceph-6-rhel9
               ceph_namespace: registry.redhat.io/rhceph
               ceph_node_exporter_image: ose-prometheus-node-exporter
               ceph_node_exporter_namespace: registry.redhat.io/openshift4
               ceph_node_exporter_tag: v4.12
               ceph_prometheus_image: ose-prometheus
               ceph_prometheus_namespace: registry.redhat.io/openshift4
               ceph_prometheus_tag: v4.12
               ceph_tag: latest

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. オプション: Ceph ダッシュボードネットワークは、デフォルトでプロビジョニングネットワークに設定されます。Ceph ダッシュボードをデプロイし、別のネットワーク経由でアクセスする場合は、環境ファイル (例: ceph_dashboard_network_override.yaml) を作成します。CephDashboardNetwork を既存のオーバークラウドでルーティングされたネットワークの 1 つ (例: external) に設定します。

     parameter_defaults:
       ServiceNetMap:
         CephDashboardNetwork: external

   重要

   初期デプロイメント後は、別のネットワークから Ceph Dashboard にアクセスするための CephDashboardNetwork 値の変更はサポートされません。

3. 以下の環境ファイルを openstack overcloud deploy コマンドに含めます。デプロイメントの一部であるすべての環境ファイルと、デフォルトのネットワークを変更する場合は ceph_dashboard_network_override.yaml ファイルを含めます。

   $ openstack overcloud deploy \
    --templates \
    -e <overcloud_environment_files> \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/ceph-dashboard.yaml \
    -e ceph_dashboard_network_override.yaml

   <overcloud_environment_files> をデプロイメントに追加する環境ファイルのリストに置き換えます。

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. Controller 固有のロールを生成して、Dashboard コンポーザブルネットワークを追加します。

   $ openstack overcloud roles generate -o /home/stack/roles_data_dashboard.yaml ControllerStorageDashboard Compute BlockStorage ObjectStorage CephStorage

   • コマンドの出力として定義された YAML ファイル内に新しい ControllerStorageDashboard ロールが生成されます。overcloud deploy コマンドを使用する場合には、この YAML ファイルをテンプレートリストに含める必要があります。ControllerStorageDashboard ロールには、CephNFS も network_data_dashboard.yaml も含まれていません。
   • director は、コンポーザブルネットワークを定義するネットワーク環境ファイルを提供します。このファイルのデフォルトの場所は、/usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml です。overcloud deploy コマンドを使用する場合には、このファイルをオーバークラウドのテンプレートリストに含める必要があります。

3. openstack overcloud deploy コマンドに、デプロイメントに含まれるすべての環境ファイルと共に以下の環境ファイルを追加します。

   $ openstack overcloud deploy \
     --templates \
     -r /home/stack/roles_data.yaml \
     -n /usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
     -e <overcloud_environment_files> \
     -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/ceph-dashboard.yaml

   <overcloud_environment_files> をデプロイメントに追加する環境ファイルのリストに置き換えます。

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. 以下の ceph_dashboard_admin.yaml 環境ファイルを作成します。

     parameter_defaults:
        CephDashboardAdminRO: false

3. overcloud deploy コマンドを実行して、既存のスタックを更新し、既存のデプロイメントに含まれるその他すべての環境ファイルと共に作成した環境ファイルを追加します。

   $ openstack overcloud deploy \
   --templates \
   -e <existing_overcloud_environment_files> \
   -e ceph_dashboard_admin.yml

   <existing_overcloud_environment_files> を既存のデプロイメントに含まれる環境ファイルのリストに置き換えます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. Dashboard の管理ログイン認証情報を取得します。

   [stack@undercloud ~]$ grep tripleo_cephadm_dashboard_admin_password <config-download>/<stack>/cephadm/cephadm-extra-vars-heat.yml

3. Ceph Dashboard にアクセスするための仮想 IP アドレスを取得します。

   [stack@undercloud-0 ~]$ grep tripleo_cephadm_dashboard_frontend_vip <config-download>/<stack>/cephadm/cephadm-extra-vars-ansible.yml

4. Web ブラウザーを使用してフロントエンドの仮想 IP をポイントし、Dashboard にアクセスします。director はプロビジョニングネットワーク上で Dashboard を設定して公開するので、取得した仮想 IP を使用して、TCP ポート 8444 の Dashboard に直接アクセスできます。以下の条件を満たしていることを確認します。

   • Web クライアントホストは、プロビジョニングネットワークに接続されたレイヤー 2 です。

   • プロビジョニングネットワークは適切にルーティングまたはプロキシーされ、Web クライアントホストからアクセスできます。これらの条件が満たされていない場合は、SSH トンネルを開いて、オーバークラウド上の Dashboard の仮想 IP に到達することができます。

     client_host$ ssh -L 8444:<dashboard_vip>:8444 stack@<your undercloud>

     <dashboard_vip> を取得したコントロールプレーンの仮想 IP の IP アドレスに置き換えます。

5. Dashboard にアクセスするには、Web ブラウザーで http://localhost:8444 にアクセスし、以下の詳細でログインします。

   • cephadm が作成するデフォルトのユーザー: admin。
   • <config-download>/<stack>/cephadm/cephadm-extra-vars-heat.yml のパスワード。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. ファイル deploy_ceph.yaml または環境で使用するファイルを開いて、Ceph Storage クラスター設定を定義します。
3. ApplyCephConfigOverridesOnUpdate パラメーターを見つけます。
4. ApplyCephConfigOverridesOnUpdate パラメーター値を false に変更します。
5. ファイルを保存します。

手順

1. 次のコマンドを実行して、ファイルのソースを明らかにします。

   $ source ~/overcloudrc

   これにより、アンダークラウド CLI からオーバークラウドと対話するために必要な環境変数が読み込まれます。

2. アンダークラウドとの対話に戻るには、以下のコマンドを実行します。

   $ source ~/stackrc

手順

1. tripleo-admin ユーザーとしてコントローラーノードにログインします。

   $ nova list
   $ ssh tripleo-admin@192.168.0.25

2. Ceph クラスターの状態を確認します。

   $ sudo cephadm shell -- ceph health

   Ceph クラスターに問題がない場合は、上記のコマンドにより、HEALTH_OK というレポートが返されます。これは、Ceph クラスターが安全に使用できることを意味します。

3. Ceph monitor サービスを実行するオーバークラウドノードにログインし、Ceph クラスター内の全 OSD のステータスを確認します。

   $ sudo cephadm shell -- ceph osd tree

4. Ceph Monitor クォーラムのステータスを確認します。

   $ sudo cephadm shell -- ceph quorum_status

   これにより、クォーラムに参加するモニターとどれがリーダーであるかが表示されます。

5. すべての Ceph OSD が動作中であることを確認します。

   $ sudo cephadm shell -- ceph osd stat

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. source コマンドで overcloudrc ファイルを読み込みます。

   $ source overcloudrc

3. Block Storage ボリュームの既存種別を確認します。

   $ cinder type-list

4. 新規の Block Storage ボリューム fast_tier を作成します。

   $ cinder type-create fast_tier

5. Block Storage 種別が作成されていることを確認します。

   $ cinder type-list

6. fast_tier Block Storage 種別が利用可能な場合は、作成した新しい層の Block Storage ボリュームバックエンドとして fastpool を設定します。

   $ cinder type-key fast_tier set volume_backend_name=tripleo_ceph_fastpool

7. 新しい層を使用して、新しいボリュームを作成します。

   $ cinder create 1 --volume-type fast_tier --name fastdisk

1. source コマンドでオーバークラウドの認証情報ファイルを読み込みます。

   $ source ~/<credentials_file>

   • <credentials_file> を認証情報ファイルの名前 (overcloudrc など) に置き換えます。

2. アンダークラウドノードで、ストレージネットワークを作成します。

   (overcloud) [stack@undercloud-0 ~]$ openstack network create Storage --provider-network-type vlan --provider-physical-network datacentre --provider-segment 30

   以下のオプションを設定してこのコマンドを入力することができます。

   • --provider-physical-network オプション: tripleo-heat-templates の NeutronBridgeMappings で別途 br-isolated ブリッジのタグを設定していない限り、デフォルト値 datacentre を使用します。
   • --provider-segment オプション: ネットワーク環境ファイルで Storage 分離ネットワークに設定した値を使用します。これがカスタマイズされない場合、デフォルトの環境ファイルは /usr/share/openstack-tripleo-heat-templates/network_data.yaml になります。分離ネットワークの定義を変更していない限り、Storage ネットワークに関連付けられた VLAN の値は 30 です。
   • --provider-network-type オプション: 値 vlan を使用します。

手順

1. アンダークラウドノードから、以下のコマンドを入力します。

   [stack@undercloud ~]$ source ~/overcloudrc

2. 下記のコマンド例を使用して、ネットワークをプロビジョニングします。値を実際の環境に応じて更新します。

   (overcloud) [stack@undercloud-0 ~]$ openstack subnet create \
   --allocation-pool start=172.17.3.10,end=172.17.3.149 \
   --dhcp \
   --network Storage \
   --subnet-range 172.17.3.0/24 \
   --gateway none StorageSubnet

   • --allocation-pool オプションの場合は、start=172.17.3.10,end=172.17.3.149 IP の値を、実際のネットワークの IP の値に置き換えます。
   • --subnet-range オプション: 172.17.3.0/24 のサブネット範囲を実際のネットワークのサブネット範囲に置き換えます。

手順

1. アンダークラウドノードから、以下のコマンドを入力します。

   [stack@undercloud ~]$ source ~/overcloudrc

2. アクセスが必要なプロジェクトを特定します。

   (overcloud) [stack@undercloud-0 ~]$ openstack project list
   +----------------------------------+---------+
   | ID                               | Name    |
   +----------------------------------+---------+
   | 06f1068f79d2400b88d1c2c33eacea87 | demo    |
   | 5038dde12dfb44fdaa0b3ee4bfe487ce | service |
   | 820e2d9c956644c2b1530b514127fd0d | admin   |
   +----------------------------------+---------+

3. 必要なプロジェクトでネットワーク RBAC ルールを作成します。

   (overcloud) [stack@undercloud-0 ~]$ openstack network rbac create \
   --action access_as_shared Storage \
   --type network \
   --target-project demo

   ストレージネットワークへのアクセスを必要とするすべてのプロジェクトについて、このステップを繰り返します。

手順

1. source コマンドでオーバークラウドの認証情報ファイルを読み込みます。

   $ source ~/<credentials_file>

   • <credentials_file> を認証情報ファイルの名前 (overcloudrc など) に置き換えます。

2. 共有種別に追加の仕様を設定します。

   (overcloud) [stack@undercloud-0 ~]$ manila type-create default false
   (overcloud) [stack@undercloud-0 ~]$ manila type-key default set share_backend_name='s!= cephfs'

3. プライベートの共有種別を作成して、信頼済みテナントにこの共有種別へのアクセス権限を付与します。

   (overcloud) [stack@undercloud-0 ~]$ manila type-create --is-public false nativecephfstype false
   (overcloud) [stack@undercloud-0 ~]$ manila type-key nativecephfstype set share_backend_name='cephfs'
   (overcloud) [stack@undercloud-0 ~]$ manila type-access-add nativecephfstype <trusted_tenant_project_id>

   • <trusted_tenant_project_id> を信頼されたテナントの ID に置き換えます。

手順

1. オーバークラウドのコントローラーノードのいずれかにログインします。

2. 接続されたネットワークを確認し、network_data.yaml ファイルにより設定したとおりの VLAN が存在することを確認します。

   $ ip a
   8: vlan30: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether 52:9c:82:7a:d4:75 brd ff:ff:ff:ff:ff:ff
       inet 172.17.3.144/24 brd 172.17.3.255 scope global vlan30
          valid_lft forever preferred_lft forever
       inet6 fe80::509c:82ff:fe7a:d475/64 scope link
          valid_lft forever preferred_lft forever

手順

1. 任意のコントローラーノードにログインします。

2. Ceph monitor デーモンから、以下のコマンドを入力します。

   $ sudo podman exec ceph-mon-controller-0 ceph -s
     cluster:
       id:     670dc288-cd36-4772-a4fc-47287f8e2ebf
       health: HEALTH_OK
   
     services:
       mon: 3 daemons, quorum controller-1,controller-2,controller-0 (age 14h)
       mgr: controller-1(active, since 8w), standbys: controller-0, controller-2
       mds: cephfs:1 {0=controller-2=up:active} 2 up:standby
       osd: 15 osds: 15 up (since 8w), 15 in (since 8w)
   
     task status:
       scrub status:
           mds.controller-2: idle
   
     data:
       pools: 6 pools, 192 pgs
       objects: 309 objects, 1.6 GiB
       usage: 21 GiB used, 144 GiB / 165 GiB avail
       pgs: 192 active+clean

   注記

   1 つのアクティブな MDS と 2 つのスタンバイ状態の MDS があります。

3. Ceph File System の詳細ステータスを表示するには、以下のコマンドを入力します。

   $ sudo ceph fs ls
   
   name: cephfs metadata pool: manila_metadata, data pools: [manila_data]

   注記

   以下の出力例では、cephfs は、ユーザーが Shared File Systems サービスを使用して作成する CephFS ファイル共有をホストするために director が作成する Ceph File System の名前です。

手順

1. いずれかのコントローラーノードから、openstack-manila-share が起動していることを確認します。

   $ sudo pcs status resources | grep manila
   
   * Container bundle: openstack-manila-share [cluster.common.tag/rhosp16-openstack-manila-share:pcmklatest]:
   * openstack-manila-share-podman-0	(ocf::heartbeat:podman):	Started controller-0

手順

1. アンダークラウドにログインします。

2. 以下のコマンドを入力します。

   $ source /home/stack/overcloudrc

3. 以下のコマンドを入力して、manila-scheduler および manila-share が有効であることを確認します。

   $ manila service-list
   
   | Id | Binary          | Host             | Zone | Status | State | Updated_at |
   
   | 2 | manila-scheduler | hostgroup        | nova | enabled | up | 2018-08-08T04:15:03.000000 |
   | 5 | manila-share | hostgroup@cephfs | nova | enabled | up | 2018-08-08T04:15:03.000000 |

1. source コマンドでオーバークラウドの認証情報ファイルを読み込みます。

   $ source ~/<credentials_file>

   • <credentials_file> を認証情報ファイルの名前 (overcloudrc など) に置き換えます。

2. アンダークラウドノードで、StorageNFS ネットワークを作成します。

   (overcloud) [stack@undercloud-0 ~]$ openstack network create StorageNFS --share  --provider-network-type vlan --provider-physical-network datacentre --provider-segment 70

   以下のオプションを設定してこのコマンドを入力することができます。

   • --provider-physical-network オプション: tripleo-heat-templates の NeutronBridgeMappings で別途 br-isolated ブリッジのタグを設定していない限り、デフォルト値 datacentre を使用します。
   • --provider-segment オプション: heat テンプレート (/usr/share/openstack-tripleo-heat-templates/network_data_ganesha.yaml) で StorageNFS 分離ネットワークに設定した VLAN の値を使用します。デプロイ時に分離ネットワークの定義を変更していない限り、この値は 70 です。
   • --provider-network-type オプション: 値 vlan を使用します。

手順

1. オーバークラウドのコントローラーのいずれかにログインします。

2. 以下のコマンドを入力して接続されたネットワークを確認し、network_data_ganesha.yaml により設定したとおりの VLAN が存在することを確認します。

   $ ip a
   15: vlan310: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether 32:80:cf:0e:11:ca brd ff:ff:ff:ff:ff:ff
       inet 172.16.4.4/24 brd 172.16.4.255 scope global vlan310
          valid_lft forever preferred_lft forever
       inet 172.16.4.7/32 brd 172.16.4.255 scope global vlan310
          valid_lft forever preferred_lft forever
       inet6 fe80::3080:cfff:fe0e:11ca/64 scope link
          valid_lft forever preferred_lft forever

手順

1. アクティブなコントローラーノードにログインします。

2. 以下のコマンドを入力します。

   $ sudo ceph -s
   
   cluster:
       id: 3369e280-7578-11e8-8ef3-801844eeec7c
       health: HEALTH_OK
   
     services:
       mon: 3 daemons, quorum overcloud-controller-1,overcloud-controller-2,overcloud-controller-0
       mgr: overcloud-controller-1(active), standbys: overcloud-controller-2, overcloud-controller-0
       mds: cephfs-1/1/1 up  {0=overcloud-controller-0=up:active}, 2 up:standby
       osd: 6 osds: 6 up, 6 in

   1 つのアクティブな MDS と 2 つのスタンバイ状態の MDS があります。

3. Ceph ファイルシステムのステータスをより詳細に確認するには、以下のコマンドを入力します。<cephfs> は、Ceph ファイルシステムの名前に置き換えてください。

   $ sudo ceph fs ls
   
   name: cephfs, metadata pool: manila_metadata, data pools: [manila_data]

手順

1. いずれかのコントローラーノードから以下のコマンドを入力して、ceph-nfs および openstack-manila-share が起動していることを確認します。

   $ pcs status
   
   ceph-nfs       (systemd:ceph-nfs@pacemaker):   Started overcloud-controller-1
   
   podman container: openstack-manila-share [192.168.24.1:8787/rhosp-rhel8/openstack-manila-share:pcmklatest]
      openstack-manila-share-podman-0      (ocf::heartbeat:podman):        Started overcloud-controller-1

手順

1. アンダークラウドにログインします。

2. 以下のコマンドを入力します。

   $ source /home/stack/overcloudrc

3. 以下のコマンドを入力して、manila-scheduler および manila-share が有効であることを確認します。

   $ manila service-list
   
   | Id | Binary          | Host             | Zone | Status | State | Updated_at |
   
   | 2 | manila-scheduler | hostgroup        | nova | enabled | up | 2018-08-08T04:15:03.000000 |
   | 5 | manila-share | hostgroup@cephfs | nova | enabled | up | 2018-08-08T04:15:03.000000 |

手順

1. ceph-mon サービスを実行している Ceph Monitor または Controller ノードにログインし、Ceph Storage クラスターのリバランスを一時的に無効にします。

   $ sudo cephadm shell -- ceph osd set noout
   $ sudo cephadm shell -- ceph osd set norebalance

   注記

   マルチスタックまたは分散コンピュートノード (DCN) アーキテクチャーを使用している場合は、noout フラグと norebalance フラグの設定時に Ceph クラスター名を指定する必要があります。例: sudo cephadm shell -c /etc/ceph/<cluster>.conf -k /etc/ceph/<cluster>.client.keyring。

2. 再起動する最初の Ceph Storage ノードを選択し、そのノードにログインします。

3. ノードをリブートします。

   $ sudo reboot

4. ノードがブートするまで待ちます。

5. ノードにログインし、Ceph クラスターのステータスを確認します。

   $ sudo cephadm -- shell ceph status

   pgmap により、すべての pgs が正常な状態 (active+clean) として報告されることを確認します。

6. ノードからログアウトして、次のノードを再起動し、ステータスを確認します。全 Ceph Storage ノードが再起動されるまで、このプロセスを繰り返します。

7. 完了したら、ceph-mon サービスを実行している Ceph Monitor または Controller ノードにログインし、クラスターのリバランスを有効にします。

   $ sudo cephadm shell -- ceph osd unset noout
   $ sudo cephadm shell -- ceph osd unset norebalance

   注記

   マルチスタックまたは分散コンピュートノード (DCN) アーキテクチャーを使用している場合は、noout フラグと norebalance フラグの設定解除時に Ceph クラスター名を指定する必要があります。例: sudo cephadm shell -c /etc/ceph/<cluster>.conf -k /etc/ceph/<cluster>.client.keyring。

8. 最終のステータスチェックを実行して、クラスターが HEALTH_OK を報告していることを確認します。

   $ sudo cephadm shell ceph status

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

3. ~/overcloud-baremetal-deploy.yaml を変更して、デプロイメントに CephStorage ノードを追加します。

   次のサンプルファイルは、3 つの CephStorage ノードを持つ元のデプロイメントを表しています。

   - name: CephStorage
     count: 3
     instances:
       - hostname: ceph-0
         name: ceph-0
       - hostname: ceph-1
         name: ceph-2
       - hostname: ceph-2
         name: ceph-2

   次の例では、このファイルを変更して 3 つのノードを追加します。

   - name: CephStorage
     count: 6
     instances:
       - hostname: ceph-0
         name: ceph-0
       - hostname: ceph-1
         name: ceph-2
       - hostname: ceph-2
         name: ceph-2
       - hostname: ceph-3
         name: ceph-3
       - hostname: ceph-4
         name: ceph-4
       - hostname: ceph-5
         name: ceph-5

4. 更新された ~/overcloud-baremetal-deploy.yaml ファイルで openstack overcloud node provision コマンドを使用します。

   $ openstack overcloud node provision \
     --stack overcloud \
     --network-config \
     --output ~/overcloud-baremetal-deployed.yaml \
     ~/overcloud-baremetal-deploy.yaml

   注記

   このコマンドは、設定済みのノードをプロビジョニングし、~/overcloud-baremetal-deployed.yaml の更新済みコピーを出力します。新しいバージョンは CephStorage ロールを更新します。DeployedServerPortMap と HostnameMap にも、新しいストレージノードが含まれています。

5. Ceph 仕様ファイルを生成するには、openstack overcloud ceph spec コマンドを使用します。

   $ openstack overcloud ceph spec ~/overcloud-baremetal-deployed.yaml \
       --osd-spec osd_spec.yaml \
       --roles-data roles_data.yaml \
       -o ceph_spec.yaml

   注記

   openstack overcloud ceph spec で使用されるファイルは、すでに使用可能になっているはずです。これらは次の場所に作成されます。

   • overcloud-baremetal-deployed.yaml ファイルは、この手順の前のステップで作成されました。
   • osd_spec.yaml ファイルは、高度な OSD 仕様の設定 で作成されました。--osd-spec パラメーターを使用して OSD 仕様を指定することはオプションです。
   • roles_data.yaml ファイルは、Red Hat Ceph Storage のノードの指定 で作成されました。新しいノードは、このファイル内のロールの 1 つに割り当てられていると想定されます。

   このコマンドの出力は ceph_spec.yaml ファイルになります。

6. openstack overcloud ceph user enable コマンドを使用して、クラスター内のすべてのノードに ceph-admin ユーザーを作成します。Ceph オーケストレーターによるノードへの SSH アクセスを有効にするには、すべてのノードに ceph-admin ユーザーが存在する必要があります。

   $ openstack overcloud ceph user enable ceph_spec.yaml

   注記

   前の手順で作成した ceph_spec.yaml ファイルを使用します。

7. Red Hat Ceph Storage 運用ガイド の サービス仕様を使用した Ceph デーモンのデプロイ を使用して、仕様ファイルを Red Hat Ceph Storage クラスターに適用します。この仕様ファイルには、新しいノードが追加されたクラスターの動作状態が記述されます。

8. 更新された ~/overcloud-baremetal-deployed.yaml ファイルで openstack overcloud deploy コマンドを使用します。

   $ openstack overcloud deploy --templates \
     -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
     -e deployed_ceph.yaml
     -e overcloud-baremetal-deploy.yaml

1. tripleo-admin ユーザーとしてオーバークラウドのコントローラーノードにログインします。
2. sudo cephadm shell コマンドを使用して、Ceph シェルを開始します。

3. ceph osd tree コマンドを使用して、サーバーによって削除される OSD を識別します。

   次の例では、ceph-2 ホストの OSD を識別します。

   [ceph: root@oc0-controller-0 /]# ceph osd tree
   ID  CLASS  WEIGHT   TYPE NAME            STATUS  REWEIGHT  PRI-AFF
   -1         0.58557  root default
   -7         0.19519  host ceph-2
    5    hdd  0.04880       osd.5           up      1.00000  1.00000
    7    hdd  0.04880       osd.7           up      1.00000  1.00000
    9    hdd  0.04880       osd.9           up      1.00000  1.00000
   11    hdd  0.04880       osd.11          up      1.00000  1.00000

4. Ceph クラスター仕様を YAML ファイルにエクスポートします。

   [ceph: root@oc0-controller-0 /]# ceph orch ls --export > spec.yml

5. エクスポートされた仕様ファイルを編集して、該当するホストが service-type: osd hosts リストから削除され、該当するホストの placement: hosts 値が削除されるようにします。
6. 編集したファイルを保存します。

7. 変更した Ceph 仕様ファイルを適用します。

   [ceph: root@oc0-controller-0 /]# ceph orch apply -i spec.yml

   重要

   OSD を削除する前に Ceph 仕様ファイルをエクスポートして編集しない場合、Ceph Manager は OSD を再作成しようとします。

8. OSD を削除するには、コマンド ceph orch osd rm --zap <osd_list> を使用します。

   [ceph: root@oc0-controller-0 /]# ceph orch osd rm --zap 5 7 9 11
   Scheduled OSD(s) for removal
   [ceph: root@oc0-controller-0 /]# ceph orch osd rm status
   OSD_ID HOST   STATE    PG_COUNT REPLACE  FORCE  DRAIN_STARTED_AT
   7      ceph-2 draining 27       False    False  2021-04-23 21:35:51.215361
   9      ceph-2 draining 8        False    False  2021-04-23 21:35:49.111500
   11     ceph-2 draining 14       False    False  2021-04-23 21:35:50.243762

9. コマンド ceph orch osd status を使用して、OSD 削除のステータスを確認します。

   [ceph: root@oc0-controller-0 /]# ceph orch osd rm status
   OSD_ID HOST   STATE    PG_COUNT REPLACE FORCE DRAIN_STARTED_AT
   7      ceph-2 draining 34       False   False 2021-04-23 21:35:51.215361
   11     ceph-2 draining 14       False   False 2021-04-23 21:35:50.243762

   警告

   このコマンドが結果を返さなくなるまで、次のステップに進まないでください。

10. コマンド ceph orch host drain <HOST> を使用して、残りのデーモンをドレインします。

    [ceph: root@oc0-controller-0 /]# ceph orch host drain ceph-2

11. コマンド ceph orch host rm <HOST> を使用して、ホストを削除します。

    [ceph: root@oc0-controller-0 /]# ceph orch host rm ceph-2

    注記

    このノードは Ceph クラスターでは使用されなくなりましたが、まだベアメタルノードとして director により管理されます。

12. Ceph シェルセッションを終了します。

    注記

    Ceph クラスターのスケールダウンが一時的であり、削除されたノードが後で復元される場合、スケールアップアクションは count を増やし、以前は provisioned: false に設定されていたノードで provisioned: true を設定できます。ノードが再利用されない場合は、provisioned: false を無期限で設定し、スケールアップアクションで新しいインスタンスエントリーを指定できます。

    次のファイルサンプルは、各インスタンスの例をいくつか示しています。

    - name: Compute
      count: 2
      instances:
      - hostname: overcloud-compute-0
        name: node10
        # Removed from deployment due to disk failure
        provisioned: false
      - hostname: overcloud-compute-1
        name: node11
      - hostname: overcloud-compute-2
        name: node12

13. director からノードを削除するには、director を 使用した Red Hat OpenStack Platform のインストールと管理 の ベアメタルノードのスケールダウン を参照してください。