ハイパーコンバージドインフラストラクチャーのデプロイ

手順

1. /home/stack/undercloud.conf を開き、次のパラメーターを追加します。

   clean_nodes=true

2. /home/stack/undercloud.conf を保存します。

3. アンダークラウド設定を更新します。

   openstack undercloud install

手順

1. /home/stack にノードインベントリー JSON ファイルを作成します。

2. ノードごとのハードウェアおよび電源管理の詳細を入力します。

   以下に例を示します。

   {
       "nodes":[
           {
               "mac":[
                   "b1:b1:b1:b1:b1:b1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.205"
           },
           {
               "mac":[
                   "b2:b2:b2:b2:b2:b2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.206"
           },
           {
               "mac":[
                   "b3:b3:b3:b3:b3:b3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.207"
           },
           {
               "mac":[
                   "c1:c1:c1:c1:c1:c1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.208"
           },
           {
               "mac":[
                   "c2:c2:c2:c2:c2:c2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.209"
           },
           {
               "mac":[
                   "c3:c3:c3:c3:c3:c3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.210"
           },
           {
               "mac":[
                   "d1:d1:d1:d1:d1:d1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.211"
           },
           {
               "mac":[
                   "d2:d2:d2:d2:d2:d2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.212"
           },
           {
               "mac":[
                   "d3:d3:d3:d3:d3:d3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.213"
           }
       ]
   }

3. 新しいファイルを保存します。

4. スタックユーザーを初期化します。

   $ source ~/stackrc

5. JSON インベントリーファイルを director にインポートし、ノードを登録する

   $ openstack overcloud node import <inventory_file>

   <inventory_file> を最初の手順で作成したファイルの名前に置き換えます。

6. カーネルと ramdisk イメージを各ノードに割り当てます。

   $ openstack overcloud node configure <node>

手順

1. /home/stack/templates/overcloud-baremetal-deploy.yaml ファイルを開きます。

2. overcloud-hardened-uefi-full イメージを必要とするノードの image プロパティーを追加または更新します。特定のノードで使用するイメージ、または特定のロールを使用するすべてのノードで使用するイメージを設定できます。

   特定のノード

   - name: Ceph
     count: 3
     instances:
     - hostname: overcloud-ceph-0
       name: node00
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.qcow2
     - hostname: overcloud-ceph-1
       name: node01
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     - hostname: overcloud-ceph-2
       name: node02
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2

   特定のロール用に設定されたすべてのノード

   - name: ComputeHCI
     count: 3
     defaults:
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     instances:
     - hostname: overcloud-ceph-0
       name: node00
     - hostname: overcloud-ceph-1
       name: node01
     - hostname: overcloud-ceph-2
       name: node02

3. roles_data.yaml ロール定義ファイルで、rhsm_enforce パラメーターを False に設定します。

   rhsm_enforce: False

4. プロビジョニングコマンドを実行します。

   (undercloud)$ openstack overcloud node provision \
   --stack overcloud \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

5. overcloud-baremetal-deployed.yaml 環境ファイルを openstack overcloud deploy コマンドに渡します。

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc 認証情報ファイルを読み込みます。

   [stack@director ~]$ source ~/stackrc

3. Controller ロールと ComputeHCI ロールを含む、roles_data.yaml という名前の新しいロールデータファイルを生成します。

   (undercloud)$ openstack overcloud roles generate Controller ComputeHCI -o ~/roles_data.yaml

4. roles_data.yaml を開き、次のパラメーターとセクションがあることを確認します。

   セクション/パラメーター	値
   ロールのコメント	Role: ComputeHCI
   ロール名	name: ComputeHCI
   description	HCI role
   HostnameFormatDefault	%stackname%-novaceph-%index%
   deprecated_nic_config_name	ceph.yaml

5. オーバークラウド用の ComputeHCI ノードをノード定義のテンプレート node.json または node.yaml に追加して、そのノードを登録します。

6. ノードのハードウェアを検査します。

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

7. カスタム HCI リソースクラスを使用して、HCI 用に指定する各ベアメタルノードにタグを付けます。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.HCI <node>

   <node> をベアメタルノードの ID に置き換えてください。

8. ComputeHCI ロールを /home/stack/templates/overcloud-baremetal-deploy.yaml ファイルに追加し、予測ノード配置、リソースクラス、またはノードに割り当てるその他の属性を定義します。

   - name: Controller
     count: 3
   - name: ComputeHCI
     count: 1
     defaults:
       resource_class: baremetal.HCI

9. baremetal.yaml ファイルを開き、HCI に必要なネットワーク設定が含まれていることを確認します。以下に設定例を示します。

   - name: ComputeHCI
     count: 3
     hostname_format: compute-hci-%index%
     defaults:
       profile: ComputeHCI
       network_config:
         template: /home/stack/templates/three-nics-vlans/compute-hci.j2
       networks:
       - network: ctlplane
         vif: true
       - network: external
         subnet: external_subnet
       - network: internalapi
         subnet: internal_api_subnet01
       - network: storage
         subnet: storage_subnet01
       - network: storage_mgmt
         subnet: storage_mgmt_subnet01
       - network: tenant
         subnet: tenant_subnet01

   注記

   ComputeHCI ロールのネットワーク設定には、storage_mgmt ネットワークが含まれています。CephOSD ノードは、このネットワークを使用してデータの冗長コピーを作成します。Compute ロールのネットワーク設定には、このネットワークが含まれていません。

   詳細は、Bare Metal Provisioning サービスの設定 を参照してください。

10. プロビジョニングコマンドを実行します。

    (undercloud)$ openstack overcloud node provision \
    --stack overcloud \
    --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
    /home/stack/templates/overcloud-baremetal-deploy.yaml

11. 別のターミナルでプロビジョニングの進捗をモニタリングします。

    (undercloud)$ watch openstack baremetal node list

    注記

    デフォルトでは、watch コマンドは 2 秒ごとに更新されます。-n オプションは、更新タイマーを別の値に設定します。

12. watch プロセスを停止するには、Ctrl-c を入力します。
13. 検証: プロビジョニングが成功すると、ノードの状態が available から active に変わります。

手順

1. 各ノードのハードウェアイントロスペクションからのディスク情報を確認します。

   (undercloud)$ openstack baremetal introspection data save <node_uuid> --file <output_file_name>

   • <node_uuid> をノードの UUID に置き換えます。

   • <output_file_name> を、ノードイントロスペクションの出力を含むファイルの名前に置き換えます。

     たとえば、1 つのノードのデータで 3 つのディスクが表示される場合があります。

     [
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sda",
         "wwn_vendor_extension": "0x1ea4dcc412a9632b",
         "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380700",
         "serial": "61866da04f3807001ea4dcc412a9632b"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdb",
         "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
         "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380d00",
         "serial": "61866da04f380d001ea4e13c12e36ad6"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdc",
         "wwn_vendor_extension": "0x1ea4e31e121cfb45",
         "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f37fc00",
         "serial": "61866da04f37fc001ea4e31e121cfb45"
       }
     ]

2. 一意のハードウェアプロパティーを使用して、ノードのルートディスクを設定します。

   (undercloud)$ openstack baremetal node set --property root_device='{<property_value>}' <node-uuid>

   • <property_value> を、ルートディスクの設定に使用するイントロスペクションデータからの一意のハードウェアプロパティー値に置き換えます。

   • <node_uuid> をノードの UUID に置き換えます。

     注記

     一意のハードウェアプロパティーは、ディスクを一意に識別するハードウェアイントロスペクションステップからの任意のプロパティーです。たとえば、次のコマンドは、ディスクのシリアル番号を使用してルートディスクを設定します。

     (undercloud)$ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

3. 最初にネットワークから起動し、次にルートディスクから起動するように、各ノードの BIOS を設定します。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 最上位のドメイン接尾辞を設定します。

     openstack overcloud ceph deploy \
             --tld "<domain_name>"

   <domain_name> は、必要なドメイン名に置き換えます。

     openstack overcloud ceph deploy \
             --tld "example.local"

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 次のコマンドを使用して、Ceph Storage クラスターの名前を設定します。

   openstack overcloud ceph deploy \ --cluster <cluster_name>

   $ openstack overcloud ceph deploy \ --cluster central \

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. network_data.yaml というカスタムネットワーク属性を定義する YAML 形式のファイルを作成します。

   重要

   ネットワーク分離を使用すると、標準のネットワークデプロイメントは、2 つの Ceph ネットワークにマッピングされる 2 つのストレージネットワークで構成されます。

   • ストレージネットワーク storage は、Ceph ネットワーク public_network にマップされます。このネットワークは、コンピュートノードから Ceph クラスターへの RBD トラフィックなどのストレージトラフィックを処理します。
   • ストレージネットワーク storage_mgmt は、Ceph ネットワーク cluster_network にマップされます。このネットワークは、Ceph OSD 間のデータレプリケーションなどのストレージ管理トラフィックを処理します。

3. openstack overcloud ceph deploy コマンドと --config オプションを使用して、設定をデプロイします。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --network-data network_data.yaml

   重要

   openstack overcloud ceph deploy コマンドは、--network-data オプションで指定されたネットワークデータファイルを使用して、public_network および cluster_network として使用するネットワークを決定します。コマンドは、--public-network-name および --cluster-network-name オプションで別の名前が指定されていない限り、これらのネットワークがネットワークデータファイルで storage および storage_mgmt という名前であると想定します。

   ネットワーク分離を使用してデプロイする場合は、--network-data オプションを使用する必要があります。このオプションを使用しない場合、デフォルトのアンダークラウド (192.168.24.0/24) が public_network と cluster_network の両方に使用されます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. Ceph クラスターを設定する標準形式の初期化ファイルを作成します。他の設定オプションを含むファイルをすでに作成している場合は、それにネットワーク設定を追加できます。

3. ファイルの [global] セクションに次のパラメーターを追加します。

   • public_network
   • cluster_network

   • ms_bind_ipv4

     重要

     public_network および cluster_network が storage および storage_mgmt と同じネットワークにマップされていることを確認します。

     以下は、複数のサブネットとカスタムネットワーク名を持つネットワーク設定の設定ファイルエントリーの例です。

     [global]
     public_network = 172.16.14.0/24,172.16.15.0/24
     cluster_network = 172.16.12.0/24,172.16.13.0/24
     ms_bind_ipv4 = True
     ms_bind_ipv6 = False

4. コマンド openstack overcloud ceph deploy を --config オプションとともに使用して、設定ファイルをデプロイします。

   $ openstack overcloud ceph deploy \
     --config initial-ceph.conf --network-data network_data.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

3. カスタム CRUSH 階層を定義する設定ファイルを作成します (例: crush_hierarchy.yaml)。

4. そのファイルに以下の設定を追加します。

   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>

   • <osd_host> を、OSD がデプロイされているノードのホスト名 (ceph-0 など) に置き換えます。
   • <rack_num> を、OSD がデプロイメントされているラックの番号 (r0 など) に置き換えます。

5. カスタム OSD レイアウトを使用して Ceph クラスターをデプロイします。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --osd-spec osd_spec.yaml \
           --crush-hierarchy crush_hierarchy.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. カスタムロールを定義する YAML 形式のファイルを作成します。

3. 設定ファイルをデプロイします。

   $ openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --roles-data custom_roles.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. オプション: 標準形式の初期化 (ini) ファイルを使用して Ceph クラスターを設定します。

   1. 設定オプションを含むファイルを作成します。

      以下は、単純な設定ファイルの例です。

      [global]
      osd_crush_chooseleaf type = 0
      log_file = /var/log/ceph/$cluster-$type.$id.log
      
      [mon]
      mon_cluster_log_to_syslog = true

   2. 設定ファイルを作成します。

   3. openstack overcloud ceph deploy --config <configuration_file_name> コマンドを使用して設定をデプロイします。

      <configuration_file_name> を作成したファイルの名前に置き換えます。

      $ openstack overcloud ceph deploy --config initial-ceph.conf

3. オプション: 設定値を cephadm bootstrap コマンドに送信します。

   openstack overcloud ceph deploy --force \ --cephadm-extra-args '<optional_arguments>' \

   <optional_arguments> を設定値に置き換えて、基になるコマンドに提供します。

   注記

   引数 --log-to-file および --skip-prepare-host を使用する場合は、コマンド openstack overcloud ceph deploy --force \ --cephadm-extra-args '--log-to-file --skip-prepare-host' \ が使用されます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 仕様ファイルを生成します。

   openstack overcloud ceph spec deployed_metal.yaml -o <specification_file>

   • <specification_file> を現在のサービス仕様で生成するファイルの名前に置き換えます。

     注記

     deployed_metal.yaml は、openstack overcloud node provision コマンドの出力から取得されます。

3. 生成されたファイルを編集して必要な設定を追加します。

4. カスタムサービス仕様をデプロイします。

   openstack overcloud ceph deploy \
      deployed_metal.yaml \
      -o deployed_ceph.yaml \
      --ceph-spec <specification_file>

   • <specification_file> をカスタムサービス仕様ファイルの名前に置き換えます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 高度な OSD 仕様を定義する YAML 形式のファイルを作成します。

   以下は、カスタム OSD 仕様の例です。

   data_devices:
     rotational: 1
   db_devices:
     rotational: 0

   この例では、すべてのローテーションデバイスがデータデバイスになり、すべての非ローテーションデバイスが共有デバイスとして使用される OSD 仕様を作成します。動的 Ceph サービス仕様が構築されると、service_type が osd の場合、仕様ファイルにあるものは、すべて仕様のセクションに追加されます。

3. 仕様ファイルを保存します。

4. 仕様をデプロイします。

   openstack overcloud ceph deploy \ --osd-spec <osd_specification_file>

   <osd_specification_file> を作成した仕様ファイルの名前に置き換えます。

   $ openstack overcloud ceph deploy \ --osd-spec osd_spec.yaml \

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

3. NovaReservedHostMemory パラメーターを ceph -overrides.yaml ファイルに追加します。以下は使用例です。

   parameter_defaults:
     ComputeHCIParameters:
       NovaReservedHostMemory: 75000

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. カスタム設定を定義するファイルを作成します。

   vi /home/stack/templates/storage-config.yaml

3. ファイルに parameter_defaults セクションを追加します。

4. カスタム設定パラメーターを追加します。パラメーター定義の詳細は、オーバークラウドのパラメーター を参照してください。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderBackupBackend: ceph
       NovaEnableRbdBackend: true
       GlanceBackend: rbd

   注記

   カスタム設定ファイルで定義されたパラメーターは、/usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml の対応するデフォルト設定をオーバーライドします。

5. ファイルを保存します。

手順

1. ceph シェルを開始します。

2. NUMA とメモリーターゲットの設定を確認します。

   [ceph: root@oc0-controller-0 /]# ceph config dump | grep numa
     osd                                             advanced  osd_numa_auto_affinity                 true
   [ceph: root@oc0-controller-0 /]# ceph config dump | grep autotune
     osd                                             advanced  osd_memory_target_autotune             true
   [ceph: root@oc0-controller-0 /]# ceph config get mgr mgr/cephadm/autotune_memory_target_ratio
   0.200000

3. 特定の OSD 設定を確認します。

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target
   4294967296
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target_autotune
   true
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_numa_auto_affinity
   true

4. 特定の OSD バックフィル設定を確認します。

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_op_priority
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_max_backfills
   1
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_hdd
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_ssd
   10

5. コンピュートノードで reserved_host_memory_mb の設定を確認します。

   $ sudo podman exec -ti nova_compute /bin/bash
   bash-5.1$ grep reserved_host_memory_mb /etc/nova/nova.conf

手順

1. HCI ノード上の Ceph OSD サービスを無効にして、リバランスします。HCI ノードまたは Red Hat Ceph Storage ノードを削除する際に、director は Red Hat Ceph Storage クラスターを自的にリバランスしないので、このステップが必要となります。詳細は、Red Hat Ceph Storage および Red Hat OpenStack Platform を director と共にデプロイする の Ceph Storage クラスターのスケーリング を参照してください。
2. HCI ノードからインスタンスを移行します。詳細は、インスタンス作成のための Compute サービスの設定 の コンピュートノード間の仮想マシンインスタンスの移行 を参照してください。
3. オーバークラウドからコンピュートノードを削除します。詳細は、コンピュートノードの削除 を参照してください。