ハイパーコンバージドインフラストラクチャーガイド

手順

1. /home/stack/undercloud.conf を開き、次のパラメーターを追加します。

   clean_nodes=true

   Copy to Clipboard Toggle word wrap
2. /home/stack/undercloud.conf を保存します。

3. アンダークラウド設定を更新します。

   openstack undercloud install

   Copy to Clipboard Toggle word wrap

手順

1. /home/stack にノードインベントリー JSON ファイルを作成します。

2. ノードごとのハードウェアおよび電源管理の詳細を入力します。

   以下に例を示します。

   {
       "nodes":[
           {
               "mac":[
                   "b1:b1:b1:b1:b1:b1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.205"
           },
           {
               "mac":[
                   "b2:b2:b2:b2:b2:b2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.206"
           },
           {
               "mac":[
                   "b3:b3:b3:b3:b3:b3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.207"
           },
           {
               "mac":[
                   "c1:c1:c1:c1:c1:c1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.208"
           },
           {
               "mac":[
                   "c2:c2:c2:c2:c2:c2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.209"
           },
           {
               "mac":[
                   "c3:c3:c3:c3:c3:c3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.210"
           },
           {
               "mac":[
                   "d1:d1:d1:d1:d1:d1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.211"
           },
           {
               "mac":[
                   "d2:d2:d2:d2:d2:d2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.212"
           },
           {
               "mac":[
                   "d3:d3:d3:d3:d3:d3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.213"
           }
       ]
   }

   Copy to Clipboard Toggle word wrap
3. 新しいファイルを保存します。

4. スタックユーザーを初期化します。

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

5. JSON インベントリーファイルを director にインポートし、ノードを登録する

   $ openstack overcloud node import <inventory_file>

   Copy to Clipboard Toggle word wrap

   <inventory_file> を最初の手順で作成したファイルの名前に置き換えます。

6. カーネルと ramdisk イメージを各ノードに割り当てます。

   $ openstack overcloud node configure <node>

   Copy to Clipboard Toggle word wrap

手順

1. /home/stack/templates/overcloud-baremetal-deploy.yaml ファイルを開きます。

2. overcloud-hardened-uefi-full イメージを必要とするノードの image プロパティーを追加または更新します。特定のノードで使用するイメージ、または特定のロールを使用するすべてのノードで使用するイメージを設定できます。

   特定のノード

   - name: Ceph
     count: 3
     instances:
     - hostname: overcloud-ceph-0
       name: node00
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.qcow2
     - hostname: overcloud-ceph-1
       name: node01
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     - hostname: overcloud-ceph-2
       name: node02
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2

   Copy to Clipboard Toggle word wrap

   特定のロール用に設定されたすべてのノード

   - name: ComputeHCI
     count: 3
     defaults:
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     instances:
     - hostname: overcloud-ceph-0
       name: node00
     - hostname: overcloud-ceph-1
       name: node01
     - hostname: overcloud-ceph-2
       name: node02

   Copy to Clipboard Toggle word wrap

3. roles_data.yaml ロール定義ファイルで、rhsm_enforce パラメーターを False に設定します。

   rhsm_enforce: False

   Copy to Clipboard Toggle word wrap

4. プロビジョニングコマンドを実行します。

   (undercloud)$ openstack overcloud node provision \
   --stack overcloud \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap
5. overcloud-baremetal-deployed.yaml 環境ファイルを openstack overcloud deploy コマンドに渡します。

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc 認証情報ファイルを読み込みます。

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. Controller ロールと ComputeHCI ロールを含む、roles_data.yaml という名前の新しいロールデータファイルを生成します。

   (undercloud)$ openstack overcloud roles generate Controller ComputeHCI -o ~/roles_data.yaml

   Copy to Clipboard Toggle word wrap

4. roles_data.yaml を開き、次のパラメーターとセクションがあることを確認します。

   Expand

   セクション/パラメーター	値
   ロールのコメント	Role: ComputeHCI
   ロール名	name: ComputeHCI
   description	HCI role
   HostnameFormatDefault	%stackname%-novaceph-%index%
   deprecated_nic_config_name	ceph.yaml

   Show more
5. オーバークラウド用の ComputeHCI ノードをノード定義のテンプレート node.json または node.yaml に追加して、そのノードを登録します。

6. ノードのハードウェアを検査します。

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

   Copy to Clipboard Toggle word wrap

7. カスタム HCI リソースクラスを使用して、HCI 用に指定する各ベアメタルノードにタグを付けます。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.HCI <node>

   Copy to Clipboard Toggle word wrap

   <node> をベアメタルノードの ID に置き換えてください。

8. ComputeHCI ロールを /home/stack/templates/overcloud-baremetal-deploy.yaml ファイルに追加し、予測ノード配置、リソースクラス、またはノードに割り当てるその他の属性を定義します。

   - name: Controller
      count: 3
   - name: ComputeHCI
   	 count: 1
      defaults:
   	   resource_class: baremetal.HCI

   Copy to Clipboard Toggle word wrap

9. baremetal.yaml ファイルを開き、HCI に必要なネットワーク設定が含まれていることを確認します。以下に設定例を示します。

   - name: ComputeHCI
     count: 3
     hostname_format: compute-hci-%index%
     defaults:
       profile: ComputeHCI
       network_config:
         template: /home/stack/templates/three-nics-vlans/compute-hci.j2
       networks:
       - network: ctlplane
         vif: true
       - network: external
         subnet: external_subnet
       - network: internalapi
         subnet: internal_api_subnet01
       - network: storage
         subnet: storage_subnet01
       - network: storage_mgmt
         subnet: storage_mgmt_subnet01
       - network: tenant
         subnet: tenant_subnet01

   Copy to Clipboard Toggle word wrap
   注記

   ComputeHCI ロールのネットワーク設定には、storage_mgmt ネットワークが含まれています。CephOSD ノードは、このネットワークを使用してデータの冗長コピーを作成します。Compute ロールのネットワーク設定には、このネットワークが含まれていません。

   詳細は、ベアメタルプロビジョニング を参照してください。

10. プロビジョニングコマンドを実行します。

    (undercloud)$ openstack overcloud node provision \
    --stack overcloud \
    --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
    /home/stack/templates/overcloud-baremetal-deploy.yaml

    Copy to Clipboard Toggle word wrap

11. 別のターミナルでプロビジョニングの進捗をモニタリングします。

    (undercloud)$ watch openstack baremetal node list

    Copy to Clipboard Toggle word wrap
    注記

    デフォルトでは、watch コマンドは 2 秒ごとに更新されます。-n オプションは、更新タイマーを別の値に設定します。

12. watch プロセスを停止するには、Ctrl-c を入力します。
13. 検証: プロビジョニングが成功すると、ノードの状態が available から active に変わります。

手順

1. 各ノードのハードウェアイントロスペクションからのディスク情報を確認します。

   (undercloud)$ openstack baremetal introspection data save <node_uuid> | --file <output_file_name>

   Copy to Clipboard Toggle word wrap
   • <node_uuid> をノードの UUID に置き換えます。

   • <output_file_name> を、ノードイントロスペクションの出力を含むファイルの名前に置き換えます。

     たとえば、1 つのノードのデータで 3 つのディスクが表示される場合があります。

     [
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sda",
         "wwn_vendor_extension": "0x1ea4dcc412a9632b",
         "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380700",
         "serial": "61866da04f3807001ea4dcc412a9632b"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdb",
         "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
         "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380d00",
         "serial": "61866da04f380d001ea4e13c12e36ad6"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdc",
         "wwn_vendor_extension": "0x1ea4e31e121cfb45",
         "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f37fc00",
         "serial": "61866da04f37fc001ea4e31e121cfb45"
       }
     ]

     Copy to Clipboard Toggle word wrap

2. 一意のハードウェアプロパティーを使用して、ノードのルートディスクを設定します。

   (undercloud)$ openstack baremetal node set --property root_device='{<property_value>}' <node-uuid>

   • <property_value> を、ルートディスクの設定に使用するイントロスペクションデータからの一意のハードウェアプロパティー値に置き換えます。

   • <node_uuid> をノードの UUID に置き換えます。

     注記

     一意のハードウェアプロパティーは、ディスクを一意に識別するハードウェアイントロスペクションステップからの任意のプロパティーです。たとえば、次のコマンドは、ディスクのシリアル番号を使用してルートディスクを設定します。

     (undercloud)$ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

3. 最初にネットワークから起動し、次にルートディスクから起動するように、各ノードの BIOS を設定します。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 次のコマンドを使用して、Ceph Storage クラスターの名前を設定します。

   openstack overcloud ceph deploy \ --cluster <cluster_name>

   $ openstack overcloud ceph deploy \ --cluster central \

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. network_data.yaml というカスタムネットワーク属性を定義する YAML 形式のファイルを作成します。

   重要

   ネットワーク分離を使用すると、標準のネットワークデプロイメントは、2 つの Ceph ネットワークにマッピングされる 2 つのストレージネットワークで構成されます。

   • ストレージネットワーク storage は、Ceph ネットワーク public_network にマップされます。このネットワークは、コンピュートノードから Ceph クラスターへの RBD トラフィックなどのストレージトラフィックを処理します。
   • ストレージネットワーク storage_mgmt は、Ceph ネットワーク cluster_network にマップされます。このネットワークは、Ceph OSD 間のデータレプリケーションなどのストレージ管理トラフィックを処理します。

3. openstack overcloud ceph deploy コマンドと --config オプションを使用して、設定をデプロイします。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --network-data network_data.yaml

   Copy to Clipboard Toggle word wrap
   重要

   openstack overcloud ceph deploy コマンドは、--network-data オプションで指定されたネットワークデータファイルを使用して、public_network および cluster_network として使用するネットワークを決定します。コマンドは、--public-network-name および --cluster-network-name オプションで別の名前が指定されていない限り、これらのネットワークがネットワークデータファイルで storage および storage_mgmt という名前であると想定します。

   ネットワーク分離を使用してデプロイする場合は、--network-data オプションを使用する必要があります。このオプションを使用しない場合、デフォルトのアンダークラウド (192.168.24.0/24) が public_network と cluster_network の両方に使用されます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. Ceph クラスターを設定する標準形式の初期化ファイルを作成します。他の設定オプションを含むファイルをすでに作成している場合は、それにネットワーク設定を追加できます。

3. ファイルの [global] セクションに次のパラメーターを追加します。

   • public_network
   • cluster_network

   • ms_bind_ipv4

     重要

     public_network および cluster_network が storage および storage_mgmt と同じネットワークにマップされていることを確認します。

     以下は、複数のサブネットとカスタムネットワーク名を持つネットワーク設定の設定ファイルエントリーの例です。

     [global]
     public_network = 172.16.14.0/24,172.16.15.0/24
     cluster_network = 172.16.12.0/24,172.16.13.0/24
     ms_bind_ipv4 = True
     ms_bind_ipv6 = False

     Copy to Clipboard Toggle word wrap

4. コマンド openstack overcloud ceph deploy を --config オプションとともに使用して、設定ファイルをデプロイします。

   $ openstack overcloud ceph deploy \
     --config initial-ceph.conf --network-data network_data.yaml

   Copy to Clipboard Toggle word wrap

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

3. カスタム CRUSH 階層を定義する設定ファイルを作成します (例: crush_hierarchy.yaml)。

4. そのファイルに以下の設定を追加します。

   ceph_crush_hierarchy:
     <osd_host>:
       root: default
       rack: <rack_num>
     <osd_host>:
       root: default
       rack: <rack_num>
     <osd_host>:
       root: default
       rack: <rack_num>

   Copy to Clipboard Toggle word wrap
   • <osd_host> を、OSD がデプロイされているノードのホスト名 (ceph-0 など) に置き換えます。
   • <rack_num> を、OSD がデプロイメントされているラックの番号 (r0 など) に置き換えます。

5. カスタム OSD レイアウトを使用して Ceph クラスターをデプロイします。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --osd-spec osd_spec.yaml \
           --crush-hierarchy crush_hierarchy.yaml

   Copy to Clipboard Toggle word wrap

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。
2. カスタムロールを定義する YAML 形式のファイルを作成します。

3. 設定ファイルをデプロイします。

   $ openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --roles-data custom_roles.yaml

   Copy to Clipboard Toggle word wrap

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. オプション: 標準形式の初期化 (ini) ファイルを使用して Ceph クラスターを設定します。

   1. 設定オプションを含むファイルを作成します。

      以下は、単純な設定ファイルの例です。

      [global]
      osd crush chooseleaf type = 0
      log_file = /var/log/ceph/$cluster-$type.$id.log
      
      [mon]
      mon_cluster_log_to_syslog = true

      Copy to Clipboard Toggle word wrap
   2. 設定ファイルを作成します。

   3. openstack overcloud ceph deploy --config <configuration_file_name> コマンドを使用して設定をデプロイします。

      <configuration_file_name> を作成したファイルの名前に置き換えます。

      $ openstack overcloud ceph deploy --config initial-ceph.conf

      Copy to Clipboard Toggle word wrap

3. オプション: 設定値を cephadm bootstrap コマンドに送信します。

   openstack overcloud ceph deploy --force \ --cephadm-extra-args '<optional_arguments>' \

   <optional_arguments> を設定値に置き換えて、基になるコマンドに提供します。

   注記

   引数 --log-to-file および --skip-prepare-host を使用する場合は、コマンド openstack overcloud ceph deploy --force \ --cephadm-extra-args '--log-to-file --skip-prepare-host' \ が使用されます。

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 仕様ファイルを生成します。

   openstack overcloud ceph spec -o '<specification_file>'

   <specification_file> を現在のサービス仕様で生成するファイルの名前に置き換えます。

   openstack overcloud ceph spec -o '~/ceph_spec.yaml'

3. 生成されたファイルを編集して必要な設定を追加します。

4. カスタムサービス仕様をデプロイします。

   openstack overcloud ceph deploy \ deployed_metal.yaml \ -o deployed_ceph.yaml \ --ceph-spec <specification_file>

   <specification_file> をカスタムサービス仕様ファイルの名前に置き換えます。

   openstack overcloud ceph deploy \ deployed_metal.yaml \ -o deployed_ceph.yaml \ --ceph-spec ~/ceph_spec.yaml

手順

1. アンダークラウドノードに stack ユーザーとしてログインします。

2. 高度な OSD 仕様を定義する YAML 形式のファイルを作成します。

   以下は、カスタム OSD 仕様の例です。

   data_devices:
     rotational: 1
   db_devices:
     rotational: 0

   Copy to Clipboard Toggle word wrap

   この例では、すべてのローテーションデバイスがデータデバイスになり、すべての非ローテーションデバイスが共有デバイスとして使用される OSD 仕様を作成します。動的 Ceph サービス仕様が構築されると、service_type が osd の場合、仕様ファイルにあるものは、すべて仕様のセクションに追加されます。

3. 仕様ファイルを保存します。

4. 仕様をデプロイします。

   openstack overcloud ceph deploy \ --osd-spec <osd_specification_file>

   <osd_specification_file> を作成した仕様ファイルの名前に置き換えます。

   $ openstack overcloud ceph deploy \ --osd-spec osd_spec.yaml \

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. NovaReservedHostMemory パラメーターを ceph -overrides.yaml ファイルに追加します。以下は使用例です。

   parameter_defaults:
     ComputeHCIParameters:
       NovaReservedHostMemory: 75000

   Copy to Clipboard Toggle word wrap

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. カスタム設定を定義するファイルを作成します。

   vi /home/stack/templates/storage-config.yaml

3. ファイルに parameter_defaults セクションを追加します。

4. カスタム設定パラメーターを追加します。パラメーター定義の詳細は、オーバークラウドのパラメーター を参照してください。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderBackupBackend: ceph
       NovaEnableRbdBackend: true
       GlanceBackend: rbd

   Copy to Clipboard Toggle word wrap
   注記

   カスタム設定ファイルで定義されたパラメーターは、/usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml の対応するデフォルト設定をオーバーライドします。

5. ファイルを保存します。

手順

1. ceph シェルを開始します。

2. NUMA とメモリーターゲットの設定を確認します。

   [ceph: root@oc0-controller-0 /]# ceph config dump | grep numa
     osd                                             advanced  osd_numa_auto_affinity                 true
   [ceph: root@oc0-controller-0 /]# ceph config dump | grep autotune
     osd                                             advanced  osd_memory_target_autotune             true
   [ceph: root@oc0-controller-0 /]# ceph config get mgr mgr/cephadm/autotune_memory_target_ratio
   0.200000

   Copy to Clipboard Toggle word wrap

3. 特定の OSD 設定を確認します。

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target
   4294967296
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target_autotune
   true
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_numa_auto_affinity
   true

   Copy to Clipboard Toggle word wrap

4. 特定の OSD バックフィル設定を確認します。

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_op_priority
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_max_backfills
   1
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_hdd
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_ssd
   10

   Copy to Clipboard Toggle word wrap

5. コンピュートノードで reserved_host_memory_mb の設定を確認します。

   $ sudo podman exec -ti nova_compute /bin/bash
   bash-5.1$ grep reserved_host_memory_mb /etc/nova/nova.conf

   Copy to Clipboard Toggle word wrap

手順

1. HCI ノード上の Ceph OSD サービスを無効にして、リバランスします。HCI ノードまたは Red Hat Ceph Storage ノードを削除する際に、director は Red Hat Ceph Storage クラスターを自的にリバランスしないので、このステップが必要となります。詳細は、Red Hat Ceph Storage および Red Hat OpenStack Platform を director と共にデプロイする の Ceph Storage クラスターのスケーリング を参照してください。
2. HCI ノードからインスタンスを移行します。詳細は、インスタンス作成のための Compute サービスの設定 の コンピュートノード間の仮想マシンインスタンスの移行 を参照してください。
3. オーバークラウドからコンピュートノードを削除します。詳細は、コンピュートノードの削除 を参照してください。