第3章 パフォーマンス改善のためのコンピュートノードの設定

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. stackrc ファイルを取得します。

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. roles_data_cpu_pinning.yaml という名前で、Controller、Compute、および ComputeCPUPinning ロールが含まれる新しいロールデータファイルを生成します。

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_cpu_pinning.yaml \
    Compute:ComputeCPUPinning Compute Controller

   Copy to Clipboard Toggle word wrap

4. roles_data_cpu_pinning.yaml を開き、以下のパラメーターおよびセクションを編集または追加します。

   Expand

   セクション/パラメーター	現在の値	新しい値
   ロールのコメント	Role: Compute	Role: ComputeCPUPinning
   ロール名	Compute	name: ComputeCPUPinning
   description	Basic Compute Node role	CPU Pinning Compute Node role
   HostnameFormatDefault	%stackname%-novacompute-%index%	%stackname%-novacomputepinning-%index%
   deprecated_nic_config_name	compute.yaml	compute-cpu-pinning.yaml

   Show more
5. オーバークラウド用の CPU ピニングコンピュートノードをノード定義のテンプレート node.json または node.yaml に追加して、そのノードを登録します。詳細は、director のインストールと使用方法 の オーバークラウドノードの登録 を参照してください。

6. ノードのハードウェアを検査します。

   (undercloud)$ openstack overcloud node introspect \
    --all-manageable --provide

   Copy to Clipboard Toggle word wrap

   詳細は、director のインストールと使用方法 ガイドの ベアメタルノードハードウェアのインベントリーの作成 を参照してください。

7. CPU ピニングを使用するコンピュートノード用の compute-cpu-pinning オーバークラウドフレーバーを作成します。

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> compute-cpu-pinning

   Copy to Clipboard Toggle word wrap
   • <ram_size_mb> をベアメタルノードの RAM (MB 単位) に置き換えます。
   • <disk_size_gb> をベアメタルノード上のディスク容量 (GB 単位) に置き換えます。

   • <no_vcpus> をベアメタルノードの CPU 数に置き換えます。

     注記

     これらの属性は、インスタンスのスケジューリングには使用されません。ただし Compute スケジューラーは、ディスク容量を使用してルートパーティションのサイズを決定します。

8. CPU ピニング用に指定する各ベアメタルノードに、カスタムの CPU ピニングリソースクラスをタグ付けします。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CPU-PINNING <node>

   Copy to Clipboard Toggle word wrap

   <node> をベアメタルノードの ID に置き換えてください。

9. compute-cpu-pinning フレーバーをカスタムの CPU ピニングリソースクラスに関連付けます。

   (undercloud)$ openstack flavor set \
    --property resources:CUSTOM_BAREMETAL_CPU_PINNING=1 \
    compute-cpu-pinning

   Copy to Clipboard Toggle word wrap

   Bare Metal サービスノードのリソースクラスに対応するカスタムリソースクラスの名前を指定するには、リソースクラスを大文字に変換し、それぞれの句読点をアンダースコアに置き換え、CUSTOM_ の接頭辞を追加します。

   注記

   フレーバーが要求できるのは、ベアメタルリソースクラスの 1 つのインスタンスだけです。

10. 以下のフレーバー属性を設定して、Compute スケジューラーがインスタンスのスケジューリングにベアメタルフレーバー属性を使用するのを防ぎます。

    (undercloud)$ openstack flavor set \
     --property resources:VCPU=0 \
     --property resources:MEMORY_MB=0 \
     --property resources:DISK_GB=0 compute-cpu-pinning

    Copy to Clipboard Toggle word wrap

11. (オプション) ComputeCPUPinning ロールのネットワークトポロジーが Compute ロールのネットワークトポロジーと異なる場合は、カスタムネットワークインターフェイステンプレートを作成します。詳細は、オーバークラウドの高度なカスタマイズ の カスタムネットワークインターフェイステンプレート を参照してください。

    ComputeCPUPinning ロールのネットワークトポロジーが Compute ロールと同じ場合は、compute.yaml で定義されるデフォルトのネットワークトポロジーを使用することができます。

12. ComputeCPUPinning ロールの Net::SoftwareConfig を network-environment.yaml ファイルに登録します。

    resource_registry:
      OS::TripleO::Compute::Net::SoftwareConfig: /home/stack/templates/nic-configs/compute.yaml
      OS::TripleO::ComputeCPUPinning::Net::SoftwareConfig: /home/stack/templates/nic-configs/<cpu_pinning_net_top>.yaml
      OS::TripleO::Controller::Net::SoftwareConfig: /home/stack/templates/nic-configs/controller.yaml

    Copy to Clipboard Toggle word wrap

    <cpu_pinning_net_top> を ComputeCPUPinning ロールのネットワークトポロジーが含まれるファイルの名前に置き換えます。たとえば、デフォルトのネットワークトポロジーを使用する場合は compute.yaml です。

13. 以下のパラメーターを node-info.yaml ファイルに追加して、CPU ピニングコンピュートノードの数および CPU ピニング対応コンピュートノード用に使用するフレーバーを指定します。

    parameter_defaults:
      OvercloudComputeCPUPinningFlavor: compute-cpu-pinning
      ComputeCPUPinningCount: 3

    Copy to Clipboard Toggle word wrap

14. ロールが作成されたことを確認するには、以下のコマンドを入力します。

    (undercloud)$ openstack baremetal node list --long -c "UUID" \
     -c "Instance UUID" -c "Resource Class" -c "Provisioning State" \
     -c "Power State" -c "Last Error" -c "Fault" -c "Name" -f json

    Copy to Clipboard Toggle word wrap

    出力例:

    [
      {
        "Fault": null,
        "Instance UUID": "e8e60d37-d7c7-4210-acf7-f04b245582ea",
        "Last Error": null,
        "Name": "compute-0",
        "Power State": "power on",
        "Provisioning State": "active",
        "Resource Class": "baremetal.CPU-PINNING",
        "UUID": "b5a9ac58-63a7-49ba-b4ad-33d84000ccb4"
      },
      {
        "Fault": null,
        "Instance UUID": "3ec34c0b-c4f5-4535-9bd3-8a1649d2e1bd",
        "Last Error": null,
        "Name": "compute-1",
        "Power State": "power on",
        "Provisioning State": "active",
        "Resource Class": "compute",
        "UUID": "432e7f86-8da2-44a6-9b14-dfacdf611366"
      },
      {
        "Fault": null,
        "Instance UUID": "4992c2da-adde-41b3-bef1-3a5b8e356fc0",
        "Last Error": null,
        "Name": "controller-0",
        "Power State": "power on",
        "Provisioning State": "active",
        "Resource Class": "controller",
        "UUID": "474c2fc8-b884-4377-b6d7-781082a3a9c0"
      }
    ]

    Copy to Clipboard Toggle word wrap

手順

1. ピニングされたインスタンス、フローティングのインスタンス、およびホストプロセス用にコアを確保するようにコンピュートノードを設定する環境ファイルを作成します (例: cpu_pinning.yaml)。

2. NUMA 対応コンピュートノードに NUMA トポロジーが設定されたインスタンスをスケジュールするには、Compute 環境ファイルの NovaSchedulerDefaultFilters パラメーターに NUMATopologyFilter がなければ、このフィルターを追加します。

   parameter_defaults:
     NovaSchedulerDefaultFilters: ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','NUMATopologyFilter']

   Copy to Clipboard Toggle word wrap

   NUMATopologyFilter の詳細は、Compute scheduler filters を参照してください。

3. 専用のインスタンス用に物理 CPU コアを確保するには、以下の設定を cpu_pinning.yaml に追加します。

   parameter_defaults:
     ComputeCPUPinningParameters:
       NovaComputeCpuDedicatedSet: 1,3,5,7

   Copy to Clipboard Toggle word wrap

4. 共有のインスタンス用に物理 CPU コアを確保するには、以下の設定を cpu_pinning.yaml に追加します。

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       NovaComputeCpuSharedSet: 2,6

   Copy to Clipboard Toggle word wrap

5. ホストのプロセス用に確保する RAM 容量を指定するには、以下の設定を cpu_pinning.yaml に追加します。

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       NovaReservedHostMemory: <ram>

   Copy to Clipboard Toggle word wrap

   <ram> を、確保するメモリー容量 (MB 単位) に置き換えます。

6. インスタンス用に確保した CPU コアでホストプロセスが実行されないようにするには、IsolCpusList パラメーターに、インスタンス用に確保した CPU コアを設定します。

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       IsolCpusList: 1-3,5-7

   Copy to Clipboard Toggle word wrap

   コンマ区切りの CPU インデックスのリストまたは範囲を使用して、IsolCpusList パラメーターの値を指定します。

7. その他の環境ファイルと共に新しいロールファイルおよび環境ファイルをスタックに追加して、オーバークラウドをデプロイします。

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -r /home/stack/templates/roles_data_cpu_pinning.yaml \
     -e /home/stack/templates/network-environment.yaml \
     -e /home/stack/templates/cpu_pinning.yaml \
     -e /home/stack/templates/node-info.yaml

   Copy to Clipboard Toggle word wrap

手順

1. source コマンドで overcloudrc ファイルを読み込みます。

   (undercloud)$ source ~/overcloudrc

   Copy to Clipboard Toggle word wrap

2. CPU ピニングを要求するインスタンス用のフレーバーを作成します。

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> pinned_cpus

   Copy to Clipboard Toggle word wrap

3. ピニングされた CPU を要求するには、フレーバーの hw:cpu_policy 属性を dedicated に設定します。

   (overcloud)$ openstack flavor set \
    --property hw:cpu_policy=dedicated pinned_cpus

   Copy to Clipboard Toggle word wrap

4. それぞれの仮想 CPU をスレッドシブリングに配置するには、フレーバーの hw:cpu_thread_policy 属性を require に設定します。

   (overcloud)$ openstack flavor set \
    --property hw:cpu_thread_policy=require pinned_cpus

   Copy to Clipboard Toggle word wrap
   注記
   • ホストに SMT アーキテクチャーがない場合や、スレッドシブリングが利用可能な CPU コアが十分にない場合には、スケジューリングが失敗します。これを回避するには、hw:cpu_thread_policy を require ではなく prefer に設定します。prefer ポリシーは、スレッドシブリングが利用可能な場合に使用されるデフォルトのポリシーです。
   • hw:cpu_thread_policy=isolate を使用する場合は、SMT を無効にするか、SMT をサポートしないプラットフォームを使用する必要があります。

検証

1. フレーバーにより専用の CPU を持つインスタンスが作成されることを確認するには、新しいフレーバーを使用してインスタンスを起動します。

   (overcloud)$ openstack server create --flavor pinned_cpus \
    --image <image> pinned_cpu_instance

   Copy to Clipboard Toggle word wrap

2. 新規インスタンスが正しく配置されていることを確認するには、以下のコマンドを入力し、その出力で OS-EXT-SRV-ATTR:hypervisor_hostname の箇所を確認します。

   (overcloud)$ openstack server show pinned_cpu_instance

   Copy to Clipboard Toggle word wrap

手順

1. source コマンドで overcloudrc ファイルを読み込みます。

   (undercloud)$ source ~/overcloudrc

   Copy to Clipboard Toggle word wrap

2. CPU ピニングを要求しないインスタンス用のフレーバーを作成します。

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> floating_cpus

   Copy to Clipboard Toggle word wrap

3. フローティング CPU を要求するには、フレーバーの hw:cpu_policy 属性を shared に設定します。

   (overcloud)$ openstack flavor set \
    --property hw:cpu_policy=shared floating_cpus

   Copy to Clipboard Toggle word wrap

検証

1. フレーバーにより共有 CPU を使用するインスタンスが作成されることを確認するには、新しいフレーバーを使用してインスタンスを起動します。

   (overcloud)$ openstack server create --flavor floating_cpus \
    --image <image> floating_cpu_instance

   Copy to Clipboard Toggle word wrap

2. 新規インスタンスが正しく配置されていることを確認するには、以下のコマンドを入力し、その出力で OS-EXT-SRV-ATTR:hypervisor_hostname の箇所を確認します。

   (overcloud)$ openstack server show floating_cpu_instance

   Copy to Clipboard Toggle word wrap