第 3 章 配置 Compute 节点以提高性能

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成一个名为 roles_data_cpu_pinning.yaml 的新角色数据文件，其中包含 Controller、Compute 和 ComputeCPUPinning 角色，以及 overcloud 所需的任何其他角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_cpu_pinning.yaml \
    Compute:ComputeCPUPinning Compute Controller

   Copy to Clipboard Toggle word wrap

4. 打开 roles_data_cpu_pinning.yaml，并编辑或添加以下参数和部分：

   Expand

   section/Parameter	当前值	新值
   角色评论	Role: Compute	角色：ComputeCPUPinning
   角色名称	名称 ：Compute	名称 ：ComputeCPUPinning
   description	基本 Compute 节点角色	CPU 固定 Compute 节点角色
   HostnameFormatDefault	%stackname%-novacompute-%index%	%stackname%-novacomputepinning-%index%
   deprecated_nic_config_name	compute.yaml	compute-cpu-pinning.yaml

   Show more
5. 将 overcloud 的 CPU 固定 Compute 节点添加到节点定义模板 node.json 或 node.yaml 中，为 overcloud 注册 CPU 固定 Compute 节点。有关更多信息，请参阅 Director 安装和使用 指南中的 为 overcloud 注册节点。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect \
    --all-manageable --provide

   Copy to Clipboard Toggle word wrap

   如需更多信息，请参阅 Director 安装和使用指南中的 创建裸机节点硬件清单。

7. 使用自定义 CPU 固定资源类标记您要为 CPU 固定指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CPU-PINNING <node>

   Copy to Clipboard Toggle word wrap

   将 <node> 替换为裸机节点的 ID。

8. 将 ComputeCPUPinning 角色添加到节点定义文件 overcloud-baremetal-deploy.yaml 中，并定义您要分配给节点的任何预先节点放置、资源类、网络拓扑或其他属性：

   - name: Controller
     count: 3
   - name: Compute
     count: 3
   - name: ComputeCPUPinning
     count: 1
     defaults:
       resource_class: baremetal.CPU-PINNING
       network_config:
         template: /home/stack/templates/nic-config/myRoleTopology.j2 

   1

   Copy to Clipboard Toggle word wrap

   1

   您可以重复使用现有的网络拓扑，或为角色创建新的自定义网络接口模板。如需更多信息，请参阅 Director 安装和使用 指南中的 自定义网络接口模板。如果您不使用 network_config 属性定义网络定义，则使用默认网络定义。

   有关您可以在节点定义文件中配置节点属性的属性的更多信息，请参阅 裸机节点置备属性。如需节点定义文件示例，请参阅 节点定义文件示例。

9. 运行置备命令为您的角色置备新节点：

   (undercloud)$ openstack overcloud node provision \
   --stack <stack> \
   [--network-config \]
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap
   • 将 & lt;stack> 替换为置备裸机节点的堆栈的名称。如果未指定，则默认为 overcloud。
   • 包含 --network-config 可选参数，为 cli-overcloud-node-network-config.yaml Ansible playbook 提供网络定义。如果您不使用 network_config 属性定义网络定义，则使用默认网络定义。

10. 在单独的终端中监控调配进度。当置备成功后，节点状态会从 available 改为 active ：

    (undercloud)$ watch openstack baremetal node list

    Copy to Clipboard Toggle word wrap

11. 如果您没有使用 --network-config 选项运行 provisioning 命令，请在 network- environment.yaml 文件中配置 <Role>NetworkConfigTemplate 参数以指向 NIC 模板文件：

    parameter_defaults:
       ComputeNetworkConfigTemplate: /home/stack/templates/nic-configs/compute.j2
       ComputeCPUPinningNetworkConfigTemplate: /home/stack/templates/nic-configs/<cpu_pinning_net_top>.j2
       ControllerNetworkConfigTemplate: /home/stack/templates/nic-configs/controller.j2

    Copy to Clipboard Toggle word wrap

    将 < cpu_pinning_net_top > 替换为包含 ComputeCPUPinning 角色的网络拓扑的文件名称，如 compute.yaml 以使用默认网络拓扑。

流程

1. 创建一个环境文件，将 Compute 节点配置为为固定实例、浮动实例和主机进程保留内核，如 cpu_pinning.yaml。

2. 要在支持 NUMA 的 Compute 节点上调度带有 NUMA 拓扑的实例，请将 NUMATopologyFilter 添加到 Compute 环境文件中的 NovaSchedulerEnabledFilters 参数中（如果尚不存在）：

   parameter_defaults:
     NovaSchedulerEnabledFilters:
       - AvailabilityZoneFilter
       - ComputeFilter
       - ComputeCapabilitiesFilter
       - ImagePropertiesFilter
       - ServerGroupAntiAffinityFilter
       - ServerGroupAffinityFilter
       - PciPassthroughFilter
       - NUMATopologyFilter

   Copy to Clipboard Toggle word wrap

   有关 NUMATopologyFilter 的更多信息，请参阅 计算调度程序过滤器。

3. 要为专用实例保留物理 CPU 内核，请将以下配置添加到 cpu_pinning.yaml 中：

   parameter_defaults:
     ComputeCPUPinningParameters:
       NovaComputeCpuDedicatedSet: 1,3,5,7

   Copy to Clipboard Toggle word wrap

4. 要为共享实例保留物理 CPU 内核，请将以下配置添加到 cpu_pinning.yaml 中：

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       NovaComputeCpuSharedSet: 2,6

   Copy to Clipboard Toggle word wrap

5. 要指定要为主机进程保留的 RAM 数量，请在 cpu_pinning.yaml 中添加以下配置：

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       NovaReservedHostMemory: <ram>

   Copy to Clipboard Toggle word wrap

   将 <ram > 替换为要保留 RAM 量（以 MB 为单位）。

6. 要确保主机进程不在为实例保留的 CPU 内核上运行，请将参数 IsolCpusList 设置为您为实例保留的 CPU 内核：

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       IsolCpusList: 1-3,5-7

   Copy to Clipboard Toggle word wrap

   使用列表或范围（用逗号分隔的 CPU 索引）指定 IsolCpusList 参数的值。

7. 使用其他环境文件将新文件添加到堆栈中并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -r /home/stack/templates/roles_data_cpu_pinning.yaml \
     -e /home/stack/templates/network-environment.yaml \
     -e /home/stack/templates/cpu_pinning.yaml \
     -e /home/stack/templates/overcloud-baremetal-deployed.yaml \
     -e /home/stack/templates/node-info.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 获取 overcloudrc 文件：

   (undercloud)$ source ~/overcloudrc

   Copy to Clipboard Toggle word wrap

2. 为需要 CPU 固定的实例创建类别：

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> pinned_cpus

   Copy to Clipboard Toggle word wrap

3. 要请求固定 CPU，请将类别的 hw:cpu_policy 属性设置为 dedicated ：

   (overcloud)$ openstack flavor set \
    --property hw:cpu_policy=dedicated pinned_cpus

   Copy to Clipboard Toggle word wrap

4. 要将每个 vCPU 放在线程同级上，将类别的 hw:cpu_thread_policy 属性设置为 require :

   (overcloud)$ openstack flavor set \
    --property hw:cpu_thread_policy=require pinned_cpus

   Copy to Clipboard Toggle word wrap
   注意
   • 如果主机没有 SMT 架构，或者有可用线程同级的 CPU 内核，调度会失败。要防止这种情况，将 hw:cpu_thread_policy 设置为 prefer 而不是 require。prefer 策略是默认策略，可确保在可用时使用线程同级程序。
   • 如果使用 hw:cpu_thread_policy=isolate，则必须禁用 SMT，或使用不支持 SMT 的平台。

验证

1. 要验证该类别创建了具有专用 CPU 的实例，请使用您的新类别来启动实例：

   (overcloud)$ openstack server create --flavor pinned_cpus \
    --image <image> pinned_cpu_instance

   Copy to Clipboard Toggle word wrap

2. 要验证新实例的放置是否正确，请输入以下命令并检查输出中的 OS-EXT-SRV-ATTR:hypervisor_hostname ：

   (overcloud)$ openstack server show pinned_cpu_instance

   Copy to Clipboard Toggle word wrap

流程

1. 获取 overcloudrc 文件：

   (undercloud)$ source ~/overcloudrc

   Copy to Clipboard Toggle word wrap

2. 为不需要 CPU 固定的实例创建类别：

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> floating_cpus

   Copy to Clipboard Toggle word wrap

3. 要请求浮动 CPU，请将类别的 hw:cpu_policy 属性设置为 shared ：

   (overcloud)$ openstack flavor set \
    --property hw:cpu_policy=shared floating_cpus

   Copy to Clipboard Toggle word wrap

验证

1. 要验证该类别是否创建了使用共享 CPU 的实例，请使用您的新类别来启动实例：

   (overcloud)$ openstack server create --flavor floating_cpus \
    --image <image> floating_cpu_instance

   Copy to Clipboard Toggle word wrap

2. 要验证新实例的放置是否正确，请输入以下命令并检查输出中的 OS-EXT-SRV-ATTR:hypervisor_hostname ：

   (overcloud)$ openstack server show floating_cpu_instance

   Copy to Clipboard Toggle word wrap