第 4 章 在 Compute 节点上配置 CPU

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成一个名为 roles_data_cpu_pinning.yaml 的新角色数据文件，其中包含 Controller、Compute 和 ComputeCPUPinning 角色，以及 overcloud 所需的任何其他角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_cpu_pinning.yaml \
    Compute:ComputeCPUPinning Compute Controller

4. Open roles_data_cpu_pinning.yaml 并编辑或添加以下参数和部分：

   section/Parameter	当前值	新值
   role 注释	Role: Compute	Role: ComputeCPUPinning
   角色名称	Name: Compute	名称 ：ComputeCPUPinning
   description	基本 Compute 节点角色	CPU 固定 Compute 节点角色
   HostnameFormatDefault	%stackname%-novacompute-%index%	%stackname%-novacomputepinning-%index%
   deprecated_nic_config_name	compute.yaml	compute-cpu-pinning.yaml

5. 将 overcloud 的 CPU 固定 Compute 节点添加到节点定义模板 node.json 或 node.yaml 中，以注册它们。有关更多信息，请参阅 安装和管理 Red Hat OpenStack Platform 指南中的 为 overcloud 注册节点。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect \
    --all-manageable --provide

   如需更多信息，请参阅 安装和管理 Red Hat OpenStack Platform 指南中的创建 裸机节点硬件清单。

7. 使用自定义 CPU 固定资源类标记您要为 CPU 固定指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CPU-PINNING <node>

   将 <node> 替换为裸机节点的 ID。

8. 将 ComputeCPUPinning 角色添加到节点定义文件 overcloud-baremetal-deploy.yaml 中，并定义您要分配给节点的任何预先节点放置、资源类、网络拓扑或其他属性：

   - name: Controller
     count: 3
   - name: Compute
     count: 3
   - name: ComputeCPUPinning
     count: 1
     defaults:
       resource_class: baremetal.CPU-PINNING
       network_config:
         template: /home/stack/templates/nic-config/myRoleTopology.j2 1

   1

   您可以重复使用现有网络拓扑，或为角色创建新的自定义网络接口模板。如需更多信息，请参阅使用 director 安装和管理 Red Hat OpenStack Platform 指南中的 自定义网络接口模板。如果您没有使用 network_config 属性定义网络定义，则使用默认网络定义。

   有关您可以在节点定义文件中配置节点属性的属性的更多信息，请参阅 裸机节点置备属性。有关节点定义文件的示例，请参阅 节点定义文件 示例。

9. 运行 provisioning 命令为您的角色置备新节点：

   (undercloud)$ openstack overcloud node provision \
   --stack <stack> \
   [--network-config \]
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

   • 将 & lt;stack> 替换为置备裸机节点的堆栈名称。如果未指定，则默认为 overcloud。
   • 包含 --network-config 可选参数，为 cli-overcloud-node-network-config.yaml Ansible playbook 提供网络定义。如果您没有使用 network_config 属性定义网络定义，则使用默认网络定义。

10. 在一个单独的终端中监控置备进度。当置备成功时，节点状态将从 available 变为 active ：

    (undercloud)$ watch openstack baremetal node list

11. 如果您没有使用 --network-config 选项运行 provisioning 命令，请在 network-environment.yaml 文件中配置 <Role>NetworkConfigTemplate 参数以指向 NIC 模板文件：

    parameter_defaults:
       ComputeNetworkConfigTemplate: /home/stack/templates/nic-configs/compute.j2
       ComputeCPUPinningNetworkConfigTemplate: /home/stack/templates/nic-configs/<cpu_pinning_net_top>.j2
       ControllerNetworkConfigTemplate: /home/stack/templates/nic-configs/controller.j2

    将 < cpu_pinning_net_top > 替换为包含 ComputeCPUPinning 角色的网络拓扑的文件名称，如 compute.yaml 以使用默认网络拓扑。

流程

1. 创建一个环境文件，以配置 Compute 节点，为固定实例、浮动实例和主机进程保留内核，如 cpu_pinning.yaml。

2. 要在支持 NUMA 的 Compute 节点上调度带有 NUMA 拓扑的实例，请将 NUMATopologyFilter 添加到计算环境文件中的 NovaSchedulerEnabledFilters 参数中（如果尚不存在）：

   parameter_defaults:
     NovaSchedulerEnabledFilters:
       - AvailabilityZoneFilter
       - ComputeFilter
       - ComputeCapabilitiesFilter
       - ImagePropertiesFilter
       - ServerGroupAntiAffinityFilter
       - ServerGroupAffinityFilter
       - PciPassthroughFilter
       - NUMATopologyFilter

   如需有关 NUMATopologyFilter 的更多信息，请参阅 计算调度程序过滤器。

3. 要为专用实例保留物理 CPU 内核，请将以下配置添加到 cpu_pinning.yaml 中：

   parameter_defaults:
     ComputeCPUPinningParameters:
       NovaComputeCpuDedicatedSet: 1,3,5,7

4. 要为共享实例保留物理 CPU 内核，请将以下配置添加到 cpu_pinning.yaml 中：

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       NovaComputeCpuSharedSet: 2,6

5. 如果您不使用文件支持的内存，请为主机进程指定要保留的 RAM 量：

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       NovaReservedHugePages: <ram>

   将 <ram > 替换为要保留的 RAM 量（以 MB 为单位）。

6. 要确保主机进程不在为实例保留的 CPU 内核中运行，请将参数 IsolCpusList 设置为您为实例保留的 CPU 内核：

   parameter_defaults:
     ComputeCPUPinningParameters:
       ...
       IsolCpusList: 1-3,5-7

   使用以逗号分开的 CPU 索引的列表或范围指定 IsolCpusList 参数的值。

7. 使用其他环境文件将新文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -r /home/stack/templates/roles_data_cpu_pinning.yaml \
     -e /home/stack/templates/network-environment.yaml \
     -e /home/stack/templates/cpu_pinning.yaml \
     -e /home/stack/templates/overcloud-baremetal-deployed.yaml \
     -e /home/stack/templates/node-info.yaml

流程

1. 获取 overcloudrc 文件：

   (undercloud)$ source ~/overcloudrc

2. 为需要 CPU 固定的实例创建类别：

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> pinned_cpus

3. 要请求固定 CPU，请将类别的 hw:cpu_policy 属性设置为 专用 ：

   (overcloud)$ openstack flavor set \
    --property hw:cpu_policy=dedicated pinned_cpus

4. 如果您不使用文件支持的内存，请将类别的 hw:mem_page_size 属性设置为启用 NUMA 感知内存分配：

   (overcloud)$ openstack flavor set \
    --property hw:mem_page_size=<page_size> pinned_cpus

   • 将 <page_size > 替换为以下有效值之一：

     • 大 ：选择主机上支持的最大页面大小，其在 x86_64 系统上可能为 2 MB 或 1 GB。
     • Small ：（默认）选择主机上支持的最小页面大小。在 x86_64 系统上，这是 4 kB （常规页面）。
     • any: 使用镜像中设置的 hw_mem_page_size 选择页大小。如果镜像没有指定页面大小，请选择由 libvirt 驱动程序决定的最大可用页面大小。
     • <pageSize > ：如果工作负载具有特定要求，则设置显式页面大小。将整数值用于页大小（以 KB 为单位）或任何标准后缀。例如： 4KB、2MB、2048、1GB。
   注意

   要将 hw:mem_page_size 设置为 small 或 any，您必须已配置了内存页面数量，以便为不是实例的进程在每个 NUMA 节点上保留。如需更多信息，请参阅在 Compute 节点上配置巨页。

5. 要将每个 vCPU 放在线程同级上，将类别的 hw:cpu_thread_policy 属性设置为 require :

   (overcloud)$ openstack flavor set \
    --property hw:cpu_thread_policy=require pinned_cpus

   注意
   • 如果主机没有 SMT 架构或足够具有可用线程的 CPU 内核，则调度会失败。要防止这种情况，将 hw:cpu_thread_policy 设置为 prefer 而不是 require。prefer 策略是默认策略，可确保在可用时使用线程同级。
   • 如果使用 hw:cpu_thread_policy=isolate，则必须禁用 SMT，或使用不支持 SMT 的平台。

验证

1. 要验证该类别创建了专用 CPU 的实例，请使用您的新类别来启动实例：

   (overcloud)$ openstack server create --flavor pinned_cpus \
    --image <image> pinned_cpu_instance

流程

1. 获取 overcloudrc 文件：

   (undercloud)$ source ~/overcloudrc

2. 为不需要 CPU 固定的实例创建类别：

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> floating_cpus

3. 要请求浮动 CPU，请将类别的 hw:cpu_policy 属性设置为 shared ：

   (overcloud)$ openstack flavor set \
    --property hw:cpu_policy=shared floating_cpus

4. 如果您不使用文件支持的内存，请将类别的 hw:mem_page_size 属性设置为启用 NUMA 感知内存分配：

   (overcloud)$ openstack flavor set \
    --property hw:mem_page_size=<page_size> pinned_cpus

   • 将 <page_size > 替换为以下有效值之一：

     • 大 ：选择主机上支持的最大页面大小，其在 x86_64 系统上可能为 2 MB 或 1 GB。
     • Small ：（默认）选择主机上支持的最小页面大小。在 x86_64 系统上，这是 4 kB （常规页面）。
     • any: 使用镜像中设置的 hw_mem_page_size 选择页大小。如果镜像没有指定页面大小，请选择由 libvirt 驱动程序决定的最大可用页面大小。
     • <pageSize > ：如果工作负载具有特定要求，则设置显式页面大小。将整数值用于页大小（以 KB 为单位）或任何标准后缀。例如： 4KB、2MB、2048、1GB。
   注意

   要将 hw:mem_page_size 设置为 small 或 any，您必须已配置了内存页面数量，以便为不是实例的进程在每个 NUMA 节点上保留。如需更多信息，请参阅在 Compute 节点上配置巨页。

流程

1. 获取 overcloudrc 文件：

   (undercloud)$ source ~/overcloudrc

2. 为需要混合专用和共享 CPU 的实例创建类别：

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <number_of_reserved_vcpus> \
    --property hw:cpu_policy=mixed mixed_CPUs_flavor

3. 指定哪些 CPU 必须专用或共享：

   (overcloud)$ openstack flavor set \
    --property hw:cpu_dedicated_mask=<CPU_number> \
    mixed_CPUs_flavor

   • 将 <CPU_number > 替换为必须专用或共享的 CPU：

     • 要指定专用 CPU，请指定 CPU 号或 CPU 范围。例如，将 属性设置为 2-3，以指定 CPU 2 和 3 专用，并且所有剩余的 CPU 都共享。
     • 要指定共享 CPU，请在 CPU 号或 CPU 范围前加上一个 caret (^)。例如，将 属性设置为 ^0-1，以指定 CPU 0 和 1 被共享，并且所有剩余的 CPU 都专用。

4. 如果您不使用文件支持的内存，请将类别的 hw:mem_page_size 属性设置为启用 NUMA 感知内存分配：

   (overcloud)$ openstack flavor set \
    --property hw:mem_page_size=<page_size> pinned_cpus

   • 将 <page_size > 替换为以下有效值之一：

     • 大 ：选择主机上支持的最大页面大小，其在 x86_64 系统上可能为 2 MB 或 1 GB。
     • Small ：（默认）选择主机上支持的最小页面大小。在 x86_64 系统上，这是 4 kB （常规页面）。
     • any: 使用镜像中设置的 hw_mem_page_size 选择页大小。如果镜像没有指定页面大小，请选择由 libvirt 驱动程序决定的最大可用页面大小。
     • <pageSize > ：如果工作负载具有特定要求，则设置显式页面大小。将整数值用于页大小（以 KB 为单位）或任何标准后缀。例如： 4KB、2MB、2048、1GB。
   注意

   要将 hw:mem_page_size 设置为 small 或 any，您必须已配置了内存页面数量，以便为不是实例的进程在每个 NUMA 节点上保留。如需更多信息，请参阅在 Compute 节点上配置巨页。