第 4 章 在 Compute 节点上配置 CPU

流程

1. 创建或更新名为 nova-extra-config.yaml 的 ConfigMap CR，并在 [compute] 和 [default] 下设置参数的值：

   apiVersion: v1
   kind: ConfigMap
   metadata:
      name: nova-extra-config
      namespace: openstack
   data:
      25-nova-cpu-pinning.conf: | 

   1

   
         [compute]
         cpu_shared_set = 2,6 

   2

   
         cpu_dedicated_set = 1,3,5,7 

   3

   
         [DEFAULT]
         reserved_huge_pages = node:0,size:4,count:131072 

   4

   
         reserved_huge_pages = node:1,size:4,count:131072

   1

   新计算配置文件的名称。nova-operator 生成名为 01-nova.conf 的默认配置文件。不要使用默认名称，因为它会覆盖基础架构配置，如 transport_url。nova-compute 服务以字典顺序应用 /etc/nova/nova.conf.d/ 下的每个文件，因此后续文件中定义的配置将覆盖之前文件中定义的相同配置。

   2

   为共享实例保留物理 CPU 内核。

   3

   为专用实例保留物理 CPU 内核。

   4

   指定每个 NUMA 节点要保留的内存量。

   有关创建 ConfigMap 对象的更多信息，请参阅 在节点中创建和使用 配置映射 。

2. 创建新的 OpenStackDataPlaneDeployment CR，以在 data plane 节点上配置服务并部署数据平面，并将它保存到工作站上名为 compute_cpu_pinning_deploy.yaml 的文件中：

   apiVersion: dataplane.openstack.org/v1beta1
   kind: OpenStackDataPlaneDeployment
   metadata:
     name: openstack-edpm-cpu-pinning

   有关创建 OpenStackDataPlaneDeployment CR 的更多信息，请参阅在 OpenShift 上部署 Red Hat OpenStack Services 指南中的部署数据平面。

3. 在 compute_cpu_pinning_deploy.yaml 中，指定 nodeSets 以包含您要部署的所有 OpenStackDataPlaneNodeSet CR。确保包含您选择的 OpenStackDataPlaneNodeSet CR。该 OpenStackDataPlaneNodeSet CR 定义您要为 CPU 固定指定的节点。

   警告

   如果您的部署有多个节点集，对 nova-extra-config.yaml ConfigMap 的更改可能会直接影响多个节点集，具体取决于节点集和 DataPlaneServices 的配置方式。要检查节点集是否使用 nova-extra-config ConfigMap，因此会受到重新配置的影响，请完成以下步骤：

   1. 检查节点集的服务列表，并查找指向 nova 的 DataPlaneService 的名称。

   2. 确保 DataPlaneService 的 edpmServiceType 字段的值设置为 nova。

      如果 DataPlaneService 的 dataSources 列表包含名为 nova-extra-config 的 configMapRef，则此节点会使用此 ConfigMap，因此会受到此 ConfigMap 中的配置更改的影响。如果某些受影响的节点集合不应重新配置，您必须创建一个指向这些节点集的单独 ConfigMap 的新 DataPlaneService。

   apiVersion: dataplane.openstack.org/v1beta1
   kind: OpenStackDataPlaneDeployment
   metadata:
     name: openstack-edpm-cpu-pinning
   spec:
     nodeSets:
       - openstack-edpm
       - compute-cpu-pinning
       - ...
       - <nodeSet_name>

   • 将 <nodeSet_name > 替换为您要包含在 data plane 部署中的 OpenStackDataPlaneNodeSet CR 的名称。
4. 保存 compute_cpu_pinning_deploy.yaml 部署文件。

5. 部署数据平面：

   $ oc create -f compute_cpu_pinning_deploy.yaml

6. 验证 data plane 是否已部署：

   $ oc get openstackdataplanenodeset
   NAME           STATUS MESSAGE
   compute-cpu-pinning True   Deployed

7. 访问 openstackclient 的远程 shell，并验证部署的 Compute 节点是否在 control plane 上可见：

   $ oc rsh -n openstack openstackclient
   $ openstack hypervisor list

流程

1. 为需要 CPU 固定的实例创建类别：

   $ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <num_guest_vcpus> pinned_cpus

2. 如果您不使用文件支持的内存，请将类别的 hw:mem_page_size 属性设置为启用 NUMA 感知内存分配：

    $ openstack --os-compute-api=2.86 flavor set \
    --property hw:mem_page_size=<page_size> pinned_cpus

   • 将 <page_size > 替换为以下有效值之一：

     • 大 ：选择主机上支持的最大页面大小，对于 x86_64 系统可能为 2 MB 或 1 GB。
     • small ：（默认）选择主机上支持的最小页面大小。在 x86_64 系统中，这是 4 kB （常规页面）。
     • any ：使用镜像上设置的 hw_mem_page_size 选择页面大小。如果镜像没有指定页面大小，请选择最大可用页面大小，具体由 libvirt 驱动程序决定。
     • <pageSize > ：如果工作负载具有特定要求，则设置一个显式页面大小。使用整数值（以 KB 为单位）或任何标准后缀。例如：4KB、2MB、2048、1GB。
   注意

   要将 hw:mem_page_size 设置为 small 或任何，您必须为不是实例的进程配置每个 NUMA 节点上保留的内存量。

3. 要请求固定 CPU，请将类别的 hw:cpu_policy 属性设置为 dedicated ：

   $ openstack --os-compute-api=2.86 flavor set \
    --property hw:cpu_policy=dedicated pinned_cpus

4. 可选： 要将每个 vCPU 放置到线程同级上，将类别的 hw:cpu_thread_policy 属性设置为 :

   $ openstack --os-compute-api=2.86 flavor set \
    --property hw:cpu_thread_policy=require pinned_cpus

   注意
   • 如果主机没有 SMT 架构，或者有可用线程同级的 CPU 内核，调度会失败。要防止这种情况，将 hw:cpu_thread_policy 设置为 prefer 而不是 require。prefer 策略是默认策略，可确保在可用时使用线程同级程序。
   • 如果使用 hw:cpu_thread_policy=isolate，则必须禁用 SMT，或使用不支持 SMT 的平台。

5. 要验证该类别创建了具有专用 CPU 的实例，请使用您的新类别来启动实例：

   $ openstack server create --flavor pinned_cpus \
    --image <image> pinned_cpu_instance

流程

1. 为不需要 CPU 固定的实例创建类别：

   $ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_reserved_vcpus> floating_cpus

2. 要请求浮动 CPU，请将类别的 hw:cpu_policy 属性设置为 shared ：

   $ openstack --os-compute-api=2.86 flavor set \
    --property hw:cpu_policy=shared floating_cpus

流程

1. 为需要混合专用和共享 CPU 的实例创建类别：

   $ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <number_of_reserved_vcpus> \
    --property hw:cpu_policy=mixed mixed_CPUs_flavor

2. 指定哪些 CPU 必须专用或共享：

   $ openstack --os-compute-api=2.86 flavor set \
    --property hw:cpu_dedicated_mask=<CPU_MASK> \
    mixed_CPUs_flavor

   • 将 <CPU_MASK > 替换为需要专用或共享的 CPU：

     • 要指定专用 CPU，请指定 CPU 号或 CPU 范围。例如，将 属性设置为 2-3，以指定 CPU 2 和 3 专用，并且所有剩余的 CPU 都被共享。
     • 要指定共享 CPU，请在 CPU 号或 CPU 范围前加上 caret (^)。例如，将 属性设置为 ^0-1，以指定 CPU 0 和 1 已共享，并且所有剩余的 CPU 都专用。

3. 如果您不使用文件支持的内存，请将类别的 hw:mem_page_size 属性设置为启用 NUMA 感知内存分配：

    $ openstack --os-compute-api=2.86 flavor set \
    --property hw:mem_page_size=<page_size> mixed_CPUs_flavor

   • 将 <page_size > 替换为以下有效值之一：

     • 大 ：选择主机上支持的最大页面大小，对于 x86_64 系统可能为 2 MB 或 1 GB。
     • small ：（默认）选择主机上支持的最小页面大小。在 x86_64 系统中，这是 4 kB （常规页面）。
     • any ：使用镜像上设置的 hw_mem_page_size 选择页面大小。如果镜像没有指定页面大小，请选择最大可用页面大小，具体由 libvirt 驱动程序决定。

     • <pageSize > ：如果工作负载具有特定要求，则设置一个显式页面大小。使用整数值（以 KB 为单位）或任何标准后缀。例如：4KB、2MB、2048、1GB。

       注意

       要将 hw:mem_page_size 设置为 small 或任何，您必须为不是实例的进程配置每个 NUMA 节点上保留的内存量。