14.2. 使用性能配置集调整节点以实现低延迟

流程

1. 运行以下命令为配置标记目标节点：

   $ oc label node <node_name> node-role.kubernetes.io/worker-cnf="" 1

   1

   将 <node_name> 替换为节点的名称。本例应用 worker-cnf 标签。

2. 创建包含目标节点的 MachineConfigPool 资源：

   1. 创建定义 MachineConfigPool 资源的 YAML 文件：

      mcp-worker-cnf.yaml 文件示例

      apiVersion: machineconfiguration.openshift.io/v1
      kind: MachineConfigPool
      metadata:
        name: worker-cnf 1
        labels:
          machineconfiguration.openshift.io/role: worker-cnf 2
      spec:
        machineConfigSelector:
          matchExpressions:
            - {
                 key: machineconfiguration.openshift.io/role,
                 operator: In,
                 values: [worker, worker-cnf],
              }
        paused: false
        nodeSelector:
          matchLabels:
            node-role.kubernetes.io/worker-cnf: "" 3

      1

      为 MachineConfigPool 资源指定一个名称。

      2

      为机器配置池指定唯一标签。

      3

      使用您定义的目标标签指定节点。

   2. 运行以下命令来应用 MachineConfigPool 资源：

      $ oc apply -f mcp-worker-cnf.yaml

      输出示例

      machineconfigpool.machineconfiguration.openshift.io/worker-cnf created

流程

1. 进入存储 must-gather 数据的目录。

2. 运行以下命令来收集集群信息：

   $ oc adm must-gather

   该命令在本地目录中创建带有 must-gather 数据的文件夹，其命名格式类似如下：must-gather.local.1971646453781853027。

3. 可选：从 must-gather 目录创建一个压缩文件：

   $ tar cvaf must-gather.tar.gz <must_gather_folder> 1

   1

   使用 must-gather 数据文件夹的名称替换。

   注意

   如果您正在运行性能配置集 Creator wrapper 脚本，则需要压缩输出。

流程

1. 运行以下命令检查机器配置池：

   $ oc get mcp

   输出示例

   NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master       rendered-master-58433c8c3c0b4ed5feef95434d455490       True      False      False      3              3                   3                     0                      8h
   worker       rendered-worker-668f56a164f151e4a853229729b6adc4       True      False      False      2              2                   2                     0                      8h
   worker-cnf   rendered-worker-cnf-668f56a164f151e4a853229729b6adc4   True      False      False      1              1                   1                     0                      79m

2. 运行以下命令，使用 Podman 向 registry.redhat.io 进行身份验证：

   $ podman login registry.redhat.io

   Username: <user_name>
   Password: <password>

3. 可选：运行以下命令来显示 PPC 工具的帮助信息：

   $ podman run --rm --entrypoint performance-profile-creator registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.16 -h

   输出示例

   A tool that automates creation of Performance Profiles
   
   Usage:
     performance-profile-creator [flags]
   
   Flags:
         --disable-ht                        Disable Hyperthreading
     -h, --help                              help for performance-profile-creator
         --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
         --mcp-name string                   MCP name corresponding to the target machines (required)
         --must-gather-dir-path string       Must gather directory path (default "must-gather")
         --offlined-cpu-count int            Number of offlined CPUs
         --per-pod-power-management          Enable Per Pod Power Management
         --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
         --profile-name string               Name of the performance profile to be created (default "performance")
         --reserved-cpu-count int            Number of reserved CPUs (required)
         --rt-kernel                         Enable Real Time Kernel (required)
         --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
         --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
         --user-level-networking             Run with User level Networking(DPDK) enabled

4. 要显示集群的信息，请运行以下命令使用 log 参数运行 PPC 工具：

   $ podman run --entrypoint performance-profile-creator -v <path_to_must_gather>:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.16 --info log --must-gather-dir-path /must-gather

   • --entrypoint performance-profile-creator 将性能配置集创建者定义为 podman 的新入口点。

   • -v <path_to_must_gather> 指定到以下组件之一的路径：

     • 包含 must-gather 数据的目录。
     • 包含 must-gather 解压缩的 .tar 文件的现有目录。

   • --info log 指定输出格式的值。

     输出示例

     level=info msg="Cluster info:"
     level=info msg="MCP 'master' nodes:"
     level=info msg=---
     level=info msg="MCP 'worker' nodes:"
     level=info msg="Node: host.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg="Node: host1.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg=---
     level=info msg="MCP 'worker-cnf' nodes:"
     level=info msg="Node: host2.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg=---

5. 运行以下命令来创建性能配置集。这个示例使用示例 PPC 参数和值：

   $ podman run --entrypoint performance-profile-creator -v <path_to_must_gather>:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.16 --mcp-name=worker-cnf --reserved-cpu-count=1 --rt-kernel=true --split-reserved-cpus-across-numa=false --must-gather-dir-path /must-gather --power-consumption-mode=ultra-low-latency --offlined-cpu-count=1 > my-performance-profile.yaml

   • -v <path_to_must_gather> 指定到以下组件之一的路径：

     • 包含 must-gather 数据的目录。
     • 包含 must-gather 解压缩的 .tar 文件的目录。
   • --mcp-name=worker-cnf 指定 worker-=cnf 机器配置池。
   • --reserved-cpu-count=1 指定一个保留 CPU。
   • --rt-kernel=true 启用实时内核。
   • --split-reserved-cpus-across-numa=false 禁用跨 NUMA 节点的保留 CPU 分割。
   • --power-consumption-mode=ultra-low-latency 指定最大延迟，这会增加功耗。

   • --offlined-cpu-count=1 指定一个离线 CPU。

     注意

     本例中的 mcp-name 参数根据 oc get mcp 命令的输出设置为 worker-cnf。对于单节点 OpenShift，请使用 --mcp-name=master。

     输出示例

     level=info msg="Nodes targeted by worker-cnf MCP are: [worker-2]"
     level=info msg="NUMA cell(s): 1"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg="1 reserved CPUs allocated: 0 "
     level=info msg="2 isolated CPUs allocated: 2-3"
     level=info msg="Additional Kernel Args based on configuration: []"

6. 运行以下命令，查看创建的 YAML 文件：

   $ cat my-performance-profile.yaml

   输出示例

   ---
   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     cpu:
       isolated: 2-3
       offlined: "1"
       reserved: "0"
     machineConfigPoolSelector:
       machineconfiguration.openshift.io/role: worker-cnf
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: restricted
     realTimeKernel:
       enabled: true
     workloadHints:
       highPowerConsumption: true
       perPodPowerManagement: false
       realTime: true

7. 应用生成的配置集：

   $ oc apply -f my-performance-profile.yaml

   输出示例

   performanceprofile.performance.openshift.io/performance created

流程

1. 在本地机器上创建一个文件，例如 run-perf-profile-creator.sh：

   $ vi run-perf-profile-creator.sh

2. 将以下代码粘贴到文件中：

   #!/bin/bash
   
   readonly CONTAINER_RUNTIME=${CONTAINER_RUNTIME:-podman}
   readonly CURRENT_SCRIPT=$(basename "$0")
   readonly CMD="${CONTAINER_RUNTIME} run --entrypoint performance-profile-creator"
   readonly IMG_EXISTS_CMD="${CONTAINER_RUNTIME} image exists"
   readonly IMG_PULL_CMD="${CONTAINER_RUNTIME} image pull"
   readonly MUST_GATHER_VOL="/must-gather"
   
   NTO_IMG="registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.16"
   MG_TARBALL=""
   DATA_DIR=""
   
   usage() {
     print "Wrapper usage:"
     print "  ${CURRENT_SCRIPT} [-h] [-p image][-t path] -- [performance-profile-creator flags]"
     print ""
     print "Options:"
     print "   -h                 help for ${CURRENT_SCRIPT}"
     print "   -p                 Node Tuning Operator image"
     print "   -t                 path to a must-gather tarball"
   
     ${IMG_EXISTS_CMD} "${NTO_IMG}" && ${CMD} "${NTO_IMG}" -h
   }
   
   function cleanup {
     [ -d "${DATA_DIR}" ] && rm -rf "${DATA_DIR}"
   }
   trap cleanup EXIT
   
   exit_error() {
     print "error: $*"
     usage
     exit 1
   }
   
   print() {
     echo  "$*" >&2
   }
   
   check_requirements() {
     ${IMG_EXISTS_CMD} "${NTO_IMG}" || ${IMG_PULL_CMD} "${NTO_IMG}" || \
         exit_error "Node Tuning Operator image not found"
   
     [ -n "${MG_TARBALL}" ] || exit_error "Must-gather tarball file path is mandatory"
     [ -f "${MG_TARBALL}" ] || exit_error "Must-gather tarball file not found"
   
     DATA_DIR=$(mktemp -d -t "${CURRENT_SCRIPT}XXXX") || exit_error "Cannot create the data directory"
     tar -zxf "${MG_TARBALL}" --directory "${DATA_DIR}" || exit_error "Cannot decompress the must-gather tarball"
     chmod a+rx "${DATA_DIR}"
   
     return 0
   }
   
   main() {
     while getopts ':hp:t:' OPT; do
       case "${OPT}" in
         h)
           usage
           exit 0
           ;;
         p)
           NTO_IMG="${OPTARG}"
           ;;
         t)
           MG_TARBALL="${OPTARG}"
           ;;
         ?)
           exit_error "invalid argument: ${OPTARG}"
           ;;
       esac
     done
     shift $((OPTIND - 1))
   
     check_requirements || exit 1
   
     ${CMD} -v "${DATA_DIR}:${MUST_GATHER_VOL}:z" "${NTO_IMG}" "$@" --must-gather-dir-path "${MUST_GATHER_VOL}"
     echo "" 1>&2
   }
   
   main "$@"

3. 为这个脚本中的每个人添加执行权限：

   $ chmod a+x run-perf-profile-creator.sh

4. 运行以下命令，使用 Podman 向 registry.redhat.io 进行身份验证：

   $ podman login registry.redhat.io

   Username: <user_name>
   Password: <password>

5. 可选：运行以下命令来显示 PPC 工具的帮助信息：

   $ ./run-perf-profile-creator.sh -h

   输出示例

   Wrapper usage:
     run-perf-profile-creator.sh [-h] [-p image][-t path] -- [performance-profile-creator flags]
   
   Options:
      -h                 help for run-perf-profile-creator.sh
      -p                 Node Tuning Operator image
      -t                 path to a must-gather tarball
   A tool that automates creation of Performance Profiles
   
   Usage:
     performance-profile-creator [flags]
   
   Flags:
         --disable-ht                        Disable Hyperthreading
     -h, --help                              help for performance-profile-creator
         --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
         --mcp-name string                   MCP name corresponding to the target machines (required)
         --must-gather-dir-path string       Must gather directory path (default "must-gather")
         --offlined-cpu-count int            Number of offlined CPUs
         --per-pod-power-management          Enable Per Pod Power Management
         --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
         --profile-name string               Name of the performance profile to be created (default "performance")
         --reserved-cpu-count int            Number of reserved CPUs (required)
         --rt-kernel                         Enable Real Time Kernel (required)
         --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
         --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
         --user-level-networking             Run with User level Networking(DPDK) enabled
         --enable-hardware-tuning            Enable setting maximum CPU frequencies

   注意

   您可以选择使用 -p 选项为 Node Tuning Operator 镜像设置路径。如果您没有设置路径，wrapper 脚本使用默认镜像：registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.16。

6. 要显示集群的信息，请运行以下命令使用 log 参数运行 PPC 工具：

   $ ./run-perf-profile-creator.sh -t /<path_to_must_gather_dir>/must-gather.tar.gz -- --info=log

   • -t /<path_to_must_gather_dir>/must-gather.tar.gz 指定包含 must-gather tarball 的目录的路径。这是 wrapper 脚本的必要参数。

     输出示例

     level=info msg="Cluster info:"
     level=info msg="MCP 'master' nodes:"
     level=info msg=---
     level=info msg="MCP 'worker' nodes:"
     level=info msg="Node: host.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg="Node: host1.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg=---
     level=info msg="MCP 'worker-cnf' nodes:"
     level=info msg="Node: host2.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg=---

7. 运行以下命令来创建性能配置集。

   $ ./run-perf-profile-creator.sh -t /path-to-must-gather/must-gather.tar.gz -- --mcp-name=worker-cnf --reserved-cpu-count=1 --rt-kernel=true --split-reserved-cpus-across-numa=false --power-consumption-mode=ultra-low-latency --offlined-cpu-count=1 > my-performance-profile.yaml

   本例使用示例 PPC 参数和值。

   • --mcp-name=worker-cnf 指定 worker-=cnf 机器配置池。
   • --reserved-cpu-count=1 指定一个保留 CPU。
   • --rt-kernel=true 启用实时内核。
   • --split-reserved-cpus-across-numa=false 禁用跨 NUMA 节点的保留 CPU 分割。
   • --power-consumption-mode=ultra-low-latency 指定最大延迟，这会增加功耗。

   • --offlined-cpu-count=1 指定一个离线 CPU。

     注意

     本例中的 mcp-name 参数根据 oc get mcp 命令的输出设置为 worker-cnf。对于单节点 OpenShift，请使用 --mcp-name=master。

8. 运行以下命令，查看创建的 YAML 文件：

   $ cat my-performance-profile.yaml

   输出示例

   ---
   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     cpu:
       isolated: 2-3
       offlined: "1"
       reserved: "0"
     machineConfigPoolSelector:
       machineconfiguration.openshift.io/role: worker-cnf
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: restricted
     realTimeKernel:
       enabled: true
     workloadHints:
       highPowerConsumption: true
       perPodPowerManagement: false
       realTime: true

9. 应用生成的配置集：

   $ oc apply -f my-performance-profile.yaml

   输出示例

   performanceprofile.performance.openshift.io/performance created

1. 创建一个适合您的硬件和拓扑的性能配置集。

2. 将 nosmt 设为附加内核参数。以下示例的性能配置集演示了此设置：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: example-performanceprofile
   spec:
     additionalKernelArgs:
       - nmi_watchdog=0
       - audit=0
       - mce=off
       - processor.max_cstate=1
       - idle=poll
       - intel_idle.max_cstate=0
       - nosmt
     cpu:
       isolated: 2-3
       reserved: 0-1
     hugepages:
       defaultHugepagesSize: 1G
       pages:
         - count: 2
           node: 0
           size: 1G
     nodeSelector:
       node-role.kubernetes.io/performance: ''
     realTimeKernel:
       enabled: true

   注意

   当您配置保留的和隔离的 CPU 时，pod 中的 infra 容器将使用保留的 CPU,应用程序容器则使用隔离的 CPU。

流程

1. 以具有 cluster-admin 权限的用户身份登录 OpenShift Container Platform 集群。
2. 将性能配置集 apiVersion 设置为使用 performance.openshift.io/v2。
3. 删除 globallyDisableIrqLoadBalancing 字段，或把它设置为 false。

4. 设置适当的隔离 CPU 和保留的 CPU。以下片段演示了保留 2 个 CPU 的配置集。对于在 isolated CPU 集中运行的 pod，启用 IRQ 负载均衡：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: dynamic-irq-profile
   spec:
     cpu:
       isolated: 2-5
       reserved: 0-1
   ...

   注意

   当您配置保留和隔离的 CPU、操作系统进程、内核进程和 systemd 服务在保留 CPU 上运行时。基础架构 pod 在任何 CPU 上运行，但运行低延迟工作负载除外。低延迟工作负载 pod 在隔离池中的专用 CPU 上运行。如需更多信息，请参阅"为 infra 和应用程序容器限制 CPU"。

流程

1. 以具有 cluster-admin 权限的用户身份登录运行 Node Tuning Operator 的 OpenShift Container Platform 集群。
2. 创建并应用适合您的硬件和拓扑的性能配置集。有关创建配置集的指南，请参阅"创建性能配置集"部分。

3. 编辑这个创建的性能配置集：

   $ oc edit -f <your_profile_name>.yaml

4. 使用 net 对象填充 spec 字段。对象列表可以包含两个字段：

   • userLevelNetworking 是一个必需字段，指定为布尔值标记。如果 userLevelNetworking 为 true，则队列数将设置为所有支持设备的保留 CPU 计数。默认值为 false。

   • devices 是一个可选字段，指定队列设置为保留 CPU 数的设备列表。如果设备列表为空，则配置适用于所有网络设备。配置如下：

     • interfaceName：此字段指定接口名称，并支持 shell 样式的通配符，可以是正数或负数。

       • 通配符语法示例如下： <string> .*
       • 负规则的前缀为感叹号。要将网络队列更改应用到排除列表以外的所有设备，请使用 !<device>。例如 !eno1。
     • vendorID：网络设备供应商 ID，以带有 0x 前缀的 16 位十六进制数字代表。

     • deviceID：网络设备 ID（model），以带有 0x 前缀的 16 位十六进制数字代表。

       注意

       当指定 deviceID 时，还必须定义 vendorID。与设备条目 interfaceName、vendorID 或 vendorID 加 deviceID 中指定的所有设备标识符相匹配的设备会被视为一个网络设备。然后，此网络设备的 net 队列数设置为保留的 CPU 计数。

       当指定了两个或多个设备时，网络队列数将设置为与其中一个设备匹配的任何网络设备。

5. 使用此示例性能配置集将所有设备的队列数设置为保留的 CPU 计数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,55-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

6. 使用这个示例性能配置集，将所有与任何定义的设备标识符匹配的保留 CPU 数设置为保留的 CPU 计数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,55-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: "eth0"
       - interfaceName: "eth1"
       - vendorID: "0x1af4"
         deviceID: "0x1000"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

7. 使用这个示例性能配置集，将所有以接口名称 eth 开头的设备的队列数设置为保留的 CPU 计数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,55-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: "eth*"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

8. 使用这个示例性能配置集。将所有设备的队列数设置为保留的 CPU 计数，该接口具有 eno1 以外的任何接口：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,55-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: "!eno1"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

9. 使用这个示例性能配置集，将所有具有接口名称 eth0，vendorID 为 0x1af4、deviceID 为 0x1000 的设备的队列数设置为保留 CPU 数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,55-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: "eth0"
       - vendorID: "0x1af4"
         deviceID: "0x1000"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

10. 应用更新的性能配置集：

    $ oc apply -f <your_profile_name>.yaml