第17章 パフォーマンスプロファイルを使用した低レイテンシーを実現するためのノードのチューニング

手順

1. 次のコマンドを実行して、設定用のターゲットノードにラベルを付けます。

   $ oc label node <node_name> node-role.kubernetes.io/worker-cnf=""

   • <node_name>: ノードの名前を指定します。この例では、worker-cnf ラベルを適用します。

2. ターゲットノードを含む MachineConfigPool リソースを作成します。

   1. MachineConfigPool リソースを定義する YAML ファイルを作成します。

      mcp-worker-cnf.yaml ファイルの例

      apiVersion: machineconfiguration.openshift.io/v1
      kind: MachineConfigPool
      metadata:
        name: worker-cnf
        labels:
          machineconfiguration.openshift.io/role: worker-cnf
      spec:
        machineConfigSelector:
          matchExpressions:
            - {
                 key: machineconfiguration.openshift.io/role,
                 operator: In,
                 values: [worker, worker-cnf],
              }
        paused: false
        nodeSelector:
          matchLabels:
            node-role.kubernetes.io/worker-cnf: ""

      ここでは、以下のようになります。

      metadata.name

      MachineConfigPool リソースの名前を指定します。

      machineconfiguration.openshift.io/role

      マシン設定プールに一意のラベルを指定します。

      node-role.kubernetes.io/worker-cnf

      定義したターゲットラベルを持つノードを指定します。

   2. 次のコマンドを実行して、MachineConfigPool リソースを適用します。

      $ oc apply -f mcp-worker-cnf.yaml

      出力例

      machineconfigpool.machineconfiguration.openshift.io/worker-cnf created

手順

1. must-gather データを保存するディレクトリーに移動します。

2. 次のコマンドを実行してクラスター情報を収集します。

   $ oc adm must-gather

   このコマンドは、must-gather.local.1971646453781853027 のような命名形式で、ローカルディレクトリーに must-gather データを含むフォルダーを作成します。

3. オプション: must-gather ディレクトリーから圧縮ファイルを作成します。

   $ tar cvaf must-gather.tar.gz <must_gather_folder>

   • <must_gather_folder>: must-gather データフォルダーの名前を指定します。

     注記

     Performance Profile Creator ラッパースクリプトを実行している場合は、出力を圧縮する必要があります。

手順

1. 次のコマンドを実行して、マシン設定プールを確認します。

   $ oc get mcp

   出力例

   NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master       rendered-master-58433c8c3c0b4ed5feef95434d455490       True      False      False      3              3                   3                     0                      8h
   worker       rendered-worker-668f56a164f151e4a853229729b6adc4       True      False      False      2              2                   2                     0                      8h
   worker-cnf   rendered-worker-cnf-668f56a164f151e4a853229729b6adc4   True      False      False      1              1                   1                     0                      79m

2. 次のコマンドを実行して、Podman を使用して registry.redhat.io に認証します。

   $ podman login registry.redhat.io

   Username: <user_name>
   Password: <password>

3. オプション: 次のコマンドを実行して、PPC ツールのヘルプを表示します。

   $ podman run --rm --entrypoint performance-profile-creator registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.20 -h

   出力例

   A tool that automates creation of Performance Profiles
   
   Available Commands:
     completion  Generate the autocompletion script for the specified shell
     help        Help about any command
     info        requires --must-gather-dir-path, ignores other arguments. [Valid values: log,json]
   
   Usage:
     performance-profile-creator [flags]
   performance-profile-creator [command]
   
   Flags:
         --disable-ht                        Disable Hyperthreading
         --enable-hardware-tuning            Enable setting maximum cpu frequencies
     -h, --help                              help for performance-profile-creator
         --mcp-name string                   MCP name corresponding to the target machines (required)
         --must-gather-dir-path string       Must gather directory path (default "must-gather")
         --offlined-cpu-count int            Number of offlined CPUs
         --per-pod-power-management          Enable Per Pod Power Management
         --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
         --profile-name string               Name of the performance profile to be created (default "performance")
         --reserved-cpu-count int            Number of reserved CPUs (required)
         --rt-kernel                         Enable Real Time Kernel (required)
         --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
         --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
         --user-level-networking             Run with User level Networking(DPDK) enabled
   
   Use "performance-profile-creator [command] --help" for more information about a command.

4. クラスターに関する情報を表示するには、次のコマンドを実行して、log 引数を指定した PPC ツールを実行します。

   $ podman run --entrypoint performance-profile-creator -v <path_to_must_gather>:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.20 info --must-gather-dir-path /must-gather

   • --entrypoint performance-profile-creator は、podman への新しいエントリーポイントとして、パフォーマンスプロファイルクリエーターを定義します。

   • -v <path_to_must_gather> は、次のいずれかのコンポーネントへのパスを指定します。

     • must-gather データが含まれるディレクトリー。

     • must-gather の展開された .tar ファイルを含む既存のディレクトリー

       出力例

       level=info msg="Nodes names targeted by master pool are: "
       level=info msg="Nodes names targeted by worker-cnf pool are: host2.example.com "
       level=info msg="Nodes names targeted by worker pool are: host.example.com host1.example.com "
       level=info msg="Cluster info:"
       level=info msg="MCP 'master' nodes:"
       level=info msg=---
       level=info msg="MCP 'worker' nodes:"
       level=info msg="Node: host.example.com (NUMA cells: 1, HT: true)"
       level=info msg="NUMA cell 0 : [0 1 2 3]"
       level=info msg="CPU(s): 4"
       level=info msg="Node: host1.example.com (NUMA cells: 1, HT: true)"
       level=info msg="NUMA cell 0 : [0 1 2 3]"
       level=info msg="CPU(s): 4"
       level=info msg=---
       level=info msg="MCP 'worker-cnf' nodes:"
       level=info msg="Node: host2.example.com (NUMA cells: 1, HT: true)"
       level=info msg="NUMA cell 0 : [0 1 2 3]"
       level=info msg="CPU(s): 4"
       level=info msg=---

5. 次のコマンドを実行して、パフォーマンスプロファイルを作成します。この例では、サンプルの PPC 引数と値を使用します。

   $ podman run --entrypoint performance-profile-creator -v <path_to_must_gather>:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.20 --mcp-name=worker-cnf --reserved-cpu-count=1 --rt-kernel=true --split-reserved-cpus-across-numa=false --must-gather-dir-path /must-gather --power-consumption-mode=ultra-low-latency --offlined-cpu-count=1 > my-performance-profile.yaml

   • -v <path_to_must_gather> は、次のいずれかのコンポーネントへのパスを指定します。

     • must-gather データが含まれるディレクトリー。
     • must-gather の展開された .tar ファイルを含むディレクトリー。
   • --mcp-name=worker-cnf は、worker-cnf マシン設定プールを指定します。
   • --reserved-cpu-count=1 は、予約済みの CPU を 1 つ指定します。
   • --rt-kernel=true は、リアルタイムカーネルを有効にします。
   • --split-reserved-cpus-across-numa=false は、NUMA ノード間での予約済み CPU の分割を無効にします。
   • --power-consumption-mode=ultra-low-latency は、消費電力の増加を代償にして、レイテンシーを最小限に抑えることを指定します。

   • --offlined-cpu-count=1 は、1 つの CPU をオフライン化することを指定します。

     注記

     この例の mcp-name 引数は、コマンド oc get mcp の出力に基づいて worker-cnf に設定されます。シングルノード OpenShift の場合は、--mcp-name=master を使用します。

     出力例

     level=info msg="Nodes targeted by worker-cnf MCP are: [worker-2]"
     level=info msg="NUMA cell(s): 1"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg="1 reserved CPUs allocated: 0 "
     level=info msg="2 isolated CPUs allocated: 2-3"
     level=info msg="Additional Kernel Args based on configuration: []"

6. 次のコマンドを実行して、作成された YAML ファイルを確認します。

   $ cat my-performance-profile.yaml

   出力例

   ---
   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     cpu:
       isolated: 2-3
       offlined: "1"
       reserved: "0"
     machineConfigPoolSelector:
       machineconfiguration.openshift.io/role: worker-cnf
     net:
       userLevelNetworking: false
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: restricted
     realTimeKernel:
       enabled: true
     workloadHints:
       highPowerConsumption: true
       perPodPowerManagement: false
       realTime: true

7. 生成されたプロファイルを適用します。

   $ oc apply -f my-performance-profile.yaml

   出力例

   performanceprofile.performance.openshift.io/performance created

手順

1. ローカルマシンにファイル (例: run-perf-profile-creator.sh) を作成します。

   $ vi run-perf-profile-creator.sh

2. ファイルに以下のコードを貼り付けます。

   #!/bin/bash
   
   readonly CONTAINER_RUNTIME=${CONTAINER_RUNTIME:-podman}
   readonly CURRENT_SCRIPT=$(basename "$0")
   readonly CMD="${CONTAINER_RUNTIME} run --entrypoint performance-profile-creator"
   readonly IMG_EXISTS_CMD="${CONTAINER_RUNTIME} image exists"
   readonly IMG_PULL_CMD="${CONTAINER_RUNTIME} image pull"
   readonly MUST_GATHER_VOL="/must-gather"
   
   NTO_IMG="registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.20"
   MG_TARBALL=""
   DATA_DIR=""
   
   usage() {
     print "Wrapper usage:"
     print "  ${CURRENT_SCRIPT} [-h] [-p image][-t path] -- [performance-profile-creator flags]"
     print ""
     print "Options:"
     print "   -h                 help for ${CURRENT_SCRIPT}"
     print "   -p                 Node Tuning Operator image"
     print "   -t                 path to a must-gather tarball"
   
     ${IMG_EXISTS_CMD} "${NTO_IMG}" && ${CMD} "${NTO_IMG}" -h
   }
   
   function cleanup {
     [ -d "${DATA_DIR}" ] && rm -rf "${DATA_DIR}"
   }
   trap cleanup EXIT
   
   exit_error() {
     print "error: $*"
     usage
     exit 1
   }
   
   print() {
     echo  "$*" >&2
   }
   
   check_requirements() {
     ${IMG_EXISTS_CMD} "${NTO_IMG}" || ${IMG_PULL_CMD} "${NTO_IMG}" || \
         exit_error "Node Tuning Operator image not found"
   
     [ -n "${MG_TARBALL}" ] || exit_error "Must-gather tarball file path is mandatory"
     [ -f "${MG_TARBALL}" ] || exit_error "Must-gather tarball file not found"
   
     DATA_DIR=$(mktemp -d -t "${CURRENT_SCRIPT}XXXX") || exit_error "Cannot create the data directory"
     tar -zxf "${MG_TARBALL}" --directory "${DATA_DIR}" || exit_error "Cannot decompress the must-gather tarball"
     chmod a+rx "${DATA_DIR}"
   
     return 0
   }
   
   main() {
     while getopts ':hp:t:' OPT; do
       case "${OPT}" in
         h)
           usage
           exit 0
           ;;
         p)
           NTO_IMG="${OPTARG}"
           ;;
         t)
           MG_TARBALL="${OPTARG}"
           ;;
         ?)
           exit_error "invalid argument: ${OPTARG}"
           ;;
       esac
     done
     shift $((OPTIND - 1))
   
     check_requirements || exit 1
   
     ${CMD} -v "${DATA_DIR}:${MUST_GATHER_VOL}:z" "${NTO_IMG}" "$@" --must-gather-dir-path "${MUST_GATHER_VOL}"
     echo "" 1>&2
   }
   
   main "$@"

3. このスクリプトの実行権限を全員に追加します。

   $ chmod a+x run-perf-profile-creator.sh

4. 次のコマンドを実行して、Podman を使用して registry.redhat.io に認証します。

   $ podman login registry.redhat.io

   Username: <user_name>
   Password: <password>

5. オプション: 次のコマンドを実行して、PPC ツールのヘルプを表示します。

   $ ./run-perf-profile-creator.sh -h

   Wrapper usage:
     run-perf-profile-creator.sh [-h] [-p image][-t path] -- [performance-profile-creator flags]
   
   Options:
      -h                 help for run-perf-profile-creator.sh
      -p                 Node Tuning Operator image
      -t                 path to a must-gather tarball
   A tool that automates creation of Performance Profiles
   
   Usage:
     performance-profile-creator [flags]
   
   Flags:
         --disable-ht                        Disable Hyperthreading
     -h, --help                              help for performance-profile-creator
         --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
         --mcp-name string                   MCP name corresponding to the target machines (required)
         --must-gather-dir-path string       Must gather directory path (default "must-gather")
         --offlined-cpu-count int            Number of offlined CPUs
         --per-pod-power-management          Enable Per Pod Power Management
         --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
         --profile-name string               Name of the performance profile to be created (default "performance")
         --reserved-cpu-count int            Number of reserved CPUs (required)
         --rt-kernel                         Enable Real Time Kernel (required)
         --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
         --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
         --user-level-networking             Run with User level Networking(DPDK) enabled
         --enable-hardware-tuning            Enable setting maximum CPU frequencies

   注記

   オプションで、-p オプションを使用して Node Tuning Operator イメージのパスを設定できます。パスを設定しない場合、このラッパースクリプトはデフォルトのイメージ (registry.redhat.io/openshift4/ose-cluster-node-tuning-rhel9-operator:v4.20) を使用します。

6. クラスターに関する情報を表示するには、次のコマンドを実行して、log 引数を指定した PPC ツールを実行します。

   $ ./run-perf-profile-creator.sh -t /<path_to_must_gather_dir>/must-gather.tar.gz -- --info=log

   • -t/<path_to_must_gather_dir>/must-gather.tar.gz: must-gather tarball を含むディレクトリーへのパスを指定します。これはラッパースクリプトに必要な引数です。

     出力例

     level=info msg="Cluster info:"
     level=info msg="MCP 'master' nodes:"
     level=info msg=---
     level=info msg="MCP 'worker' nodes:"
     level=info msg="Node: host.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg="Node: host1.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg=---
     level=info msg="MCP 'worker-cnf' nodes:"
     level=info msg="Node: host2.example.com (NUMA cells: 1, HT: true)"
     level=info msg="NUMA cell 0 : [0 1 2 3]"
     level=info msg="CPU(s): 4"
     level=info msg=---

7. 次のコマンドを実行して、パフォーマンスプロファイルを作成します。この例のコマンドでは、サンプルとなる PPC 引数と値を使用しています。

   $ ./run-perf-profile-creator.sh -t /path-to-must-gather/must-gather.tar.gz -- --mcp-name=worker-cnf --reserved-cpu-count=1 --rt-kernel=true --split-reserved-cpus-across-numa=false --power-consumption-mode=ultra-low-latency --offlined-cpu-count=1 > my-performance-profile.yaml

   • --mcp-name=worker-cnf は、worker-cnf マシン設定プールを指定します。
   • --reserved-cpu-count=1 は、予約済みの CPU を 1 つ指定します。
   • --rt-kernel=true は、リアルタイムカーネルを有効にします。
   • --split-reserved-cpus-across-numa=false は、NUMA ノード間での予約済み CPU の分割を無効にします。
   • --power-consumption-mode=ultra-low-latency は、消費電力の増加を代償にして、レイテンシーを最小限に抑えることを指定します。

   • --offlined-cpu-count=1 は、1 つの CPU をオフライン化することを指定します。

     注記

     この例の mcp-name 引数は、コマンド oc get mcp の出力に基づいて worker-cnf に設定されます。シングルノード OpenShift の場合は、--mcp-name=master を使用します。

8. 次のコマンドを実行して、作成された YAML ファイルを確認します。

   $ cat my-performance-profile.yaml

   出力例

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     cpu:
       isolated: 2-3
       offlined: "1"
       reserved: "0"
     machineConfigPoolSelector:
       machineconfiguration.openshift.io/role: worker-cnf
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: restricted
     realTimeKernel:
       enabled: true
     workloadHints:
       highPowerConsumption: true
       perPodPowerManagement: false
       realTime: true

9. 生成されたプロファイルを適用します。

   $ oc apply -f my-performance-profile.yaml

   出力例

   performanceprofile.performance.openshift.io/performance created