可伸缩性和性能

流程

1. 打开 AWS 控制台，获取 master 实例。
2. 停止一个 master 实例。
3. 选择已停止的实例，然后点 Actions → Instance Settings → Change instance type。
4. 将实例更改为较大的类型，确保类型与之前选择相同，并应用更改。例如，您可以将 m5.xlarge 更改为 m5.2xlarge 或 m5.4xlarge。
5. 备份实例，再对下一个 master 实例重复上述步骤。

流程

1. 将以下 MCO 示例配置集复制到 YAML 文件中。例如，enable-rfs.yaml：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 50-enable-rfs
   spec:
     config:
       ignition:
         version: 2.2.0
       storage:
         files:
         - contents:
             source: data:text/plain;charset=US-ASCII,%23%20turn%20on%20Receive%20Flow%20Steering%20%28RFS%29%20for%20all%20network%20interfaces%0ASUBSYSTEM%3D%3D%22net%22%2C%20ACTION%3D%3D%22add%22%2C%20RUN%7Bprogram%7D%2B%3D%22/bin/bash%20-c%20%27for%20x%20in%20/sys/%24DEVPATH/queues/rx-%2A%3B%20do%20echo%208192%20%3E%20%24x/rps_flow_cnt%3B%20%20done%27%22%0A
           filesystem: root
           mode: 0644
           path: /etc/udev/rules.d/70-persistent-net.rules
         - contents:
             source: data:text/plain;charset=US-ASCII,%23%20define%20sock%20flow%20enbtried%20for%20%20Receive%20Flow%20Steering%20%28RFS%29%0Anet.core.rps_sock_flow_entries%3D8192%0A
           filesystem: root
           mode: 0644
           path: /etc/sysctl.d/95-enable-rps.conf

2. 创建 MCO 配置集：

   $ oc create -f enable-rfs.yaml

3. 验证是否列出了名为 50-enable-rfs 的条目：

   $ oc get mc

4. 要取消激活，请输入：

   $ oc delete mc 50-enable-rfs

流程

1. 将以下 MCO 示例配置集复制到 control plane 节点的 YAML 文件中。例如，05-master-kernelarg-hpav.yaml:

   $ cat 05-master-kernelarg-hpav.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master
     name: 05-master-kernelarg-hpav
   spec:
     config:
       ignition:
         version: 3.1.0
     kernelArguments:
       - rd.dasd=800-805

2. 将以下 MCO 示例配置集复制到计算节点的 YAML 文件中。例如，05-worker-kernelarg-hpav.yaml:

   $ cat 05-worker-kernelarg-hpav.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 05-worker-kernelarg-hpav
   spec:
     config:
       ignition:
         version: 3.1.0
     kernelArguments:
       - rd.dasd=800-805

   注意

   您必须修改 rd.dasd 参数以适合设备 ID。

3. 创建 MCO 配置集：

   $ oc create -f 05-master-kernelarg-hpav.yaml

   $ oc create -f 05-worker-kernelarg-hpav.yaml

4. 要取消激活，请输入：

   $ oc delete -f 05-master-kernelarg-hpav.yaml

   $ oc delete -f 05-worker-kernelarg-hpav.yaml

流程

1. 使用您选择的编辑器打开 /etc/libvirt/qemu.conf。
2. 转至 cgroup_controllers 行。
3. 复制整行并从副本中删除前导编号符号(#)。

4. 删除 cpuset 条目，如下所示：

   cgroup_controllers = [ "cpu", "devices", "memory", "blkio", "cpuacct" ]

5. 要使新设置生效，您必须重启 libvirtd 守护进程：

   1. 停止所有虚拟机。

   2. 运行以下命令:

      # systemctl restart libvirtd

   3. 重新启动虚拟机。

流程

1. 为 NFD Operator 创建命名空间。

   1. 创建定义 openshift-nfd 命名空间的以下 Namespace 自定义资源（CR），然后在 nfd-namespace.yaml 文件中保存 YAML：

      apiVersion: v1
      kind: Namespace
      metadata:
        name: openshift-nfd

   2. 运行以下命令创建命名空间：

      $ oc create -f nfd-namespace.yaml

2. 通过创建以下对象，在您上一步中创建的命名空间中安装 NFD Operator：

   1. 创建以下 OperatorGroup CR，并在 nfd -operatorgroup.yaml 文件中保存 YAML：

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        generateName: openshift-nfd-
        name: openshift-nfd
        namespace: openshift-nfd
      spec:
        targetNamespaces:
        - openshift-nfd

   2. 运行以下命令来创建 OperatorGroup CR:

      $ oc create -f nfd-operatorgroup.yaml

   3. 运行以下命令获取下一步所需的 channel 值。

      $ oc get packagemanifest nfd -n openshift-marketplace -o jsonpath='{.status.defaultChannel}'

      输出示例

      4.8

   4. 创建以下 Subscription CR，并将 YAML 保存到 nfd-sub.yaml 文件中：

      订阅示例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: nfd
        namespace: openshift-nfd
      spec:
        channel: "4.8"
        installPlanApproval: Automatic
        name: nfd
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   5. 运行以下命令来创建订阅对象：

      $ oc create -f nfd-sub.yaml

   6. 进入 openshift-nfd 项目：

      $ oc project openshift-nfd

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用的 Operator 列表中选择 Node Feature Discovery，然后点 Install。
3. 在 Install Operator 页面中，选择集群上的一个特定命名空间，选择上一节中创建的命名空间，然后点 Install。

1. 进入到 Operators → Installed Operators 页面。

2. 确保 openshift-nfd 项目中列出了 Node Feature Discovery，Status 为 InstallSucceeded。

   注意

   在安装过程中，Operator 可能会显示 Failed 状态。如果安装过程结束后有 InstallSucceeded 信息，您可以忽略这个 Failed 信息。

1. 导航到 Operators → Installed Operators 页面，检查 Operator Subscriptions 和 Install Plans 选项卡中的 Status 项中是否有任何错误。
2. 导航到 Workloads → Pods 页面，在 openshift-nfd 项目中检查 pod 的日志。

流程

1. 创建以下 NodeFeatureDiscovery 自定义资源（CR），然后在 NodeFeatureDiscovery.yaml 文件中保存 YAML：

   apiVersion: nfd.openshift.io/v1
   kind: NodeFeatureDiscovery
   metadata:
     name: nfd-instance
     namespace: openshift-nfd
   spec:
     instance: "" # instance is empty by default
     operand:
       namespace: openshift-nfd
       image: quay.io/openshift/origin-node-feature-discovery:4.8
       imagePullPolicy: Always
     workerConfig:
       configData: |
         #core:
         #  labelWhiteList:
         #  noPublish: false
         #  sleepInterval: 60s
         #  sources: [all]
         #  klog:
         #    addDirHeader: false
         #    alsologtostderr: false
         #    logBacktraceAt:
         #    logtostderr: true
         #    skipHeaders: false
         #    stderrthreshold: 2
         #    v: 0
         #    vmodule:
         ##   NOTE: the following options are not dynamically run-time configurable
         ##         and require a nfd-worker restart to take effect after being changed
         #    logDir:
         #    logFile:
         #    logFileMaxSize: 1800
         #    skipLogHeaders: false
         #sources:
         #  cpu:
         #    cpuid:
         ##     NOTE: whitelist has priority over blacklist
         #      attributeBlacklist:
         #        - "BMI1"
         #        - "BMI2"
         #        - "CLMUL"
         #        - "CMOV"
         #        - "CX16"
         #        - "ERMS"
         #        - "F16C"
         #        - "HTT"
         #        - "LZCNT"
         #        - "MMX"
         #        - "MMXEXT"
         #        - "NX"
         #        - "POPCNT"
         #        - "RDRAND"
         #        - "RDSEED"
         #        - "RDTSCP"
         #        - "SGX"
         #        - "SSE"
         #        - "SSE2"
         #        - "SSE3"
         #        - "SSE4.1"
         #        - "SSE4.2"
         #        - "SSSE3"
         #      attributeWhitelist:
         #  kernel:
         #    kconfigFile: "/path/to/kconfig"
         #    configOpts:
         #      - "NO_HZ"
         #      - "X86"
         #      - "DMI"
         #  pci:
         #    deviceClassWhitelist:
         #      - "0200"
         #      - "03"
         #      - "12"
         #    deviceLabelFields:
         #      - "class"
         #      - "vendor"
         #      - "device"
         #      - "subsystem_vendor"
         #      - "subsystem_device"
         #  usb:
         #    deviceClassWhitelist:
         #      - "0e"
         #      - "ef"
         #      - "fe"
         #      - "ff"
         #    deviceLabelFields:
         #      - "class"
         #      - "vendor"
         #      - "device"
         #  custom:
         #    - name: "my.kernel.feature"
         #      matchOn:
         #        - loadedKMod: ["example_kmod1", "example_kmod2"]
         #    - name: "my.pci.feature"
         #      matchOn:
         #        - pciId:
         #            class: ["0200"]
         #            vendor: ["15b3"]
         #            device: ["1014", "1017"]
         #        - pciId :
         #            vendor: ["8086"]
         #            device: ["1000", "1100"]
         #    - name: "my.usb.feature"
         #      matchOn:
         #        - usbId:
         #          class: ["ff"]
         #          vendor: ["03e7"]
         #          device: ["2485"]
         #        - usbId:
         #          class: ["fe"]
         #          vendor: ["1a6e"]
         #          device: ["089a"]
         #    - name: "my.combined.feature"
         #      matchOn:
         #        - pciId:
         #            vendor: ["15b3"]
         #            device: ["1014", "1017"]
         #          loadedKMod : ["vendor_kmod1", "vendor_kmod2"]
     customConfig:
       configData: |
         #    - name: "more.kernel.features"
         #      matchOn:
         #      - loadedKMod: ["example_kmod3"]
         #    - name: "more.features.by.nodename"
         #      value: customValue
         #      matchOn:
         #      - nodename: ["special-.*-node-.*"]

2. 运行以下命令来创建 NodeFeatureDiscovery CR 实例：

   $ oc create -f NodeFeatureDiscovery.yaml

流程

1. 进入到 Operators → Installed Operators 页面。
2. 查找 Node Feature Discovery，并在 Provided APIs 下看到一个方框。
3. 单击 Create instance。
4. 编辑 NodeFeatureDiscovery CR 的值。
5. 点 Create。

流程

1. 可以使用 oc adm 命令从发行镜像中提取与特定发行版本对应的 driver-toolkit 镜像 URL：

   $ oc adm release info 4.8.0 --image-for=driver-toolkit

   输出示例

   quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:0fd84aee79606178b6561ac71f8540f404d518ae5deff45f6d6ac8f02636c7f4

2. 可以使用有效的 pull secret 拉取此镜像，如安装 OpenShift Container Platform 所需的 pull secret。

1. YAML 定义了 ImageStream，用于存储 simple-kmod 驱动程序容器镜像，以及用于构建容器的 BuildConfig。将此 YAML 保存为 0000-buildconfig.yaml.template。

   apiVersion: image.openshift.io/v1
   kind: ImageStream
   metadata:
     labels:
       app: simple-kmod-driver-container
     name: simple-kmod-driver-container
     namespace: simple-kmod-demo
   spec: {}
   ---
   apiVersion: build.openshift.io/v1
   kind: BuildConfig
   metadata:
     labels:
       app: simple-kmod-driver-build
     name: simple-kmod-driver-build
     namespace: simple-kmod-demo
   spec:
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     runPolicy: "Serial"
     triggers:
       - type: "ConfigChange"
       - type: "ImageChange"
     source:
       git:
         ref: "master"
         uri: "https://github.com/openshift-psap/kvc-simple-kmod.git"
       type: Git
       dockerfile: |
         FROM DRIVER_TOOLKIT_IMAGE
   
         WORKDIR /build/
   
         RUN yum -y install git make sudo gcc \
         && yum clean all \
         && rm -rf /var/cache/dnf
   
         # Expecting kmod software version as an input to the build
         ARG KMODVER
   
         # Grab the software from upstream
         RUN git clone https://github.com/openshift-psap/simple-kmod.git
         WORKDIR simple-kmod
   
         # Prep and build the module
         RUN make buildprep KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER} \
         && make all       KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER} \
         && make install   KVER=$(rpm -q --qf "%{VERSION}-%{RELEASE}.%{ARCH}"  kernel-core) KMODVER=${KMODVER}
   
         # Add the helper tools
         WORKDIR /root/kvc-simple-kmod
         ADD Makefile .
         ADD simple-kmod-lib.sh .
         ADD simple-kmod-wrapper.sh .
         ADD simple-kmod.conf .
         RUN mkdir -p /usr/lib/kvc/ \
         && mkdir -p /etc/kvc/ \
         && make install
   
         RUN systemctl enable kmods-via-containers@simple-kmod
     strategy:
       dockerStrategy:
         buildArgs:
           - name: KMODVER
             value: DEMO
     output:
       to:
         kind: ImageStreamTag
         name: simple-kmod-driver-container:demo

2. 在以下命令中，使用您运行的 OpenShift Container Platform 版本的相关的正确 driver toolki 镜像替换 "DRIVER_TOOLKIT_IMAGE" 部分。

   $ OCP_VERSION=$(oc get clusterversion/version -ojsonpath={.status.desired.version})

   $ DRIVER_TOOLKIT_IMAGE=$(oc adm release info $OCP_VERSION --image-for=driver-toolkit)

   $ sed "s#DRIVER_TOOLKIT_IMAGE#${DRIVER_TOOLKIT_IMAGE}#" 0000-buildconfig.yaml.template > 0000-buildconfig.yaml

   注意

   OpenShift Container Platform 4.6 中引入了驱动程序工具包，其版本为 4.6.30，在 4.7 和 4.8 中的版本为 4.7.11。

3. 使用创建镜像流和构建配置

   $ oc create -f 0000-buildconfig.yaml

4. 构建器 Pod 成功完成后，将驱动程序容器镜像部署为 DaemonSet。

   1. 驱动程序容器必须使用特权安全上下文运行，才能在主机上加载内核模块。以下 YAML 文件包含用于运行驱动程序容器的 RBAC 规则和 DaemonSet。将此 YAML 保存为 1000-drivercontainer.yaml。

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: simple-kmod-driver-container
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: simple-kmod-driver-container
      rules:
      - apiGroups:
        - security.openshift.io
        resources:
        - securitycontextconstraints
        verbs:
        - use
        resourceNames:
        - privileged
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: simple-kmod-driver-container
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: simple-kmod-driver-container
      subjects:
      - kind: ServiceAccount
        name: simple-kmod-driver-container
      userNames:
      - system:serviceaccount:simple-kmod-demo:simple-kmod-driver-container
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        name: simple-kmod-driver-container
      spec:
        selector:
          matchLabels:
            app: simple-kmod-driver-container
        template:
          metadata:
            labels:
              app: simple-kmod-driver-container
          spec:
            serviceAccount: simple-kmod-driver-container
            serviceAccountName: simple-kmod-driver-container
            containers:
            - image: image-registry.openshift-image-registry.svc:5000/simple-kmod-demo/simple-kmod-driver-container:demo
              name: simple-kmod-driver-container
              imagePullPolicy: Always
              command: ["/sbin/init"]
              lifecycle:
                preStop:
                  exec:
                    command: ["/bin/sh", "-c", "systemctl stop kmods-via-containers@simple-kmod"]
              securityContext:
                privileged: true
            nodeSelector:
              node-role.kubernetes.io/worker: ""

   2. 创建 RBAC 规则和守护进程集：

      $ oc create -f 1000-drivercontainer.yaml

5. 当 pod 在 worker 节点上运行后，使用 lsmod 验证在主机机器上是否成功载入了 simple_kmod 内核模块。

   1. 验证 pod 是否正在运行：

      $ oc get pod -n simple-kmod-demo

      输出示例

      NAME                                 READY   STATUS      RESTARTS   AGE
      simple-kmod-driver-build-1-build     0/1     Completed   0          6m
      simple-kmod-driver-container-b22fd   1/1     Running     0          40s
      simple-kmod-driver-container-jz9vn   1/1     Running     0          40s
      simple-kmod-driver-container-p45cc   1/1     Running     0          40s

   2. 在驱动程序容器 pod 中执行 lsmod 命令：

      $ oc exec -it pod/simple-kmod-driver-container-p45cc -- lsmod | grep simple

      输出示例

      simple_procfs_kmod     16384  0
      simple_kmod            16384  0

1. 节点在两个逻辑控制单元 (LCU) 之间分发，以优化 control plane/etcd 节点的磁盘 I/O 负载，因为 etcd 非常大，且对延迟敏感。etcd I/O 需求不应干扰其他工作负载。
2. 四个计算节点用于运行同时具有 100/250/500 pod 的多个迭代的测试。首先，使用闲置 pod 来评估 pod 是否可以实例。接下来，使用网络和 CPU 要求客户端/服务器工作负载来评估系统在压力下的稳定性。客户端和服务器 pod 是部署范围，每个对分布在两个计算节点上。
3. 没有单独的工作负载节点。工作负载在两个计算节点之间模拟微服务工作负载。
4. 使用的物理处理器数量是 6 个用于 Linux (IFL)的集成设施。
5. 使用的总物理内存为 512 GiB。

流程

1. 在 web 控制台中，导航到 Compute → Bare Metal Hosts。
2. 选择 Add Host → New with Dialog。
3. 为新的裸机主机指定唯一名称。
4. 设置 引导 MAC 地址。
5. 设置 基板管理控制台（BMC）地址.
6. 可选：为主机启用电源管理。这允许 OpenShift Container Platform 控制主机的电源状态。
7. 输入主机的基板管理控制器（BMC）的用户凭据。
8. 选择在创建后打开主机电源，然后选择 Create。
9. 向上扩展副本数，以匹配可用的裸机主机数量。导航到 Compute → MachineSets，然后从 Actions 下拉菜单中选择 Edit Machine count 来增加集群中的机器副本数量。

流程

1. 在 web 控制台中，导航到 Compute → Bare Metal Hosts。
2. 选择 Add Host → New from YAML。

3. 复制并粘贴以下 YAML，使用您的主机详情修改相关字段：

   apiVersion: metal3.io/v1alpha1
   kind: BareMetalHost
   metadata:
     name: <bare_metal_host_name>
   spec:
     online: true
     bmc:
       address: <bmc_address>
       credentialsName: <secret_credentials_name>  1
       disableCertificateVerification: True
     bootMACAddress: <host_boot_mac_address>
     hardwareProfile: unknown

   1 1 1

   credentialsName 必须引用有效的 Secret CR。如果在 credentialsName 中没有引用有效的 Secret，则 baremetal-operator 无法管理裸机主机。如需有关 secret 以及如何创建 secret 的更多信息，请参阅了解 secret。

4. 选择 Create 以保存 YAML 并创建新的裸机主机。

5. 向上扩展副本数，以匹配可用的裸机主机数量。导航到 Compute → MachineSets，然后从 Actions 下拉菜单中选择 Edit Machine count 来增加集群中的机器数量。

   注意

   您还可以使用 oc scale 命令和适当的裸机机器集来管理裸机节点的数量。

流程

1. 通过添加 metal3.io/autoscale-to-hosts 注解来注解您要配置的用于自动扩展的机器集。将 <machineset> 替换为机器集的名称。

   $ oc annotate machineset <machineset> -n openshift-machine-api 'metal3.io/autoscale-to-hosts=<any_value>'

   等待新的缩放计算机启动。

流程

1. 通过添加 baremetalhost.metal3.io/detached 注解来注解您要从 provisioner 节点中删除的计算机器集。

   $ oc annotate machineset <machineset> -n openshift-machine-api 'baremetalhost.metal3.io/detached'

   等待新机器启动。

   注意

   当您使用 BareMetalHost 对象在集群中创建机器时，BareMetalHost 上更改了标签或选择器，BareMetalHost 对象仍然会根据创建 Machine 对象的 MachineSet 进行计数。

2. 在置备用例中，使用以下命令在重启完成后删除注解：

   $ oc annotate machineset <machineset> -n openshift-machine-api 'baremetalhost.metal3.io/detached-'

1. 通过标签标记所有需要相同巨页设置的节点。

   $ oc label node <node_using_hugepages> node-role.kubernetes.io/worker-hp=

2. 创建一个包含以下内容的文件，并把它命名为 hugepages_tuning.yaml：

   apiVersion: tuned.openshift.io/v1
   kind: Tuned
   metadata:
     name: hugepages 1
     namespace: openshift-cluster-node-tuning-operator
   spec:
     profile: 2
     - data: |
         [main]
         summary=Boot time configuration for hugepages
         include=openshift-node
         [bootloader]
         cmdline_openshift_node_hugepages=hugepagesz=2M hugepages=50 3
       name: openshift-node-hugepages
   
     recommend:
     - machineConfigLabels: 4
         machineconfiguration.openshift.io/role: "worker-hp"
       priority: 30
       profile: openshift-node-hugepages

   1

   将 Tuned 资源的 name 设置为 hugepages。

   2

   将 profile 部分设置为分配巨页。

   3

   请注意，参数顺序是非常重要的，因为有些平台支持各种大小的巨页。

   4

   启用基于机器配置池的匹配。

3. 创建 Tuned hugepages 对象

   $ oc create -f hugepages-tuned-boottime.yaml

4. 创建一个带有以下内容的文件，并把它命名为 hugepages-mcp.yaml：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: worker-hp
     labels:
       worker-hp: ""
   spec:
     machineConfigSelector:
       matchExpressions:
         - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,worker-hp]}
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker-hp: ""

5. 创建机器配置池：

   $ oc create -f hugepages-mcp.yaml

流程

1. 通过完成以下操作，为 Performance Addon Operator 创建命名空间：

   1. 创建用于定义 openshift-performance-addon-operator 命名空间的以下 Namespace 自定义资源（CR），然后在 pao-namespace.yaml 文件中保存 YAML：

      apiVersion: v1
      kind: Namespace
      metadata:
        name: openshift-performance-addon-operator
        annotations:
          workload.openshift.io/allowed: management

   2. 运行以下命令创建命名空间：

      $ oc create -f pao-namespace.yaml

2. 通过创建以下对象，在您上一步创建的命名空间中安装 Performance Addon Operator:

   1. 创建以下 OperatorGroup CR，并在 pao-operatorgroup.yaml 文件中保存 YAML:

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: openshift-performance-addon-operator
        namespace: openshift-performance-addon-operator

   2. 运行以下命令来创建 OperatorGroup CR:

      $ oc create -f pao-operatorgroup.yaml

   3. 运行以下命令获取下一步所需的 channel 值。

      $ oc get packagemanifest performance-addon-operator -n openshift-marketplace -o jsonpath='{.status.defaultChannel}'

      输出示例

      4.8

   4. 创建以下订阅 CR，并将 YAML 保存到 pao-sub.yaml 文件中：

      订阅示例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: openshift-performance-addon-operator-subscription
        namespace: openshift-performance-addon-operator
      spec:
        channel: "<channel>" 1
        name: performance-addon-operator
        source: redhat-operators 2
        sourceNamespace: openshift-marketplace

      1

      使用在前一步中获得的值指定 .status.defaultChannel 参数。

      2

      您必须指定 redhat-operators 值。

   5. 运行以下命令创建订阅对象：

      $ oc create -f pao-sub.yaml

   6. 进入 openshift-performance-addon-operator 项目：

      $ oc project openshift-performance-addon-operator

流程

1. 使用 OpenShift Container Platform Web 控制台安装 Performance Addon Operator:

   1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
   2. 从可用的 Operator 列表中选择 Performance Addon Operator，然后点 Install。
   3. 在 Install Operator 页面中，选择 All namespaces on the cluster。然后点击 Install。

2. 可选：验证 performance-addon-operator 是否已成功安装：

   1. 切换到 Operators → Installed Operators 页面。

   2. 确保 openshift-operators 项目中列出的 Performance Addon Operator 的 Status 为 Succeeded。

      注意

      在安装过程中，Operator 可能会显示 Failed 状态。如果后续安装成功并显示 Succeeded 信息，您可以忽略 Failed 信息。

      如果 Operator 没有被安装，您可以进一步排除故障：

      • 进入 Operators → Installed Operators 页面，检查 Operator Subscriptions 和 Install Plans 选项卡中的 Status 项中是否有任何错误。
      • 进入 Workloads → Pods 页面，检查 openshift-operators 项目中 pod 的日志。

流程

1. 运行以下命令：

   $ oc get csv

2. 查看输出，检查 PHASE 字段。例如：

   VERSION    REPLACES                                         PHASE
   4.8.0      performance-addon-operator.v4.8.0                Installing
   4.7.0                                                       Replacing

3. 再次运行 get csv 以验证输出：

   # oc get csv

   输出示例

   NAME                                DISPLAY                      VERSION   REPLACES                            PHASE
   performance-addon-operator.v4.8.0   Performance Addon Operator   4.8.0     performance-addon-operator.v4.7.0   Succeeded

1. 在集群上安装 Performance Addon Operator。
2. 可选：在 OpenShift Container Platform 集群中添加节点。请参阅设置 BIOS 参数。
3. 使用 oc 命令将标签 worker-rt 添加到需要实时功能的 worker 节点。

4. 为实时节点创建新机器配置池：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: worker-rt
     labels:
       machineconfiguration.openshift.io/role: worker-rt
   spec:
     machineConfigSelector:
       matchExpressions:
         - {
              key: machineconfiguration.openshift.io/role,
              operator: In,
              values: [worker, worker-rt],
           }
     paused: false
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker-rt: ""

   请注意，为具有标签 worker-rt 标签的节点组创建一个机器配置池 worker-rt。

5. 使用节点角色标签将节点添加到正确的机器配置池。

   注意

   您必须决定使用实时工作负载配置哪些节点。您可以配置集群中的所有节点，或配置节点的子集。期望所有节点都是专用机器配置池的一部分的 Performance Addon Operator。如果使用所有节点，您必须将 Performance Addon Operator 指向 worker 节点角色标签。如果使用子集，您必须将节点分组到新机器配置池中。

6. 使用正确的 housekeeping 内核和 realTimeKernel: enabled: true 创建 PerformanceProfile。

7. 您必须在 PerformanceProfile 中设置 MachineConfigPoolSelector ：

     apiVersion: performance.openshift.io/v2
     kind: PerformanceProfile
     metadata:
      name: example-performanceprofile
     spec:
     ...
       realTimeKernel:
         enabled: true
       nodeSelector:
          node-role.kubernetes.io/worker-rt: ""
       machineConfigPoolSelector:
          machineconfiguration.openshift.io/role: worker-rt

8. 验证匹配的机器配置池是否存在一个标签：

   $ oc describe mcp/worker-rt

   输出示例

   Name:         worker-rt
   Namespace:
   Labels:       machineconfiguration.openshift.io/role=worker-rt

9. OpenShift Container Platform 将开始配置节点，这可能涉及多次重启。等待节点处于稳定状态。这个过程所需要的时间取决于您所使用的具体硬件，预计每个节点需要 20 分钟。
10. 验证所有内容是否按预期工作。

流程

1. 创建带有 Guaranteed 类 QoS 类的 pod。
2. 可选：禁用 DPDK 的 CPU 负载均衡。
3. 分配正确的节点选择器。

1. 创建 pod：

   $ oc  apply -f qos-pod.yaml --namespace=qos-example

2. 查看有关 pod 的详细信息：

   $ oc get pod qos-demo --namespace=qos-example --output=yaml

   输出示例

   spec:
     containers:
       ...
   status:
     qosClass: Guaranteed

   注意

   如果容器指定了自己的内存限值，但没有指定内存请求，OpenShift Container Platform 会自动分配与限制匹配的内存请求。同样，如果容器指定了自己的 CPU 限值，但没有指定 CPU 请求，OpenShift Container Platform 会自动分配与限制匹配的 CPU 请求。

1. 以具有 cluster-admin 权限的用户身份登录 OpenShift Container Platform 集群。
2. 将性能配置集 apiVersion 设置为使用 performance.openshift.io/v2。
3. 删除 globallyDisableIrqLoadBalancing 字段，或把它设置为 false。

4. 设置适当的隔离 CPU 和保留的 CPU。以下片段演示了保留 2 个 CPU 的配置集。对于在 isolated CPU 集中运行的 pod，启用 IRQ 负载均衡：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: dynamic-irq-profile
   spec:
     cpu:
       isolated: 2-5
       reserved: 0-1
   ...

   注意

   当您配置保留的和隔离的 CPU 时，pod 中的 infra 容器将使用保留的 CPU,应用程序容器则使用隔离的 CPU。

5. 创建使用独有 CPU 的 pod，并将 irq-load-balancing.crio.io 和 cpu-quota.crio.io 注解设置为 disable。例如：

   apiVersion: v1
   kind: Pod
   metadata:
     name: dynamic-irq-pod
     annotations:
        irq-load-balancing.crio.io: "disable"
        cpu-quota.crio.io: "disable"
   spec:
     containers:
     - name: dynamic-irq-pod
       image: "quay.io/openshift-kni/cnf-tests:4.8"
       command: ["sleep", "10h"]
       resources:
         requests:
           cpu: 2
           memory: "200M"
         limits:
           cpu: 2
           memory: "200M"
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     runtimeClassName: performance-dynamic-irq-profile
   ...

6. 以 performance-<profile_name> 格式输入 pod 的 runtimeClassName，其中 <profile_name> 是来自 PerformanceProfile YAML 的 name，在本例中是 performance-dynamic-irq-profile。
7. 将节点选择器设置为以 cnf-worker 为目标。

8. 确保 pod 正确运行。状态应该为 running，并应正确设置了 cnf-worker 节点：

   $ oc get pod -o wide

   预期输出

   NAME              READY   STATUS    RESTARTS   AGE     IP             NODE          NOMINATED NODE   READINESS GATES
   dynamic-irq-pod   1/1     Running   0          5h33m   <ip-address>   <node-name>   <none>           <none>

9. 获取为 IRQ 动态负载均衡配置的 pod 运行 CPU：

   $ oc exec -it dynamic-irq-pod -- /bin/bash -c "grep Cpus_allowed_list /proc/self/status | awk '{print $2}'"

   预期输出

   Cpus_allowed_list:  2-3

10. 确保正确应用节点配置。SSH 到节点以验证配置。

    $ oc debug node/<node-name>

    预期输出

    Starting pod/<node-name>-debug ...
    To use host binaries, run `chroot /host`
    
    Pod IP: <ip-address>
    If you don't see a command prompt, try pressing enter.
    
    sh-4.4#

11. 验证可以使用节点文件系统：

    sh-4.4# chroot /host

    预期输出

    sh-4.4#

12. 确保默认系统 CPU 关联性掩码不包括 dynamic-irq-pod CPU，如 CPU 2 和 3。

    $ cat /proc/irq/default_smp_affinity

    输出示例

    33

13. 确定系统 IRQ 没有配置为在 dynamic-irq-pod CPU 中运行：

    find /proc/irq/ -name smp_affinity_list -exec sh -c 'i="$1"; mask=$(cat $i); file=$(echo $i); echo $file: $mask' _ {} \;

    输出示例

    /proc/irq/0/smp_affinity_list: 0-5
    /proc/irq/1/smp_affinity_list: 5
    /proc/irq/2/smp_affinity_list: 0-5
    /proc/irq/3/smp_affinity_list: 0-5
    /proc/irq/4/smp_affinity_list: 0
    /proc/irq/5/smp_affinity_list: 0-5
    /proc/irq/6/smp_affinity_list: 0-5
    /proc/irq/7/smp_affinity_list: 0-5
    /proc/irq/8/smp_affinity_list: 4
    /proc/irq/9/smp_affinity_list: 4
    /proc/irq/10/smp_affinity_list: 0-5
    /proc/irq/11/smp_affinity_list: 0
    /proc/irq/12/smp_affinity_list: 1
    /proc/irq/13/smp_affinity_list: 0-5
    /proc/irq/14/smp_affinity_list: 1
    /proc/irq/15/smp_affinity_list: 0
    /proc/irq/24/smp_affinity_list: 1
    /proc/irq/25/smp_affinity_list: 1
    /proc/irq/26/smp_affinity_list: 1
    /proc/irq/27/smp_affinity_list: 5
    /proc/irq/28/smp_affinity_list: 1
    /proc/irq/29/smp_affinity_list: 0
    /proc/irq/30/smp_affinity_list: 0-5

流程

1. 确定在您要配置的主机的 CPU 上运行哪些线程。

   您可以通过登录到集群并运行以下命令来查看在主机 CPU 上运行哪些线程：

   $ lscpu --all --extended

   输出示例

   CPU NODE SOCKET CORE L1d:L1i:L2:L3 ONLINE MAXMHZ    MINMHZ
   0   0    0      0    0:0:0:0       yes    4800.0000 400.0000
   1   0    0      1    1:1:1:0       yes    4800.0000 400.0000
   2   0    0      2    2:2:2:0       yes    4800.0000 400.0000
   3   0    0      3    3:3:3:0       yes    4800.0000 400.0000
   4   0    0      0    0:0:0:0       yes    4800.0000 400.0000
   5   0    0      1    1:1:1:0       yes    4800.0000 400.0000
   6   0    0      2    2:2:2:0       yes    4800.0000 400.0000
   7   0    0      3    3:3:3:0       yes    4800.0000 400.0000

   在这个示例中，在四个物理 CPU 内核中运行了八个逻辑 CPU 内核。CPU0 和 CPU4 在物理 Core0 中运行，CPU1 和 CPU5 在物理 Core 1 中运行，以此类推。

   另外要查看为特定物理 CPU 内核设定的线程（以下示例中的cpu0 ），打开命令提示符并运行以下命令：

   $ cat /sys/devices/system/cpu/cpu0/topology/thread_siblings_list

   输出示例

   0-4

2. 在 PerformanceProfile YAML 中应用隔离和保留的 CPU。例如，您可以将逻辑内核 CPU0 和 CPU4 设置为 isolated；将逻辑内核 CPU1 到 CPU3 以及 CPU5 到 CPU7 设置为 reserved。当您配置保留的和隔离的 CPU 时，pod 中的 infra 容器将使用保留的 CPU,应用程序容器则使用隔离的 CPU。

   ...
     cpu:
       isolated: 0,4
       reserved: 1-3,5-7
   ...

   注意

   保留和隔离的 CPU 池不得重叠，并且必须一起跨越 worker 节点中的所有可用内核。

流程

1. 创建适合环境硬件和拓扑的性能配置集。

2. 使用您想要为 infra 和应用程序容器保留和隔离的 CPU 添加 reserved 和 isolated 参数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: infra-cpus
   spec:
     cpu:
       reserved: "0-4,9" 1
       isolated: "5-8" 2
     nodeSelector: 3
       node-role.kubernetes.io/worker: ""

   1

   指定 infra 容器用于执行集群和操作系统日常任务的 CPU。

   2

   指定应用程序容器运行工作负载的 CPU。

   3

   可选：指定一个节点选择器，以将性能配置集应用到特定的节点。

流程

1. 以具有 cluster-admin 权限的用户身份登录运行 Performance Addon Operator 的 OpenShift Container Platform 集群。
2. 创建并应用适合您的硬件和拓扑的性能配置集。有关创建配置集的指南，请参阅"创建性能配置集"部分。

3. 编辑这个创建的性能配置集：

   $ oc edit -f <your_profile_name>.yaml

4. 使用 net 对象填充 spec 字段。对象列表可以包含两个字段：

   • userLevelNetworking 是一个必需字段，指定为布尔值标记。如果 userLevelNetworking 为 true，则队列数将设置为所有支持设备的保留 CPU 计数。默认值为 false。

   • devices 是一个可选字段，指定队列设置为保留 CPU 数的设备列表。如果设备列表为空，则配置适用于所有网络设备。配置如下：

     • interfaceName：此字段指定接口名称，并支持 shell 样式的通配符，可以是正数或负数。

       • 通配符语法示例如下： <string> .*
       • 负规则的前缀为感叹号。要将网络队列更改应用到排除列表以外的所有设备，请使用 !<device>。例如 !eno1。
     • vendorID：网络设备供应商 ID，以带有 0x 前缀的 16 位十六进制数字代表。

     • deviceID：网络设备 ID（model），以带有 0x 前缀的 16 位十六进制数字代表。

       注意

       当指定 deviceID 时，还必须定义 vendorID。与设备条目 interfaceName、vendorID 或 vendorID 加 deviceID 中指定的所有设备标识符相匹配的设备会被视为一个网络设备。然后，此网络设备的 net 队列数设置为保留的 CPU 计数。

       当指定了两个或多个设备时，网络队列数将设置为与其中一个设备匹配的任何网络设备。

5. 使用此示例性能配置集将所有设备的队列数设置为保留的 CPU 计数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,54-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

6. 使用这个示例性能配置集，将所有与任何定义的设备标识符匹配的保留 CPU 数设置为保留的 CPU 计数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,54-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: “eth0”
       - interfaceName: “eth1”
       - vendorID: “0x1af4”
       - deviceID: “0x1000”
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

7. 使用这个示例性能配置集，将所有以接口名称 eth 开头的设备的队列数设置为保留的 CPU 计数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,54-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: “eth*”
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

8. 使用这个示例性能配置集。将所有设备的队列数设置为保留的 CPU 计数，该接口具有 eno1 以外的任何接口：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,54-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: “!eno1”
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

9. 使用这个示例性能配置集，将所有具有接口名称 eth0，vendorID 为 0x1af4、deviceID 为 0x1000 的设备的队列数设置为保留 CPU 数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: manual
   spec:
     cpu:
       isolated: 3-51,54-103
       reserved: 0-2,52-54
     net:
       userLevelNetworking: true
       devices:
       - interfaceName: “eth0”
       - vendorID: “0x1af4”
       - deviceID: “0x1000”
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""

10. 应用更新的性能配置集：

    $ oc apply -f <your_profile_name>.yaml

1. 关联的机器配置池处于降级状态：

   # oc get mcp

   输出示例

   NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master       rendered-master-2ee57a93fa6c9181b546ca46e1571d2d       True      False      False      3              3                   3                     0                      2d21h
   worker       rendered-worker-d6b2bdc07d9f5a59a6b68950acf25e5f       True      False      False      2              2                   2                     0                      2d21h
   worker-cnf   rendered-worker-cnf-6c838641b8a08fff08dbd8b02fb63f7c   False     True       True       2              1                   1                     1                      2d20h

2. MCP 的 describe 部分包括了原因：

   # oc describe mcp worker-cnf

   输出示例

     Message:               Node node-worker-cnf is reporting: "prepping update:
     machineconfig.machineconfiguration.openshift.io \"rendered-worker-cnf-40b9996919c08e335f3ff230ce1d170\" not
     found"
       Reason:                1 nodes are reporting degraded status on sync

3. 降级状态也应该出现在标记为 degraded = true 的性能配置集的 status 字段中：

   # oc describe performanceprofiles performance

   输出示例

   Message: Machine config pool worker-cnf Degraded Reason: 1 nodes are reporting degraded status on sync.
   Machine config pool worker-cnf Degraded Message: Node yquinn-q8s5v-w-b-z5lqn.c.openshift-gce-devel.internal is
   reporting: "prepping update: machineconfig.machineconfiguration.openshift.io
   \"rendered-worker-cnf-40b9996919c08e335f3ff230ce1d170\" not found".    Reason:  MCPDegraded
      Status:  True
      Type:    Degraded

流程

1. 进入存储 must-gather 数据的目录。

2. 使用一个或多个 --image 或 --image-stream 参数运行 oc adm must-gather 命令。例如，使用以下命令可收集默认集群数据和 Performance Addon Operator 特定信息：

   $ oc adm must-gather \
    --image-stream=openshift/must-gather \ 1
   
    --image=registry.redhat.io/openshift4/performance-addon-operator-must-gather-rhel8:v4.8 2

   1

   默认 OpenShift Container Platform must-gather 镜像。

   2

   低延迟调整诊断的 must-gather 镜像。

3. 从工作目录中创建的 must-gather 目录创建一个压缩文件。例如，在使用 Linux 操作系统的计算机上运行以下命令：

    $ tar cvaf must-gather.tar.gz must-gather.local.5421342344627712289/ 1

   1

   将 must-gather-local.5421342344627712289/ 替换为实际目录名称。

4. 在红帽客户门户中为您的问题单附上压缩文件。

流程

1. 进入存储 must-gather 数据的目录。

2. 在集群中运行 must-gather：

   $ oc adm must-gather --image=<PAO_image> --dest-dir=<dir>

   注意

   must-gather 命令必须使用 performance-addon-operator-must-gather 镜像运行。输出可以被压缩（可选）。如果您正在运行性能配置集 Creator wrapper 脚本，则需要压缩输出。

   示例

   $ oc adm must-gather --image=registry.redhat.io/openshift4/performance-addon-operator-must-gather-rhel8:v4.8 --dest-dir=must-gather

3. 从 must-gather 目录创建一个压缩文件：

   $ tar cvaf must-gather.tar.gz must-gather/

流程

1. 检查机器配置池：

   $ oc get mcp

   输出示例

   NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master       rendered-master-acd1358917e9f98cbdb599aea622d78b       True      False      False      3              3                   3                     0                      22h
   worker-cnf   rendered-worker-cnf-1d871ac76e1951d32b2fe92369879826   False     True       False      2              1                   1                     0                      22h

2. 使用 Podman 向 registry.redhat.io 进行身份验证：

   $ podman login registry.redhat.io

   Username: myrhusername
   Password: ************

3. 可选：显示 PPC 工具的帮助信息：

   $ podman run --entrypoint performance-profile-creator registry.redhat.io/openshift4/performance-addon-rhel8-operator:v4.8 -h

   输出示例

   A tool that automates creation of Performance Profiles
   
   Usage:
     performance-profile-creator [flags]
   
   Flags:
         --disable-ht                        Disable Hyperthreading
     -h, --help                              help for performance-profile-creator
         --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
         --mcp-name string                   MCP name corresponding to the target machines (required)
         --must-gather-dir-path string       Must gather directory path (default "must-gather")
         --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
         --profile-name string               Name of the performance profile to be created (default "performance")
         --reserved-cpu-count int            Number of reserved CPUs (required)
         --rt-kernel                         Enable Real Time Kernel (required)
         --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
         --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
         --user-level-networking             Run with User level Networking(DPDK) enabled

4. 以发现模式运行 Performance Profile Creator 工具：

   注意

   发现模式使用 must-gather 的输出来检查您的集群。生成的输出包括以下信息：

   • 使用分配的 CPU ID 进行 NUMA 单元分区
   • 是否启用超线程

   使用此信息，您可以为提供给 Performance Profile Creator 工具的部分参数设置适当的值。

   $ podman run --entrypoint performance-profile-creator -v /must-gather:/must-gather:z registry.redhat.io/openshift4/performance-addon-rhel8-operator:v4.8 --info log --must-gather-dir-path /must-gather

   注意

   此命令使用性能配置集创建器作为 podman 的新入口点。它将主机的 must-gather 数据映射到容器镜像，并调用所需的用户提供的配置集参数来生成 my-performance-profile.yaml 文件。

   -v 选项可以是到以下的任一路径：

   • must-gather 输出目录
   • 包含 must-gather 解压缩 tarball 的现有目录

   info 选项要求值指定输出格式。可能的值有 log 和 JSON。JSON 格式被保留用于调试。

5. 运行 podman：

   $ podman run --entrypoint performance-profile-creator -v /must-gather:/must-gather:z registry.redhat.io/openshift4/performance-addon-rhel8-operator:v4.8 --mcp-name=worker-cnf --reserved-cpu-count=20 --rt-kernel=true --split-reserved-cpus-across-numa=false --topology-manager-policy=single-numa-node --must-gather-dir-path /must-gather  --power-consumption-mode=ultra-low-latency > my-performance-profile.yaml

   注意

   Performance Profile Creator 参数显示在 Performance Profile Creator 参数表中。需要以下参数：

   • reserved-cpu-count
   • mcp-name
   • rt-kernel

   本例中的 mcp-name 参数根据 oc get mcp 命令的输出设置为 worker-cnf。对于单节点 OpenShift（SNO），使用 --mcp-name=master。

6. 查看创建的 YAML 文件：

   $ cat my-performance-profile.yaml

   输出示例

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     additionalKernelArgs:
     - nmi_watchdog=0
     - audit=0
     - mce=off
     - processor.max_cstate=1
     - intel_idle.max_cstate=0
     - idle=poll
     cpu:
       isolated: 1,3,5,7,9,11,13,15,17,19-39,41,43,45,47,49,51,53,55,57,59-79
       reserved: 0,2,4,6,8,10,12,14,16,18,40,42,44,46,48,50,52,54,56,58
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: single-numa-node
     realTimeKernel:
       enabled: true

7. 应用生成的配置集：

   注意

   在应用配置集前安装 Performance Addon Operator。

   $ oc apply -f my-performance-profile.yaml

流程

1. 在本地机器上创建一个文件，例如 run-perf-profile-creator.sh：

   $ vi run-perf-profile-creator.sh

2. 将以下代码粘贴到文件中：

   #!/bin/bash
   
   readonly CONTAINER_RUNTIME=${CONTAINER_RUNTIME:-podman}
   readonly CURRENT_SCRIPT=$(basename "$0")
   readonly CMD="${CONTAINER_RUNTIME} run --entrypoint performance-profile-creator"
   readonly IMG_EXISTS_CMD="${CONTAINER_RUNTIME} image exists"
   readonly IMG_PULL_CMD="${CONTAINER_RUNTIME} image pull"
   readonly MUST_GATHER_VOL="/must-gather"
   
   PAO_IMG="registry.redhat.io/openshift4/performance-addon-rhel8-operator:v4.8"
   MG_TARBALL=""
   DATA_DIR=""
   
   usage() {
     print "Wrapper usage:"
     print "  ${CURRENT_SCRIPT} [-h] [-p image][-t path] -- [performance-profile-creator flags]"
     print ""
     print "Options:"
     print "   -h                 help for ${CURRENT_SCRIPT}"
     print "   -p                 Performance Addon Operator image"
     print "   -t                 path to a must-gather tarball"
   
     ${IMG_EXISTS_CMD} "${PAO_IMG}" && ${CMD} "${PAO_IMG}" -h
   }
   
   function cleanup {
     [ -d "${DATA_DIR}" ] && rm -rf "${DATA_DIR}"
   }
   trap cleanup EXIT
   
   exit_error() {
     print "error: $*"
     usage
     exit 1
   }
   
   print() {
     echo  "$*" >&2
   }
   
   check_requirements() {
     ${IMG_EXISTS_CMD} "${PAO_IMG}" || ${IMG_PULL_CMD} "${PAO_IMG}" || \
         exit_error "Performance Addon Operator image not found"
   
     [ -n "${MG_TARBALL}" ] || exit_error "Must-gather tarball file path is mandatory"
     [ -f "${MG_TARBALL}" ] || exit_error "Must-gather tarball file not found"
   
     DATA_DIR=$(mktemp -d -t "${CURRENT_SCRIPT}XXXX") || exit_error "Cannot create the data directory"
     tar -zxf "${MG_TARBALL}" --directory "${DATA_DIR}" || exit_error "Cannot decompress the must-gather tarball"
     chmod a+rx "${DATA_DIR}"
   
     return 0
   }
   
   main() {
     while getopts ':hp:t:' OPT; do
       case "${OPT}" in
         h)
           usage
           exit 0
           ;;
         p)
           PAO_IMG="${OPTARG}"
           ;;
         t)
           MG_TARBALL="${OPTARG}"
           ;;
         ?)
           exit_error "invalid argument: ${OPTARG}"
           ;;
       esac
     done
     shift $((OPTIND - 1))
   
     check_requirements || exit 1
   
     ${CMD} -v "${DATA_DIR}:${MUST_GATHER_VOL}:z" "${PAO_IMG}" "$@" --must-gather-dir-path "${MUST_GATHER_VOL}"
     echo "" 1>&2
   }
   
   main "$@"

3. 为这个脚本中的每个人添加执行权限：

   $ chmod a+x run-perf-profile-creator.sh

4. 可选：显示 run-perf-profile-creator.sh 命令用法：

   $ ./run-perf-profile-creator.sh -h

   预期输出

   Wrapper usage:
     run-perf-profile-creator.sh [-h] [-p image][-t path] -- [performance-profile-creator flags]
   
   Options:
      -h                 help for run-perf-profile-creator.sh
      -p                 Performance Addon Operator image 1
      -t                 path to a must-gather tarball 2
   
   A tool that automates creation of Performance Profiles
   
      Usage:
        performance-profile-creator [flags]
   
      Flags:
            --disable-ht                        Disable Hyperthreading
        -h, --help                              help for performance-profile-creator
            --info string                       Show cluster information; requires --must-gather-dir-path, ignore the other arguments. [Valid values: log, json] (default "log")
            --mcp-name string                   MCP name corresponding to the target machines (required)
            --must-gather-dir-path string       Must gather directory path (default "must-gather")
            --power-consumption-mode string     The power consumption mode.  [Valid values: default, low-latency, ultra-low-latency] (default "default")
            --profile-name string               Name of the performance profile to be created (default "performance")
            --reserved-cpu-count int            Number of reserved CPUs (required)
            --rt-kernel                         Enable Real Time Kernel (required)
            --split-reserved-cpus-across-numa   Split the Reserved CPUs across NUMA nodes
            --topology-manager-policy string    Kubelet Topology Manager Policy of the performance profile to be created. [Valid values: single-numa-node, best-effort, restricted] (default "restricted")
            --user-level-networking             Run with User level Networking(DPDK) enabled

   注意

   有两个参数类型：

   • wrapper 参数，即 -h、-p 和 -t
   • PPC 参数

   1

   可选：指定 Performance Addon Operator 镜像。如果没有设置，则使用默认上游镜像： registry.redhat.io/openshift4/performance-addon-rhel8-operator:v4.8。

   2

   -t 是必需的打包程序脚本参数，并指定 must-gather tarball 的路径。

5. 以发现模式运行性能配置集创建器工具：

   注意

   发现模式使用 must-gather 的输出来检查您的集群。生成的输出包括以下信息：

   • 使用分配的 CPU ID 进行 NUMA 单元分区
   • 是否启用超线程

   使用此信息，您可以为提供给 Performance Profile Creator 工具的部分参数设置适当的值。

   $ ./run-perf-profile-creator.sh -t /must-gather/must-gather.tar.gz -- --info=log

   注意

   info 选项要求值指定输出格式。可能的值有 log 和 JSON。JSON 格式被保留用于调试。

6. 检查机器配置池：

   $ oc get mcp

   输出示例

   NAME         CONFIG                                                 UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master       rendered-master-acd1358917e9f98cbdb599aea622d78b       True      False      False      3              3                   3                     0                      22h
   worker-cnf   rendered-worker-cnf-1d871ac76e1951d32b2fe92369879826   False     True       False      2              1                   1                     0                      22h

7. 创建性能配置集：

   $ ./run-perf-profile-creator.sh -t /must-gather/must-gather.tar.gz -- --mcp-name=worker-cnf --reserved-cpu-count=2 --rt-kernel=true > my-performance-profile.yaml

   注意

   Performance Profile Creator 参数显示在 Performance Profile Creator 参数表中。需要以下参数：

   • reserved-cpu-count
   • mcp-name
   • rt-kernel

   本例中的 mcp-name 参数根据 oc get mcp 命令的输出设置为 worker-cnf。对于单节点 OpenShift（SNO），使用 --mcp-name=master。

8. 查看创建的 YAML 文件：

   $ cat my-performance-profile.yaml

   输出示例

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     cpu:
       isolated: 1-39,41-79
       reserved: 0,40
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: restricted
     realTimeKernel:
       enabled: false

9. 应用生成的配置集：

   注意

   在应用配置集前安装 Performance Addon Operator。

   $ oc apply -f my-performance-profile.yaml