第 8 章 配置低延迟

流程

• 运行以下命令来安装低延迟 RPM 软件包：

  $ sudo dnf install -y microshift-low-latency

  提示

  等待主机重启，直到激活 TuneD 配置集后。重启主机重启 MicroShift 和 CRI-O，它应用低延迟清单并激活 TuneD 配置集。

先决条件

• 已安装 OpenShift CLI（oc）。
• 有对集群的 root 访问权限。
• 您在 /etc/microshift/ 目录中生成提供的 config.yaml.default 文件的副本，并将它重命名为 config.yaml。

流程

• 将 kubelet 配置添加到 MicroShift config.yaml 文件中：

  passthrough kubelet 配置示例

  apiServer:
  # ...
  kubelet: 1
    cpuManagerPolicy: static 2
    cpuManagerPolicyOptions:
      full-pcpus-only: "true" 3
    cpuManagerReconcilePeriod: 5s
    memoryManagerPolicy: Static 4
    topologyManagerPolicy: single-numa-node
    reservedSystemCPUs: 0-1 5
    reservedMemory:
    - limits:
        memory: 1100Mi 6
      numaNode: 0
    kubeReserved:
      memory: 500Mi
    systemReserved:
      memory: 500Mi
    evictionHard: 7
      imagefs.available: "15%" 8
      memory.available: "100Mi" 9
      nodefs.available: "10%" 10
      nodefs.inodesFree: "5%" 11
    evictionPressureTransitionPeriod: 0s
  # ...

  1

  如果您在 kubelet 配置中更改 CPU 或内存管理器，您必须删除缓存之前配置的文件。重启主机以自动删除它们，或者手动删除 /var/lib/kubelet/cpu_manager_state 和 /var/lib/kubelet/memory_manager_state 文件。

  2

  要使用的策略的名称。有效值为 none 和 static。需要启用 CPUManager 功能门。默认值为 none。

  3

  一组 key=value 对，用于设置额外选项，以微调 CPUManager 策略的行为。默认值为 null。需要启用 CPUManager 和 CPUManagerPolicyOptions 功能门。

  4

  Memory Manager 使用的策略名称。区分大小写。默认值为 none。需要启用 MemoryManager 功能门。

  5

  必需。reservedSystemCPUs 值必须是离线 CPU 的反转，因为组合的值都必须考虑系统中的所有 CPU。这个参数对于划分管理和应用程序工作负载非常重要。使用此参数为主机级别系统和 Kubernetes 守护进程定义静态 CPU 设置，以及中断和计时器。然后，系统中的其余 CPU 专门用于工作负载。

  6

  本例中的 reservedMemory[0].limits.memory,1100 Mi 的值等于 kubeReserved.memory + systemReserved.memory + evictionHard.memory.available。

  7

  evictionHard 参数定义 kubelet 在哪些情况下驱除 pod。当您更改 evictionHard 小节的一个参数的默认值时，其他参数的默认值不会继承，且设置为零。即使您想要只更改一个阈值，也请提供所有阈值。

  8

  imagefs 是一个文件系统，容器运行时用来存储容器镜像和容器可写入层。在本例中，evictionHard.imagefs.available 参数意味着当镜像文件系统的可用空间小于 15% 时 pod 会被驱除。

  9

  在本例中，evictionHard.memory.available 参数意味着当节点的可用内存下降到 100MiB 时，pod 会被驱除。

  10

  在本例中，evictionHard.nodefs.available 参数意味着当节点的主文件系统小于 10% 时，pod 会被驱除。

  11

  在本例中，evictionHard.nodefs.inodesFree 参数意味着，在使用节点主文件系统内节点的 15% 时 pod 会被驱除。

验证

• 完成后续步骤并重新启动主机后，您可以使用 root-access 帐户来检查您的设置是否在 /var/lib/microshift/resources/kubelet/config/ 目录中的 config.yaml 文件中。

• 使用 TuneD 配置集根据不同的用例调优您的系统，如部署低延迟 MicroShift 集群。
• 您可以修改为每个配置集定义的规则，并自定义特定设备的调整。
• 当您切换到另一个配置集或取消激活 TuneD 时，对之前配置集进行的所有更改都会恢复到其原始状态。
• 您还可以将 TuneD 配置为响应设备使用的变化，并调整设置以提高活跃设备的性能并减少不活跃设备的功耗。

• 使用实时内核与标准内核一样，系统调优非常重要。
• 在运行作为 RHEL 9 版本的一部分所提供的、未调整的标准内核系统上安装实时内核可能无法获得显著的好处。
• 调优标准内核会获得大约 90% 的延迟。
• 实时内核提供要求最高的工作负载所需的最后 10% 的延迟减少。

• 嵌入 RHEL for Edge 镜像

先决条件

• 已安装 microshift-low-latency RPM 软件包。
• 配置了工作负载分区。

流程

• 使用以下示例在 pod 规格中设置以下注解：

  cpu-load-balancing.crio.io: "disable"
  irq-load-balancing.crio.io: "disable"
  cpu-quota.crio.io: "disable"
  cpu-load-balancing.crio.io: "disable"
  cpu-freq-governor.crio.io: "<governor>"

  运行 oslat 测试的 pod 示例：

  apiVersion: v1
  kind: Pod
  metadata:
    name: oslat
    annotations:
      cpu-load-balancing.crio.io: "disable" 1
      irq-load-balancing.crio.io: "disable" 2
      cpu-quota.crio.io: "disable" 3
      cpu-c-states.crio.io: "disable" 4
      cpu-freq-governor.crio.io: "<governor>" 5
  spec:
    runtimeClassName: microshift-low-latency 6
    containers:
    - name: oslat
      image: quay.io/container-perf-tools/oslat
      imagePullPolicy: Always
      resources:
        requests:
          memory: "400Mi"
          cpu: "2"
        limits:
          memory: "400Mi"
          cpu: "2"
      env:
      - name: tool
        value: "oslat"
      - name: manual
        value: "n"
      - name: PRIO
        value: "1"
      - name: delay
        value: "0"
      - name: RUNTIME_SECONDS
        value: "60"
      - name: TRACE_THRESHOLD
        value: ""
      - name: EXTRA_ARGS
        value: ""
      securityContext:
        privileged: true
        capabilities:
          add:
            - SYS_NICE
            - IPC_LOCK

  1

  禁用 pod 的 CPU 负载均衡。

  2

  选择 pod 不使用中断处理(IRQ)。

  3

  在 pod 运行时禁用 CPU 完全公平调度程序(CFS)配额。

  4

  为每个 CPU 启用或禁用 C-states。将值设为 disable，以便为高优先级 pod 提供最佳性能。

  5

  为每个 CPU 设置 cpufreq 调控器。对于高优先级工作负载，建议使用 performance governor。

  6

  runtimeClassName 必须与集群中配置的性能配置集的名称匹配。例如，microshift-low-latency。

  注意

  仅在启用了 CPU 管理器静态策略以及带有保证 QoS 使用整个 CPU 的 pod 时，禁用 CPU 负载均衡。否则，禁用 CPU 负载均衡会影响集群中其他容器的性能。

  重要

  要使 pod 具有 Guaranteed QoS 类，在请求和限值中，它必须具有相同的 CPU 和内存值。请参阅 Guaranteed (Kubernetes 上游文档)