5.3. 配置 MCO 相关的自定义资源

先决条件

1. 为您要配置的节点类型获取与静态 MachineConfigPool CR 关联的标签。执行以下步骤之一：

   1. 查看机器配置池：

      $ oc describe machineconfigpool <name>

      例如：

      $ oc describe machineconfigpool worker

      输出示例

      apiVersion: machineconfiguration.openshift.io/v1
      kind: MachineConfigPool
      metadata:
        creationTimestamp: 2019-02-08T14:52:39Z
        generation: 1
        labels:
          custom-kubelet: set-max-pods 1

      1

      如果添加了标签，它会出现在 labels 下。

   2. 如果标签不存在，则添加一个键/值对：

      $ oc label machineconfigpool worker custom-kubelet=set-max-pods

流程

1. 查看您可以选择的可用机器配置对象：

   $ oc get machineconfig

   默认情况下，与 kubelet 相关的配置为 01-master-kubelet 和 01-worker-kubelet。

2. 检查每个节点的最大 pod 的当前值：

   $ oc describe node <node_name>

   例如：

   $ oc describe node ci-ln-5grqprb-f76d1-ncnqq-worker-a-mdv94

   在 Allocatable 小节中找到 value: pods: <value>：

   输出示例

   Allocatable:
    attachable-volumes-aws-ebs:  25
    cpu:                         3500m
    hugepages-1Gi:               0
    hugepages-2Mi:               0
    memory:                      15341844Ki
    pods:                        250

3. 通过创建一个包含 kubelet 配置的自定义资源文件，设置 worker 节点上的每个节点的最大 pod：

   重要

   以特定机器配置池为目标的 kubelet 配置也会影响任何依赖的池。例如，为包含 worker 节点的池创建 kubelet 配置也适用于任何子集池，包括包含基础架构节点的池。要避免这种情况，您必须使用仅包含 worker 节点的选择表达式创建新的机器配置池，并让 kubelet 配置以这个新池为目标。

   apiVersion: machineconfiguration.openshift.io/v1
   kind: KubeletConfig
   metadata:
     name: set-max-pods
   spec:
     machineConfigPoolSelector:
       matchLabels:
         custom-kubelet: set-max-pods 1
     kubeletConfig:
       maxPods: 500 2

   1

   输入机器配置池中的标签。

   2

   添加 kubelet 配置。在本例中，使用 maxPods 设置每个节点的最大 pod。

   注意

   kubelet 与 API 服务器进行交互的频率取决于每秒的查询数量 (QPS) 和 burst 值。如果每个节点上运行的 pod 数量有限，使用默认值（kubeAPIQPS 为 50，kubeAPIBurst 为 100）就可以。如果节点上有足够 CPU 和内存资源，则建议更新 kubelet QPS 和 burst 速率。

   apiVersion: machineconfiguration.openshift.io/v1
   kind: KubeletConfig
   metadata:
     name: set-max-pods
   spec:
     machineConfigPoolSelector:
       matchLabels:
         custom-kubelet: set-max-pods
     kubeletConfig:
       maxPods: <pod_count>
       kubeAPIBurst: <burst_rate>
       kubeAPIQPS: <QPS>

   1. 为带有标签的 worker 更新机器配置池：

      $ oc label machineconfigpool worker custom-kubelet=set-max-pods

   2. 创建 KubeletConfig 对象：

      $ oc create -f change-maxPods-cr.yaml

   3. 验证 KubeletConfig 对象是否已创建：

      $ oc get kubeletconfig

      输出示例

      NAME                AGE
      set-max-pods        15m

      根据集群中的 worker 节点数量，等待每个 worker 节点被逐个重启。对于有 3 个 worker 节点的集群，这个过程可能需要大约 10 到 15 分钟。

4. 验证更改是否已应用到节点：

   1. 在 worker 节点上检查 maxPods 值已更改：

      $ oc describe node <node_name>

   2. 找到 Allocatable 小节：

       ...
      Allocatable:
        attachable-volumes-gce-pd:  127
        cpu:                        3500m
        ephemeral-storage:          123201474766
        hugepages-1Gi:              0
        hugepages-2Mi:              0
        memory:                     14225400Ki
        pods:                       500 1
       ...

      1

      在本例中，pods 参数应报告您在 KubeletConfig 对象中设置的值。

5. 验证 KubeletConfig 对象中的更改：

   $ oc get kubeletconfigs set-max-pods -o yaml

   这应该显示 True 状态和 type:Success，如下例所示：

   spec:
     kubeletConfig:
       maxPods: 500
     machineConfigPoolSelector:
       matchLabels:
         custom-kubelet: set-max-pods
   status:
     conditions:
     - lastTransitionTime: "2021-06-30T17:04:07Z"
       message: Success
       status: "True"
       type: Success

1. 为 ContainerRuntimeConfig CR 创建 YAML 文件：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: ContainerRuntimeConfig
   metadata:
    name: overlay-size
   spec:
    machineConfigPoolSelector:
      matchLabels:
        pools.operator.machineconfiguration.openshift.io/worker: '' 1
    containerRuntimeConfig: 2
      logLevel: debug
      overlaySize: 8G

   1

   为您要修改的机器配置池指定一个标签。

   2

   根据需要设置参数。

2. 创建 ContainerRuntimeConfig CR：

   $ oc create -f <file_name>.yaml

3. 验证是否已创建 CR：

   $ oc get ContainerRuntimeConfig

   输出示例

   NAME           AGE
   overlay-size   3m19s

4. 检查是否创建了新的 containerruntime 机器配置：

   $ oc get machineconfigs | grep containerrun

   输出示例

   99-worker-generated-containerruntime   2c9371fbb673b97a6fe8b1c52691999ed3a1bfc2  3.2.0  31s

5. 监控机器配置池，直到所有系统都显示为 ready 状态：

   $ oc get mcp worker

   输出示例

   NAME    CONFIG               UPDATED  UPDATING  DEGRADED  MACHINECOUNT  READYMACHINECOUNT  UPDATEDMACHINECOUNT  DEGRADEDMACHINECOUNT  AGE
   worker  rendered-worker-169  False    True      False     3             1                  1                    0                     9h

6. 验证设置是否在 CRI-O 中应用：

   1. 打开到机器配置池中节点的 oc debug 会话，并运行 chroot /host。

      $ oc debug node/<node_name>

      sh-4.4# chroot /host

   2. 验证 crio.conf 文件中的更改：

      sh-4.4# crio config | grep 'log_level'

      输出示例

      log_level = "debug"

   3. 验证 'storage.conf' 文件中的更改：

      sh-4.4# head -n 7 /etc/containers/storage.conf

      输出示例

      [storage]
        driver = "overlay"
        runroot = "/var/run/containers/storage"
        graphroot = "/var/lib/containers/storage"
        [storage.options]
          additionalimagestores = []
          size = "8G"

流程

1. 创建配置对象：

   $ oc apply -f overlaysize.yml

2. 要将新的 CRI-O 配置应用到 worker 节点，请编辑 worker 机器配置池：

   $ oc edit machineconfigpool worker

3. 根据在 ContainerRuntimeConfig CRD 中设置的 matchLabels 名称添加 custom-crio 标签：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     creationTimestamp: "2020-07-09T15:46:34Z"
     generation: 3
     labels:
       custom-crio: overlay-size
       machineconfiguration.openshift.io/mco-built-in: ""

4. 保存更改，然后查看机器配置：

   $ oc get machineconfigs

   新的 99-worker-generated-containerruntime 和 rendered-worker-xyz 对象被创建：

   输出示例

   99-worker-generated-containerruntime  4173030d89fbf4a7a0976d1665491a4d9a6e54f1   3.2.0             7m42s
   rendered-worker-xyz                   4173030d89fbf4a7a0976d1665491a4d9a6e54f1   3.2.0             7m36s

5. 创建这些对象后，监控机器配置池以了解要应用的更改：

   $ oc get mcp worker

   worker 节点将 UPDATING 显示为 True，以及机器数量、更新的数字和其他详情：

   输出示例

   NAME   CONFIG              UPDATED   UPDATING   DEGRADED  MACHINECOUNT  READYMACHINECOUNT  UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   worker rendered-worker-xyz False True False     3             2                   2                    0                      20h

   完成后，worker 节点会从 UPDATING 转换回 False，UPDATEDMACHINECOUNT 数与 MACHINECOUNT 数匹配：

   输出示例

   NAME   CONFIG              UPDATED   UPDATING   DEGRADED  MACHINECOUNT  READYMACHINECOUNT  UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   worker   rendered-worker-xyz   True      False      False      3         3            3             0           20h

   查看 worker 机器，您会看到新的 8 GB 最大大小配置适用于所有 worker：

   输出示例

   head -n 7 /etc/containers/storage.conf
   [storage]
     driver = "overlay"
     runroot = "/var/run/containers/storage"
     graphroot = "/var/lib/containers/storage"
     [storage.options]
       additionalimagestores = []
       size = "8G"

   在容器内，您会看到 root 分区现在为 8 GB：

   输出示例

   ~ $ df -h
   Filesystem                Size      Used Available Use% Mounted on
   overlay                   8.0G      8.0K      8.0G   0% /