第 4 章 配置 MCO 相关的自定义资源
除了管理 MachineConfig
对象外,MCO 管理两个自定义资源(CR):KubeletConfig
和 ContainerRuntimeConfig
。这些 CR 可让您更改节点级别的设置,会影响 kubelet 和 CRI-O 容器运行时服务的行为。
4.1. 创建 KubeletConfig CRD 来编辑 kubelet 参数
kubelet 配置目前被序列化为 Ignition 配置,因此可以直接编辑。但是,在 Machine Config Controller (MCC) 中同时添加了新的 kubelet-config-controller
。这可让您使用 KubeletConfig
自定义资源 (CR) 来编辑 kubelet 参数。
因为 kubeletConfig
对象中的字段直接从上游 Kubernetes 传递给 kubelet,kubelet 会直接验证这些值。kubeletConfig
对象中的无效值可能会导致集群节点不可用。有关有效值,请参阅 Kubernetes 文档。
请考虑以下指导:
-
编辑现有的
KubeletConfig
CR 以修改现有设置或添加新设置,而不是为每个更改创建一个 CR。建议您仅创建一个 CR 来修改不同的机器配置池,或用于临时更改,以便您可以恢复更改。 -
为每个机器配置池创建一个
KubeletConfig
CR,带有该池需要更改的所有配置。 -
根据需要,创建多个
KubeletConfig
CR,每个集群限制为 10。对于第一个KubeletConfig
CR,Machine Config Operator (MCO) 会创建一个机器配置,并附带kubelet
。对于每个后续 CR,控制器会创建另一个带有数字后缀的kubelet
机器配置。例如,如果您有一个带有-2
后缀的kubelet
机器配置,则下一个kubelet
机器配置会附加-3
。
如果要将 kubelet 或容器运行时配置应用到自定义机器配置池,则 machineConfigSelector
中的自定义角色必须与自定义机器配置池的名称匹配。
例如,由于以下自定义机器配置池名为 infra
,因此自定义角色也必须是 infra
:
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfigPool metadata: name: infra spec: machineConfigSelector: matchExpressions: - {key: machineconfiguration.openshift.io/role, operator: In, values: [worker,infra]} # ...
如果要删除机器配置,以相反的顺序删除它们,以避免超过限制。例如,在删除 kubelet-2
机器配置前删除 kubelet-3
机器配置。
如果您有一个带有 kubelet-9
后缀的机器配置,并且创建了另一个 KubeletConfig
CR,则不会创建新的机器配置,即使少于 10 个 kubelet
机器配置。
KubeletConfig
CR 示例
$ oc get kubeletconfig
NAME AGE set-max-pods 15m
显示 KubeletConfig
机器配置示例
$ oc get mc | grep kubelet
... 99-worker-generated-kubelet-1 b5c5119de007945b6fe6fb215db3b8e2ceb12511 3.2.0 26m ...
以下流程演示了如何配置 worker 节点上的每个节点的最大 pod 数量。
先决条件
为您要配置的节点类型获取与静态
MachineConfigPool
CR 关联的标签。执行以下步骤之一:查看机器配置池:
$ oc describe machineconfigpool <name>
例如:
$ oc describe machineconfigpool worker
输出示例
apiVersion: machineconfiguration.openshift.io/v1 kind: MachineConfigPool metadata: creationTimestamp: 2019-02-08T14:52:39Z generation: 1 labels: custom-kubelet: set-max-pods 1
- 1
- 如果添加了标签,它会出现在
labels
下。
如果标签不存在,则添加一个键/值对:
$ oc label machineconfigpool worker custom-kubelet=set-max-pods
流程
查看您可以选择的可用机器配置对象:
$ oc get machineconfig
默认情况下,与 kubelet 相关的配置为
01-master-kubelet
和01-worker-kubelet
。检查每个节点的最大 pod 的当前值:
$ oc describe node <node_name>
例如:
$ oc describe node ci-ln-5grqprb-f76d1-ncnqq-worker-a-mdv94
在
Allocatable
小节中找到value: pods: <value>
:输出示例
Allocatable: attachable-volumes-aws-ebs: 25 cpu: 3500m hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 15341844Ki pods: 250
通过创建一个包含 kubelet 配置的自定义资源文件,设置 worker 节点上的每个节点的最大 pod:
重要以特定机器配置池为目标的 kubelet 配置也会影响任何依赖的池。例如,为包含 worker 节点的池创建 kubelet 配置也适用于任何子集池,包括包含基础架构节点的池。要避免这种情况,您必须使用仅包含 worker 节点的选择表达式创建新的机器配置池,并让 kubelet 配置以这个新池为目标。
apiVersion: machineconfiguration.openshift.io/v1 kind: KubeletConfig metadata: name: set-max-pods spec: machineConfigPoolSelector: matchLabels: custom-kubelet: set-max-pods 1 kubeletConfig: maxPods: 500 2
注意kubelet 与 API 服务器进行交互的频率取决于每秒的查询数量 (QPS) 和 burst 值。如果每个节点上运行的 pod 数量有限,使用默认值(
kubeAPIQPS
为50
,kubeAPIBurst
为100
)就可以。如果节点上有足够 CPU 和内存资源,则建议更新 kubelet QPS 和 burst 速率。apiVersion: machineconfiguration.openshift.io/v1 kind: KubeletConfig metadata: name: set-max-pods spec: machineConfigPoolSelector: matchLabels: custom-kubelet: set-max-pods kubeletConfig: maxPods: <pod_count> kubeAPIBurst: <burst_rate> kubeAPIQPS: <QPS>
为带有标签的 worker 更新机器配置池:
$ oc label machineconfigpool worker custom-kubelet=set-max-pods
创建
KubeletConfig
对象:$ oc create -f change-maxPods-cr.yaml
验证
KubeletConfig
对象是否已创建:$ oc get kubeletconfig
输出示例
NAME AGE set-max-pods 15m
根据集群中的 worker 节点数量,等待每个 worker 节点被逐个重启。对于有 3 个 worker 节点的集群,这个过程可能需要大约 10 到 15 分钟。
验证更改是否已应用到节点:
在 worker 节点上检查
maxPods
值已更改:$ oc describe node <node_name>
找到
Allocatable
小节:... Allocatable: attachable-volumes-gce-pd: 127 cpu: 3500m ephemeral-storage: 123201474766 hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 14225400Ki pods: 500 1 ...
- 1
- 在本例中,
pods
参数应报告您在KubeletConfig
对象中设置的值。
验证
KubeletConfig
对象中的更改:$ oc get kubeletconfigs set-max-pods -o yaml
这应该显示
True
状态和type:Success
,如下例所示:spec: kubeletConfig: maxPods: 500 machineConfigPoolSelector: matchLabels: custom-kubelet: set-max-pods status: conditions: - lastTransitionTime: "2021-06-30T17:04:07Z" message: Success status: "True" type: Success