支持控制台（Console）开发人员开始试用联系人

2.5. 使用垂直 pod 自动扩展自动调整 pod 资源级别

OpenShift Container Platform Vertical Pod Autoscaler Operator（VPA）会自动检查 pod 中容器的运行状况和当前的 CPU 和内存资源，并根据它所了解的用量值更新资源限值和请求。VPA 使用单独的自定义资源（CR）来更新与工作负载对象关联的所有 Pod，如 Deployment、Deployment Config、StatefulSet、Job、DaemonSet、ReplicaSet 或 ReplicationController。

VPA 可帮助您了解 Pod 的最佳 CPU 和内存使用情况，并可以通过 pod 生命周期自动维护 pod 资源。

2.5.1. 关于 Vertical Pod Autoscaler Operator

Vertical Pod Autoscaler Operator（VPA）作为 API 资源和自定义资源（CR）实现。CR 决定 VPA Operator 对与特定工作负载对象（如守护进程集、复制控制器等）关联的 pod 执行的操作。

VPA Operator 由三个组件组成，每个组件在 VPA 命名空间中都有自己的 pod：

Recommender
VPA recommender 监控当前和过去的资源消耗，并根据这些数据决定关联工作负载对象中的 pod 的最佳 CPU 和内存资源。
Updater
VPA updater 检查相关工作负载对象中的 pod 是否具有正确的资源。如果资源正确，则 updater 不执行任何操作。如果资源不正确，则 updater 会终止 pod，以便它们的控制器可以使用更新的请求重新创建它们。
准入控制器
VPA 准入控制器在关联的工作负载对象中的每个新 pod 上设置正确的资源请求，无论 pod 是新的，还是因为 VPA updater 的操作由它的控制器重新创建的。

您可以使用默认推荐程序，或使用您自己的备选推荐程序根据您自己的算法自动扩展。

默认推荐器会自动计算这些 pod 中容器的流程以及当前的 CPU 和内存使用情况，并使用这些数据来决定优化的资源限制和请求，以确保这些 pod 始终高效操作。例如，默认推荐器会建议，减少请求资源超过使用资源的 pod 的资源，并为没有请求充足资源的 pod 增加资源。

VPA 每次自动删除任何与建议不兼容的 pod，以便您的应用程序可以在不需要停机的情况下继续满足请求。然后，工作负载对象使用原始资源限制和请求重新部署 pod。VPA 使用一个变异准入 webhook 来更新 pod，在 pod 被允许到节点前，具有优化的资源限制和请求。如果您不希望 VPA 删除 pod，可以查看 VPA 资源限制和请求，并根据需要手动更新 pod。

注意

默认情况下，工作负载对象必须至少指定两个副本，以便 VPA 自动删除其 pod。指定了比这个最小值更少的副本数的工作负载对象不会被删除。如果您手动删除这些 pod，当工作负载对象重新部署 pod 时，VPA 会使用其建议更新新的 pod。您可以通过修改 VerticalPodAutoscalerController 对象来更改这个最小值，如更改 VPA 最小值所示。

例如，您有一个 pod 使用了 CPU 的 50%，但只请求 10%。VPA 会认定该 pod 消耗的 CPU 多于请求的 CPU，并删除 pod。工作负载对象（如副本集）会重启 pod，VPA 使用推荐的资源更新新 pod。

对于开发人员，您可以使用 VPA 来帮助确保 pod 在高负载时可以继续工作，具体方法是将 pod 调度到每个 pod 具有适当资源的节点上。

管理员可以使用 VPA 来更好地利用集群资源，例如防止 pod 保留比所需的 CPU 资源更多的资源。VPA 监控实际使用的工作负载，并对资源进行调整，以确保可以满足其他工作负载的需要。VPA 还维护初始容器配置中指定的限值和请求之间的比例。

注意

如果您停止在集群中运行 VPA，或删除特定的 VPA CR，则已由 VPA 修改的 pod 的资源请求不会改变。任何新 pod 都会根据工作负载对象中的定义获得资源，而不是之前由 VPA 提供的的建议。

2.5.2. 安装 Vertical Pod Autoscaler Operator

您可以使用 OpenShift Container Platform web 控制台安装 Vertical Pod Autoscaler Operator（VPA）。

流程

  1. 在 OpenShift Container Platform Web 控制台中，点击 Operators OperatorHub。
  2. 从可用 Operator 列表中选择 VerticalPodAutoscaler，点 Install。
  3. 在 Install Operator 页面中，确保选择了 Operator 推荐的命名空间 选项。这会在 openshift-vertical-pod-autoscaler 命名空间中创建 Operator。如果这个命名空间还没有存在，会自动创建它。
  4. 点 Install。

验证

  1. 列出 VPA Operator 组件来验证安装：

    1. 导航到 Workloads Pods。
    2. 从下拉菜单中选择 openshift-vertical-pod-autoscaler 项目，并验证是否运行了四个 pod。
    3. 进入 Workloads Deployments 以验证运行了四个部署。

  2. 可选：使用以下命令在 OpenShift Container Platform CLI 中验证安装： 

    $ oc get all -n openshift-vertical-pod-autoscaler

    输出显示四个 pod 和四个部署：

    输出示例

    NAME                                                    READY   STATUS    RESTARTS   AGE
pod/vertical-pod-autoscaler-operator-85b4569c47-2gmhc   1/1     Running   0          3m13s
pod/vpa-admission-plugin-default-67644fc87f-xq7k9       1/1     Running   0          2m56s
pod/vpa-recommender-default-7c54764b59-8gckt            1/1     Running   0          2m56s
pod/vpa-updater-default-7f6cc87858-47vw9                1/1     Running   0          2m56s

NAME                  TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
service/vpa-webhook   ClusterIP   172.30.53.206   <none>        443/TCP   2m56s

NAME                                               READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/vertical-pod-autoscaler-operator   1/1     1            1           3m13s
deployment.apps/vpa-admission-plugin-default       1/1     1            1           2m56s
deployment.apps/vpa-recommender-default            1/1     1            1           2m56s
deployment.apps/vpa-updater-default                1/1     1            1           2m56s

NAME                                                          DESIRED   CURRENT   READY   AGE
replicaset.apps/vertical-pod-autoscaler-operator-85b4569c47   1         1         1       3m13s
replicaset.apps/vpa-admission-plugin-default-67644fc87f       1         1         1       2m56s
replicaset.apps/vpa-recommender-default-7c54764b59            1         1         1       2m56s
replicaset.apps/vpa-updater-default-7f6cc87858                1         1         1       2m56s

2.5.3. 移动 Vertical Pod Autoscaler Operator 组件

Vertical Pod Autoscaler Operator (VPA)，每个组件在 control plane 节点上的 VPA 命名空间中都有自己的 pod。您可以通过在 VPA 订阅和 VerticalPodAutoscalerController CR 中添加节点选择器，将 VPA Operator 和组件 pod 移到基础架构节点。

您可以创建并使用基础架构节点来创建仅托管基础架构组件的机器，如默认路由器、集成的容器镜像 registry 以及集群指标和监控的组件。这些基础架构节点不计入运行环境所需的订阅总数中。如需更多信息，请参阅创建基础架构机器集。

您可以根据您的机构，将组件移到同一节点或单独的节点。

以下示例显示了 VPA pod 到 control plane 节点的默认部署。

输出示例

NAME                                                READY   STATUS    RESTARTS   AGE     IP            NODE                  NOMINATED NODE   READINESS GATES
vertical-pod-autoscaler-operator-6c75fcc9cd-5pb6z   1/1     Running   0          7m59s   10.128.2.24   c416-tfsbj-master-1   <none>           <none>
vpa-admission-plugin-default-6cb78d6f8b-rpcrj       1/1     Running   0          5m37s   10.129.2.22   c416-tfsbj-master-1   <none>           <none>
vpa-recommender-default-66846bd94c-dsmpp            1/1     Running   0          5m37s   10.129.2.20   c416-tfsbj-master-0   <none>           <none>
vpa-updater-default-db8b58df-2nkvf                  1/1     Running   0          5m37s   10.129.2.21   c416-tfsbj-master-1   <none>           <none>

流程

  1. 通过将节点选择器添加到 VPA Operator 的 Subscription 自定义资源 (CR)中来移动 VPA Operator pod：

    1. 编辑 CR： 

      $ oc edit Subscription vertical-pod-autoscaler -n openshift-vertical-pod-autoscaler

    2. 添加节点选择器以匹配您要安装 VPA Operator pod 的节点上的节点角色标签： 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  labels:
    operators.coreos.com/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler: ""
  name: vertical-pod-autoscaler
# ...
spec:
  config:
    nodeSelector:
      node-role.kubernetes.io/<node_role>: "" 1
      1 1
      指定您要移动 VPA Operator pod 节点的节点角色。
      注意

      如果 infra 节点使用污点，则需要为 Subscription CR 添加容限。

      例如： 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  labels:
    operators.coreos.com/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler: ""
  name: vertical-pod-autoscaler
# ...
spec:
  config:
    nodeSelector:
      node-role.kubernetes.io/infra: ""
    tolerations: 1
    - key: "node-role.kubernetes.io/infra"
      operator: "Exists"
      effect: "NoSchedule"
      1
      在要移动 VPA Operator pod 的节点上为污点指定容限。

  2. 通过将节点选择器添加到 VerticalPodAutoscaler 自定义资源 (CR) 来移动每个 VPA 组件：

    1. 编辑 CR： 

      $ oc edit VerticalPodAutoscalerController default -n openshift-vertical-pod-autoscaler

    2. 添加节点选择器以匹配您要安装 VPA 组件的节点上的节点角色标签： 

      apiVersion: autoscaling.openshift.io/v1
kind: VerticalPodAutoscalerController
metadata:
 name: default
  namespace: openshift-vertical-pod-autoscaler
# ...
spec:
  deploymentOverrides:
    admission:
      container:
        resources: {}
      nodeSelector:
        node-role.kubernetes.io/<node_role>: "" 1
    recommender:
      container:
        resources: {}
      nodeSelector:
        node-role.kubernetes.io/<node_role>: "" 2
    updater:
      container:
        resources: {}
      nodeSelector:
        node-role.kubernetes.io/<node_role>: "" 3
      1
      可选：指定 VPA 准入 pod 的节点角色。
      2
      可选：指定 VPA recommender pod 的节点角色。
      3
      可选：指定 VPA updater pod 的节点角色。
      注意

      如果目标节点使用污点，则需要为 VerticalPodAutoscalerController CR 添加容限。

      例如： 

      apiVersion: autoscaling.openshift.io/v1
kind: VerticalPodAutoscalerController
metadata:
 name: default
  namespace: openshift-vertical-pod-autoscaler
# ...
spec:
  deploymentOverrides:
    admission:
      container:
        resources: {}
      nodeSelector:
        node-role.kubernetes.io/worker: ""
      tolerations: 1
      - key: "my-example-node-taint-key"
        operator: "Exists"
        effect: "NoSchedule"
    recommender:
      container:
        resources: {}
      nodeSelector:
        node-role.kubernetes.io/worker: ""
      tolerations: 2
      - key: "my-example-node-taint-key"
        operator: "Exists"
        effect: "NoSchedule"
    updater:
      container:
        resources: {}
      nodeSelector:
        node-role.kubernetes.io/worker: ""
      tolerations: 3
      - key: "my-example-node-taint-key"
        operator: "Exists"
        effect: "NoSchedule"
      1
      在您要安装 pod 的节点上为污点指定准入控制器 pod 的容限。
      2
      在您要安装 pod 的节点上为污点指定推荐 pod 的容限。
      3
      在您要安装 pod 的节点上为污点指定更新 pod 的容限。

验证

  • 您可以使用以下命令验证 pod 是否已移动： 

    $ oc get pods -n openshift-vertical-pod-autoscaler -o wide

    pod 不再部署到 control plane 节点。

    输出示例

    NAME                                                READY   STATUS    RESTARTS   AGE     IP            NODE                              NOMINATED NODE   READINESS GATES
vertical-pod-autoscaler-operator-6c75fcc9cd-5pb6z   1/1     Running   0          7m59s   10.128.2.24   c416-tfsbj-infra-eastus3-2bndt   <none>           <none>
vpa-admission-plugin-default-6cb78d6f8b-rpcrj       1/1     Running   0          5m37s   10.129.2.22   c416-tfsbj-infra-eastus1-lrgj8   <none>           <none>
vpa-recommender-default-66846bd94c-dsmpp            1/1     Running   0          5m37s   10.129.2.20   c416-tfsbj-infra-eastus1-lrgj8   <none>           <none>
vpa-updater-default-db8b58df-2nkvf                  1/1     Running   0          5m37s   10.129.2.21   c416-tfsbj-infra-eastus1-lrgj8   <none>           <none>

其他资源

2.5.4. 关于使用 Vertical Pod Autoscaler Operator

要使用 Vertical Pod Autoscaler Operator（vpa），您需要为集群中的工作负载对象创建 VPA 自定义资源（CR）。VPA 学习并应用与该工作负载对象关联的 pod 的最佳 CPU 和内存资源。您可以使用 VPA 与部署、有状态集、作业、守护进程集、副本集或复制控制器工作负载对象一起使用。VPA CR 必须与您要监控的 pod 位于同一个项目中。

您可以使用 VPA CR 关联一个工作负载对象，并指定 VPA 使用什么模式运行：

  • Auto 和 Recreate 模式会在 pod 生命周期内自动应用 VPA 对 CPU 和内存建议。VPA 会删除项目中任何与建议不兼容的 pod。当由工作负载对象重新部署时，VPA 会在其建议中更新新 pod。
  • Initial 模式仅在创建 pod 时自动应用 VPA 建议。
  • Off 模式只提供推荐的资源限制和请求信息，用户可以手动应用其中的建议。off 模式不会更新 pod。

您还可以使用 CR 使特定容器不受 VPA 评估和更新的影响。

例如，pod 具有以下限制和请求： 

resources:
  limits:
    cpu: 1
    memory: 500Mi
  requests:
    cpu: 500m
    memory: 100Mi

在创建了一个设置为 auto 的 VPA 后，VPA 会了解资源使用情况并删除 pod。重新部署时，pod 会使用新的资源限值和请求： 

resources:
  limits:
    cpu: 50m
    memory: 1250Mi
  requests:
    cpu: 25m
    memory: 262144k

您可以使用以下命令查看 VPA 建议： 

$ oc get vpa <vpa-name> --output yaml

几分钟后，输出显示 CPU 和内存请求的建议，如下所示：

输出示例

...
status:
...
  recommendation:
    containerRecommendations:
    - containerName: frontend
      lowerBound:
        cpu: 25m
        memory: 262144k
      target:
        cpu: 25m
        memory: 262144k
      uncappedTarget:
        cpu: 25m
        memory: 262144k
      upperBound:
        cpu: 262m
        memory: "274357142"
    - containerName: backend
      lowerBound:
        cpu: 12m
        memory: 131072k
      target:
        cpu: 12m
        memory: 131072k
      uncappedTarget:
        cpu: 12m
        memory: 131072k
      upperBound:
        cpu: 476m
        memory: "498558823"
...

输出显示推荐的资源、目标、最低推荐资源、lowerBound、最高推荐资源、upperBound、以及最新资源建议和 uncappedTarget。

VPA 使用 lessBound 和 upperBound 值来确定一个 pod 是否需要更新。如果 pod 的资源请求低于 lowerBound 值，或高于 upperBound 值，则 VPA 会终止 pod，并使用 target 值重新创建 pod。

2.5.4.1. 更改 VPA 最小值

默认情况下，工作负载对象必须至少指定两个副本，以便 VPA 自动删除和更新其 pod。因此，VPA 不会自动执行指定少于两个副本的工作负载对象。如果 pod 由 VPA 外部的一些进程重启，VPA 会从这些工作负载对象更新的新 pod。您可以通过修改 VerticalPodAutoscalerController 自定义资源（CR）中的 minReplicas 参数来更改此集群范围的最小值。

例如，如果您将 minReplicas 设置为 3，则 VPA 不会为指定少于三个副本的工作负载对象删除和更新 pod。

注意

如果将 minReplicas 设置为 1，则 VPA 可以为只指定一个副本的工作负载对象删除唯一的 pod。只有在 VPA 删除 pod 以调整其资源时，您的工作负载可以允许停机时，才应使用此设置来使用一个副本对象。为了避免使用一个副本的对象出现不必要的停机时间，将带有 podUpdatePolicy 设置的 VPA CR 配置为 Initial，这只有在 VPA 外部的一些进程重启时，或状态为 Off 时才重启。这可让您在适合的时间手动更新 pod。

VerticalPodAutoscalerController 对象示例

apiVersion: autoscaling.openshift.io/v1
kind: VerticalPodAutoscalerController
metadata:
  creationTimestamp: "2021-04-21T19:29:49Z"
  generation: 2
  name: default
  namespace: openshift-vertical-pod-autoscaler
  resourceVersion: "142172"
  uid: 180e17e9-03cc-427f-9955-3b4d7aeb2d59
spec:
  minReplicas: 3 1
  podMinCPUMillicores: 25
  podMinMemoryMb: 250
  recommendationOnly: false
  safetyMarginFraction: 0.15

1
指定 VPA 中要操作的工作负载对象中的最小副本数。VPA 不会自动删除任何小于最小副本的对象。

2.5.4.2. 自动应用 VPA 建议

要使用 VPA 来自动更新 pod，为特定工作负载对象创建一个 VPA CR，并将 updateMode 设置为 Auto 或 Recreate。

当为工作复杂对象创建 pod 时，VPA 会持续监控容器以分析其 CPU 和内存需求。VPA 会删除任何不满足 VPA 对 CPU 和内存的建议的 pod。重新部署后，pod 根据 VPA 建议使用新的资源限值和请求，并遵循您的应用程序的 pod 中断预算。建议被添加到 VPA CR 的 status 字段中以进行引用。

注意

默认情况下，工作负载对象必须至少指定两个副本，以便 VPA 自动删除其 pod。指定了比这个最小值更少的副本数的工作负载对象不会被删除。如果您手动删除这些 pod，当工作负载对象重新部署 pod 时，VPA 会使用其建议更新新的 pod。您可以通过修改 VerticalPodAutoscalerController 对象来更改这个最小值，如更改 VPA 最小值所示。

Auto 模式的 VPA CR 示例

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: vpa-recommender
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment 1
    name:       frontend 2
  updatePolicy:
    updateMode: "Auto" 3

1
您希望此 VPA CR 管理的工作负载对象类型。
2
您希望此 VPA CR 管理的工作负载对象名称。
3
将模式设置为 Auto 或 Recreate:
  • Auto.VPA 分配创建 pod 的资源请求，并在请求的资源与新建议有很大不同时终止这些 Pod 来更新现存的 pod。
  • Recreate。VPA 分配创建 pod 的资源请求，并在请求的资源与新建议有很大不同时终止这些 Pod 来更新现存的 pod。这个模式应该很少使用，只有在需要确保每当资源请求改变时 pod 就需要重启时才使用。
注意

在 VPA 可以决定资源建议并将推荐的资源应用到新 pod 之前，操作 pod 必须存在并在项目中运行。

如果工作负载的资源使用情况（如 CPU 和内存）一致，VPA 可以在几分钟内决定资源的建议。如果工作负载的资源使用情况不一致，VPA 必须以各种资源使用量间隔收集指标，以便 VPA 做出准确的建议。

2.5.4.3. 在创建 pod 时自动应用 VPA 建议

要仅在 pod 首次部署时使用 VPA 来应用推荐的资源，为特定的工作负载对象创建一个 VPA CR，将 updateMode 设置为 Initial。

然后，手动删除与您要使用 VPA 建议的工作负载对象关联的 pod。在 Initial 模式中，VPA 不会删除 pod，也不会更新 pod，它会学习新的资源建议。

Initial 模式的 VPA CR 示例

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: vpa-recommender
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment 1
    name:       frontend 2
  updatePolicy:
    updateMode: "Initial" 3

1
您希望此 VPA CR 管理的工作负载对象类型。
2
您希望此 VPA CR 管理的工作负载对象名称。
3
将模式设置为 Initial。VPA 在 pod 创建时分配资源，在 pod 生命周期中不会更改资源。
注意

在 VPA 可以决定推荐的资源并对新 pod 应用建议之前，操作 pod 必须存在并在项目中运行。

要从 VPA 获取最准确的建议，请至少等待 8 天，让 pod 运行以及 VPA 稳定。

2.5.4.4. 手动应用 VPA 建议

要使用 VPA 来仅决定推荐的 CPU 和内存值而不进行实际的应用，对特定的工作负载创建一个 VPA CR，把 updateMode 设置为 off。

当为该工作负载对象创建 pod 时, VPA 会分析容器的 CPU 和内存需求，并在 VPA CR 的 status 字段中记录推荐。VPA 会提供新的资源建议，但不会更新 pod。

使用 Off 模式的 VPA CR 示例

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: vpa-recommender
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment 1
    name:       frontend 2
  updatePolicy:
    updateMode: "Off" 3

1
您希望此 VPA CR 管理的工作负载对象类型。
2
您希望此 VPA CR 管理的工作负载对象名称。
3
将模式设置为 Off。

您可以使用以下命令查看建议。 

$ oc get vpa <vpa-name> --output yaml

根据建议，您可以编辑工作负载对象以添加 CPU 和内存请求，然后删除 pod 并使用推荐的资源重新部署 pod。

注意

在 VPA 可以决定推荐的资源并对新 pod 应用建议之前，操作 pod 必须存在并在项目中运行。

要从 VPA 获取最准确的建议，请至少等待 8 天，让 pod 运行以及 VPA 稳定。

2.5.4.5. 阻止容器特定容器应用 VPA 建议

如果您的工作负载对象有多个容器，且您不希望 VPA 对所有容器进行评估并进行操作，请为特定工作负载对象创建一个 VPA CR，添加一个 resourcePolicy 已使特定容器不受 VPA 的影响。

当 VPA 使用推荐的资源更新 pod 时，任何带有 resourcePolicy 的容器都不会被更新，且 VPA 不会对这些 pod 中的容器提供建议。 

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: vpa-recommender
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment 1
    name:       frontend 2
  updatePolicy:
    updateMode: "Auto" 3
  resourcePolicy: 4
    containerPolicies:
    - containerName: my-opt-sidecar
      mode: "Off"
1
您希望此 VPA CR 管理的工作负载对象类型。
2
您希望此 VPA CR 管理的工作负载对象名称。
3
将模式设置为 Auto、Recreate 或 Off。Recreate 模式应该很少使用，只有在需要确保每当资源请求改变时 pod 就需要重启时才使用。
4
指定不受 VPA 影响的容器，将 mode 设置为 Off。

例如，一个 pod 有两个容器，它们有相同的资源请求和限值： 

# ...
spec:
  containers:
  - name: frontend
    resources:
      limits:
        cpu: 1
        memory: 500Mi
      requests:
        cpu: 500m
        memory: 100Mi
  - name: backend
    resources:
      limits:
        cpu: "1"
        memory: 500Mi
      requests:
        cpu: 500m
        memory: 100Mi
# ...

在启用一个带有 backend 排除容器设置的 VPA CR 后，VPA 终止并使用推荐的资源重新创建 pod 的行为只适用于 frontend 容器： 

...
spec:
  containers:
    name: frontend
    resources:
      limits:
        cpu: 50m
        memory: 1250Mi
      requests:
        cpu: 25m
        memory: 262144k
...
    name: backend
    resources:
      limits:
        cpu: "1"
        memory: 500Mi
      requests:
        cpu: 500m
        memory: 100Mi
...

2.5.4.6. 性能调优 VPA Operator

作为集群管理员，您可以调整 Vertical Pod Autoscaler Operator (VPA) 的性能，以限制 VPA 对 Kubernetes API 服务器发出请求的速率，并为 VPA recommender, updater 和准入控制器组件 pod 指定 CPU 和内存资源。

另外，您可以将 VPA Operator 配置为仅监控由 VPA 自定义资源 (CR) 管理的工作负载。默认情况下，VPA Operator 会监控集群中的所有工作负载。这允许 VPA Operator 为所有工作负载处理和存储 8 天的历史数据，如果为工作负载创建新的 VPA CR，Operator 可以使用该数据。但是，这会导致 VPA Operator 使用大量 CPU 和内存，这可能会导致 Operator 失败，特别是在大型集群中。通过将 VPA Operator 配置为仅监控 VPA CR 的工作负载，您可以在 CPU 和内存资源上保存。一个权衡方案是，如果您有一个运行的工作负载，并且创建一个 VPA CR 来管理那个工作负载，则 VPA Operator 没有该工作负载的历史数据。因此，在工作负载运行了一段时间后，初始建议并没有这些有用。

这些调整允许您确保 VPA 有足够资源以峰值效率运行，并防止 pod 准入中的节流和可能的延迟。

您可以通过编辑 VerticalPodAutoscalerController 自定义资源 (CR) 在 VPA 组件上执行以下调整：

  • 要防止节流和 pod 准入延迟，使用 kube-api-qps 和 kube-api-burst 参数为 Kubernetes API 服务器的 VPA 请求设置 queries-per-second (QPS) 和突发率。
  • 为确保足够的 CPU 和内存，请使用标准 cpu 和 memory 资源请求为 VPA 组件 pod 设置 CPU 和内存请求。
  • 要将 VPA Operator 配置为仅监控由 VPA CR 管理的工作负载，请将 recommender 组件的 memory-saver 参数设置为 true。

以下示例 VPA 控制器 CR 设置 VPA API QPS 和突发（burts）率，配置组件 pod 资源请求，并为 recommender 将 memory-saver 设置为 true ：

示例 VerticalPodAutoscalerController CR

apiVersion: autoscaling.openshift.io/v1
kind: VerticalPodAutoscalerController
metadata:
  name: default
  namespace: openshift-vertical-pod-autoscaler
spec:
  deploymentOverrides:
    admission: 1
      container:
        args: 2
          - '--kube-api-qps=30.0'
          - '--kube-api-burst=40.0'
        resources:
          requests: 3
            cpu: 40m
            memory: 40Mi
    recommender: 4
      container:
        args:
          - '--kube-api-qps=20.0'
          - '--kube-api-burst=60.0'
          - '--memory-saver=true' 5
        resources:
          requests:
            cpu: 60m
            memory: 60Mi
    updater: 6
      container:
        args:
          - '--kube-api-qps=20.0'
          - '--kube-api-burst=80.0'
        resources:
          requests:
            cpu: 80m
            memory: 80Mi
  minReplicas: 2
  podMinCPUMillicores: 25
  podMinMemoryMb: 250
  recommendationOnly: false
  safetyMarginFraction: 0.15

1
为 VPA 准入控制器指定调优参数。
2
为 VPA 准入控制器指定 API QPS 和突发率。
  • kube-api-qps: 指定向 Kubernetes API 服务器发出请求时的每秒查询 (QPS) 限制。默认值为 5.0。
  • kube-api-burst ：指定向 Kubernetes API 服务器发出请求时的突发限制。默认值为 10.0。
3
指定 VPA 准入控制器 pod 的 CPU 和内存请求。
4
指定 VPA 建议器的调优参数。
5
指定 VPA Operator 只监控 VPA CR 的工作负载。默认值为 false。
6
指定 VPA updater 的调优参数。

您可以验证设置是否已应用到每个 VPA 组件 pod。

updater pod 示例

apiVersion: v1
kind: Pod
metadata:
  name: vpa-updater-default-d65ffb9dc-hgw44
  namespace: openshift-vertical-pod-autoscaler
# ...
spec:
  containers:
  - args:
    - --logtostderr
    - --v=1
    - --min-replicas=2
    - --kube-api-qps=20.0
    - --kube-api-burst=80.0
# ...
    resources:
      requests:
        cpu: 80m
        memory: 80Mi
# ...

准入控制器 pod 示例

apiVersion: v1
kind: Pod
metadata:
  name: vpa-admission-plugin-default-756999448c-l7tsd
  namespace: openshift-vertical-pod-autoscaler
# ...
spec:
  containers:
  - args:
    - --logtostderr
    - --v=1
    - --tls-cert-file=/data/tls-certs/tls.crt
    - --tls-private-key=/data/tls-certs/tls.key
    - --client-ca-file=/data/tls-ca-certs/service-ca.crt
    - --webhook-timeout-seconds=10
    - --kube-api-qps=30.0
    - --kube-api-burst=40.0
# ...
    resources:
      requests:
        cpu: 40m
        memory: 40Mi
# ...

recommender pod 示例

apiVersion: v1
kind: Pod
metadata:
  name: vpa-recommender-default-74c979dbbc-znrd2
  namespace: openshift-vertical-pod-autoscaler
# ...
spec:
  containers:
  - args:
    - --logtostderr
    - --v=1
    - --recommendation-margin-fraction=0.15
    - --pod-recommendation-min-cpu-millicores=25
    - --pod-recommendation-min-memory-mb=250
    - --kube-api-qps=20.0
    - --kube-api-burst=60.0
    - --memory-saver=true
# ...
    resources:
      requests:
        cpu: 60m
        memory: 60Mi
# ...

2.5.4.7. 使用一个替代推荐器

您可以根据自己的算法使用自己的推荐器来自动扩展。如果您没有指定替代的推荐器，OpenShift Container Platform 会使用默认的推荐器，它会根据历史使用情况推荐 CPU 和内存请求。因为没有适用于所有工作负载的通用推荐策略，您可能需要为特定工作负载创建和部署不同的推荐器。

例如，当容器出现某些资源行为时，默认的推荐器可能无法准确预测将来的资源使用量，例如，在监控应用程序使用的使用量高峰和闲置间交替的模式，或者重复与深度学习应用程序使用的模式。将默认推荐器用于这些使用行为可能会导致应用程序的过度置备和内存不足(OOM)终止。

注意

有关如何创建推荐器的说明超出了本文档的范围，

流程

为 pod 使用替代推荐器：

  1. 为替代推荐器创建服务帐户，并将该服务帐户绑定到所需的集群角色： 

    apiVersion: v1 1
kind: ServiceAccount
metadata:
  name: alt-vpa-recommender-sa
  namespace: <namespace_name>
---
apiVersion: rbac.authorization.k8s.io/v1 2
kind: ClusterRoleBinding
metadata:
  name: system:example-metrics-reader
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:metrics-reader
subjects:
- kind: ServiceAccount
  name: alt-vpa-recommender-sa
  namespace: <namespace_name>
---
apiVersion: rbac.authorization.k8s.io/v1 3
kind: ClusterRoleBinding
metadata:
  name: system:example-vpa-actor
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:vpa-actor
subjects:
- kind: ServiceAccount
  name: alt-vpa-recommender-sa
  namespace: <namespace_name>
---
apiVersion: rbac.authorization.k8s.io/v1 4
kind: ClusterRoleBinding
metadata:
  name: system:example-vpa-target-reader-binding
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:vpa-target-reader
subjects:
- kind: ServiceAccount
  name: alt-vpa-recommender-sa
  namespace: <namespace_name>
    1
    在部署了推荐器的命名空间中为推荐器创建一个服务账户。
    2
    将推进器服务帐户绑定到 metrics-reader 角色。指定要部署推进器的命名空间。
    3
    将推进器服务帐户绑定到 vpa-actor 角色。指定要部署推进器的命名空间。
    4
    将推进器服务帐户绑定到 vpa-target-reader 角色。指定要部署推进器的命名空间。

  2. 要在集群中添加备选推荐程序，请创建一个类似如下的 Deployment 对象： 

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: alt-vpa-recommender
  namespace: <namespace_name>
spec:
  replicas: 1
  selector:
    matchLabels:
      app: alt-vpa-recommender
  template:
    metadata:
      labels:
        app: alt-vpa-recommender
    spec:
      containers: 1
      - name: recommender
        image: quay.io/example/alt-recommender:latest 2
        imagePullPolicy: Always
        resources:
          limits:
            cpu: 200m
            memory: 1000Mi
          requests:
            cpu: 50m
            memory: 500Mi
        ports:
        - name: prometheus
          containerPort: 8942
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            drop:
              - ALL
          seccompProfile:
            type: RuntimeDefault
      serviceAccountName: alt-vpa-recommender-sa 3
      securityContext:
        runAsNonRoot: true
    1
    为您的备选推荐程序创建容器。
    2
    指定您的推荐镜像。
    3
    关联您为推荐器创建的服务帐户。

    为同一命名空间中的备选推荐器创建新 pod。 

    $ oc get pods

    输出示例

    NAME                                        READY   STATUS    RESTARTS   AGE
frontend-845d5478d-558zf                    1/1     Running   0          4m25s
frontend-845d5478d-7z9gx                    1/1     Running   0          4m25s
frontend-845d5478d-b7l4j                    1/1     Running   0          4m25s
vpa-alt-recommender-55878867f9-6tp5v        1/1     Running   0          9s

  3. 配置包含替代推荐器 Deployment 对象名称的 VPA CR。

    VPA CR 示例，使其包含替代的推荐程序

    apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: vpa-recommender
  namespace: <namespace_name>
spec:
  recommenders:
    - name: alt-vpa-recommender 1
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment 2
    name:       frontend

    1
    指定替代推荐器部署的名称。
    2
    指定您希望此 VPA 管理的现有工作负载对象的名称。

2.5.5. 使用 Vertical Pod Autoscaler Operator

您可以通过创建 VPA 自定义资源（CR）来使用 Vertical Pod Autoscaler Operator（VPA）。CR 指明应分析哪些 pod，并决定 VPA 应该对这些 pod 执行的操作。

先决条件

  • 要自动扩展的工作负载对象必须存在。
  • 如果要使用替代的推荐器，则必须存在包括那个推进器的部署。

流程

为特定工作负载对象创建 VPA CR:

  1. 切换到您要缩放的工作负载对象所在的项目。

    1. 创建一个 VPA CR YAML 文件： 

      apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: vpa-recommender
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment 1
    name:       frontend 2
  updatePolicy:
    updateMode: "Auto" 3
  resourcePolicy: 4
    containerPolicies:
    - containerName: my-opt-sidecar
      mode: "Off"
  recommenders: 5
    - name: my-recommender
      1
      指定您需要这个 VPA 管理的工作负载对象类型： Deployment、StatefulSet、Job、DaemonSet、ReplicaSet 或 ReplicationController。
      2
      指定您希望此 VPA 管理的现有工作负载对象的名称。
      3
      指定 VPA 模式：
      • auto 会在与控制器关联的 pod 上自动应用推荐的资源。VPA 会终止现有的 pod，并使用推荐的资源限制和请求创建新 pod。
      • recreate 会在与工作负载对象关联的 pod 上自动应用推荐的资源。VPA 会终止现有的 pod，并使用推荐的资源限制和请求创建新 pod。recreate 模式应该很少使用，只有在需要确保每当资源请求改变时 pod 就需要重启时才使用。
      • Initial 在创建与工作负载对象关联的 pod 时自动应用推荐的资源。VPA 会学习新的资源建议，但不会更新 pod。
      • off 仅为与工作负载对象关联的 pod 生成资源建议。VPA 不会更新 pod，它只会学习新的资源建议，且不会将建议应用到新 pod。
      4
      可选。指定不需要受 VPA 影响的容器，将模式设置为 Off。
      5
      可选。指定替代的推荐器。

    2. 创建 VPA CR: 

      $ oc create -f <file-name>.yaml

      在一段短暂的时间后，VPA 会了解与工作负载对象关联的 pod 中容器的资源使用情况。

      您可以使用以下命令查看 VPA 建议： 

      $ oc get vpa <vpa-name> --output yaml

      输出显示 CPU 和内存请求的建议，如下所示：

      输出示例

      ...
status:

...

  recommendation:
    containerRecommendations:
    - containerName: frontend
      lowerBound: 1
        cpu: 25m
        memory: 262144k
      target: 2
        cpu: 25m
        memory: 262144k
      uncappedTarget: 3
        cpu: 25m
        memory: 262144k
      upperBound: 4
        cpu: 262m
        memory: "274357142"
    - containerName: backend
      lowerBound:
        cpu: 12m
        memory: 131072k
      target:
        cpu: 12m
        memory: 131072k
      uncappedTarget:
        cpu: 12m
        memory: 131072k
      upperBound:
        cpu: 476m
        memory: "498558823"

...

      1
      lowerBound 是最低的推荐资源级别。
      2
      target是推荐的资源级别。
      3
      upperBound 是最高的推荐资源级别。
      4
      uncappedTarget 是最新资源建议。

2.5.6. 卸载 Vertical Pod Autoscaler Operator

您可以从 OpenShift Container Platform 集群中删除 Vertical Pod Autoscaler Operator（VPA）。卸载后，已由现有 VPA CR 修改的 pod 的资源请求不会改变。任何新 pod 都会根据工作负载对象中的定义获得资源，而不是之前由 VPA 提供的的建议。

注意

您可以使用 oc delete vpa <vpa-name> 命令删除特定的 VPA CR。在卸载垂直 pod 自动扩展时，同样的操作适用于资源请求。

删除 VPA Operator 后，建议您删除与 Operator 相关的其他组件，以避免潜在的问题。

先决条件

  • 已安装 Vertical Pod Autoscaler Operator。

流程

  1. 在 OpenShift Container Platform web 控制台中，点击 Operators Installed Operators。
  2. 切换到 openshift-vertical-pod-autoscaler 项目。
  3. 对于 VerticalPodAutoscaler Operator，点 Options 菜单 kebab 并选择 Uninstall Operator。
  4. 可选： 要删除与 Operator 关联的所有操作对象，请在对话框中选择 Delete all operand instance for this operator 复选框。
  5. 点 Uninstall。

  6. 可选： 使用 OpenShift CLI 删除 VPA 组件：

    1. 删除 VPA 命名空间： 

      $ oc delete namespace openshift-vertical-pod-autoscaler

    2. 删除 VPA 自定义资源定义 (CRD) 对象： 

      $ oc delete crd verticalpodautoscalercheckpoints.autoscaling.k8s.io
      $ oc delete crd verticalpodautoscalercontrollers.autoscaling.openshift.io
      $ oc delete crd verticalpodautoscalers.autoscaling.k8s.io

      删除 CRD 会删除关联的角色、集群角色和角色绑定。

      注意

      此操作会从集群中移除，集群中的所有用户创建的 VPA CR。如果重新安装 VPA，您必须再次创建这些对象。

    3. 运行以下命令来删除 MutatingWebhookConfiguration 对象： 

      $ oc delete MutatingWebhookConfiguration vpa-webhook-config

    4. 删除 VPA Operator： 

      $ oc delete operator/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler
Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

© 2024 Red Hat, Inc.