节点

1. 切换到对应项目：

   $ oc project <project-name>

2. 运行以下命令：

   $ oc get pods

   例如：

   $ oc get pods

   输出示例

   NAME                       READY   STATUS    RESTARTS   AGE
   console-698d866b78-bnshf   1/1     Running   2          165m
   console-698d866b78-m87pm   1/1     Running   2          165m

   添加 -o wide 标记来查看 pod IP 地址和 pod 所在的节点。

   $ oc get pods -o wide

   输出示例

   NAME                       READY   STATUS    RESTARTS   AGE    IP            NODE                           NOMINATED NODE
   console-698d866b78-bnshf   1/1     Running   2          166m   10.128.0.24   ip-10-0-152-71.ec2.internal    <none>
   console-698d866b78-m87pm   1/1     Running   2          166m   10.129.0.23   ip-10-0-173-237.ec2.internal   <none>

1. 运行以下命令：

   $ oc adm top pods

   例如：

   $ oc adm top pods -n openshift-console

   输出示例

   NAME                         CPU(cores)   MEMORY(bytes)
   console-7f58c69899-q8c8k     0m           22Mi
   console-7f58c69899-xhbgg     0m           25Mi
   downloads-594fcccf94-bcxk8   3m           18Mi
   downloads-594fcccf94-kv4p6   2m           15Mi

2. 运行以下命令，以查看带有标签的 pod 用量统计：

   $ oc adm top pod --selector=''

   您必须选择过滤所基于的选择器（标签查询）。支持 =、== 和 !=。

   例如：

   $ oc adm top pod --selector='name=my-pod'

流程 (UI)

1. 在 OpenShift Container Platform 控制台中，导航到 Workloads → Pods，或通过您要调查的资源导航到 pod。

   注意

   有些资源（如构建）没有直接查询的 pod。在这种情况下，您可以在资源的 Details 页面中找到 Logs 链接。

2. 从下拉菜单中选择一个项目。
3. 点您要调查的 pod 的名称。
4. 点 Logs。

1. 编写对象定义 JSON 文件，并使用 kubernetes.io/ingress-bandwidth 和 kubernetes.io/egress-bandwidth 注解指定数据流量速度。例如，将 pod 出口和入口带宽限制为 10M/s：

   受限 Pod 对象定义

   {
       "kind": "Pod",
       "spec": {
           "containers": [
               {
                   "image": "openshift/hello-openshift",
                   "name": "hello-openshift"
               }
           ]
       },
       "apiVersion": "v1",
       "metadata": {
           "name": "iperf-slow",
           "annotations": {
               "kubernetes.io/ingress-bandwidth": "10M",
               "kubernetes.io/egress-bandwidth": "10M"
           }
       }
   }

2. 使用对象定义创建 pod：

   $ oc create -f <file_or_dir_path>

1. 创建 Pod spec 或编辑现有的 pod，使其包含 system-cluster-critical 优先级类：

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pdb
   spec:
     template:
       metadata:
         name: critical-pod
       priorityClassName: system-cluster-critical 1

   1

   绝不可从节点驱除的 pod 的默认优先级类。

   此外，对于对集群而言很重要但可在必要时移除的 pod，可以指定 system-node-critical。

2. 创建 pod：

   $ oc create -f <file-name>.yaml

1. 在 Topology 视图中，点击节点公开侧面板。

2. 在 Actions 下拉列表中，选择 Add HorizontalPodAutoscaler 来打开 Add HorizontalPodAutoscaler 表单。

   图 2.2. 添加 HorizontalPodAutoscaler

   

3. 在 Add HorizontalPodAutoscaler 表单中，定义名称、最小和最大 pod 限值、CPU 和内存用量，并点 Save。

   注意

   如果缺少 CPU 和内存用量的值，则会显示警告。

1. 在 Topology 视图中，点击节点公开侧面板。
2. 在 Actions 下拉列表中，选择 Edit HorizontalPodAutoscaler 来打开 Edit Horizontal Pod Autoscaler 表单。
3. 在 Edit Horizontal Pod Autoscaler 表单中，编辑最小和最大 pod 限值以及 CPU 和内存用量，然后点 Save。

1. 在 Topology 视图中，点击节点公开侧面板。
2. 在 Actions 下拉列表中，选择 Remove HorizontalPodAutoscaler。
3. 在确认弹出窗口中点击 Remove 删除 HPA。

1. 执行以下之一：

   • 要根据 CPU 使用率百分比来缩放，请为现有对象创建一个 HorizontalPodAutoscaler 对象：

     $ oc autoscale <object_type>/<name> \1
       --min <number> \2
       --max <number> \3
       --cpu-percent=<percent> 4

     1

     指定要自动扩展的对象类型和名称。对象必须存在，并需要是 Deployment, DeploymentConfig/dc, ReplicaSet/rs, ReplicationController/rc, 或 StatefulSet。

     2

     另外，还可以指定缩减时的最小副本数量。

     3

     指定扩展时的最大副本数量。

     4

     指定所有 pod 的目标平均 CPU 使用率（以请求 CPU 的百分比表示）。如果未指定或为负数，则会使用默认的自动缩放策略。

     例如，以下命令显示 image-registry Deployment 对象的自动扩展。初始部署需要 3 个 pod。HPA 对象将最小值增加到 5。如果 pod 的 CPU 用量达到 75%，pod 将增加到 7:

     $ oc autoscale deployment/image-registry --min=5 --max=7 --cpu-percent=75

   • 要扩展特定 CPU 值，请为现有对象创建类似如下的 YAML 文件：

     1. 创建一个类似以下示例的 YAML 文件：

        apiVersion: autoscaling/v2 1
        kind: HorizontalPodAutoscaler
        metadata:
          name: cpu-autoscale 2
          namespace: default
        spec:
          scaleTargetRef:
            apiVersion: apps/v1 3
            kind: Deployment 4
            name: example 5
          minReplicas: 1 6
          maxReplicas: 10 7
          metrics: 8
          - type: Resource
            resource:
              name: cpu 9
              target:
                type: AverageValue 10
                averageValue: 500m 11

        1

        使用 autoscaling/v2 API。

        2

        指定此 pod 横向自动扩展对象的名称。

        3

        指定要缩放对象的 API 版本：

        • 对于 Deployment，ReplicaSet、Statefulset 对象，使用 apps/v1。
        • 对于 ReplicationController，使用 v1。
        • 对于 DeploymentConfig，使用 apps.openshift.io/v1。

        4

        指定对象类型。对象需要是 Deployment, DeploymentConfig/dc, ReplicaSet/rs, ReplicationController/rc, 或 StatefulSet.

        5

        指定要缩放的对象名称。对象必须存在。

        6

        指定缩减时的最小副本数量。

        7

        指定扩展时的最大副本数量。

        8

        对于内存使用率，使用 metrics 参数。

        9

        为 CPU 使用率指定 cpu 。

        10

        设置为 AverageValue。

        11

        使用目标 CPU 值设置为 averageValue。

     2. 创建 Pod 横向自动扩展：

        $ oc create -f <file-name>.yaml

2. 验证 pod 横向自动扩展是否已创建：

   $ oc get hpa cpu-autoscale

   输出示例

   NAME            REFERENCE            TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
   cpu-autoscale   Deployment/example   173m/500m       1         10        1          20m

1. 为以下之一创建一个 YAML 文件：

   • 要扩展特定内存值，请为现有对象创建类似如下的 HorizontalPodAutoscaler 对象：

     apiVersion: autoscaling/v2 1
     kind: HorizontalPodAutoscaler
     metadata:
       name: hpa-resource-metrics-memory 2
       namespace: default
     spec:
       scaleTargetRef:
         apiVersion: apps/v1 3
         kind: Deployment 4
         name: example 5
       minReplicas: 1 6
       maxReplicas: 10 7
       metrics: 8
       - type: Resource
         resource:
           name: memory 9
           target:
             type: AverageValue 10
             averageValue: 500Mi 11
       behavior: 12
         scaleDown:
           stabilizationWindowSeconds: 300
           policies:
           - type: Pods
             value: 4
             periodSeconds: 60
           - type: Percent
             value: 10
             periodSeconds: 60
           selectPolicy: Max

     1

     使用 autoscaling/v2 API。

     2

     指定此 pod 横向自动扩展对象的名称。

     3

     指定要缩放对象的 API 版本：

     • 对于 Deployment、ReplicaSet 或 Statefulset 对象，请使用 apps/v1。
     • 对于 ReplicationController，使用 v1。
     • 对于 DeploymentConfig，使用 apps.openshift.io/v1。

     4

     指定对象类型。对象必须是 Deployment、DeploymentConfig、ReplicaSet、ReplicationController 或 StatefulSet。

     5

     指定要缩放的对象名称。对象必须存在。

     6

     指定缩减时的最小副本数量。

     7

     指定扩展时的最大副本数量。

     8

     对于内存使用率，使用 metrics 参数。

     9

     为内存使用率指定 memory 。

     10

     将类型设置为 AverageValue。

     11

     指定 averageValue 和一个特定的内存值。

     12

     可选：指定一个扩展策略来控制扩展或缩减率。

   • 要缩放一个百分比，请为现有对象创建一个类似如下的 HorizontalPodAutoscaler 对象：

     apiVersion: autoscaling/v2 1
     kind: HorizontalPodAutoscaler
     metadata:
       name: memory-autoscale 2
       namespace: default
     spec:
       scaleTargetRef:
         apiVersion: apps/v1 3
         kind: Deployment 4
         name: example 5
       minReplicas: 1 6
       maxReplicas: 10 7
       metrics: 8
       - type: Resource
         resource:
           name: memory 9
           target:
             type: Utilization 10
             averageUtilization: 50 11
       behavior: 12
         scaleUp:
           stabilizationWindowSeconds: 180
           policies:
           - type: Pods
             value: 6
             periodSeconds: 120
           - type: Percent
             value: 10
             periodSeconds: 120
           selectPolicy: Max

     1

     使用 autoscaling/v2 API。

     2

     指定此 pod 横向自动扩展对象的名称。

     3

     指定要缩放对象的 API 版本：

     • 对于 ReplicationController，使用 v1。
     • 对于 DeploymentConfig，使用 apps.openshift.io/v1。
     • 对于 Deployment、ReplicaSet 和 Statefulset 对象，使用 apps/v1。

     4

     指定对象类型。对象必须是 Deployment、DeploymentConfig、ReplicaSet、ReplicationController 或 StatefulSet。

     5

     指定要缩放的对象名称。对象必须存在。

     6

     指定缩减时的最小副本数量。

     7

     指定扩展时的最大副本数量。

     8

     对于内存使用率，使用 metrics 参数。

     9

     为内存使用率指定 memory 。

     10

     设置 Utilization。

     11

     为所有 pod 指定 averageUtilization 和一个目标平均内存利用率，以请求内存的百分比表示。目标 pod 必须配置内存请求。

     12

     可选：指定一个扩展策略来控制扩展或缩减率。

2. 创建 Pod 横向自动扩展：

   $ oc create -f <file-name>.yaml

   例如：

   $ oc create -f hpa.yaml

   输出示例

   horizontalpodautoscaler.autoscaling/hpa-resource-metrics-memory created

3. 验证 pod 横向自动扩展是否已创建：

   $ oc get hpa hpa-resource-metrics-memory

   输出示例

   NAME                          REFERENCE            TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
   hpa-resource-metrics-memory   Deployment/example   2441216/500Mi   1         10        1          20m

   $ oc describe hpa hpa-resource-metrics-memory

   输出示例

   Name:                        hpa-resource-metrics-memory
   Namespace:                   default
   Labels:                      <none>
   Annotations:                 <none>
   CreationTimestamp:           Wed, 04 Mar 2020 16:31:37 +0530
   Reference:                   Deployment/example
   Metrics:                     ( current / target )
     resource memory on pods:   2441216 / 500Mi
   Min replicas:                1
   Max replicas:                10
   ReplicationController pods:  1 current / 1 desired
   Conditions:
     Type            Status  Reason              Message
     ----            ------  ------              -------
     AbleToScale     True    ReadyForNewScale    recommended size matches current size
     ScalingActive   True    ValidMetricFound    the HPA was able to successfully calculate a replica count from memory resource
     ScalingLimited  False   DesiredWithinRange  the desired count is within the acceptable range
   Events:
     Type     Reason                   Age                 From                       Message
     ----     ------                   ----                ----                       -------
     Normal   SuccessfulRescale        6m34s               horizontal-pod-autoscaler  New size: 1; reason: All metrics below target

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用 Operator 列表中选择 VerticalPodAutoscaler，点 Install。
3. 在 Install Operator 页面中，确保选择了 Operator 推荐的命名空间 选项。这会在 openshift-vertical-pod-autoscaler 命名空间中创建 Operator。如果这个命名空间还没有存在，会自动创建它。
4. 点 Install。

5. 列出 VPA Operator 组件来验证安装：

   1. 导航到 Workloads → Pods。
   2. 从下拉菜单中选择 openshift-vertical-pod-autoscaler 项目，并验证是否运行了四个 pod。
   3. 进入 Workloads → Deployments 以验证运行了四个部署。

6. 可选。使用以下命令在 OpenShift Container Platform CLI 中验证安装：

   $ oc get all -n openshift-vertical-pod-autoscaler

   输出显示四个 pod 和四个部署：

   输出示例

   NAME                                                    READY   STATUS    RESTARTS   AGE
   pod/vertical-pod-autoscaler-operator-85b4569c47-2gmhc   1/1     Running   0          3m13s
   pod/vpa-admission-plugin-default-67644fc87f-xq7k9       1/1     Running   0          2m56s
   pod/vpa-recommender-default-7c54764b59-8gckt            1/1     Running   0          2m56s
   pod/vpa-updater-default-7f6cc87858-47vw9                1/1     Running   0          2m56s
   
   NAME                  TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
   service/vpa-webhook   ClusterIP   172.30.53.206   <none>        443/TCP   2m56s
   
   NAME                                               READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/vertical-pod-autoscaler-operator   1/1     1            1           3m13s
   deployment.apps/vpa-admission-plugin-default       1/1     1            1           2m56s
   deployment.apps/vpa-recommender-default            1/1     1            1           2m56s
   deployment.apps/vpa-updater-default                1/1     1            1           2m56s
   
   NAME                                                          DESIRED   CURRENT   READY   AGE
   replicaset.apps/vertical-pod-autoscaler-operator-85b4569c47   1         1         1       3m13s
   replicaset.apps/vpa-admission-plugin-default-67644fc87f       1         1         1       2m56s
   replicaset.apps/vpa-recommender-default-7c54764b59            1         1         1       2m56s
   replicaset.apps/vpa-updater-default-7f6cc87858                1         1         1       2m56s

1. 切换到您要缩放的工作负载对象所在的项目。

   1. 创建一个 VPA CR YAML 文件：

      apiVersion: autoscaling.k8s.io/v1
      kind: VerticalPodAutoscaler
      metadata:
        name: vpa-recommender
      spec:
        targetRef:
          apiVersion: "apps/v1"
          kind:       Deployment 1
          name:       frontend 2
        updatePolicy:
          updateMode: "Auto" 3
        resourcePolicy: 4
          containerPolicies:
          - containerName: my-opt-sidecar
            mode: "Off"
        recommenders: 5
          - name: my-recommender

      1

      指定您需要这个 VPA 管理的工作负载对象类型： Deployment、StatefulSet、Job、DaemonSet、ReplicaSet 或 ReplicationController。

      2

      指定您希望此 VPA 管理的现有工作负载对象的名称。

      3

      指定 VPA 模式：

      • auto 会在与控制器关联的 pod 上自动应用推荐的资源。VPA 会终止现有的 pod，并使用推荐的资源限制和请求创建新 pod。
      • recreate 会在与工作负载对象关联的 pod 上自动应用推荐的资源。VPA 会终止现有的 pod，并使用推荐的资源限制和请求创建新 pod。recreate 模式应该很少使用，只有在需要确保每当资源请求改变时 pod 就需要重启时才使用。
      • Initial 在创建与工作负载对象关联的 pod 时自动应用推荐的资源。VPA 会学习新的资源建议，但不会更新 pod。
      • off 仅为与工作负载对象关联的 pod 生成资源建议。VPA 不会更新 pod，它只会学习新的资源建议，且不会将建议应用到新 pod。

      4

      可选。指定不需要受 VPA 影响的容器，将模式设置为 Off。

      5

      可选。指定替代的推荐器。

   2. 创建 VPA CR:

      $ oc create -f <file-name>.yaml

      在一段短暂的时间后，VPA 会了解与工作负载对象关联的 pod 中容器的资源使用情况。

      您可以使用以下命令查看 VPA 建议：

      $ oc get vpa <vpa-name> --output yaml

      输出显示 CPU 和内存请求的建议，如下所示：

      输出示例

      ...
      status:
      
      ...
      
        recommendation:
          containerRecommendations:
          - containerName: frontend
            lowerBound: 1
              cpu: 25m
              memory: 262144k
            target: 2
              cpu: 25m
              memory: 262144k
            uncappedTarget: 3
              cpu: 25m
              memory: 262144k
            upperBound: 4
              cpu: 262m
              memory: "274357142"
          - containerName: backend
            lowerBound:
              cpu: 12m
              memory: 131072k
            target:
              cpu: 12m
              memory: 131072k
            uncappedTarget:
              cpu: 12m
              memory: 131072k
            upperBound:
              cpu: 476m
              memory: "498558823"
      
      ...

      1

      lowerBound 是最低的推荐资源级别。

      2

      target是推荐的资源级别。

      3

      upperBound 是最高的推荐资源级别。

      4

      uncappedTarget 是最新资源建议。

流程

1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
2. 切换到 openshift-vertical-pod-autoscaler 项目。
3. 对于 VerticalPodAutoscaler Operator，点 Options 菜单 并选择 Uninstall Operator。
4. 可选： 要删除与 Operator 关联的所有操作对象，请在对话框中选择 Delete all operand instance for this operator 复选框。
5. 点 Uninstall。

6. 可选： 使用 OpenShift CLI 删除 VPA 组件：

   1. 删除 VPA 命名空间：

      $ oc delete namespace openshift-vertical-pod-autoscaler

   2. 删除 VPA 自定义资源定义 (CRD) 对象：

      $ oc delete crd verticalpodautoscalercheckpoints.autoscaling.k8s.io

      $ oc delete crd verticalpodautoscalercontrollers.autoscaling.openshift.io

      $ oc delete crd verticalpodautoscalers.autoscaling.k8s.io

      删除 CRD 会删除关联的角色、集群角色和角色绑定。

      注意

      此操作会从集群中移除，集群中的所有用户创建的 VPA CR。如果重新安装 VPA，您必须再次创建这些对象。

   3. 删除 VPA Operator：

      $ oc delete operator/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler

1. 创建包含您要保留 secret 的数据的 secret 对象。在以下部分中取消每个 secret 类型所需的特定数据。

   创建不透明 secret 的 YAML 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: test-secret
   type: Opaque 1
   data: 2
     username: <username>
     password: <password>
   stringData: 3
     hostname: myapp.mydomain.com
     secret.properties: |
       property1=valueA
       property2=valueB

   1

   指定 secret 的类型。

   2

   指定编码的字符串和数据。

   3

   指定解码的字符串和数据。

   使用 data 或 stringdata 字段，不能同时使用这两个字段。

2. 更新 pod 的服务帐户以引用 secret：

   使用 secret 的服务帐户的 YAML

   apiVersion: v1
   kind: ServiceAccount
    ...
   secrets:
   - name: test-secret

3. 创建以环境变量或文件（使用 secret 卷）形式消耗 secret 的 pod：

   pod 的 YAML 使用 secret 数据填充卷中的文件

   apiVersion: v1
   kind: Pod
   metadata:
     name: secret-example-pod
   spec:
     containers:
       - name: secret-test-container
         image: busybox
         command: [ "/bin/sh", "-c", "cat /etc/secret-volume/*" ]
         volumeMounts: 1
             - name: secret-volume
               mountPath: /etc/secret-volume 2
               readOnly: true 3
     volumes:
       - name: secret-volume
         secret:
           secretName: test-secret 4
     restartPolicy: Never

   1

   为每个需要 secret 的容器添加 volumeMounts 字段。

   2

   指定您希望显示 secret 的未使用目录名称。secret 数据映射中的每个密钥都将成为 mountPath 下的文件名。

   3

   设置为 true。如果为 true，这指示驱动程序提供只读卷。

   4

   指定 secret 的名称。

   pod 的 YAML 使用 secret 数据填充环境变量

   apiVersion: v1
   kind: Pod
   metadata:
     name: secret-example-pod
   spec:
     containers:
       - name: secret-test-container
         image: busybox
         command: [ "/bin/sh", "-c", "export" ]
         env:
           - name: TEST_SECRET_USERNAME_ENV_VAR
             valueFrom:
               secretKeyRef: 1
                 name: test-secret
                 key: username
     restartPolicy: Never

   1

   指定消耗 secret 密钥的环境变量。

   构建配置的 YAML 使用 secret 数据填充环境变量

   apiVersion: build.openshift.io/v1
   kind: BuildConfig
   metadata:
     name: secret-example-bc
   spec:
     strategy:
       sourceStrategy:
         env:
         - name: TEST_SECRET_USERNAME_ENV_VAR
           valueFrom:
             secretKeyRef: 1
               name: test-secret
               key: username
         from:
           kind: ImageStreamTag
           namespace: openshift
           name: 'cli:latest'

   1

   指定消耗 secret 密钥的环境变量。

流程

1. 运行以下命令，在命名空间中创建服务帐户：

   $ oc create sa <service_account_name> -n <your_namespace>

2. 将以下 YAML 示例保存到名为 service-account-token-secret.yaml 的文件中。这个示例包括可用于生成服务帐户令牌的 Secret 对象配置：

   apiVersion: v1
   kind: Secret
   metadata:
     name: <secret_name> 1
     annotations:
       kubernetes.io/service-account.name: "sa-name" 2
   type: kubernetes.io/service-account-token 3

   1

   将 <secret_name> 替换为服务帐户令牌 secret 的名称。

   2

   指定一个现有服务帐户名称。如果您要同时创建 ServiceAccount 和 Secret 对象，请首先创建 ServiceAccount 对象。

   3

   指定服务帐户令牌 secret 类型。

3. 通过应用文件来生成服务帐户令牌：

   $ oc apply -f service-account-token-secret.yaml

4. 运行以下命令，从 secret 获取服务帐户令牌：

   $ oc get secret <sa_token_secret> -o jsonpath='{.data.token}' | base64 --decode 1

   输出示例

   ayJhbGciOiJSUzI1NiIsImtpZCI6IklOb2dtck1qZ3hCSWpoNnh5YnZhSE9QMkk3YnRZMVZoclFfQTZfRFp1YlUifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJkZWZhdWx0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6ImJ1aWxkZXItdG9rZW4tdHZrbnIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiYnVpbGRlciIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjNmZGU2MGZmLTA1NGYtNDkyZi04YzhjLTNlZjE0NDk3MmFmNyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpkZWZhdWx0OmJ1aWxkZXIifQ.OmqFTDuMHC_lYvvEUrjr1x453hlEEHYcxS9VKSzmRkP1SiVZWPNPkTWlfNRp6bIUZD3U6aN3N7dMSN0eI5hu36xPgpKTdvuckKLTCnelMx6cxOdAbrcw1mCmOClNscwjS1KO1kzMtYnnq8rXHiMJELsNlhnRyyIXRTtNBsy4t64T3283s3SLsancyx0gy0ujx-Ch3uKAKdZi5iT-I8jnnQ-ds5THDs2h65RJhgglQEmSxpHrLGZFmyHAQI-_SjvmHZPXEc482x3SkaQHNLqpmrpJorNqh1M8ZHKzlujhZgVooMvJmWPXTb2vnvi3DGn2XI-hZxl1yD2yGH1RBpYUHA

   1

   将 <sa_token_secret> 替换为服务帐户令牌 secret 的名称。

5. 使用您的服务帐户令牌与集群的 API 进行身份验证：

   $ curl -X GET <openshift_cluster_api> --header "Authorization: Bearer <token>" 1 2

   1

   将 <openshift_cluster_api> 替换为 OpenShift 集群 API。

   2

   将 <token> 替换为上一命令输出的服务帐户令牌。

1. 删除 secret：

   $ oc delete secret <secret_name>

2. 清除注解：

   $ oc annotate service <service_name> service.beta.openshift.io/serving-cert-generation-error-

   $ oc annotate service <service_name> service.beta.openshift.io/serving-cert-generation-error-num-

1. 输入以下命令为您要配置的节点类型获取与静态 MachineConfigPool CRD 关联的标签。执行以下步骤之一：

   1. 查看机器配置：

      # oc describe machineconfig <name>

      例如：

      # oc describe machineconfig 00-worker

      输出示例

      Name:         00-worker
      Namespace:
      Labels:       machineconfiguration.openshift.io/role=worker 1

      1

      设备管理器所需标签。

流程

1. 为配置更改创建自定义资源 (CR)。

   设备管理器 CR 配置示例

   apiVersion: machineconfiguration.openshift.io/v1
   kind: KubeletConfig
   metadata:
     name: devicemgr 1
   spec:
     machineConfigPoolSelector:
       matchLabels:
          machineconfiguration.openshift.io: devicemgr 2
     kubeletConfig:
       feature-gates:
         - DevicePlugins=true 3

   1

   为 CR 分配一个名称。

   2

   输入来自机器配置池的标签。

   3

   将 DevicePlugins 设为“true”。

2. 创建设备管理器：

   $ oc create -f devicemgr.yaml

   输出示例

   kubeletconfig.machineconfiguration.openshift.io/devicemgr created

3. 通过确认节点上已创建了 /var/lib/kubelet/device-plugins/kubelet.sock，确保已启用了设备管理器。这是设备管理器 gRPC 服务器在其上侦听新插件注册的 UNIX 域套接字。只有启用了设备管理器，才会在 Kubelet 启动时创建此 sock 文件。

1. 创建一个或多个优先级类：

   1. 创建一个类似以下示例的 YAML 文件：

      apiVersion: scheduling.k8s.io/v1
      kind: PriorityClass
      metadata:
        name: high-priority 1
      value: 1000000 2
      preemptionPolicy: PreemptLowerPriority 3
      globalDefault: false 4
      description: "This priority class should be used for XYZ service pods only." 5

      1

      优先级类对象的名称。

      2

      对象的优先级值。

      3

      可选。指定此优先级类是否被抢占或非抢占。抢占策略默认为 PreemptLowerPriority，它允许该优先级类中的 pod 抢占较低优先级 pod。如果抢占策略设置为 Never，则该优先级类中的 pod 就不会被抢占。

      4

      可选。指定是否应该将这个优先级类用于没有指定优先级类名称的 pod。此字段默认为 false。集群中只能存在一个 globalDefault 设为 true 的优先级类。如果没有 globalDefault:true 的优先级类，则无优先级类名称的 pod 的优先级为零。添加具有 globalDefault:true 的优先级类只会影响在添加优先级类后创建的 pod，不会更改现有 pod 的优先级。

      5

      可选。描述开发人员应该用于此优先级类的 pod。输入任意文本字符串。

   2. 创建优先级类：

      $ oc create -f <file-name>.yaml

2. 创建 pod spec 使其包含优先级类的名称：

   1. 创建一个类似以下示例的 YAML 文件：

      apiVersion: v1
      kind: Pod
      metadata:
        name: nginx
        labels:
          env: test
      spec:
        containers:
        - name: nginx
          image: nginx
          imagePullPolicy: IfNotPresent
        priorityClassName: high-priority 1

      1

      指定要用于此 pod 的优先级类。

   2. 创建 pod：

      $ oc create -f <file-name>.yaml

      您可以将优先级名称直接添加到 pod 配置或 pod 模板中。

流程

1. 通过使用机器集或直接编辑节点，为节点添加标签：

   • 在创建节点时，使用 MachineSet 对象向由机器集管理的节点添加标签：

     1. 运行以下命令，将标签添加到 MachineSet 对象中：

        $ oc patch MachineSet <name> --type='json' -p='[{"op":"add","path":"/spec/template/spec/metadata/labels", "value":{"<key>"="<value>","<key>"="<value>"}}]'  -n openshift-machine-api

        例如：

        $ oc patch MachineSet abc612-msrtw-worker-us-east-1c  --type='json' -p='[{"op":"add","path":"/spec/template/spec/metadata/labels", "value":{"type":"user-node","region":"east"}}]'  -n openshift-machine-api

        提示

        您还可以应用以下 YAML 来向机器集中添加标签：

        apiVersion: machine.openshift.io/v1beta1
        kind: MachineSet
        metadata:
          name: xf2bd-infra-us-east-2a
          namespace: openshift-machine-api
        spec:
          template:
            spec:
              metadata:
                labels:
                  region: "east"
                  type: "user-node"
        #...

     2. 使用 oc edit 命令验证标签是否已添加到 MachineSet 对象中：

        例如：

        $ oc edit MachineSet abc612-msrtw-worker-us-east-1c -n openshift-machine-api

        MachineSet 对象示例

        apiVersion: machine.openshift.io/v1beta1
        kind: MachineSet
        
        # ...
        
        spec:
        # ...
          template:
            metadata:
        # ...
            spec:
              metadata:
                labels:
                  region: east
                  type: user-node
        # ...

   • 直接向节点添加标签：

     1. 为节点编辑 Node 对象：

        $ oc label nodes <name> <key>=<value>

        例如，若要为以下节点添加标签：

        $ oc label nodes ip-10-0-142-25.ec2.internal type=user-node region=east

        提示

        您还可以应用以下 YAML 来向节点添加标签：

        kind: Node
        apiVersion: v1
        metadata:
          name: hello-node-6fbccf8d9
          labels:
            type: "user-node"
            region: "east"
        #...

     2. 验证标签是否已添加到节点：

        $ oc get nodes -l type=user-node,region=east

        输出示例

        NAME                          STATUS   ROLES    AGE   VERSION
        ip-10-0-142-25.ec2.internal   Ready    worker   17m   v1.24.0

2. 将匹配的节点选择器添加到 pod：

   • 要将节点选择器添加到现有和未来的 pod，请向 pod 的控制对象添加节点选择器：

     带有标签的 ReplicaSet 对象示例

     kind: ReplicaSet
     apiVersion: apps/v1
     metadata:
       name: hello-node-6fbccf8d9
     # ...
     spec:
     # ...
       template:
         metadata:
           creationTimestamp: null
           labels:
             ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
             pod-template-hash: 66d5cf9464
         spec:
           nodeSelector:
             kubernetes.io/os: linux
             node-role.kubernetes.io/worker: ''
             type: user-node 1
     #...

     1

     添加节点选择器。

   • 要将节点选择器添加到一个特定的新 pod，直接将选择器添加到 Pod 对象中：

     使用节点选择器的 Pod 对象示例

     apiVersion: v1
     kind: Pod
     metadata:
       name: hello-node-6fbccf8d9
     #...
     spec:
       nodeSelector:
         region: east
         type: user-node
     #...

     注意

     您不能直接将节点选择器添加到现有调度的 pod 中。

流程

1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
2. 从可用的 Operator 列表中选择 Custom Metrics Autoscaler，然后点 Install。
3. 在 Install Operator 页面中，确保为 Installation Mode 选择 All namespaces on the cluster(default) 选项。这会在所有命名空间中安装 Operator。
4. 确保为 Installed Namespace 选择了 openshift-keda 命名空间。如果集群中不存在命名空间，OpenShift Container Platform 会创建命名空间。
5. 点 Install。

6. 列出自定义 Metrics Autoscaler Operator 组件来验证安装：

   1. 导航到 Workloads → Pods。
   2. 从下拉菜单中选择 openshift-keda 项目，并验证 custom-metrics-autoscaler-operator-* pod 正在运行。
   3. 进入到 Workloads → Deployments 以验证 custom-metrics-autoscaler-operator 部署是否正在运行。

7. 可选：使用以下命令在 OpenShift CLI 中验证安装：

   $ oc get all -n openshift-keda

   输出结果类似如下：

   输出示例

   NAME                                                      READY   STATUS    RESTARTS   AGE
   pod/custom-metrics-autoscaler-operator-5fd8d9ffd8-xt4xp   1/1     Running   0          18m
   
   NAME                                                 READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/custom-metrics-autoscaler-operator   1/1     1            1           18m
   
   NAME                                                            DESIRED   CURRENT   READY   AGE
   replicaset.apps/custom-metrics-autoscaler-operator-5fd8d9ffd8   1         1         1       18m

8. 安装 KedaController 自定义资源，该资源创建所需的 CRD：

   1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
   2. 点 Custom Metrics Autoscaler。
   3. 在 Operator Details 页面中，点 KedaController 选项卡。

   4. 在 KedaController 选项卡中，点 Create KedaController 并编辑文件。

      kind: KedaController
      apiVersion: keda.sh/v1alpha1
      metadata:
        name: keda
        namespace: openshift-keda
      spec:
        watchNamespace: '' 1
        operator:
          logLevel: info 2
          logEncoder: console 3
        metricsServer:
          logLevel: '0' 4
          auditConfig: 5
            logFormat: "json"
            logOutputVolumeClaim: "persistentVolumeClaimName"
            policy:
              rules:
              - level: Metadata
              omitStages: "RequestReceived"
              omitManagedFields: false
            lifetime:
              maxAge: "2"
              maxBackup: "1"
              maxSize: "50"
        serviceAccount: {}

      1

      指定自定义自动扩展应该监视的命名空间。在以逗号分隔的列表中输入名称。省略或设置空以监视所有命名空间。默认值为空。

      2

      指定自定义 Metrics Autoscaler Operator 日志消息的详细程度。允许的值有 debug、info 和error。默认为 info。

      3

      指定 Custom Metrics Autoscaler Operator 日志消息的日志记录格式。允许的值是 console 或 json。默认为 console。

      4

      指定自定义 Metrics Autoscaler Metrics 服务器的日志记录级别。允许的值是 0（用于 info）和 4（用于 debug ）。默认值为 0。

      5

      激活自定义 Metrics Autoscaler Operator 的审计日志记录，并指定要使用的审计策略，如"配置审计日志记录"部分中所述。

   5. 点 Create 创建 KEDA 控制器。

流程

1. 创建 TriggerAuthentication 或 ClusterTriggerAuthentication 对象。

   1. 创建定义对象的 YAML 文件：

      使用 secret 的触发器验证示例

      kind: TriggerAuthentication
      apiVersion: keda.sh/v1alpha1
      metadata:
        name: prom-triggerauthentication
        namespace: my-namespace
      spec:
        secretTargetRef:
        - parameter: user-name
          name: my-secret
          key: USER_NAME
        - parameter: password
          name: my-secret
          key: USER_PASSWORD

   2. 创建 TriggerAuthentication 对象：

      $ oc create -f <filename>.yaml

2. 创建或编辑使用触发器身份验证的 ScaledObject YAML 文件：

   1. 运行以下命令，创建定义对象的 YAML 文件：

      使用触发器身份验证的扩展对象示例

      apiVersion: keda.sh/v1alpha1
      kind: ScaledObject
      metadata:
        name: scaledobject
        namespace: my-namespace
      spec:
        scaleTargetRef:
          name: example-deployment
        maxReplicaCount: 100
        minReplicaCount: 0
        pollingInterval: 30
        triggers:
        - type: prometheus
          metadata:
            serverAddress: https://thanos-querier.openshift-monitoring.svc.cluster.local:9092
            namespace: kedatest # replace <NAMESPACE>
            metricName: http_requests_total
            threshold: '5'
            query: sum(rate(http_requests_total{job="test-app"}[1m]))
            authModes: "basic"
          authenticationRef:
            name: prom-triggerauthentication 1
            kind: TriggerAuthentication 2

      1

      指定触发器身份验证对象的名称。

      2

      指定 TriggerAuthentication。TriggerAuthentication 是默认值。

      使用集群触发器身份验证的扩展对象示例

      apiVersion: keda.sh/v1alpha1
      kind: ScaledObject
      metadata:
        name: scaledobject
        namespace: my-namespace
      spec:
        scaleTargetRef:
          name: example-deployment
        maxReplicaCount: 100
        minReplicaCount: 0
        pollingInterval: 30
        triggers:
        - type: prometheus
          metadata:
            serverAddress: https://thanos-querier.openshift-monitoring.svc.cluster.local:9092
            namespace: kedatest # replace <NAMESPACE>
            metricName: http_requests_total
            threshold: '5'
            query: sum(rate(http_requests_total{job="test-app"}[1m]))
            authModes: "basic"
          authenticationRef:
            name: prom-cluster-triggerauthentication 1
            kind: ClusterTriggerAuthentication 2

      1

      指定触发器身份验证对象的名称。

      2

      指定 ClusterTriggerAuthentication。

   2. 运行以下命令来创建扩展的对象：

      $ oc apply -f <filename>

流程

1. 使用以下命令编辑工作负载的 ScaledObject CR：

   $ oc edit ScaledObject scaledobject

2. 使用任何值添加 autoscaling.keda.sh/paused-replicas 注解：

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     annotations:
       autoscaling.keda.sh/paused-replicas: "4" 1
     creationTimestamp: "2023-02-08T14:41:01Z"
     generation: 1
     name: scaledobject
     namespace: my-project
     resourceVersion: '65729'
     uid: f5aec682-acdf-4232-a783-58b5b82f5dd0

   1

   指定自定义 Metrics Autoscaler Operator 将副本扩展到指定的值，并停止自动扩展。

流程

1. 使用以下命令编辑工作负载的 ScaledObject CR：

   $ oc edit ScaledObject scaledobject

2. 删除 autoscaling.keda.sh/paused-replicas 注解。

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     annotations:
       autoscaling.keda.sh/paused-replicas: "4" 1
     creationTimestamp: "2023-02-08T14:41:01Z"
     generation: 1
     name: scaledobject
     namespace: my-project
     resourceVersion: '65729'
     uid: f5aec682-acdf-4232-a783-58b5b82f5dd0

   1

   删除此注解以重启暂停的自定义指标自动扩展。

流程

1. 编辑 KedaController 自定义资源以添加 auditConfig 小节：

   kind: KedaController
   apiVersion: keda.sh/v1alpha1
   metadata:
     name: keda
     namespace: openshift-keda
   spec:
   # ...
     metricsServer:
   # ...
       auditConfig:
         logFormat: "json" 1
         logOutputVolumeClaim: "pvc-audit-log" 2
         policy:
           rules: 3
           - level: Metadata
           omitStages: "RequestReceived" 4
           omitManagedFields: false 5
         lifetime: 6
           maxAge: "2"
           maxBackup: "1"
           maxSize: "50"

   1

   指定审计日志的输出格式，可以是 legacy 或 json。

   2

   指定用于存储日志数据的现有持久性卷声明。所有来自 API 服务器的请求都会记录到此持久性卷声明。如果将此字段留空，日志数据将发送到 stdout。

   3

   指定应记录哪些事件及其应包含哪些数据：

   • None ：不记录事件。
   • Metadata ：仅记录请求的元数据，如用户、时间戳等。不要记录请求文本和响应文本。这是默认值。
   • Request ：仅记录元数据和请求文本，而不记录响应文本。这个选项不适用于非资源请求。
   • RequestResponse ：日志事件元数据、请求文本和响应文本。这个选项不适用于非资源请求。

   4

   指定没有创建事件的阶段。

   5

   指定是否省略请求的 managed 字段，并从写入 API 审计日志的响应正文，可以是 true 来省略字段，或 false 包含字段。

   6

   指定审计日志的大小和生命周期。

   • MaxAge ：根据文件名中编码的时间戳，保留审计日志文件的最大天数。
   • maxBackup ：要保留的审计日志文件的最大数量。设置为 0 以保留所有审计日志文件。
   • maxsize ：在轮转审计日志文件前以 MB 为单位的最大大小。

验证

1. 直接查看审计日志文件：

   1. 获取 keda-metrics-apiserver the pod 的名称：

      oc get pod -n openshift-keda

      输出示例

      NAME                                                  READY   STATUS    RESTARTS   AGE
      custom-metrics-autoscaler-operator-5cb44cd75d-9v4lv   1/1     Running   0          8m20s
      keda-metrics-apiserver-65c7cc44fd-rrl4r               1/1     Running   0          2m55s
      keda-operator-776cbb6768-zpj5b                        1/1     Running   0          2m55s

   2. 使用类似如下的命令查看日志数据：

      $ oc logs keda-metrics-apiserver-<hash>|grep -i metadata 1

      1

      可选： 您可以使用 grep 命令指定要显示的日志级别： Metadata、Request、RequestResponse。

      例如：

      $ oc logs keda-metrics-apiserver-65c7cc44fd-rrl4r|grep -i metadata

      输出示例

       ...
      {"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"4c81d41b-3dab-4675-90ce-20b87ce24013","stage":"ResponseComplete","requestURI":"/healthz","verb":"get","user":{"username":"system:anonymous","groups":["system:unauthenticated"]},"sourceIPs":["10.131.0.1"],"userAgent":"kube-probe/1.26","responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2023-02-16T13:00:03.554567Z","stageTimestamp":"2023-02-16T13:00:03.555032Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":""}}
       ...

2. 另外，您可以查看特定的日志：

   1. 使用类似如下的命令登录到 keda-metrics-apiserver the pod:

      $ oc rsh pod/keda-metrics-apiserver-<hash> -n openshift-keda

      例如：

      $ oc rsh pod/keda-metrics-apiserver-65c7cc44fd-rrl4r -n openshift-keda

   2. 进入 /var/audit-policy/ 目录：

      sh-4.4$ cd /var/audit-policy/

   3. 列出可用的日志：

      sh-4.4$ ls

      输出示例

      log-2023.02.17-14:50  policy.yaml

   4. 根据需要查看日志：

      sh-4.4$ cat <log_name>/<pvc_name>|grep -i <log_level> 1

      1

      可选： 您可以使用 grep 命令指定要显示的日志级别： Metadata、Request、RequestResponse。

      例如：

      sh-4.4$ cat log-2023.02.17-14:50/pvc-audit-log|grep -i Request

      输出示例

       ...
      {"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Request","auditID":"63e7f68c-04ec-4f4d-8749-bf1656572a41","stage":"ResponseComplete","requestURI":"/openapi/v2","verb":"get","user":{"username":"system:aggregator","groups":["system:authenticated"]},"sourceIPs":["10.128.0.1"],"responseStatus":{"metadata":{},"code":304},"requestReceivedTimestamp":"2023-02-17T13:12:55.035478Z","stageTimestamp":"2023-02-17T13:12:55.038346Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"system:discovery\" of ClusterRole \"system:discovery\" to Group \"system:authenticated\""}}
       ...

流程

1. 进入要存储 must-gather 数据的目录。

   注意

   如果集群使用受限网络，则需要执行额外的步骤。如果您镜像的容器镜像仓库有一个信任的 CA，您必须首先将这个信任的 CA 添加到集群中。对于受限网络中的所有集群，您必须运行以下命令来导入默认的 must-gather 镜像作为镜像流。

   $ oc import-image is/must-gather -n openshift

2. 执行以下之一：

   • 要只获取自定义 Metrics Autoscaler Operator must-gather 数据，请使用以下命令：

     $ oc adm must-gather --image="$(oc get packagemanifests openshift-custom-metrics-autoscaler-operator \
     -n openshift-marketplace \
     -o jsonpath='{.status.channels[?(@.name=="stable")].currentCSVDesc.annotations.containerImage}')"

     must-gather 命令的自定义镜像直接从 Operator 软件包清单中拉取，以便它可用于提供 Custom Metric Autoscaler Operator 的任何集群。

   • 除了 Custom Metric Autoscaler Operator 信息外，要收集默认的 must-gather 数据：

     1. 使用以下命令获取自定义 Metrics Autoscaler Operator 镜像并将其设置为环境变量：

        $ IMAGE="$(oc get packagemanifests openshift-custom-metrics-autoscaler-operator \
          -n openshift-marketplace \
          -o jsonpath='{.status.channels[?(@.name=="stable")].currentCSVDesc.annotations.containerImage}')"

     2. 使用带有自定义 Metrics Autoscaler Operator 镜像的 oc adm must-gather ：

        $ oc adm must-gather --image-stream=openshift/must-gather --image=${IMAGE}

   例 3.1. Custom Metric Autoscaler 的 must-gather 输出示例：

   └── openshift-keda
       ├── apps
       │   ├── daemonsets.yaml
       │   ├── deployments.yaml
       │   ├── replicasets.yaml
       │   └── statefulsets.yaml
       ├── apps.openshift.io
       │   └── deploymentconfigs.yaml
       ├── autoscaling
       │   └── horizontalpodautoscalers.yaml
       ├── batch
       │   ├── cronjobs.yaml
       │   └── jobs.yaml
       ├── build.openshift.io
       │   ├── buildconfigs.yaml
       │   └── builds.yaml
       ├── core
       │   ├── configmaps.yaml
       │   ├── endpoints.yaml
       │   ├── events.yaml
       │   ├── persistentvolumeclaims.yaml
       │   ├── pods.yaml
       │   ├── replicationcontrollers.yaml
       │   ├── secrets.yaml
       │   └── services.yaml
       ├── discovery.k8s.io
       │   └── endpointslices.yaml
       ├── image.openshift.io
       │   └── imagestreams.yaml
       ├── k8s.ovn.org
       │   ├── egressfirewalls.yaml
       │   └── egressqoses.yaml
       ├── keda.sh
       │   ├── kedacontrollers
       │   │   └── keda.yaml
       │   ├── scaledobjects
       │   │   └── example-scaledobject.yaml
       │   └── triggerauthentications
       │       └── example-triggerauthentication.yaml
       ├── monitoring.coreos.com
       │   └── servicemonitors.yaml
       ├── networking.k8s.io
       │   └── networkpolicies.yaml
       ├── openshift-keda.yaml
       ├── pods
       │   ├── custom-metrics-autoscaler-operator-58bd9f458-ptgwx
       │   │   ├── custom-metrics-autoscaler-operator
       │   │   │   └── custom-metrics-autoscaler-operator
       │   │   │       └── logs
       │   │   │           ├── current.log
       │   │   │           ├── previous.insecure.log
       │   │   │           └── previous.log
       │   │   └── custom-metrics-autoscaler-operator-58bd9f458-ptgwx.yaml
       │   ├── custom-metrics-autoscaler-operator-58bd9f458-thbsh
       │   │   └── custom-metrics-autoscaler-operator
       │   │       └── custom-metrics-autoscaler-operator
       │   │           └── logs
       │   ├── keda-metrics-apiserver-65c7cc44fd-6wq4g
       │   │   ├── keda-metrics-apiserver
       │   │   │   └── keda-metrics-apiserver
       │   │   │       └── logs
       │   │   │           ├── current.log
       │   │   │           ├── previous.insecure.log
       │   │   │           └── previous.log
       │   │   └── keda-metrics-apiserver-65c7cc44fd-6wq4g.yaml
       │   └── keda-operator-776cbb6768-fb6m5
       │       ├── keda-operator
       │       │   └── keda-operator
       │       │       └── logs
       │       │           ├── current.log
       │       │           ├── previous.insecure.log
       │       │           └── previous.log
       │       └── keda-operator-776cbb6768-fb6m5.yaml
       ├── policy
       │   └── poddisruptionbudgets.yaml
       └── route.openshift.io
           └── routes.yaml

3. 从工作目录中创建的 must-gather 目录创建一个压缩文件。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar cvaf must-gather.tar.gz must-gather.local.5421342344627712289/ 1

   1

   将 must-gather-local.5421342344627712289/ 替换为实际目录名称。

4. 在红帽客户门户中为您的问题单附上压缩文件。

流程

1. 在 OpenShift Container Platform Web 控制台中选择 Administrator 视角。
2. 选择 Observe → Metrics。
3. 要创建自定义查询，请将 PromQL 查询添加到 Expression 字段中。
4. 要添加多个查询，选择 Add Query。

流程

1. 创建一个类似如下的 YAML 文件：只有名称 <2>, 对象名称 <4>, 和对象类型 <5> 是必需的。

   缩放对象示例

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     annotations:
       autoscaling.keda.sh/paused-replicas: "0" 1
     name: scaledobject 2
     namespace: my-namespace
   spec:
     scaleTargetRef:
       apiVersion: apps/v1 3
       name: example-deployment 4
       kind: Deployment 5
       envSourceContainerName: .spec.template.spec.containers[0] 6
     cooldownPeriod:  200 7
     maxReplicaCount: 100 8
     minReplicaCount: 0 9
     metricsServer: 10
       auditConfig:
         logFormat: "json"
         logOutputVolumeClaim: "persistentVolumeClaimName"
         policy:
           rules:
           - level: Metadata
           omitStages: "RequestReceived"
           omitManagedFields: false
         lifetime:
           maxAge: "2"
           maxBackup: "1"
           maxSize: "50"
     fallback: 11
       failureThreshold: 3
       replicas: 6
     pollingInterval: 30 12
     advanced:
       restoreToOriginalReplicaCount: false 13
       horizontalPodAutoscalerConfig:
         name: keda-hpa-scale-down 14
         behavior: 15
           scaleDown:
             stabilizationWindowSeconds: 300
             policies:
             - type: Percent
               value: 100
               periodSeconds: 15
     triggers:
     - type: prometheus 16
       metadata:
         serverAddress: https://thanos-querier.openshift-monitoring.svc.cluster.local:9092
         namespace: kedatest
         metricName: http_requests_total
         threshold: '5'
         query: sum(rate(http_requests_total{job="test-app"}[1m]))
         authModes: basic
       authenticationRef: 17
         name: prom-triggerauthentication
         kind: TriggerAuthentication

   1

   可选：指定自定义 Metrics Autoscaler Operator 将副本扩展到指定的值和停止自动扩展，如 "Pausing the custom metrics autoscaler for a workload" 部分所述。

   2

   指定此自定义指标自动扩展的名称。

   3

   可选：指定目标资源的 API 版本。默认为 apps/v1。

   4

   指定要缩放的对象名称。

   5

   指定 kind 为 Deployment, StatefulSet 或 CustomResource。

   6

   可选：指定目标资源中的容器的名称，其中的自定义自动扩展器获取包含 secret 的环境变量等。默认为 .spec.template.spec.containers[0]。

   7

   可选。指定一个在最后的触发器报告后等待的时间（以秒为单位），在经过这个时间后才会将部署缩减为 0（如果 minReplicaCount 设置为 0）。默认值为 300。

   8

   可选：指定扩展时的最大副本数量。默认值为 100。

   9

   可选：指定缩减时的最小副本数量。

   10

   可选：指定审计日志的参数。如"配置审计日志记录"部分中所述。

   11

   可选：指定在扩展程序无法从源中获取由 failureThreshold 参数定义的次数时回退到的副本数。有关回退行为的更多信息，请参阅 KEDA 文档。

   12

   可选：指定检查每个触发器的时间间隔（以秒为单位）。默认值为 30。

   13

   可选：指定是否在删除扩展对象后将目标资源扩展为原始副本数。默认为 false，这会在删除扩展对象时保留副本数。

   14

   可选：指定 pod 横向自动扩展的名称。默认为 keda-hpa-{scaled-object-name}。

   15

   可选：指定一个扩展策略来控制用来扩展或缩减 pod 的速度，如"扩展策略"部分中所述。

   16

   指定用作扩展基础的触发器，如"识别自定义指标自动扩展触发器"部分中所述。本例使用 OpenShift Container Platform 监控。

   17

   可选：指定触发器身份验证或集群触发器身份验证。如需更多信息，请参阅附加资源部分中的 了解自定义指标自动扩展触发器身份验证。

   • 输入 TriggerAuthentication 来使用触发器身份验证。这是默认值。
   • 输入 ClusterTriggerAuthentication 来使用集群触发器身份验证。

2. 运行以下命令来创建自定义指标自动扩展：

   $ oc create -f <filename>.yaml

流程

1. 创建一个类似以下示例的 YAML 文件：

   kind: ScaledJob
   apiVersion: keda.sh/v1alpha1
   metadata:
     name: scaledjob
     namespace: my-namespace
   spec:
     failedJobsHistoryLimit: 5
     jobTargetRef:
       activeDeadlineSeconds: 600 1
       backoffLimit: 6 2
       parallelism: 1 3
       completions: 1 4
       template:  5
         metadata:
           name: pi
         spec:
           containers:
           - name: pi
             image: perl
             command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
     maxReplicaCount: 100 6
     pollingInterval: 30 7
     successfulJobsHistoryLimit: 5 8
     failedJobsHistoryLimit: 5 9
     envSourceContainerName: 10
     rolloutStrategy: gradual 11
     scalingStrategy: 12
       strategy: "custom"
       customScalingQueueLengthDeduction: 1
       customScalingRunningJobPercentage: "0.5"
       pendingPodConditions:
         - "Ready"
         - "PodScheduled"
         - "AnyOtherCustomPodCondition"
       multipleScalersCalculation : "max"
     triggers:
     - type: prometheus 13
       metadata:
         serverAddress: https://thanos-querier.openshift-monitoring.svc.cluster.local:9092
         namespace: kedatest
         metricName: http_requests_total
         threshold: '5'
         query: sum(rate(http_requests_total{job="test-app"}[1m]))
         authModes: "bearer"
       authenticationRef: 14
         name: prom-cluster-triggerauthentication

   1

   指定作业可以运行的最长持续时间。

   2

   指定作业的重试次数。默认值为 6。

   3

   可选：指定作业应并行运行多少个 pod 副本；默认为 1。

   • 对于非并行作业，请保留未设置。如果未设置，则默认值为 1。

   4

   可选：指定标记作业完成需要成功完成多少个 pod。

   • 对于非并行作业，请保留未设置。如果未设置，则默认值为 1。
   • 对于具有固定完成计数的并行作业，请指定完成数。
   • 对于带有工作队列的并行作业，请保留 unset。当取消设置默认值时，默认值为 parallelism 参数的值。

   5

   指定控制器创建的 pod 模板。

   6

   可选：指定扩展时的最大副本数量。默认值为 100。

   7

   可选：指定检查每个触发器的时间间隔（以秒为单位）。默认值为 30。

   8

   可选：指定成功完成作业的数量。默认值为 100。

   9

   可选：指定应保留多少个失败作业。默认值为 100。

   10

   可选：指定目标资源中的容器的名称，其中的自定义自动扩展器获取包含 secret 的环境变量等。默认为 .spec.template.spec.containers[0]。

   11

   可选：指定在更新扩展作业时是否被终止现有作业：

   • default ：如果关联的扩展作业被更新，则自动扩展器会终止一个现有作业。自动扩展会使用最新的 specs 重新创建作业。
   • gradual ：如果关联的扩展作业被更新，则自动扩展不会终止现有的作业。自动缩放器使用最新的 specs 创建新作业。

   12

   可选：指定一个扩展策略： default、custom 或 accurate。默认为 default。如需更多信息，请参阅下面的"添加资源"部分中的链接。

   13

   指定用作扩展基础的触发器，如"识别自定义指标自动扩展触发器"部分中所述。

   14

   可选：指定触发器身份验证或集群触发器身份验证。如需更多信息，请参阅附加资源部分中的 了解自定义指标自动扩展触发器身份验证。

   • 输入 TriggerAuthentication 来使用触发器身份验证。这是默认值。
   • 输入 ClusterTriggerAuthentication 来使用集群触发器身份验证。

2. 运行以下命令来创建自定义指标自动扩展：

   $ oc create -f <filename>.yaml

流程

1. 在 OpenShift Container Platform web 控制台中，点击 Operators → Installed Operators。
2. 切换到 openshift-keda 项目。

3. 删除 KedaController 自定义资源。

   1. 找到 CustomMetricsAutoscaler Operator 并点 KedaController 选项卡。
   2. 找到自定义资源，然后点 Delete KedaController。
   3. 点 Uninstall。

4. 删除自定义 Metrics Autoscaler Operator:

   1. 点 Operators → Installed Operators。
   2. 找到 CustomMetricsAutoscaler Operator 并点 Options 菜单 并选择 Uninstall Operator。
   3. 点 Uninstall。

5. 可选： 使用 OpenShift CLI 删除自定义指标自动扩展组件：

   1. 删除自定义指标自动扩展 CRD：

      • clustertriggerauthentications.keda.sh
      • kedacontrollers.keda.sh
      • scaledjobs.keda.sh
      • scaledobjects.keda.sh
      • triggerauthentications.keda.sh

      $ oc delete crd clustertriggerauthentications.keda.sh kedacontrollers.keda.sh scaledjobs.keda.sh scaledobjects.keda.sh triggerauthentications.keda.sh

      删除 CRD 会删除关联的角色、集群角色和角色绑定。但是，可能存在一些必须手动删除的集群角色。

   2. 列出任何自定义指标自动扩展集群角色：

      $ oc get clusterrole | grep keda.sh

   3. 删除列出的自定义指标自动扩展集群角色。例如：

      $ oc delete clusterrole.keda.sh-v1alpha1-admin

   4. 列出任何自定义指标自动扩展集群角色绑定：

      $ oc get clusterrolebinding | grep keda.sh

   5. 删除列出的自定义指标自动扩展集群角色绑定。例如：

      $ oc delete clusterrolebinding.keda.sh-v1alpha1-admin

6. 删除自定义指标自动扩展项目：

   $ oc delete project openshift-keda

7. 删除 Cluster Metric Autoscaler Operator：

   $ oc delete operator/openshift-custom-metrics-autoscaler-operator.openshift-keda

流程

1. 编辑 Scheduler 对象：

   $ oc edit scheduler cluster

2. 指定在 spec.profile 字段中使用的配置集：

   apiVersion: config.openshift.io/v1
   kind: Scheduler
   metadata:
     name: cluster
   #...
   spec:
     mastersSchedulable: false
     profile: HighNodeUtilization 1
   #...

   1

   设置为 LowNodeUtilization、HighNodeUtilization 或 NoScoring。

3. 保存文件以使改变生效。

流程

1. 创建 pod 规格中具有特定标签的 pod：

   1. 使用以下内容创建 YAML 文件：

      apiVersion: v1
      kind: Pod
      metadata:
        name: security-s1
        labels:
          security: S1
      spec:
        containers:
        - name: security-s1
          image: docker.io/ocpqe/hello-pod

   2. 创建 pod。

      $ oc create -f <pod-spec>.yaml

2. 在创建其他 pod 时，配置以下参数以添加关联性：

   1. 使用以下内容创建 YAML 文件：

      apiVersion: v1
      kind: Pod
      metadata:
        name: security-s1-east
      #...
      spec
        affinity 1
          podAffinity:
            requiredDuringSchedulingIgnoredDuringExecution: 2
            - labelSelector:
                matchExpressions:
                - key: security 3
                  values:
                  - S1
                  operator: In 4
              topologyKey: topology.kubernetes.io/zone 5
      #...

      1

      添加 pod 关联性。

      2

      配置 requiredDuringSchedulingIgnoredDuringExecution 参数或 preferredDuringSchedulingIgnoredDuringExecution 参数。

      3

      指定必须满足的 key 和 values。如果您希望新 pod 与其他 pod 一起调度，请使用与第一个 pod 上标签相同的 key 和 values 参数。

      4

      指定一个 operator。运算符可以是 In、NotIn、Exists 或 DoesNotExist。例如，使用运算符 In 来要求节点上存在该标签。

      5

      指定 topologyKey，这是一个预填充的 Kubernetes 标签，供系统用于表示这样的拓扑域。

   2. 创建 pod。

      $ oc create -f <pod-spec>.yaml

流程

1. 创建 pod 规格中具有特定标签的 pod：

   1. 使用以下内容创建 YAML 文件：

      apiVersion: v1
      kind: Pod
      metadata:
        name: security-s1
        labels:
          security: S1
      spec:
        containers:
        - name: security-s1
          image: docker.io/ocpqe/hello-pod

   2. 创建 pod。

      $ oc create -f <pod-spec>.yaml

2. 在创建其他 pod 时，配置以下参数：

   1. 使用以下内容创建 YAML 文件：

      apiVersion: v1
      kind: Pod
      metadata:
        name: security-s2-east
      #...
      spec
        affinity 1
          podAntiAffinity:
            preferredDuringSchedulingIgnoredDuringExecution: 2
            - weight: 100 3
              podAffinityTerm:
                labelSelector:
                  matchExpressions:
                  - key: security 4
                    values:
                    - S1
                    operator: In 5
                topologyKey: kubernetes.io/hostname 6
      #...

      1

      添加 pod 反关联性。

      2

      配置 requiredDuringSchedulingIgnoredDuringExecution 参数或 preferredDuringSchedulingIgnoredDuringExecution 参数。

      3

      对于一个首选的规则，为节点指定一个 1-100 的权重。优先选择权重最高的节点。

      4

      指定必须满足的 key 和 values。如果您希望新 pod 不与其他 pod 一起调度，请使用与第一个 pod 上标签相同的 key 和 values 参数。

      5

      指定一个 operator。运算符可以是 In、NotIn、Exists 或 DoesNotExist。例如，使用运算符 In 来要求节点上存在该标签。

      6

      指定 topologyKey，它是一个预先填充的 Kubernetes 标签，用于表示这样的拓扑域。

   2. 创建 pod。

      $ oc create -f <pod-spec>.yaml

1. 使用 oc label node 命令给节点添加标签：

   $ oc label node node1 e2e-az-name=e2e-az1

   提示

   您还可以应用以下 YAML 来添加标签：

   kind: Node
   apiVersion: v1
   metadata:
     name: <node_name>
     labels:
       e2e-az-name: e2e-az1
   #...

2. 创建 pod 规格中具有特定标签的 pod：

   1. 使用以下内容创建 YAML 文件：

      注意

      您不能直接将关联性添加到调度的 pod 中。

      输出示例

      apiVersion: v1
      kind: Pod
      metadata:
        name: s1
      spec:
        affinity: 1
          nodeAffinity:
            requiredDuringSchedulingIgnoredDuringExecution: 2
              nodeSelectorTerms:
              - matchExpressions:
                - key: e2e-az-name 3
                  values:
                  - e2e-az1
                  - e2e-az2
                  operator: In 4
      #...

      1

      添加 pod 关联性。

      2

      配置 requiredDuringSchedulingIgnoredDuringExecution 参数。

      3

      指定必须满足的 key 和 values。如果希望新 pod 调度到您编辑的节点上，请使用与节点中标签相同的 key 和 values 参数：

      4

      指定一个 operator。运算符可以是 In、NotIn、Exists 或 DoesNotExist。例如，使用运算符 In 来要求节点上存在该标签。

   2. 创建 pod：

      $ oc create -f <file-name>.yaml

1. 使用 oc label node 命令给节点添加标签：

   $ oc label node node1 e2e-az-name=e2e-az3

2. 创建具有特定标签的 pod：

   1. 使用以下内容创建 YAML 文件：

      注意

      您不能直接将关联性添加到调度的 pod 中。

      apiVersion: v1
      kind: Pod
      metadata:
        name: s1
      spec:
        affinity: 1
          nodeAffinity:
            preferredDuringSchedulingIgnoredDuringExecution: 2
            - weight: 3
              preference:
                matchExpressions:
                - key: e2e-az-name 4
                  values:
                  - e2e-az3
                  operator: In 5
      #...

      1

      添加 pod 关联性。

      2

      配置 preferredDuringSchedulingIgnoredDuringExecution 参数。

      3

      为节点指定一个数字为 1-100 的权重。优先选择权重最高的节点。

      4

      指定必须满足的 key 和 values。如果希望新 pod 调度到您编辑的节点上，请使用与节点中标签相同的 key 和 values 参数：

      5

      指定一个 operator。运算符可以是 In、NotIn、Exists 或 DoesNotExist。例如，使用运算符 In 来要求节点上存在该标签。

   2. 创建 pod。

      $ oc create -f <file-name>.yaml