4.2. 为用户工作负载监控配置性能和可扩展性

流程

1. 如果您还没有这样做，请在要运行监控组件的节点中添加标签：

   $ oc label nodes <node_name> <node_label> 1

   1

   将 &lt ;node_name > 替换为您要添加标签的节点的名称。将 <node_label > 替换为所需标签的名称。

2. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

3. 在 data/config.yaml 下为组件指定 nodeSelector 约束的节点标签：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       # ...
       <component>: 1
         nodeSelector:
           <node_label_1> 2
           <node_label_2> 3
       # ...

   1

   将 <component> 替换为适当的监控堆栈组件名称。

   2

   将 <node_label_ 1> 替换为添加到节点的标签。

   3

   可选：指定附加标签。如果您指定了额外的标签，则组件的 pod 仅调度到包含所有指定标签的节点上。

   注意

   如果在配置 nodeSelector 约束后监控组件仍然处于 Pending 状态，请检查 Pod 事件中与污点和容限相关的错误。

4. 保存文件以使改变生效。新配置中指定的组件会自动移到新节点上，受新配置影响的 pod 会被重新部署。

流程

1. 编辑 openshift-user-workload-monitoring 项目中的 user-workload-monitoring-config 配置映射：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

2. 为组件指定 tolerations：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       <component>:
         tolerations:
           <toleration_specification>

   相应地替换 <component> 和 <toleration_specification>。

   例如，oc adm taint nodes node1 key1=value1:NoSchedule 会将一个键为 key1 且值为 value1 的污点添加到 node1。这会防止监控组件在 node1 上部署 Pod，除非为该污点配置了容限。以下示例将 thanosRuler 组件配置为容许示例污点：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       thanosRuler:
         tolerations:
         - key: "key1"
           operator: "Equal"
           value: "value1"
           effect: "NoSchedule"

3. 保存文件以使改变生效。受新配置影响的 Pod 会自动重新部署。

流程

1. 编辑 openshift-user-workload-monitoring 项目中的 user-workload-monitoring-config 配置映射：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

2. 添加值来为您要配置的每个组件定义资源限值和请求。

   重要

   确保为限制设置的值始终高于为请求设置的值。否则，会出现错误，容器将不会运行。

   设置资源限值和请求示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       alertmanager:
         resources:
           limits:
             cpu: 500m
             memory: 1Gi
           requests:
             cpu: 200m
             memory: 500Mi
       prometheus:
         resources:
           limits:
             cpu: 500m
             memory: 3Gi
           requests:
             cpu: 200m
             memory: 500Mi
       thanosRuler:
         resources:
           limits:
             cpu: 500m
             memory: 1Gi
           requests:
             cpu: 200m
             memory: 500Mi

3. 保存文件以使改变生效。受新配置影响的 Pod 会自动重新部署。

流程

1. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

2. 在 data/config.yaml 中添加 enforcedSampleLimit 配置，以限制用户定义的项目中每个目标提取可接受的示例数量：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         enforcedSampleLimit: 50000 1

   1

   如果指定此参数，则需要一个值。这个 enforceSampleLimit 示例将用户定义的项目中每个目标提取的示例数量限制为 50,000。

3. 将 enforcedLabelLimit, enforcedLabelNameLengthLimit, 和 enforcedLabelValueLengthLimit 配置添加到 data/config.yaml，以限制刮除的标签数量、标签名称长度以及用户定义的项目中的标签值长度：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         enforcedLabelLimit: 500 1
         enforcedLabelNameLengthLimit: 50 2
         enforcedLabelValueLengthLimit: 600 3

   1

   指定每次刮除的最大标签数。默认值为 0，代表没有指定限制。

   2

   指定标签名称字符的最大长度。默认值为 0，代表没有指定限制。

   3

   指定标签值字符的最大长度。默认值为 0，代表没有指定限制。

4. 保存文件以使改变生效。限制会自动应用。

流程

1. 创建一个包含警报的 YAML 文件，用于在目标停机以及即将达到强制的示例限制时通知您。本例中的文件名为 monitoring-stack-alerts.yaml：

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     labels:
       prometheus: k8s
       role: alert-rules
     name: monitoring-stack-alerts 1
     namespace: ns1 2
   spec:
     groups:
     - name: general.rules
       rules:
       - alert: TargetDown 3
         annotations:
           message: '{{ printf "%.4g" $value }}% of the {{ $labels.job }}/{{ $labels.service
             }} targets in {{ $labels.namespace }} namespace are down.' 4
         expr: 100 * (count(up == 0) BY (job, namespace, service) / count(up) BY (job,
           namespace, service)) > 10
         for: 10m 5
         labels:
           severity: warning 6
       - alert: ApproachingEnforcedSamplesLimit 7
         annotations:
           message: '{{ $labels.container }} container of the {{ $labels.pod }} pod in the {{ $labels.namespace }} namespace consumes {{ $value | humanizePercentage }} of the samples limit budget.' 8
         expr: (scrape_samples_post_metric_relabeling / (scrape_sample_limit > 0)) > 0.9 9
         for: 10m 10
         labels:
           severity: warning 11

   1

   定义警报规则的名称。

   2

   指定要部署警报规则的用户定义的项目。

   3

   如果在 for 持续时间内无法提取目标或者目标不可用，则 TargetDown 警报将触发。

   4

   TargetDown 警报触发时输出的消息。

   5

   在这个持续时间内必须满足 TargetDown 警报的条件才会触发该警报。

   6

   定义 TargetDown 警报的严重性。

   7

   当在指定的 for 持续时间内超过定义的提取示例阈值时，ApproachingEnforcedSamplesLimit 警报将触发。

   8

   当 ApproachingEnforcedSamplesLimit 警报触发时输出的消息。

   9

   ApproachingEnforcedSamplesLimit 警报的阈值。在本例中，当最接近的样本数量超过配置的限制的 90% 时，会触发警报。

   10

   在这个持续时间内必须满足 ApproachingEnforcedSamplesLimit 警报的条件才会触发该警报。

   11

   定义 ApproachingEnforcedSamplesLimit 警报的严重性。

2. 将配置应用到用户定义的项目中：

   $ oc apply -f monitoring-stack-alerts.yaml

3. 另外，您可以检查目标是否达到配置的限制：

   1. 在 web 控制台的 Administrator 视角中，进入 Observe Targets 并选择您要检查的 Down 状态的端点。

      如果端点因为超过示例限制失败，则会显示 Scrape failed: sample limit exceeded 信息。