4.2. 为用户工作负载监控配置性能和可扩展性

流程

1. 如果您还没有这样做，请在要运行监控组件的节点中添加标签：

   $ oc label nodes <node_name> <node_label> 

   1

   Copy to Clipboard Toggle word wrap

   1

   将 <node_name> 替换为您要添加标签的节点的名称。将 <node_label> 替换为所需标签的名称。

2. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

3. 在 data/config.yaml 下为组件指定 nodeSelector 约束的节点标签：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       # ...
       <component>: 

   1

   
         nodeSelector:
           <node_label_1> 

   2

   
           <node_label_2> 

   3

   
       # ...

   Copy to Clipboard Toggle word wrap

   1

   将 <component> 替换为适当的监控堆栈组件名称。

   2

   将 <node_label_1> 替换为添加到节点的标签。

   3

   可选：指定附加标签。如果您指定了额外的标签，则组件的 pod 仅调度到包含所有指定标签的节点上。

   注意

   如果在配置 nodeSelector 约束后监控组件仍然处于 Pending 状态，请检查 Pod 事件中与污点和容限相关的错误。

4. 保存文件以使改变生效。新配置中指定的组件会自动移到新节点上，受新配置影响的 pod 会被重新部署。

流程

1. 编辑 openshift-user-workload-monitoring 项目中的 user-workload-monitoring-config 配置映射：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 为组件指定 tolerations：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       <component>:
         tolerations:
           <toleration_specification>

   Copy to Clipboard Toggle word wrap

   相应地替换 <component> 和 <toleration_specification>。

   例如，oc adm taint nodes node1 key1=value1:NoSchedule 会将一个键为 key1 且值为 value1 的污点添加到 node1。这会防止监控组件在 node1 上部署 Pod，除非为该污点配置了容限。以下示例将 thanosRuler 组件配置为容许示例污点：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       thanosRuler:
         tolerations:
         - key: "key1"
           operator: "Equal"
           value: "value1"
           effect: "NoSchedule"

   Copy to Clipboard Toggle word wrap
3. 保存文件以使改变生效。受新配置影响的 Pod 会自动重新部署。

流程

1. 编辑 openshift-user-workload-monitoring 项目中的 user-workload-monitoring-config 配置映射：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 添加值来为您要配置的每个组件定义资源限值和请求。

   重要

   确保为限制设置的值始终高于为请求设置的值。否则，会出现错误，容器将不会运行。

   设置资源限值和请求示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       alertmanager:
         resources:
           limits:
             cpu: 500m
             memory: 1Gi
           requests:
             cpu: 200m
             memory: 500Mi
       prometheus:
         resources:
           limits:
             cpu: 500m
             memory: 3Gi
           requests:
             cpu: 200m
             memory: 500Mi
       thanosRuler:
         resources:
           limits:
             cpu: 500m
             memory: 1Gi
           requests:
             cpu: 200m
             memory: 500Mi

   Copy to Clipboard Toggle word wrap

3. 保存文件以使改变生效。受新配置影响的 Pod 会自动重新部署。

流程

1. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 在 data/config.yaml 中添加 enforcedSampleLimit 配置，以限制用户定义的项目中每个目标提取可接受的示例数量：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         enforcedSampleLimit: 50000 

   1

   Copy to Clipboard Toggle word wrap

   1

   如果指定此参数，则需要一个值。这个 enforceSampleLimit 示例将用户定义的项目中每个目标提取的示例数量限制为 50,000。

3. 将 enforcedLabelLimit, enforcedLabelNameLengthLimit, 和 enforcedLabelValueLengthLimit 配置添加到 data/config.yaml，以限制刮除的标签数量、标签名称长度以及用户定义的项目中的标签值长度：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         enforcedLabelLimit: 500 

   1

   
         enforcedLabelNameLengthLimit: 50 

   2

   
         enforcedLabelValueLengthLimit: 600 

   3

   Copy to Clipboard Toggle word wrap

   1

   指定每次刮除的最大标签数。默认值为 0，代表没有指定限制。

   2

   指定标签名称字符的最大长度。默认值为 0，代表没有指定限制。

   3

   指定标签值字符的最大长度。默认值为 0，代表没有指定限制。

4. 保存文件以使改变生效。限制会自动应用。

流程

1. 创建一个包含警报的 YAML 文件，用于在目标停机以及即将达到强制的示例限制时通知您。本例中的文件名为 monitoring-stack-alerts.yaml：

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     labels:
       prometheus: k8s
       role: alert-rules
     name: monitoring-stack-alerts 

   1

   
     namespace: ns1 

   2

   
   spec:
     groups:
     - name: general.rules
       rules:
       - alert: TargetDown 

   3

   
         annotations:
           message: '{{ printf "%.4g" $value }}% of the {{ $labels.job }}/{{ $labels.service
             }} targets in {{ $labels.namespace }} namespace are down.' 

   4

   
         expr: 100 * (count(up == 0) BY (job, namespace, service) / count(up) BY (job,
           namespace, service)) > 10
         for: 10m 

   5

   
         labels:
           severity: warning 

   6

   
       - alert: ApproachingEnforcedSamplesLimit 

   7

   
         annotations:
           message: '{{ $labels.container }} container of the {{ $labels.pod }} pod in the {{ $labels.namespace }} namespace consumes {{ $value | humanizePercentage }} of the samples limit budget.' 

   8

   
         expr: scrape_samples_scraped/50000 > 0.8 

   9

   
         for: 10m 

   10

   
         labels:
           severity: warning 

   11

   Copy to Clipboard Toggle word wrap

   1

   定义警报规则的名称。

   2

   指定要部署警报规则的用户定义的项目。

   3

   如果在 for 持续时间内无法提取目标或者目标不可用，则 TargetDown 警报将触发。

   4

   TargetDown 警报触发时输出的消息。

   5

   在这个持续时间内必须满足 TargetDown 警报的条件才会触发该警报。

   6

   定义 TargetDown 警报的严重性。

   7

   当在指定的 for 持续时间内达到或超过定义的提取示例阈值时，ApproachingEnforcedSamplesLimit 警报将触发。

   8

   当 ApproachingEnforcedSamplesLimit 警报触发时输出的消息。

   9

   ApproachingEnforcedSamplesLimit 警报的阈值。在本例中，当每个目标提取的示例数量超过强制示例限制 50000 的 80% 时，警报将触发。在警报触发前，还必须已经过了 for 持续时间。表达式 scrape_samples_scraped/<number> > <threshold> 中的 <number> 必须与 user-workload-monitoring-config ConfigMap 对象中定义的 enforcedSampleLimit 值匹配。

   10

   在这个持续时间内必须满足 ApproachingEnforcedSamplesLimit 警报的条件才会触发该警报。

   11

   定义 ApproachingEnforcedSamplesLimit 警报的严重性。

2. 将配置应用到用户定义的项目中：

   $ oc apply -f monitoring-stack-alerts.yaml

   Copy to Clipboard Toggle word wrap