第 6 章 管理警报

1. 在 OpenShift Container Platform web 控制台中，进入 Observe Alerting Alerts。
2. 对于您要静默的警报，点 并选择 Silence alert 以打开 Silence 警报 页，其中包含所选警报的默认配置。

3. 可选：更改静默的默认配置详情。

   注意

   在保存静默前，需要添加一个注释信息。

4. 要保存静默，点 Silence。

1. 在 OpenShift Container Platform web 控制台中，进入 Observe Alerting Silences。
2. 点 Create silence。

3. 在 Create silence 页面中，设置警报的调度、持续时间和标签详情。

   注意

   在保存静默前，需要添加一个注释信息。

4. 要为与您输入的标签匹配的警报创建静默，请点 Silence。

流程

1. 在 OpenShift Container Platform web 控制台中，进入 Observe Alerting Silences。

2. 针对您想要修改的静默，点 并选择 Edit silence。

   或者，您可以点 Actions，然后在静默的 Silence details 页面中选择 Edit silence。

3. 在 Edit silence 页面中，进行更改并点 Silence。这样做会使现有静默到期，并创建带有更新的配置。

流程

1. 进入 Observe Alerting Silences。
2. 对于您要过期的静默，选择对应行的复选框。

3. 点 Expire 1 silence 使一个静默过期，或点 Expire <n> silences 使多个静默过期（其中 <n> 是你选择的静默数）。

   另外，要使单个静默到期，您还可以点 Actions，然后在静默的 Silence details 页面中选择 Expire silence。

流程

1. 创建一个名为 example-alerting-rule.yaml 的新 YAML 配置文件。

2. 向 YAML 文件添加 AlertingRule 资源。以下示例创建一个名为 example 的新警报规则，类似于默认的 Watchdog 警报：

   apiVersion: monitoring.openshift.io/v1
   kind: AlertingRule
   metadata:
     name: example
     namespace: openshift-monitoring 

   1

   
   spec:
     groups:
     - name: example-rules
       rules:
       - alert: ExampleAlert 

   2

   
         for: 1m 

   3

   
         expr: vector(1) 

   4

   
         labels:
           severity: warning 

   5

   
         annotations:
           message: This is an example alert. 

   6

   Copy to Clipboard Toggle word wrap

   1

   确保命名空间为 openshift-monitoring。

   2

   您要创建的警报规则的名称。

   3

   触发警报前条件应为 true 的持续时间。

   4

   定义新规则的 PromQL 查询表达式。

   5

   警报规则分配给警报的严重性。

   6

   与警报关联的消息。

   重要

   您必须在 openshift-monitoring 命名空间中创建 AlertingRule 对象。否则，将不接受警报规则。

3. 将配置文件应用到集群：

   $ oc apply -f example-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建名为 example-modified-alerting-rule.yaml 的新 YAML 配置文件。

2. 在 YAML 文件中添加 AlertRelabelConfig 资源。以下示例将默认平台 watchdog 警报规则的 severity 设置改为 critical ：

   apiVersion: monitoring.openshift.io/v1
   kind: AlertRelabelConfig
   metadata:
     name: watchdog
     namespace: openshift-monitoring 

   1

   
   spec:
     configs:
     - sourceLabels: [alertname,severity] 

   2

   
       regex: "Watchdog;none" 

   3

   
       targetLabel: severity 

   4

   
       replacement: critical 

   5

   
       action: Replace 

   6

   Copy to Clipboard Toggle word wrap

   1

   确保命名空间为 openshift-monitoring。

   2

   要修改的值的源标签。

   3

   匹配的 sourceLabels 值的正则表达式。

   4

   要修改的值的目标标签。

   5

   要替换目标标签的新值。

   6

   基于正则表达式匹配替换旧值的重新标记操作。默认操作为 Replace。其他可能的值有 Keep,Drop,HashMod,LabelMap,LabelDrop, LabelKeep。

   重要

   您必须在 openshift-monitoring 命名空间中创建 AlertRelabelConfig 对象。否则，警报标签不会改变。

3. 将配置文件应用到集群：

   $ oc apply -f example-modified-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 为警报规则创建 YAML 文件。在本例中，该文件名为 example-app-alerting-rule.yaml。

2. 向 YAML 文件添加警报规则配置。以下示例创建一个名为 example-alert 的新警报规则。当示例服务公开的 version 指标变为 0 时，警报规则会触发警报：

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-alert
     namespace: ns1
   spec:
     groups:
     - name: example
       rules:
       - alert: VersionAlert 

   1

   
         for: 1m 

   2

   
         expr: version{job="prometheus-example-app"} == 0 

   3

   
         labels:
           severity: warning 

   4

   
         annotations:
           message: This is an example alert. 

   5

   Copy to Clipboard Toggle word wrap

   1

   您要创建的警报规则的名称。

   2

   触发警报前条件应为 true 的持续时间。

   3

   定义新规则的 PromQL 查询表达式。

   4

   警报规则分配给警报的严重性。

   5

   与警报关联的消息。

3. 将配置文件应用到集群：

   $ oc apply -f example-app-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 编辑 openshift-user-workload-monitoring 项目中的 user-workload-monitoring-config 配置映射：

   $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 配置您要在其中创建不绑定到特定项目的警报规则的项目：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       namespacesWithoutLabelEnforcement: [ <namespace1>, <namespace2> ] 

   1

   
       # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要在其中创建跨项目警报规则的一个或多个项目。用户定义的监控的 Prometheus 和 Thanos Ruler 不强制这些项目中创建的 PrometheusRule 对象中的 namespace 标签，使 PrometheusRule 对象适用于所有项目。

3. 为警报规则创建 YAML 文件。在本例中，它称为 example-cross-project-alerting-rule.yaml。

4. 向 YAML 文件添加警报规则配置。以下示例创建一个名为 example-security 的新跨项目警报规则。当用户项目不强制执行 restricted pod 安全策略时，警报规则会触发：

   跨项目警报规则示例

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: example-security
     namespace: ns1 

   1

   
   spec:
     groups:
       - name: pod-security-policy
         rules:
           - alert: "ProjectNotEnforcingRestrictedPolicy" 

   2

   
             for: 5m 

   3

   
             expr: kube_namespace_labels{namespace!~"(openshift|kube).*|default",label_pod_security_kubernetes_io_enforce!="restricted"} 

   4

   
             annotations:
               message: "Restricted policy not enforced. Project {{ $labels.namespace }} does not enforce the restricted pod security policy." 

   5

   
             labels:
               severity: warning 

   6

   Copy to Clipboard Toggle word wrap

   1

   确保指定您在 namespacesWithoutLabelEnforcement 字段中定义的项目。

   2

   您要创建的警报规则的名称。

   3

   触发警报前条件应为 true 的持续时间。

   4

   定义新规则的 PromQL 查询表达式。您可以使用 namespace 标签上的标签匹配器来过滤在警报规则中包含或排除哪些项目。

   5

   与警报关联的消息。

   6

   警报规则分配给警报的严重性。

   重要

   确保仅在 namespacesWithoutLabelEnforcement 字段中指定的项目中创建特定的跨项目警报规则。如果您在多个项目中创建相同的跨项目警报规则，则会重复警报。

5. 将配置文件应用到集群：

   $ oc apply -f example-cross-project-alerting-rule.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 在 OpenShift Container Platform web 控制台中，进入 Observe Alerting Alerting rules。

2. 在 Filter 下拉菜单中选择 Platform 和 User 来源。

   注意

   默认会选择 Platform 来源。

流程

1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config 配置映射：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

   Copy to Clipboard Toggle word wrap

2. 在 cluster-monitoring-config 配置映射中，通过将 data/config.yaml/userWorkload 下的 rulesWithoutLabelEnforcementAllowed 值设置为 false 来禁用创建跨项目警报规则的选项：

   kind: ConfigMap
   apiVersion: v1
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       userWorkload:
         rulesWithoutLabelEnforcementAllowed: false
       # ...

   Copy to Clipboard Toggle word wrap
3. 保存文件以使改变生效。