2.3. 使用 Loki 创建基于日志的警报规则

流程

1. 创建 AlertingRule 自定义资源 (CR)：

   基础架构 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/cluster-monitoring: "true"
     spec:
       tenantID: infrastructure 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   基础架构 租户的 AlertingRule CR 只在 openshift fluentd、kube channel 或 default 命名空间中被支持。

   4

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   5

   此必需字段的值必须是 critical、warning 或 info。

   6

   这个字段是必须的。

   7

   这个字段是必须的。

   应用程序 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/cluster-monitoring: "true"
     spec:
       tenantID: application
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary: This is an example summary. 

   5

   
                 description: This is an example description. 

   6

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   4

   此必需字段的值必须是 critical、warning 或 info。

   5

   此必需字段的值是规则的摘要。

   6

   此必填字段的值是规则的详细描述。

2. 应用 AlertingRule CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap