3.5. Loki のログベースのアラート

手順

1. AlertingRule カスタムリソース (CR) を作成します。

   インフラストラクチャー AlertingRule CR の例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   1

   この AlertingRule CR が作成される namespace には、LokiStack spec.rules.namespaceSelector 定義に一致するラベルが必要です。

   2

   labels ブロックは、LokiStack の spec.rules.selector 定義と一致する必要があります。

   3

   infrastructure テナントの AlertingRule CR は、openshift-*、kube-\*、または default namespaces でのみサポートされます。

   4

   kubernetes_namespace_name: の値は、metadata.namespace の値と一致する必要があります。

   5

   この必須フィールドの値は、critical、warning、または info である必要があります。

   6

   このフィールドは必須です。

   7

   このフィールドは必須です。

   アプリケーション AlertingRule CR の例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary:  

   5

   
                 description:  

   6

   1

   この AlertingRule CR が作成される namespace には、LokiStack spec.rules.namespaceSelector 定義に一致するラベルが必要です。

   2

   labels ブロックは、LokiStack の spec.rules.selector 定義と一致する必要があります。

   3

   kubernetes_namespace_name: の値は、metadata.namespace の値と一致する必要があります。

   4

   この必須フィールドの値は、critical、warning、または info である必要があります。

   5

   この必須フィールドの値は、ルールの概要です。

   6

   この必須フィールドの値は、ルールの詳細な説明です。

2. AlertingRule CR を適用します。

   $ oc apply -f <filename>.yaml