2.3. Loki를 사용하여 로그 기반 경고 규칙 생성

프로세스

1. AlertingRule 사용자 정의 리소스(CR)를 생성합니다.

   인프라 AlertingRule CR의 예

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/cluster-monitoring: "true"
     spec:
       tenantID: infrastructure 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   이 AlertingRule CR이 생성되는 네임스페이스에는 LokiStack spec.rules.namespaceSelector 정의와 일치하는 레이블이 있어야 합니다.

   2

   labels 블록은 LokiStack spec.rules.selector 정의와 일치해야 합니다.

   3

   인프라 테넌트에 대한 AlertingRule CR은 openshift-*, kube-* 또는 default 네임스페이스에서만 지원됩니다.

   4

   kubernetes_namespace_name: 의 값은 metadata.namespace 값과 일치해야 합니다.

   5

   이 필수 필드의 값은 중요,경고 또는 정보 여야 합니다.

   6

   이 필드는 필수입니다.

   7

   이 필드는 필수입니다.

   애플리케이션 AlertingRule CR의 예

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/cluster-monitoring: "true"
     spec:
       tenantID: application
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary: This is an example summary. 

   5

   
                 description: This is an example description. 

   6

   Copy to Clipboard Toggle word wrap

   1

   이 AlertingRule CR이 생성되는 네임스페이스에는 LokiStack spec.rules.namespaceSelector 정의와 일치하는 레이블이 있어야 합니다.

   2

   labels 블록은 LokiStack spec.rules.selector 정의와 일치해야 합니다.

   3

   kubernetes_namespace_name: 의 값은 metadata.namespace 값과 일치해야 합니다.

   4

   이 필수 필드의 값은 중요,경고 또는 정보 여야 합니다.

   5

   이 필수 필드의 값은 규칙에 대한 요약입니다.

   6

   이 필수 필드의 값은 규칙에 대한 자세한 설명입니다.

2. AlertingRule CR을 적용합니다.

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap