2.5. 使用 LokiStack 存储日志

流程

1. 创建 AlertingRule 自定义资源 (CR)：

   基础架构 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 1
       labels: 2
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 3
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 4
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 5
               annotations:
                 summary: High Loki Operator Reconciliation Errors 6
                 description: High Loki Operator Reconciliation Errors 7

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   infrastructure 租户的 AlertingRule CR 只在 openshift-*, kube-\*, 或 default 命名空间中被支持。

   4

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   5

   此必需字段的值必须是 critical、warning 或 info。

   6

   这个字段是必须的。

   7

   这个字段是必须的。

   应用程序 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 1
       labels: 2
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 3
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 4
               annotations:
                 summary:  5
                 description:  6

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   4

   此必需字段的值必须是 critical、warning 或 info。

   5

   此必需字段的值是规则的摘要。

   6

   此必填字段的值是规则的详细描述。

2. 应用 AlertingRule CR：

   $ oc apply -f <filename>.yaml

流程

1. 创建 LokiStack CR：

   • 全局启用基于流的保留，如下例所示：

     AWS 的基于流的全局保留示例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
        global: 1
           retention: 2
             days: 20
             streams:
             - days: 4
               priority: 1
               selector: '{kubernetes_namespace_name=~"test.+"}' 3
             - days: 1
               priority: 1
               selector: '{log_type="infrastructure"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     1

     为所有日志流设置保留策略。注： 此字段不会影响存储在对象存储中的保留周期。

     2

     当此块被添加到 CR 时，集群中会启用保留。

     3

     包含用于定义日志 stream.spec: limits 的 LogQL 查询 ：

   • 根据租户启用基于流的保留，如下例所示：

     AWS 的基于流的基于流的保留示例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
         global:
           retention:
             days: 20
         tenants: 1
           application:
             retention:
               days: 1
               streams:
                 - days: 4
                   selector: '{kubernetes_namespace_name=~"test.+"}' 2
           infrastructure:
             retention:
               days: 5
               streams:
                 - days: 1
                   selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     1

     根据租户设置保留策略。有效的租户类型是 application、audit 和 infrastructure。

     2

     包含用于定义日志流的 LogQL 查询。

2. 应用 LokiStack CR：

   $ oc apply -f <filename>.yaml

   注意

   这不适用于为存储的日志管理保留。使用对象存储配置存储在支持的最大 30 天的全局保留周期。

流程

1. 运行以下命令，列出处于 Pending 状态的 pod：

   $ oc get pods --field-selector status.phase==Pending -n openshift-logging

   oc get pods 输出示例

   NAME                           READY   STATUS    RESTARTS   AGE 1
   logging-loki-index-gateway-1   0/1     Pending   0          17m
   logging-loki-ingester-1        0/1     Pending   0          16m
   logging-loki-ruler-1           0/1     Pending   0          16m

   1

   这些 pod 处于 Pending 状态，因为它们对应的 PVC 位于失败的区中。

2. 运行以下命令，列出处于 Pending 状态的 PVC：

   $ oc get pvc -o=json -n openshift-logging | jq '.items[] | select(.status.phase == "Pending") | .metadata.name' -r

   oc get pvc 输出示例

   storage-logging-loki-index-gateway-1
   storage-logging-loki-ingester-1
   wal-logging-loki-ingester-1
   storage-logging-loki-ruler-1
   wal-logging-loki-ruler-1

3. 运行以下命令，删除 pod 的 PVC：

   $ oc delete pvc <pvc_name>  -n openshift-logging

4. 运行以下命令来删除 pod：

   $ oc delete pod <pod_name>  -n openshift-logging

   成功删除这些对象后，应在可用区域中自动重新调度它们。