配置日志记录

步骤

1. 为收集器创建服务帐户。如果要将日志写入需要令牌进行身份验证的存储，则必须在服务帐户中包含令牌。

2. 将适当的集群角色绑定到服务帐户：

   绑定命令示例

   $ oc adm policy add-cluster-role-to-user <cluster_role_name> system:serviceaccount:<namespace_name>:<service_account_name>

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 添加配置，将不需要的日志记录放到 ClusterLogForwarder CR 中的 filters spec 中。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。drop 过滤器丢弃与过滤器配置匹配的日志记录。

   2

   指定 drop 过滤器的配置选项。

   3

   指定测试条件来评估过滤器是否丢弃日志记录。

   4

   指定日志记录中字段的点分隔路径。

   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。
   • 您可以在单个测试配置中包括多个字段路径，但它们都必须评估为 true 才能使测试通过，以及要应用的 drop 过滤器。

   5

   指定一个正则表达式。如果日志记录与此正则表达式匹配，它们将被丢弃。

   6

   指定一个正则表达式。如果日志记录与此正则表达式不匹配，它们将被丢弃。

   7

   指定使用 drop 过滤器的管道。

   注意

   您可以为单个 field 路径设置 matches 或 notMatches 条件，但不能同时设置这两个条件。

   仅保留高优先级日志记录的示例配置

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   具有多个测试的配置示例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   过滤器丢弃包含以 openshift 开头的命名空间的日志。

   2

   过滤器丢弃 pod 名称中没有 my-pod 的应用日志。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 input spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，使其包含基于标签表达式或匹配的标签键/值的日志：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要匹配的标签键。

   2

   指定 operator。有效值包括： In,NotIn,Exists, 和 DoesNotExist。

   3

   指定字符串值的数组。如果 operator 值为 Exists 或 DoesNotExist，则值数组必须为空。

   4

   指定准确的键或值映射。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 将配置添加到 ClusterLogForwarder CR 的 filters spec 中。

   重要

   如果您同时指定了 in 和 notIn 参数，则 notIn 数组在修剪过程中优先于。在使用 notIn 数组修剪记录后，会使用 in 数组修剪它们。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。prune 过滤器根据配置的字段修剪日志记录。

   2

   指定 prune 过滤器的配置选项。

   • in 和 notIn 字段是日志记录中字段的以点分隔的路径的数组。
   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。

   3

   可选：指定要从日志记录中删除的字段。日志收集器保留所有其他字段。

   4

   可选：指定要保留在日志记录中的字段。日志收集器移除所有其他字段。

   5

   指定 prune 过滤器应用到的管道。

   重要

   • 过滤器不能从日志记录中删除 .log_type、.log_source、.message 字段。您必须在 notIn 字段中包含它们。
   • 如果使用 googleCloudLogging 输出，则必须在 notIn 字段中包含 .hostname。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建 AlertingRule 自定义资源 (CR)：

   基础架构 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   infrastructure 租户的 AlertingRule CR 只在 openshift-*, kube-\*, 或 default 命名空间中被支持。

   4

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   5

   此必需字段的值必须是 critical、warning 或 info。

   6

   这个字段是必须的。

   7

   这个字段是必须的。

   应用程序 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary:  

   5

   
                 description:  

   6

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   4

   此必需字段的值必须是 critical、warning 或 info。

   5

   此必需字段的值是规则的摘要。

   6

   此必填字段的值是规则的详细描述。

2. 应用 AlertingRule CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 要启用基于流的保留，请创建一个 LokiStack CR，并将它保存为 YAML 文件。在以下示例中，它名为 lokistack.yaml。

   S3 的全局基于流的保留示例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
      global: 

   1

   
         retention: 

   2

   
           days: 20
           streams:
           - days: 4
             priority: 1
             selector: '{kubernetes_namespace_name=~"test.+"}' 

   3

   
           - days: 1
             priority: 1
             selector: '{log_type="infrastructure"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   为所有日志流设置保留策略。此策略不会影响对象存储中的保留周期。

   2

   通过在 CR 中添加 保留块来在集群中启用保留。

   3

   指定 LogQL 查询，将日志流与保留规则匹配。

   S3 基于每个租户流的保留示例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
       global:
         retention:
           days: 20
       tenants: 

   1

   
         application:
           retention:
             days: 1
             streams:
               - days: 4
                 selector: '{kubernetes_namespace_name=~"test.+"}' 

   2

   
         infrastructure:
           retention:
             days: 5
             streams:
               - days: 1
                 selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   设置每个租户的保留策略。有效的租户类型是 application、audit 和 infrastructure。

   2

   指定 LogQL 查询，将日志流与保留规则匹配。

2. 应用 LokiStack CR：

   $ oc apply -f lokistack.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，列出处于 Pending 状态的 pod：

   $ oc get pods --field-selector status.phase==Pending -n openshift-logging

   Copy to Clipboard Toggle word wrap

   oc get pods 输出示例

   NAME                           READY   STATUS    RESTARTS   AGE 

   1

   
   logging-loki-index-gateway-1   0/1     Pending   0          17m
   logging-loki-ingester-1        0/1     Pending   0          16m
   logging-loki-ruler-1           0/1     Pending   0          16m

   Copy to Clipboard Toggle word wrap

   1

   这些 pod 处于 Pending 状态，因为它们对应的 PVC 位于失败的区中。

2. 运行以下命令，列出处于 Pending 状态的 PVC：

   $ oc get pvc -o=json -n openshift-logging | jq '.items[] | select(.status.phase == "Pending") | .metadata.name' -r

   Copy to Clipboard Toggle word wrap

   oc get pvc 输出示例

   storage-logging-loki-index-gateway-1
   storage-logging-loki-ingester-1
   wal-logging-loki-ingester-1
   storage-logging-loki-ruler-1
   wal-logging-loki-ruler-1

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，删除 pod 的 PVC：

   $ oc delete pvc <pvc_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来删除 pod：

   $ oc delete pod <pod_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

   成功删除这些对象后，应在可用区域中自动重新调度它们。