日志记录

流程

1. 创建或编辑定义 ClusterLogForwarder CR 对象的 YAML 文件：

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: collector
   spec:
     managementState: Managed
     outputs:
     - name: rsyslog-east 

   1

   
       syslog:
         appName: <app_name> 

   2

   
         enrichment: KubernetesMinimal
         facility: <facility_value> 

   3

   
         msgId: <message_ID> 

   4

   
         payloadKey: <record_field> 

   5

   
         procId: <process_ID> 

   6

   
         rfc: <RFC3164_or_RFC5424> 

   7

   
         severity: informational 

   8

   
         tuning:
           deliveryMode: <AtLeastOnce_or_AtMostOnce> 

   9

   
         url: <url> 

   10

   
       tls: 

   11

   
         ca:
           key: ca-bundle.crt
           secretName: syslog-secret
       type: syslog
     pipelines:
     - inputRefs: 

   12

   
       - application
       name: syslog-east 

   13

   
       outputRefs:
       - rsyslog-east
     serviceAccount: 

   14

   
       name: logcollector

   Copy to Clipboard Toggle word wrap

   1

   指定输出的名称。

   2

   可选：指定 syslog 消息标头的 APP-NAME 部分的值。该值必须符合 Syslog 协议。该值可以是由字段路径后跟 || 组成的静态和动态值的组合，然后是另一个字段路径或静态值。最终值的最大长度为 48 个字符。您需要使用一个大括号将动态值括起，值必须后跟一个用 || 分隔的静态回退值。静态值只能包含字母数字字符以及短划线、下划线、点和正斜杠。示例值：<value1>-{.<value2>||"none"}。

   3

   可选：指定 syslog-msg 标头的 Facility 部分的值。

   4

   可选：指定 syslog-msg 标头的 MSGID 部分的值。该值可以是由字段路径后跟 || 组成的静态和动态值的组合，然后是另一个字段路径或静态值。最终值的最大长度为 32 个字符。您需要使用一个大括号将动态值括起，值必须后跟一个用 || 分隔的静态回退值。静态值只能包含字母数字字符以及短划线、下划线、点和正斜杠。示例值：<value1>-{.<value2>||"none"}。

   5

   可选：指定用作有效负载的记录字段。payloadKey 值必须是单一字段路径，包括在一个大括号 {} 中。示例：{.<value>}。

   6

   可选：指定 syslog 消息标头的 PROCID 部分的值。该值必须符合 Syslog 协议。该值可以是由字段路径后跟 || 组成的静态和动态值的组合，然后是另一个字段路径或静态值。最终值的最大长度为 48 个字符。您需要使用一个大括号将动态值括起，值必须后跟一个用 || 分隔的静态回退值。静态值只能包含字母数字字符以及短划线、下划线、点和正斜杠。示例值：<value1>-{.<value2>||"none"}。

   7

   可选：设置生成的消息符合的 RFC。该值可以是 RFC3164 或 RFC5424。

   8

   可选：为消息设置严重性级别。如需更多信息，请参阅 Syslog 协议。

   9

   可选：为日志转发设置交付模式。该值可以是 AtLeastOnce，也可以是 AtMostOnce。

   10

   使用方案指定绝对 URL。有效方案是：tcp、tls 和 udp。例如：tls://syslog-receiver.example.com:6514。

   11

   指定控制传输层安全(TLS)客户端连接的选项的设置。

   12

   使用管道指定要转发的日志类型：application、infrastructure 或 audit。

   13

   为管道指定一个名称。

   14

   服务帐户的名称。

2. 创建 CR 对象：

   $ oc create -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 filters spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，以根据正则表达式丢弃日志记录：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     filters:
     - name: <filter_name>
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."foo-bar/baz" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: <pipeline_name> 

   7

   
       filterRefs: ["<filter_name>"]
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。drop 过滤器丢弃与过滤器配置匹配的日志记录。

   2

   指定应用 drop 过滤器的配置选项。

   3

   指定用于评估是否丢弃日志记录的测试配置。

   • 如果为测试指定的所有条件都为 true，则测试会通过，记录将被丢弃。
   • 当为 drop 过滤器配置指定多个测试时，如果有任何测试通过，则会丢弃记录。
   • 如果评估条件时出错，例如，被评估的日志记录中缺少该字段，则条件评估为 false。

   4

   指定点分隔的字段路径，它是日志记录中字段的路径。该路径可以包含字母数字字符和下划线 (a-zA-Z0-9_)，例如 .kubernetes.namespace_name。如果网段包含此范围之外的字符，段必须放在引号内，例如，.kubernetes.labels."foo.bar-bar/baz"。您可以在单个 test 配置中包含多个字段路径，但它们都必须评估为 true 才能通过测试以及要应用的 drop 过滤器。

   5

   指定正则表达式。如果日志记录与此正则表达式匹配，它们将被丢弃。您可以为单个 field 路径设置 matches 或 notMatches 条件，但不能同时设置这两个条件。

   6

   指定正则表达式。如果日志记录与此正则表达式不匹配，它们将被丢弃。您可以为单个 field 路径设置 matches 或 notMatches 条件，但不能同时设置这两个条件。

   7

   指定 drop 过滤器应用到的管道。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 input spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，使其包含基于标签表达式或匹配的标签键/值的日志：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要匹配的标签键。

   2

   指定 operator。有效值包括： In,NotIn,Exists, 和 DoesNotExist。

   3

   指定字符串值的数组。如果 operator 值为 Exists 或 DoesNotExist，则值数组必须为空。

   4

   指定准确的键或值映射。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 prune spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，以根据字段路径修剪日志记录：

   重要

   如果指定了这两个信息，则首先根据 notIn 数组修剪记录，这优先于 in 数组。在使用 notIn 数组修剪记录后，会使用 in 数组来修剪这些记录。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     filters:
     - name: <filter_name>
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp"] 

   4

   
     pipelines:
     - name: <pipeline_name> 

   5

   
       filterRefs: ["<filter_name>"]
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。prune 过滤器根据配置的字段修剪日志记录。

   2

   指定应用 prune 过滤器的配置选项。in 和 notIn 字段被指定为点分隔字段路径的数组，它们是日志记录中字段的路径。这些路径可以包含字母数字字符和下划线 (a-zA-Z0-9_)，例如 .kubernetes.namespace_name。如果网段包含此范围之外的字符，段必须放在引号内，例如，.kubernetes.labels."foo.bar-bar/baz"。

   3

   可选：此阵列中指定的任何字段都会从日志记录中删除。

   4

   可选：没有在此阵列中指定的任何字段都会从日志记录中删除。

   5

   指定 prune 过滤器应用到的管道。

   注意

   过滤器显示 log_type、.log_source 和 .message 字段。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 添加配置，以在 ClusterLogForwarder CR 中定义 audit 和 infrastructure 源。

   以下示例演示了如何配置 ClusterLogForwarder CR 以定义 audit 和 infrastructure 源：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs1
         type: infrastructure
         infrastructure:
           sources: 

   1

   
             - node
       - name: mylogs2
         type: audit
         audit:
           sources: 

   2

   
             - kubeAPI
             - openshiftAPI
             - ovn
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要收集的基础架构源列表。有效的源包括：

   • node ：来自节点的日志
   • container ：命名空间中部署的工作负载的日志

   2

   指定要收集的审计源列表。有效的源包括：

   • kubeAPI: 来自 Kubernetes API 服务器的日志
   • openshiftAPI: 来自 OpenShift API 服务器的日志
   • auditd: 来自节点 auditd 服务的日志
   • ovn ：来自开放虚拟网络服务的日志

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 添加配置，以在 ClusterLogForwarder CR 中包含或排除命名空间和容器名称。

   以下示例演示了如何配置 ClusterLogForwarder CR 以包含或排除命名空间和容器名称：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           includes:
             - namespace: "my-project" 

   1

   
               container: "my-container" 

   2

   
           excludes:
             - container: "other-container*" 

   3

   
               namespace: "other-namespace" 

   4

   
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定日志只从这些命名空间中收集数据。

   2

   指定日志只从这些容器中收集数据。

   3

   指定收集日志时要忽略的命名空间模式。

   4

   指定收集日志时要忽略的容器集合。

   注意

   excludes 字段优先于 includes 字段。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

步骤

1. 创建一个 LogFileMetricExporter CR 作为 YAML 文件：

   LogFileMetricExporter CR 示例

   apiVersion: logging.openshift.io/v1alpha1
   kind: LogFileMetricExporter
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     nodeSelector: {} 

   1

   
     resources: 

   2

   
       limits:
         cpu: 500m
         memory: 256Mi
       requests:
         cpu: 200m
         memory: 128Mi
     tolerations: [] 

   3

   
   # ...

   Copy to Clipboard Toggle word wrap

   1

   可选： nodeSelector 小节定义哪些 pod 调度到哪些节点上。

   2

   resources 小节定义了 LogFileMetricExporter CR 的资源要求。

   3

   可选：tolerations 小节定义 pod 接受的容限。

2. 运行以下命令来应用 LogFileMetricExporter CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建 AlertingRule 自定义资源 (CR)：

   基础架构 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   infrastructure 租户的 AlertingRule CR 只在 openshift-*, kube-\*, 或 default 命名空间中被支持。

   4

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   5

   此必需字段的值必须是 critical、warning 或 info。

   6

   这个字段是必须的。

   7

   这个字段是必须的。

   应用程序 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary:  

   5

   
                 description:  

   6

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   4

   此必需字段的值必须是 critical、warning 或 info。

   5

   此必需字段的值是规则的摘要。

   6

   此必填字段的值是规则的详细描述。

2. 应用 AlertingRule CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建 LokiStack CR：

   • 全局启用基于流的保留，如下例所示：

     AWS 的基于流的全局保留示例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
        global: 

     1

     
           retention: 

     2

     
             days: 20
             streams:
             - days: 4
               priority: 1
               selector: '{kubernetes_namespace_name=~"test.+"}' 

     3

     
             - days: 1
               priority: 1
               selector: '{log_type="infrastructure"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     Copy to Clipboard Toggle word wrap

     1

     为所有日志流设置保留策略。注： 此字段不会影响存储在对象存储中的保留周期。

     2

     当此块被添加到 CR 时，集群中会启用保留。

     3

     包含用于定义日志 stream.spec: limits 的 LogQL 查询 ：

   • 根据租户启用基于流的保留，如下例所示：

     AWS 的基于流的基于流的保留示例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
         global:
           retention:
             days: 20
         tenants: 

     1

     
           application:
             retention:
               days: 1
               streams:
                 - days: 4
                   selector: '{kubernetes_namespace_name=~"test.+"}' 

     2

     
           infrastructure:
             retention:
               days: 5
               streams:
                 - days: 1
                   selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     Copy to Clipboard Toggle word wrap

     1

     根据租户设置保留策略。有效的租户类型是 application、audit 和 infrastructure。

     2

     包含用于定义日志流的 LogQL 查询。

2. 应用 LokiStack CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap
   注意

   这不适用于为存储的日志管理保留。使用对象存储配置存储在支持的最大 30 天的全局保留周期。