配置日志记录

步骤

1. 为收集器创建服务帐户。如果要将日志写入需要令牌进行身份验证的存储，则必须在服务帐户中包含令牌。

2. 将适当的集群角色绑定到服务帐户：

   绑定命令示例

   $ oc adm policy add-cluster-role-to-user <cluster_role_name> system:serviceaccount:<namespace_name>:<service_account_name>

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 添加配置，将不需要的日志记录放到 ClusterLogForwarder CR 中的 filters spec 中。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。drop 过滤器丢弃与过滤器配置匹配的日志记录。

   2

   指定 drop 过滤器的配置选项。

   3

   指定测试条件来评估过滤器是否丢弃日志记录。

   4

   指定日志记录中字段的点分隔路径。

   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。
   • 您可以在单个测试配置中包括多个字段路径，但它们都必须评估为 true 才能使测试通过，以及要应用的 drop 过滤器。

   5

   指定一个正则表达式。如果日志记录与此正则表达式匹配，它们将被丢弃。

   6

   指定一个正则表达式。如果日志记录与此正则表达式不匹配，它们将被丢弃。

   7

   指定使用 drop 过滤器的管道。

   注意

   您可以为单个 field 路径设置 matches 或 notMatches 条件，但不能同时设置这两个条件。

   仅保留高优先级日志记录的示例配置

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   具有多个测试的配置示例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   过滤器丢弃包含以 openshift 开头的命名空间的日志。

   2

   过滤器丢弃 pod 名称中没有 my-pod 的应用日志。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 input spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，使其包含基于标签表达式或匹配的标签键/值的日志：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要匹配的标签键。

   2

   指定 operator。有效值包括： In,NotIn,Exists, 和 DoesNotExist。

   3

   指定字符串值的数组。如果 operator 值为 Exists 或 DoesNotExist，则值数组必须为空。

   4

   指定准确的键或值映射。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 将配置添加到 ClusterLogForwarder CR 的 filters spec 中。

   重要

   如果您同时指定了 in 和 notIn 参数，则 notIn 数组在修剪过程中优先于。在使用 notIn 数组修剪记录后，会使用 in 数组修剪它们。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。prune 过滤器根据配置的字段修剪日志记录。

   2

   指定 prune 过滤器的配置选项。

   • in 和 notIn 字段是日志记录中字段的以点分隔的路径的数组。
   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。

   3

   可选：指定要从日志记录中删除的字段。日志收集器保留所有其他字段。

   4

   可选：指定要保留在日志记录中的字段。日志收集器移除所有其他字段。

   5

   指定 prune 过滤器应用到的管道。

   重要

   • 过滤器不能从日志记录中删除 .log_type、.log_source、.message 字段。您必须在 notIn 字段中包含它们。
   • 如果使用 googleCloudLogging 输出，则必须在 notIn 字段中包含 .hostname。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将从 GCP 接收的服务帐户凭证复制到名为 key.json 的文件中。

2. 运行以下命令，使用名称 logging-loki-gcs 创建对象存储 secret：

   $ oc create secret generic logging-loki-gcs \
     --from-literal=bucketname="<bucket_name>" \
     --from-file=key.json="<path/to/key.json>"

   Copy to Clipboard Toggle word wrap

流程

1. 在 openshift-logging 命名空间中创建 ObjectBucketClaim 自定义资源：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: loki-bucket-odf
     namespace: openshift-logging
   spec:
     generateBucketName: loki-bucket-odf
     storageClassName: openshift-storage.noobaa.io

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，从关联的 ConfigMap 对象获取存储桶属性：

   BUCKET_HOST=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_HOST}')
   BUCKET_NAME=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_NAME}')
   BUCKET_PORT=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_PORT}')

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，从关联的 secret 获取存储桶访问密钥：

   ACCESS_KEY_ID=$(oc get -n openshift-logging secret loki-bucket-odf -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 -d)
   SECRET_ACCESS_KEY=$(oc get -n openshift-logging secret loki-bucket-odf -o jsonpath='{.data.AWS_SECRET_ACCESS_KEY}' | base64 -d)

   Copy to Clipboard Toggle word wrap

4. 运行以下命令，创建一个名为 logging-loki-odf 的对象存储 secret：

   $ oc create -n openshift-logging secret generic logging-loki-odf \
   --from-literal=access_key_id="<access_key_id>" \
   --from-literal=access_key_secret="<secret_access_key>" \
   --from-literal=bucketnames="<bucket_name>" \
   --from-literal=endpoint="https://<bucket_host>:<bucket_port>"

   Copy to Clipboard Toggle word wrap

流程

1. 输入以下命令创建新组：

   $ oc adm groups new cluster-admin

   Copy to Clipboard Toggle word wrap

2. 输入以下命令将所需的用户添加到 cluster-admin 组中：

   $ oc adm groups add-users cluster-admin <username>

   Copy to Clipboard Toggle word wrap

3. 输入以下命令在组中添加 cluster-admin 用户角色：

   $ oc adm policy add-cluster-role-to-group cluster-admin cluster-admin

   Copy to Clipboard Toggle word wrap

流程

1. 创建 LokiStack CR：

   • 全局启用基于流的保留，如下例所示：

     AWS 的基于流的全局保留示例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
        global: 

     1

     
           retention: 

     2

     
             days: 20
             streams:
             - days: 4
               priority: 1
               selector: '{kubernetes_namespace_name=~"test.+"}' 

     3

     
             - days: 1
               priority: 1
               selector: '{log_type="infrastructure"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     Copy to Clipboard Toggle word wrap

     1

     为所有日志流设置保留策略。注： 此字段不会影响存储在对象存储中的保留周期。

     2

     当此块被添加到 CR 时，集群中会启用保留。

     3

     包含用于定义日志 stream.spec: limits 的 LogQL 查询 ：

   • 根据租户启用基于流的保留，如下例所示：

     AWS 的基于流的基于流的保留示例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
         global:
           retention:
             days: 20
         tenants: 

     1

     
           application:
             retention:
               days: 1
               streams:
                 - days: 4
                   selector: '{kubernetes_namespace_name=~"test.+"}' 

     2

     
           infrastructure:
             retention:
               days: 5
               streams:
                 - days: 1
                   selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     Copy to Clipboard Toggle word wrap

     1

     根据租户设置保留策略。有效的租户类型是 application、audit 和 infrastructure。

     2

     包含用于定义日志流的 LogQL 查询。

2. 应用 LokiStack CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，列出处于 Pending 状态的 pod：

   $ oc get pods --field-selector status.phase==Pending -n openshift-logging

   Copy to Clipboard Toggle word wrap

   oc get pods 输出示例

   NAME                           READY   STATUS    RESTARTS   AGE 

   1

   
   logging-loki-index-gateway-1   0/1     Pending   0          17m
   logging-loki-ingester-1        0/1     Pending   0          16m
   logging-loki-ruler-1           0/1     Pending   0          16m

   Copy to Clipboard Toggle word wrap

   1

   这些 pod 处于 Pending 状态，因为它们对应的 PVC 位于失败的区中。

2. 运行以下命令，列出处于 Pending 状态的 PVC：

   $ oc get pvc -o=json -n openshift-logging | jq '.items[] | select(.status.phase == "Pending") | .metadata.name' -r

   Copy to Clipboard Toggle word wrap

   oc get pvc 输出示例

   storage-logging-loki-index-gateway-1
   storage-logging-loki-ingester-1
   wal-logging-loki-ingester-1
   storage-logging-loki-ruler-1
   wal-logging-loki-ruler-1

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，删除 pod 的 PVC：

   $ oc delete pvc <pvc_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来删除 pod：

   $ oc delete pod <pod_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

   成功删除这些对象后，应在可用区域中自动重新调度它们。

流程

1. 创建 AlertingRule 自定义资源 (CR)：

   基础架构 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   infrastructure 租户的 AlertingRule CR 只在 openshift-*, kube-\*, 或 default 命名空间中被支持。

   4

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   5

   此必需字段的值必须是 critical、warning 或 info。

   6

   这个字段是必须的。

   7

   这个字段是必须的。

   应用程序 AlertingRule CR 示例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary:  

   5

   
                 description:  

   6

   Copy to Clipboard Toggle word wrap

   1

   创建此 AlertingRule CR 的命名空间必须具有与 LokiStack spec.rules.namespaceSelector 定义匹配的标签。

   2

   labels 块必须与 LokiStack spec.rules.selector 定义匹配。

   3

   kubernetes_namespace_name: 的值必须与 metadata.namespace 的值匹配。

   4

   此必需字段的值必须是 critical、warning 或 info。

   5

   此必需字段的值是规则的摘要。

   6

   此必填字段的值是规则的详细描述。

2. 应用 AlertingRule CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap