配置日志记录

步骤

1. 为收集器创建服务帐户。如果要将日志写入需要令牌进行身份验证的存储，则必须在服务帐户中包含令牌。

2. 将适当的集群角色绑定到服务帐户：

   绑定命令示例

   $ oc adm policy add-cluster-role-to-user <cluster_role_name> system:serviceaccount:<namespace_name>:<service_account_name>

   Copy to Clipboard Toggle word wrap

流程

1. 创建或编辑定义 ClusterLogForwarder CR 对象的 YAML 文件：

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: collector
   spec:
     managementState: Managed
     outputs:
     - name: rsyslog-east 

   1

   
       syslog:
         appName: <app_name> 

   2

   
         enrichment: KubernetesMinimal
         facility: <facility_value> 

   3

   
         msgId: <message_ID> 

   4

   
         payloadKey: <record_field> 

   5

   
         procId: <process_ID> 

   6

   
         rfc: <RFC3164_or_RFC5424> 

   7

   
         severity: informational 

   8

   
         tuning:
           deliveryMode: <AtLeastOnce_or_AtMostOnce> 

   9

   
         url: <url> 

   10

   
       tls: 

   11

   
         ca:
           key: ca-bundle.crt
           secretName: syslog-secret
       type: syslog
     pipelines:
     - inputRefs: 

   12

   
       - application
       name: syslog-east 

   13

   
       outputRefs:
       - rsyslog-east
     serviceAccount: 

   14

   
       name: logcollector

   Copy to Clipboard Toggle word wrap

   1

   指定输出的名称。

   2

   可选：指定 syslog 消息标头的 APP-NAME 部分的值。该值必须符合 Syslog 协议。该值可以是由字段路径后跟 || 组成的静态和动态值的组合，然后是另一个字段路径或静态值。最终值的最大长度为 48 个字符。您需要使用一个大括号将动态值括起，值必须后跟一个用 || 分隔的静态回退值。静态值只能包含字母数字字符以及短划线、下划线、点和正斜杠。示例值：<value1>-{.<value2>||"none"}。

   3

   可选：指定 syslog-msg 标头的 Facility 部分的值。

   4

   可选：指定 syslog-msg 标头的 MSGID 部分的值。该值可以是由字段路径后跟 || 组成的静态和动态值的组合，然后是另一个字段路径或静态值。最终值的最大长度为 32 个字符。您需要使用一个大括号将动态值括起，值必须后跟一个用 || 分隔的静态回退值。静态值只能包含字母数字字符以及短划线、下划线、点和正斜杠。示例值：<value1>-{.<value2>||"none"}。

   5

   可选：指定用作有效负载的记录字段。payloadKey 值必须是单一字段路径，包括在一个大括号 {} 中。示例：{.<value>}。

   6

   可选：指定 syslog 消息标头的 PROCID 部分的值。该值必须符合 Syslog 协议。该值可以是由字段路径后跟 || 组成的静态和动态值的组合，然后是另一个字段路径或静态值。最终值的最大长度为 48 个字符。您需要使用一个大括号将动态值括起，值必须后跟一个用 || 分隔的静态回退值。静态值只能包含字母数字字符以及短划线、下划线、点和正斜杠。示例值：<value1>-{.<value2>||"none"}。

   7

   可选：设置生成的消息符合的 RFC。该值可以是 RFC3164 或 RFC5424。

   8

   可选：为消息设置严重性级别。如需更多信息，请参阅 Syslog 协议。

   9

   可选：为日志转发设置交付模式。该值可以是 AtLeastOnce，也可以是 AtMostOnce。

   10

   使用方案指定绝对 URL。有效方案是：tcp、tls 和 udp。例如：tls://syslog-receiver.example.com:6514。

   11

   指定控制传输层安全(TLS)客户端连接的选项的设置。

   12

   使用管道指定要转发的日志类型：application、infrastructure 或 audit。

   13

   为管道指定一个名称。

   14

   服务帐户的名称。

2. 创建 CR 对象：

   $ oc create -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建一个 IAM 策略，向 CloudWatch 授予权限。

   1. 创建包含以下内容的文件，如 cw-iam-role-policy.json ：

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "logs:PutLogEvents",
                      "logs:CreateLogGroup",
                      "logs:PutRetentionPolicy",
                      "logs:CreateLogStream",
                      "logs:DescribeLogGroups",
                      "logs:DescribeLogStreams"
                  ],
                  "Resource": "arn:aws:logs:*:*:*"
              }
          ]
      }

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令，根据前面的策略定义创建 IAM 策略：

      aws iam create-policy \
          --policy-name cluster-logging-allow \
          --policy-document file://cw-iam-role-policy.json

      Copy to Clipboard Toggle word wrap

      请注意创建的策略的 Arn 值。

2. 创建信任策略以允许日志记录服务帐户假定 IAM 角色：

   1. 创建包含以下内容的文件，如 cw-trust-policy.json ：

      {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Principal": {
                  "Federated": "arn:aws:iam::123456789012:oidc-provider/<OPENSHIFT_OIDC_PROVIDER_URL>" 

      1

      
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                  "StringEquals": {
                      "<OPENSHIFT_OIDC_PROVIDER_URL>:sub": "system:serviceaccount:openshift-logging:logcollector" 

      2

      
                  }
              }
          }
      ]
      }

      Copy to Clipboard Toggle word wrap

      1

      将 <OPENSHIFT_OIDC_PROVIDER_URL > 替换为 Red Hat OpenShift Logging OIDC URL 的 URL。

      2

      namespace 和 service 帐户必须与日志转发器使用的命名空间和服务帐户匹配。

3. 运行以下命令，根据之前定义的信任策略创建一个 IAM 角色：

   $ aws iam create-role --role-name openshift-logger --assume-role-policy-document file://cw-trust-policy.json

   Copy to Clipboard Toggle word wrap

   请注意所创建的角色的 Arn 值。

4. 运行以下命令，将策略附加到角色：

   $ aws iam put-role-policy \
         --role-name openshift-logger --policy-name cluster-logging-allow \
         --policy-document file://cw-role-policy.json

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 添加配置，将不需要的日志记录放到 ClusterLogForwarder CR 中的 filters spec 中。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。drop 过滤器丢弃与过滤器配置匹配的日志记录。

   2

   指定 drop 过滤器的配置选项。

   3

   指定测试条件来评估过滤器是否丢弃日志记录。

   4

   指定日志记录中字段的点分隔路径。

   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。
   • 您可以在单个测试配置中包括多个字段路径，但它们都必须评估为 true 才能使测试通过，以及要应用的 drop 过滤器。

   5

   指定一个正则表达式。如果日志记录与此正则表达式匹配，它们将被丢弃。

   6

   指定一个正则表达式。如果日志记录与此正则表达式不匹配，它们将被丢弃。

   7

   指定使用 drop 过滤器的管道。

   注意

   您可以为单个 field 路径设置 matches 或 notMatches 条件，但不能同时设置这两个条件。

   仅保留高优先级日志记录的示例配置

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   具有多个测试的配置示例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   过滤器丢弃包含以 openshift 开头的命名空间的日志。

   2

   过滤器丢弃 pod 名称中没有 my-pod 的应用日志。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 input spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，使其包含基于标签表达式或匹配的标签键/值的日志：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要匹配的标签键。

   2

   指定 operator。有效值包括： In,NotIn,Exists, 和 DoesNotExist。

   3

   指定字符串值的数组。如果 operator 值为 Exists 或 DoesNotExist，则值数组必须为空。

   4

   指定准确的键或值映射。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 将配置添加到 ClusterLogForwarder CR 的 filters spec 中。

   重要

   如果您同时指定了 in 和 notIn 参数，则 notIn 数组在修剪过程中优先于。在使用 notIn 数组修剪记录后，会使用 in 数组修剪它们。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。prune 过滤器根据配置的字段修剪日志记录。

   2

   指定 prune 过滤器的配置选项。

   • in 和 notIn 字段是日志记录中字段的以点分隔的路径的数组。
   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。

   3

   可选：指定要从日志记录中删除的字段。日志收集器保留所有其他字段。

   4

   可选：指定要保留在日志记录中的字段。日志收集器移除所有其他字段。

   5

   指定 prune 过滤器应用到的管道。

   重要

   • 过滤器不能从日志记录中删除 .log_type、.log_source、.message 字段。您必须在 notIn 字段中包含它们。
   • 如果使用 googleCloudLogging 输出，则必须在 notIn 字段中包含 .hostname。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将从 GCP 接收的服务帐户凭证复制到名为 key.json 的文件中。

2. 运行以下命令，使用名称 logging-loki-gcs 创建对象存储 secret：

   $ oc create secret generic logging-loki-gcs \
     --from-literal=bucketname="<bucket_name>" \
     --from-file=key.json="<path/to/key.json>"

   Copy to Clipboard Toggle word wrap

流程

1. 在 openshift-logging 命名空间中创建 ObjectBucketClaim 自定义资源：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: loki-bucket-odf
     namespace: openshift-logging
   spec:
     generateBucketName: loki-bucket-odf
     storageClassName: openshift-storage.noobaa.io

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，从关联的 ConfigMap 对象获取存储桶属性：

   BUCKET_HOST=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_HOST}')
   BUCKET_NAME=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_NAME}')
   BUCKET_PORT=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_PORT}')

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，从关联的 secret 获取存储桶访问密钥：

   ACCESS_KEY_ID=$(oc get -n openshift-logging secret loki-bucket-odf -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 -d)
   SECRET_ACCESS_KEY=$(oc get -n openshift-logging secret loki-bucket-odf -o jsonpath='{.data.AWS_SECRET_ACCESS_KEY}' | base64 -d)

   Copy to Clipboard Toggle word wrap

4. 运行以下命令，创建一个名为 logging-loki-odf 的对象存储 secret：

   $ oc create -n openshift-logging secret generic logging-loki-odf \
   --from-literal=access_key_id="<access_key_id>" \
   --from-literal=access_key_secret="<secret_access_key>" \
   --from-literal=bucketnames="<bucket_name>" \
   --from-literal=endpoint="https://<bucket_host>:<bucket_port>"

   Copy to Clipboard Toggle word wrap

流程

1. 输入以下命令创建新组：

   $ oc adm groups new cluster-admin

   Copy to Clipboard Toggle word wrap

2. 输入以下命令将所需的用户添加到 cluster-admin 组中：

   $ oc adm groups add-users cluster-admin <username>

   Copy to Clipboard Toggle word wrap

3. 输入以下命令在组中添加 cluster-admin 用户角色：

   $ oc adm policy add-cluster-role-to-group cluster-admin cluster-admin

   Copy to Clipboard Toggle word wrap

流程

1. 要启用基于流的保留，请创建一个 LokiStack CR，并将它保存为 YAML 文件。在以下示例中，它名为 lokistack.yaml。

   S3 的全局基于流的保留示例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
      global: 

   1

   
         retention: 

   2

   
           days: 20
           streams:
           - days: 4
             priority: 1
             selector: '{kubernetes_namespace_name=~"test.+"}' 

   3

   
           - days: 1
             priority: 1
             selector: '{log_type="infrastructure"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   为所有日志流设置保留策略。此策略不会影响对象存储中的保留周期。

   2

   通过在 CR 中添加 保留块来在集群中启用保留。

   3

   指定 LogQL 查询，将日志流与保留规则匹配。

   S3 基于每个租户流的保留示例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
       global:
         retention:
           days: 20
       tenants: 

   1

   
         application:
           retention:
             days: 1
             streams:
               - days: 4
                 selector: '{kubernetes_namespace_name=~"test.+"}' 

   2

   
         infrastructure:
           retention:
             days: 5
             streams:
               - days: 1
                 selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   设置每个租户的保留策略。有效的租户类型是 application、audit 和 infrastructure。

   2

   指定 LogQL 查询，将日志流与保留规则匹配。

2. 应用 LokiStack CR：

   $ oc apply -f lokistack.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，列出处于 Pending 状态的 pod：

   $ oc get pods --field-selector status.phase==Pending -n openshift-logging

   Copy to Clipboard Toggle word wrap

   oc get pods 输出示例

   NAME                           READY   STATUS    RESTARTS   AGE 

   1

   
   logging-loki-index-gateway-1   0/1     Pending   0          17m
   logging-loki-ingester-1        0/1     Pending   0          16m
   logging-loki-ruler-1           0/1     Pending   0          16m

   Copy to Clipboard Toggle word wrap

   1

   这些 pod 处于 Pending 状态，因为它们对应的 PVC 位于失败的区中。

2. 运行以下命令，列出处于 Pending 状态的 PVC：

   $ oc get pvc -o=json -n openshift-logging | jq '.items[] | select(.status.phase == "Pending") | .metadata.name' -r

   Copy to Clipboard Toggle word wrap

   oc get pvc 输出示例

   storage-logging-loki-index-gateway-1
   storage-logging-loki-ingester-1
   wal-logging-loki-ingester-1
   storage-logging-loki-ruler-1
   wal-logging-loki-ruler-1

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，删除 pod 的 PVC：

   $ oc delete pvc <pvc_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

4. 运行以下命令来删除 pod：

   $ oc delete pod <pod_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

   成功删除这些对象后，应在可用区域中自动重新调度它们。