1.5. 从启用了 STS 的集群将日志转发到 Amazon CloudWatch

流程

1. 创建一个 IAM 策略，向 CloudWatch 授予权限。

   1. 创建包含以下内容的文件，如 cw-iam-role-policy.json ：

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "logs:PutLogEvents",
                      "logs:CreateLogGroup",
                      "logs:PutRetentionPolicy",
                      "logs:CreateLogStream",
                      "logs:DescribeLogGroups",
                      "logs:DescribeLogStreams"
                  ],
                  "Resource": "arn:aws:logs:*:*:*"
              }
          ]
      }

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令，根据前面的策略定义创建 IAM 策略：

      aws iam create-policy \
          --policy-name cluster-logging-allow \
          --policy-document file://cw-iam-role-policy.json

      Copy to Clipboard Toggle word wrap

      请注意创建的策略的 Arn 值。

2. 创建信任策略以允许日志记录服务帐户假定 IAM 角色：

   1. 创建包含以下内容的文件，如 cw-trust-policy.json ：

      {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Principal": {
                  "Federated": "arn:aws:iam::123456789012:oidc-provider/<OPENSHIFT_OIDC_PROVIDER_URL>" 

      1

      
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                  "StringEquals": {
                      "<OPENSHIFT_OIDC_PROVIDER_URL>:sub": "system:serviceaccount:openshift-logging:logcollector" 

      2

      
                  }
              }
          }
      ]
      }

      Copy to Clipboard Toggle word wrap

      1

      将 <OPENSHIFT_OIDC_PROVIDER_URL > 替换为 Red Hat OpenShift Logging OIDC URL 的 URL。

      2

      namespace 和 service 帐户必须与日志转发器使用的命名空间和服务帐户匹配。

3. 运行以下命令，根据之前定义的信任策略创建一个 IAM 角色：

   $ aws iam create-role --role-name openshift-logger --assume-role-policy-document file://cw-trust-policy.json

   Copy to Clipboard Toggle word wrap

   请注意所创建的角色的 Arn 值。

4. 运行以下命令，将策略附加到角色：

   $ aws iam put-role-policy \
         --role-name openshift-logger --policy-name cluster-logging-allow \
         --policy-document file://cw-role-policy.json

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 添加配置，将不需要的日志记录放到 ClusterLogForwarder CR 中的 filters spec 中。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。drop 过滤器丢弃与过滤器配置匹配的日志记录。

   2

   指定 drop 过滤器的配置选项。

   3

   指定测试条件来评估过滤器是否丢弃日志记录。

   4

   指定日志记录中字段的点分隔路径。

   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。
   • 您可以在单个测试配置中包括多个字段路径，但它们都必须评估为 true 才能使测试通过，以及要应用的 drop 过滤器。

   5

   指定一个正则表达式。如果日志记录与此正则表达式匹配，它们将被丢弃。

   6

   指定一个正则表达式。如果日志记录与此正则表达式不匹配，它们将被丢弃。

   7

   指定使用 drop 过滤器的管道。

   注意

   您可以为单个 field 路径设置 matches 或 notMatches 条件，但不能同时设置这两个条件。

   仅保留高优先级日志记录的示例配置

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   具有多个测试的配置示例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   过滤器丢弃包含以 openshift 开头的命名空间的日志。

   2

   过滤器丢弃 pod 名称中没有 my-pod 的应用日志。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将过滤器的配置添加到 ClusterLogForwarder CR 中的 input spec 中。

   以下示例演示了如何配置 ClusterLogForwarder CR，使其包含基于标签表达式或匹配的标签键/值的日志：

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   指定要匹配的标签键。

   2

   指定 operator。有效值包括： In,NotIn,Exists, 和 DoesNotExist。

   3

   指定字符串值的数组。如果 operator 值为 Exists 或 DoesNotExist，则值数组必须为空。

   4

   指定准确的键或值映射。

2. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 提取现有的 ClusterLogForwarder 配置并将其保存为本地文件。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   • &lt;name> 是您要配置的 ClusterLogForwarder 实例的名称。
   • &lt;namespace> 是创建 ClusterLogForwarder 实例的命名空间，如 openshift-logging。
   • <filename > 是保存配置的本地文件的名称。

2. 将配置添加到 ClusterLogForwarder CR 的 filters spec 中。

   重要

   如果您同时指定了 in 和 notIn 参数，则 notIn 数组在修剪过程中优先于。在使用 notIn 数组修剪记录后，会使用 in 数组修剪它们。

   ClusterLogForwarder CR 示例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   指定过滤器的类型。prune 过滤器根据配置的字段修剪日志记录。

   2

   指定 prune 过滤器的配置选项。

   • in 和 notIn 字段是日志记录中字段的以点分隔的路径的数组。
   • 每个路径片段可以包含字母数字字符和下划线、a-z、A-Z、0-9、_，如 .kubernetes.namespace_name。
   • 如果片段包含不同的字符，则片段必须在引号里，例如 . kubernetes.labels."app.version-1.2/beta "。

   3

   可选：指定要从日志记录中删除的字段。日志收集器保留所有其他字段。

   4

   可选：指定要保留在日志记录中的字段。日志收集器移除所有其他字段。

   5

   指定 prune 过滤器应用到的管道。

   重要

   • 过滤器不能从日志记录中删除 .log_type、.log_source、.message 字段。您必须在 notIn 字段中包含它们。
   • 如果使用 googleCloudLogging 输出，则必须在 notIn 字段中包含 .hostname。

3. 运行以下命令来应用 ClusterLogForwarder CR：

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap