Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

7.12. 将日志转发到 Loki

除了内部的默认 OpenShift Container Platform Elasticsearch 实例外，您还可以将日志转发到外部 Loki 日志记录系统。

要配置日志转发到 Loki，您必须创建一个 ClusterLogForwarder 自定义资源 (CR)，并创建一个输出到 Loki 的 ClusterLogForwarder 自定义资源 (CR)，以及使用输出的管道。到 Loki 的输出可以使用 HTTP（不安全）或 HTTPS（安全 HTTP）连接。

先决条件

  • 您必须有一个 Loki 日志记录系统在您通过 CR 中的 url 字段指定的 URL 中运行。

流程

  1. 创建或编辑定义 ClusterLogForwarder CR 对象的 YAML 文件： 

    apiVersion: "logging.openshift.io/v1"
kind: ClusterLogForwarder
metadata:
  name: instance
    1 
    
  namespace: openshift-logging
    2 
    
spec:
  outputs:
   - name: loki-insecure
    3 
    
     type: "loki"
    4 
    
     url: http://loki.insecure.com:3100
    5 
    
   - name: loki-secure
     type: "loki"
     url: https://loki.secure.com:3100
    6 
    
     secret:
        name: loki-secret
    7 
    
  pipelines:
   - name: application-logs
    8 
    
     inputRefs:
    9 
    
     - application
     - audit
     outputRefs:
     - loki-secure
    10 
    
     loki:
       tenantKey: kubernetes.namespace_name
    11 
    
       labelKeys: kubernetes.labels.foo
    12
    Copy to Clipboard Toggle word wrap
    1
    ClusterLogForwarder CR 的名称必须是 instance。
    2
    ClusterLogForwarder CR 的命名空间必须是 openshift-logging。
    3
    指定输出的名称。
    4
    将类型指定为 "loki"。
    5
    将 Loki 系统的 URL 和端口指定为有效的绝对 URL。您可以使用 http （不安全）或 https （安全 HTTP）协议。如果启用了使用 CIDR 注解的集群范围代理，输出必须是服务器名称或 FQDN，而不是 IP 地址。
    6
    对于安全连接，您可以通过指定 secret 来指定您进行身份验证的 https 或 http URL。
    7
    对于 https 前缀，请指定 TLS 通信端点所需的 secret 名称。secret 必须存在于 openshift-logging 项目中，且必须具有指向它们所代表的相应证书的：tls.crt、tls.key 和 ca-bundle.crt 的密钥。否则，对于 http 和 https 前缀，您可以指定一个包含用户名和密码的 secret。如需更多信息，请参阅以下"示例：设置包含用户名和密码的 secret"。
    8
    可选：指定管道的名称。
    9
    使用管道指定要转发的日志类型：application、infrastructure 或 audit。
    10
    指定使用此管道转发日志时使用的输出名称。
    11
    可选：指定一个 meta-data key 字段，为 Loki 中的 TenantID 字段生成值。例如，设置 tenantKey: kubernetes.namespace_name 使用 Kubernetes 命名空间的名称作为 Loki 中的租户 ID 的值。要查看您可以指定的其他日志记录字段，请查看以下"Additional resources"部分中的"Log Record Fields"链接。
    12
    可选：指定一个 meta-data 字段键列表来替换默认的 Loki 标签。Loki 标签名称必须与正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]* 匹配。元数据键中的非法字符会替换为 _ 以组成标签名称。例如，kubernetes.labels.foo meta-data 键变成 Loki 标签 kubernetes_labels_foo。如果没有设置 labelKeys，则默认值为：[log_type, kubernetes.namespace_name, kubernetes.pod_name, kubernetes_host]。尽量保持标签数量少，因为 Loki 会限制允许标签的大小和数量。请参阅配置 Loki、limit_config。您仍然可以使用查询过滤器基于任何日志记录字段进行查询。
    注意

    由于 Loki 要求按时间戳正确排序日志流，labelKeys 始终包含 kubernetes_host 标签，即使您没有指定它。此包含确保每个流源自单一主机，这样可防止因为不同主机上的时钟差异而导致时间戳出现问题。

  2. 创建 CR 对象。 

    $ oc create -f <file-name>.yaml
    Copy to Clipboard Toggle word wrap

7.12.1. 对 Loki "entry out of order" 进行故障排除
复制链接

如果您的 Fluentd 将大量信息转发到超过速率限制的 Loki 日志记录系统，Locki 会生成 "entry out of order" 错误。要解决这个问题，您需要更新 Loki 服务器配置文件中 loki.yaml 中的一些值。

注意

loki.yaml 在 Grafana 托管的 Loki 中不可用。本主题不适用于 Grafana 托管的 Loki 服务器。

Conditions

  • ClusterLogForwarder 自定义资源配置为将日志转发到 Loki。

  • 您的系统向 Loki 发送大于 2 MB 的信息块，例如： 

    "values":[["1630410392689800468","{\"kind\":\"Event\",\"apiVersion\":\
.......
......
......
......
\"received_at\":\"2021-08-31T11:46:32.800278+00:00\",\"version\":\"1.7.4 1.6.0\"}},\"@timestamp\":\"2021-08-31T11:46:32.799692+00:00\",\"viaq_index_name\":\"audit-write\",\"viaq_msg_id\":\"MzFjYjJkZjItNjY0MC00YWU4LWIwMTEtNGNmM2E5ZmViMGU4\",\"log_type\":\"audit\"}"]]}]}
    Copy to Clipboard Toggle word wrap

  • 当您进入 oc logs -c fluentd 时，OpenShift Logging 集群中的 Fluentd 日志会显示以下信息： 

    429 Too Many Requests Ingestion rate limit exceeded (limit: 8388608 bytes/sec) while attempting to ingest '2140' lines totaling '3285284' bytes

429 Too Many Requests Ingestion rate limit exceeded' or '500 Internal Server Error rpc error: code = ResourceExhausted desc = grpc: received message larger than max (5277702 vs. 4194304)'
    Copy to Clipboard Toggle word wrap

  • 当您在 Loki 服务器上打开日志时，它们会显示 entry out of order 信息，类似： 

    ,\nentry with timestamp 2021-08-18 05:58:55.061936 +0000 UTC ignored, reason: 'entry out of order' for stream:

{fluentd_thread=\"flush_thread_0\", log_type=\"audit\"},\nentry with timestamp 2021-08-18 06:01:18.290229 +0000 UTC ignored, reason: 'entry out of order' for stream: {fluentd_thread="flush_thread_0", log_type="audit"}
    Copy to Clipboard Toggle word wrap

流程

  1. 使用此处所示的值更新 Loki 服务器上的 loki.yaml 配置文件中的以下字段：

    • grpc_server_max_recv_msg_size: 8388608
    • chunk_target_size: 8388608
    • ingestion_rate_mb: 8
    • ingestion_burst_size_mb: 16
  2. 将 loki.yaml 中的更改应用到 Loki 服务器。

loki.yaml 文件示例

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096
  grpc_server_max_recv_msg_size: 8388608

ingester:
  wal:
    enabled: true
    dir: /tmp/wal
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 1h       # Any chunk not receiving new logs in this time will be flushed
  chunk_target_size: 8388608
  max_chunk_age: 1h           # All chunks will be flushed when they hit this age, default is 1h
  chunk_retain_period: 30s    # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m)
  max_transfer_retries: 0     # Chunk transfers disabled

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

storage_config:
  boltdb_shipper:
    active_index_directory: /tmp/loki/boltdb-shipper-active
    cache_location: /tmp/loki/boltdb-shipper-cache
    cache_ttl: 24h         # Can be increased for faster performance over longer query periods, uses more disk space
    shared_store: filesystem
  filesystem:
    directory: /tmp/loki/chunks

compactor:
  working_directory: /tmp/loki/boltdb-shipper-compactor
  shared_store: filesystem

limits_config:
  reject_old_samples: true
  reject_old_samples_max_age: 12h
  ingestion_rate_mb: 8
  ingestion_burst_size_mb: 16

chunk_store_config:
  max_look_back_period: 0s

table_manager:
  retention_deletes_enabled: false
  retention_period: 0s

ruler:
  storage:
    type: local
    local:
      directory: /tmp/loki/rules
  rule_path: /tmp/loki/rules-temp
  alertmanager_url: http://localhost:9093
  ring:
    kvstore:
      store: inmemory
  enable_api: true
Copy to Clipboard Toggle word wrap

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat