主页
产品
Red Hat OpenShift Service on AWS classic architecture
4
日志记录
2.7. Loki 中的 OTLP 数据摄入

2.7. Loki 中的 OTLP 数据摄入

您可以使用带有 Logging 的 OpenTelemetry 协议(OTLP)来使用 API 端点。因为 OTLP 是一个为 Loki 特别设计的标准化格式，OTLP 需要额外的 Loki 配置将 data format 映射到 Loki 的数据模型。OTLP 缺少一些概念，如流标签或结构化元数据。相反，OTLP 以属性的形式提供有关日志条目的元数据，分组为以下三个类别：

资源
影响范围
Log

您可以根据需要同时为多个条目设置元数据。

2.7.1. 为 OTLP 数据生成配置 LokiStack
复制链接

重要

OpenTelemetry 协议(OTLP)输出日志转发器只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。

有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。

要为 OTLP ingestion 配置 LokiStack 自定义资源 (CR)，请按照以下步骤执行：

先决条件

确保您的 Loki 设置支持结构化元数据，在模式版本 13 中引入的，以启用 OTLP 日志 ingestion。

流程

设置 schema 版本：
- 在创建新的 LokiStack CR 时，在存储 schema 配置中设置 version: v13。
  注意
  对于现有配置，使用 version: v13 添加新 schema 条目，并在以后有 effectiveDate。有关更新模式版本的更多信息，请参阅升级架构 (Grafana 文档)。
配置存储模式，如下所示：
配置存储模式示例
```
# ...
spec:
  storage:
    schemas:
    - version: v13
      effectiveDate: 2024-10-25
```
```
# ...
spec:
  storage:
    schemas:
    - version: v13
      effectiveDate: 2024-10-25
```
Copy to Clipboard Toggle word wrap
传递了 effectiveDate 后，v13 模式将生效，使 LokiStack 能够存储结构化的元数据。

2.7.2. 属性映射
复制链接

当您将 Loki Operator 设置为 openshift-logging 模式时，Loki Operator 会自动应用一组默认的属性映射。这些映射将特定的 OTLP 属性与 Loki 的流标签和结构化元数据保持一致。

对于典型的设置，这些默认映射就足够了。但是，在以下情况下，您可能需要自定义属性映射：

使用自定义收集器：如果设置包含一个自定义收集器，它生成您不想存储的额外属性，请考虑自定义映射以确保 Loki 丢弃这些属性。
调整属性详细级别：如果默认属性集比必要更详细，则只能将其减少到必要的属性。这可以避免过量数据存储并简化日志记录过程。

2.7.2.1. OpenShift 的自定义属性映射
复制链接

当在 openshift-logging 模式中使用 Loki Operator 时，属性映射遵循 OpenShift 默认值，但您可以配置自定义映射来调整默认值。在 openshift-logging 模式中，您可以根据需要为所有租户或单独的租户配置自定义属性映射。在定义自定义映射时，它们会被附加到 OpenShift 默认值。如果不需要默认标签，您可以在租户配置中禁用它们。

注意

Loki Operator 和 Loki 之间的主要区别在于继承处理。默认情况下，Loki 仅将 default_resource_attributes_as_index_labels 复制到租户，而 Loki Operator 会将整个全局配置应用到 openshift-logging 模式中的每个租户。

在 LokiStack 中，属性映射配置通过 limits 设置进行管理。请参阅以下 LokiStack 配置示例：

# ...
spec:
  limits:
    global:
      otlp: {} 
    tenants:
      application: 
        otlp: {}

# ...
spec:
  limits:
    global:
      otlp: {}


    tenants:
      application:


        otlp: {}

Copy to Clipboard

Toggle word wrap

1: 定义全局 OTLP 属性配置。
2: 在 openshift-logging 模式中为 application 租户定义 OTLP 属性配置。除了 application 租户外，您还可以配置 infrastructure 和 audit 租户。

注意

您可以使用全局和租户 OTLP 配置将属性映射到流标签。

流标签仅从资源级别属性生成，LokiStack 资源结构反映。请参阅以下 LokiStack 示例配置：

spec:
  limits:
    global:
      otlp:
        streamLabels:
          resourceAttributes:
          - name: "k8s.namespace.name"
          - name: "k8s.pod.name"
          - name: "k8s.container.name"

spec:
  limits:
    global:
      otlp:
        streamLabels:
          resourceAttributes:
          - name: "k8s.namespace.name"
          - name: "k8s.pod.name"
          - name: "k8s.container.name"

Copy to Clipboard

Toggle word wrap

您可以丢弃来自日志条目的类型、范围或日志的属性。

# ...
spec:
  limits:
    global:
      otlp:
        streamLabels:
# ...
        drop:
          resourceAttributes:
          - name: "process.command_line"
          - name: "k8s\\.pod\\.labels\\..+"
            regex: true
          scopeAttributes:
          - name: "service.name"
          logAttributes:
          - name: "http.route"

# ...
spec:
  limits:
    global:
      otlp:
        streamLabels:
# ...
        drop:
          resourceAttributes:
          - name: "process.command_line"
          - name: "k8s\\.pod\\.labels\\..+"
            regex: true
          scopeAttributes:
          - name: "service.name"
          logAttributes:
          - name: "http.route"

Copy to Clipboard

Toggle word wrap

您可以通过设置 regex: true 来使用正则表达式，为具有相似名称的属性应用配置。

重要

避免使用正则表达式进行流标签，因为这会增加数据卷。

默认情况下，未明确设置为流标签或从条目丢弃的属性会保存为结构化元数据。

2.7.2.2. 自定义 OpenShift 默认值
复制链接

在 openshift-logging 模式中，需要某些属性，且因为 OpenShift 功能的角色而无法从配置中删除。如果性能会受到影响，其他标记为 recommended 的属性可能会被丢弃。有关属性的详情，请参考 OpenTelemetry 数据模型属性。

当在没有自定义属性的情况下使用 openshift-logging 模式时，您可以立即实现与 OpenShift 工具的兼容性。如果需要额外的属性，作为流标签或需要丢弃一些属性，请使用自定义配置。自定义配置可以使用默认配置合并。

2.7.2.3. 删除推荐的属性
复制链接

要在 openshift-logging 模式中减少默认属性，请禁用推荐的属性：

# ...
spec:
  tenants:
    mode: openshift-logging
    openshift:
      otlp:
        disableRecommendedAttributes: true

# ...
spec:
  tenants:
    mode: openshift-logging
    openshift:
      otlp:
        disableRecommendedAttributes: true

Copy to Clipboard

Toggle word wrap

1: 设置 disableRecommendedAttributes: true 以删除推荐的属性，这会将默认属性限制为所需的属性或流标签。
注意
此设置可能会对查询性能造成负面影响，因为它会删除默认流标签。您应该将此选项与自定义属性配置配对，以保留对查询至关重要的属性。

返回顶部

2.7. Loki 中的 OTLP 数据摄入

2.7.1. 为 OTLP 数据生成配置 LokiStack
复制链接

2.7.2. 属性映射
复制链接

2.7.2.1. OpenShift 的自定义属性映射
复制链接

2.7.2.2. 自定义 OpenShift 默认值
复制链接

2.7.2.3. 删除推荐的属性
复制链接

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

2.7. Loki 中的 OTLP 数据摄入

2.7.1. 为 OTLP 数据生成配置 LokiStack复制链接链接已复制到粘贴板!

2.7.2. 属性映射复制链接链接已复制到粘贴板!

2.7.2.1. OpenShift 的自定义属性映射复制链接链接已复制到粘贴板!

2.7.2.2. 自定义 OpenShift 默认值复制链接链接已复制到粘贴板!

2.7.2.3. 删除推荐的属性复制链接链接已复制到粘贴板!

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

2.7.1. 为 OTLP 数据生成配置 LokiStack
复制链接

2.7.2. 属性映射
复制链接

2.7.2.1. OpenShift 的自定义属性映射
复制链接

2.7.2.2. 自定义 OpenShift 默认值
复制链接

2.7.2.3. 删除推荐的属性
复制链接