第 3 章 分布式追踪平台(Tempo)

流程

1. 进入 Operators OperatorHub 并搜索 Tempo Operator。

2. 选择 由红帽提供的 Tempo Operator。

   重要

   以下选择是此 Operator 的默认预设置：

   • Update channel stable
   • Installation mode All namespaces on the cluster
   • Installed Namespace openshift-tempo-operator
   • Update approval Automatic
3. 选择 Enable Operator recommended cluster monitoring on this Namespace 复选框。
4. 选择 Install Install View Operator。

流程

1. 运行以下命令，为 Tempo Operator 创建项目：

   $ oc apply -f - << EOF
   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     labels:
       kubernetes.io/metadata.name: openshift-tempo-operator
       openshift.io/cluster-monitoring: "true"
     name: openshift-tempo-operator
   EOF

2. 运行以下命令来创建 Operator 组：

   $ oc apply -f - << EOF
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: openshift-tempo-operator
     namespace: openshift-tempo-operator
   spec:
     upgradeStrategy: Default
   EOF

3. 运行以下命令来创建订阅：

   $ oc apply -f - << EOF
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: tempo-product
     namespace: openshift-tempo-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: tempo-product
     source: redhat-operators
     sourceNamespace: openshift-marketplace
   EOF

流程

1. 进入 Home Projects Create Project，为在后续步骤中创建的 TempoStack 实例创建一个项目。

2. 进入 Workloads Secrets Create From YAML，在您为 TempoStack 实例创建的项目中为您的对象存储桶创建一个 secret。如需更多信息，请参阅"对象存储设置"。

   Amazon S3 和 MinIO 存储的 secret 示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. 创建 TempoStack 实例。

   注意

   您可以在同一集群中的独立项目中创建多个 TempoStack 实例。

   1. 进入 Operators Installed Operators。
   2. 选择 TempoStack Create TempoStack YAML view。

   3. 在 YAML 视图中，自定义 TempoStack 自定义资源(CR)：

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: sample
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: <value>Gi 1
        storage:
          secret: 2
            name: <secret_name> 3
            type: <secret_provider> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        template:
          queryFrontend:
            jaegerQuery:
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route
        resources: 7
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      Tempo WAL 的持久性卷声明的大小。默认值为 10Gi。

      2

      您在第 2 步中创建的 secret，用于作为其中一个先决条件设置的对象存储。

      3

      secret metadata 中 name 的值。

      4

      可接受的值是 azure（Azure Blob Storage），gcs（Google Cloud Storage）和 s3（Amazon S3, MinIO, 或 Red Hat OpenShift Data Foundation）。

      5

      可选。

      6

      可选：包含 CA 证书的 ConfigMap 对象的名称。

      7

      可选。

      AWS S3 和 MinIO 存储的 TempoStack CR 示例

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: simplest
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: 1Gi
        storage: 1
          secret:
            name: minio-test
            type: s3
        resources:
          total:
            limits:
              memory: 2Gi
              cpu: 2000m
        template:
          queryFrontend:
            jaegerQuery: 2
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route

      1

      在本例中，对象存储被设置为先决条件之一，并在第 2 步中创建对象存储 secret。

      2

      本例中部署的堆栈被配置为接收通过 HTTP 和 OpenTelemetry 协议(OTLP)的 Jaeger Thrift，它允许使用 Jaeger UI 可视化数据。

   4. 选择 Create。

验证

1. 使用 Project: 下拉列表选择 TempoStack 实例的项目。
2. 进入 Operators Installed Operators，以验证 TempoStack 实例的 Status 是否为 Condition: Ready。
3. 进入 Workloads Pods，以验证 TempoStack 实例的所有组件 pod 都在运行。

4. 访问 Tempo 控制台：

   1. 进入 Networking Routes 和 Ctrl+F，以搜索 tempo。

   2. 在 Location 列中，打开 URL 以访问 Tempo 控制台。

      注意

      Tempo 控制台最初不会在 Tempo 控制台安装后显示 trace 数据。

流程

1. 运行以下命令，为您将在后续步骤中创建的 TempoStack 实例创建您选择的项目：

   $ oc apply -f - << EOF
   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     name: <project_of_tempostack_instance>
   EOF

2. 在您为 TempoStack 实例创建的项目中，运行以下命令来为您的对象存储桶创建一个 secret：

   $ oc apply -f - << EOF
   <object_storage_secret>
   EOF

   如需更多信息，请参阅"对象存储设置"。

   Amazon S3 和 MinIO 存储的 secret 示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. 在为您创建的项目中创建一个 TempoStack 实例：

   注意

   您可以在同一集群中的独立项目中创建多个 TempoStack 实例。

   1. 自定义 TempoStack 自定义资源(CR)：

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: sample
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: <value>Gi 1
        storage:
          secret: 2
            name: <secret_name> 3
            type: <secret_provider> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        template:
          queryFrontend:
            jaegerQuery:
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route
        resources: 7
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      Tempo WAL 的持久性卷声明的大小。默认值为 10Gi。

      2

      您在第 2 步中创建的 secret，用于作为其中一个先决条件设置的对象存储。

      3

      secret metadata 中 name 的值。

      4

      可接受的值是 azure（Azure Blob Storage），gcs（Google Cloud Storage）和 s3（Amazon S3, MinIO, 或 Red Hat OpenShift Data Foundation）。

      5

      可选。

      6

      可选：包含 CA 证书的 ConfigMap 对象的名称。

      7

      可选。

      AWS S3 和 MinIO 存储的 TempoStack CR 示例

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: simplest
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: 1Gi
        storage: 1
          secret:
            name: minio-test
            type: s3
        resources:
          total:
            limits:
              memory: 2Gi
              cpu: 2000m
        template:
          queryFrontend:
            jaegerQuery: 2
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route

      1

      在本例中，对象存储被设置为先决条件之一，并在第 2 步中创建对象存储 secret。

      2

      本例中部署的堆栈被配置为接收通过 HTTP 和 OpenTelemetry 协议(OTLP)的 Jaeger Thrift，它允许使用 Jaeger UI 可视化数据。

   2. 运行以下命令来应用自定义 CR：

      $ oc apply -f - << EOF
      <tempostack_cr>
      EOF

验证

1. 运行以下命令，验证所有 TempoStack 组件 的状态是否为 Running，并且条件为 type: Ready ：

   $ oc get tempostacks.tempo.grafana.com simplest -o yaml

2. 运行以下命令，验证所有 TempoStack 组件 pod 是否正在运行：

   $ oc get pods

3. 访问 Tempo 控制台：

   1. 运行以下命令来查询路由详情：

      $ oc get route

   2. 在网页浏览器中打开 https://<route_from_previous_step>。

      注意

      Tempo 控制台最初不会在 Tempo 控制台安装后显示 trace 数据。

流程

1. 进入 Home Projects Create Project，为在后续步骤中创建的 TempoMonolithic 实例创建一个项目。

2. 决定用于存储 trace 的存储类型：内存中存储、持久性卷或对象存储。

   重要

   对象存储不包括在分布式追踪平台(Tempo)中，需要由受支持的供应商设置对象存储： Red Hat OpenShift Data Foundation、MinIO、Amazon S3、Azure Blob Storage 或 Google Cloud Storage。

   另外，选择对象存储需要在您为 TempoMonolithic 实例创建的项目中为您的对象存储桶创建一个 secret。您可以在 Workloads Secrets Create From YAML 中执行此操作。

   如需更多信息，请参阅"对象存储设置"。

   Amazon S3 和 MinIO 存储的 secret 示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. 创建 TempoMonolithic 实例：

   注意

   您可以在同一集群的单独项目中创建多个 TempoMonolithic 实例。

   1. 进入 Operators Installed Operators。
   2. 选择 TempoMonolithic Create TempoMonolithic YAML view。

   3. 在 YAML 视图中，自定义 TempoMonolithic 自定义资源 (CR)。

      以下 TempoMonolithic CR 创建一个 TempoMonolithic 部署，它通过 OTLP/gRPC 和 OTLP/HTTP 将 trace 存储在支持的存储中，并通过路由公开 Jaeger UI：

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoMonolithic
      metadata:
        name: <metadata_name>
        namespace: <project_of_tempomonolithic_instance>
      spec:
        storage:
          traces:
            backend: <supported_storage_type> 1
            size: <value>Gi 2
            s3: 3
              secret: <secret_name> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        jaegerui:
          enabled: true 7
          route:
            enabled: true 8
        resources: 9
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      用于存储 trace 的存储类型：内存存储、持久性卷或对象存储。持久性卷的值是 pv。对象存储接受的值是 s3、gcs 或 azure，具体取决于使用的对象存储类型。tmpfs 内存中存储的默认值为 memory，它仅适用于开发、测试、演示和概念验证环境，因为在 pod 关闭时数据不会被保留。

      2

      内存大小：对于内存存储，这意味着 tmpfs 卷的大小，默认值为 2Gi。对于持久性卷，这意味着持久性卷声明的大小，默认值为 10Gi。对于对象存储，这意味着 Tempo WAL 的持久性卷声明的大小，默认值为 10Gi。

      3

      可选： 对于对象存储，对象存储的类型。接受的值包括 s3、gcs 和 azure，具体取决于使用的对象存储类型。

      4

      可选： 对于对象存储，存储 secret 的 metadata 中的 name 值。存储 secret 必须与 TempoMonolithic 实例位于同一个命名空间中，并包含 "Table 1 中指定的字段。"Object storage setup" 部分中所需的 secret 参数"。

      5

      可选。

      6

      可选：包含 CA 证书的 ConfigMap 对象的名称。

      7

      启用 Jaeger UI。

      8

      启用为 Jaeger UI 创建路由。

      9

      可选。

   4. 选择 Create。

验证

1. 使用 Project: 下拉列表，选择 TempoMonolithic 实例的项目。
2. 进入 Operators Installed Operators，以验证 TempoMonolithic 实例的 Status 是否为 Condition: Ready。
3. 进入 Workloads Pods，以验证 TempoMonolithic 实例的 pod 是否正在运行。

4. 访问 Jaeger UI：

   1. 进入 Networking Routes 和 Ctrl+F，以搜索 jaegerui。

      注意

      Jaeger UI 使用 tempo-<metadata_name_of_TempoMonolithic_CR>-jaegerui 路由。

   2. 在 Location 列中，打开 URL 以访问 Jaeger UI。

5. 当 TempoMonolithic 实例的 pod 就绪时，您可以将 trace 发送到集群中的 tempo-<metadata_name_of_TempoMonolithic_CR>:4317 (OTLP/gRPC) 和 tempo-<metadata_name_of_TempoMonolithic_CR>:4318 (OTLP/HTTP) 端点。

   Tempo API 位于集群中的 tempo-<metadata_name_of_TempoMonolithic_CR>:3200 端点。

流程

1. 运行以下命令，为您将在后续步骤中创建的 TempoMonolithic 实例创建您选择的项目：

   $ oc apply -f - << EOF
   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     name: <project_of_tempomonolithic_instance>
   EOF

2. 决定用于存储 trace 的存储类型：内存中存储、持久性卷或对象存储。

   重要

   对象存储不包括在分布式追踪平台(Tempo)中，需要由受支持的供应商设置对象存储： Red Hat OpenShift Data Foundation、MinIO、Amazon S3、Azure Blob Storage 或 Google Cloud Storage。

   另外，选择对象存储需要在您为 TempoMonolithic 实例创建的项目中为您的对象存储桶创建一个 secret。您可以运行以下命令来完成此操作：

   $ oc apply -f - << EOF
   <object_storage_secret>
   EOF

   如需更多信息，请参阅"对象存储设置"。

   Amazon S3 和 MinIO 存储的 secret 示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. 在您为其创建的项目中创建一个 TempoMonolithic 实例。

   提示

   您可以在同一集群的单独项目中创建多个 TempoMonolithic 实例。

   1. 自定义 TempoMonolithic 自定义资源 (CR)。

      以下 TempoMonolithic CR 创建一个 TempoMonolithic 部署，它通过 OTLP/gRPC 和 OTLP/HTTP 将 trace 存储在支持的存储中，并通过路由公开 Jaeger UI：

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoMonolithic
      metadata:
        name: <metadata_name>
        namespace: <project_of_tempomonolithic_instance>
      spec:
        storage:
          traces:
            backend: <supported_storage_type> 1
            size: <value>Gi 2
            s3: 3
              secret: <secret_name> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        jaegerui:
          enabled: true 7
          route:
            enabled: true 8
        resources: 9
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      用于存储 trace 的存储类型：内存存储、持久性卷或对象存储。持久性卷的值是 pv。对象存储接受的值是 s3、gcs 或 azure，具体取决于使用的对象存储类型。tmpfs 内存中存储的默认值为 memory，它仅适用于开发、测试、演示和概念验证环境，因为在 pod 关闭时数据不会被保留。

      2

      内存大小：对于内存存储，这意味着 tmpfs 卷的大小，默认值为 2Gi。对于持久性卷，这意味着持久性卷声明的大小，默认值为 10Gi。对于对象存储，这意味着 Tempo WAL 的持久性卷声明的大小，默认值为 10Gi。

      3

      可选： 对于对象存储，对象存储的类型。接受的值包括 s3、gcs 和 azure，具体取决于使用的对象存储类型。

      4

      可选： 对于对象存储，存储 secret 的 metadata 中的 name 值。存储 secret 必须与 TempoMonolithic 实例位于同一个命名空间中，并包含 "Table 1 中指定的字段。"Object storage setup" 部分中所需的 secret 参数"。

      5

      可选。

      6

      可选：包含 CA 证书的 ConfigMap 对象的名称。

      7

      启用 Jaeger UI。

      8

      启用为 Jaeger UI 创建路由。

      9

      可选。

   2. 运行以下命令来应用自定义 CR：

      $ oc apply -f - << EOF
      <tempomonolithic_cr>
      EOF

验证

1. 运行以下命令，验证所有 TempoMonolithic components 的状态是否为 Running，且 conditions 是 type: Ready

   $ oc get tempomonolithic.tempo.grafana.com <metadata_name_of_tempomonolithic_cr> -o yaml

2. 运行以下命令，以验证 TempoMonolithic 实例的 pod 是否正在运行：

   $ oc get pods

3. 访问 Jaeger UI：

   1. 运行以下命令，查询 tempo-<metadata_name_of_tempomonolithic_cr>-jaegerui 路由的路由详情：

      $ oc get route

   2. 在网页浏览器中打开 https://<route_from_previous_step>。

4. 当 TempoMonolithic 实例的 pod 就绪时，您可以将 trace 发送到集群中的 tempo-<metadata_name_of_tempomonolithic_cr>:4317 (OTLP/gRPC) 和 tempo-<metadata_name_of_tempomonolithic_cr>:4318 (OTLP/HTTP) 端点。

   Tempo API 位于集群中的 tempo-<metadata_name_of_tempomonolithic_cr>:3200 端点。

流程

1. 创建 AWS S3 存储桶。

2. 为 AWS IAM 策略创建以下 trust.json 文件，该文件将在下一步中使用 TempoStack 实例的服务帐户为 AWS IAM 角色设置信任关系：

   {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Effect": "Allow",
           "Principal": {
             "Federated": "arn:aws:iam::${<aws_account_id>}:oidc-provider/${<oidc_provider>}" 1
           },
           "Action": "sts:AssumeRoleWithWebIdentity",
           "Condition": {
             "StringEquals": {
               "${OIDC_PROVIDER}:sub": [
                 "system:serviceaccount:${<openshift_project_for_tempostack>}:tempo-${<tempostack_cr_name>}" 2
                 "system:serviceaccount:${<openshift_project_for_tempostack>}:tempo-${<tempostack_cr_name>}-query-frontend"
              ]
            }
          }
        }
       ]
   }

   1

   在 OpenShift Container Platform 上配置的 OIDC 供应商。您还可以通过运行以下命令来获取配置的 OIDC 供应商值 $ oc get authentication cluster -o json | jq -r '.spec.serviceAccountIssuer' | sed 'shttp[s]*://~g'。

   2

   您要在其中创建 TempoStack 实例的命名空间。

3. 通过附加您创建的 trust.json 策略文件来创建 AWS IAM 角色：

   $ aws iam create-role \
         --role-name "tempo-s3-access" \
         --assume-role-policy-document "file:///tmp/trust.json" \
         --query Role.Arn \
         --output text

4. 将 AWS IAM 策略附加到创建的角色中：

   $ aws iam attach-role-policy \
         --role-name "tempo-s3-access" \
         --policy-arn "arn:aws:iam::aws:policy/AmazonS3FullAccess"

5. 在 OpenShift Container Platform 中，使用键创建一个对象存储 secret，如下所示：

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     bucket: <s3_bucket_name>
     region: <s3_region>
     role_arn: <s3_role_arn>
   type: Opaque