第3章 distributed tracing platform (Tempo)

手順

1. Operators OperatorHub に移動し、Tempo Operator を検索します。

2. Red Hat が提供 する Tempo Operator を選択します。

   重要

   次の選択は、この Operator のデフォルトのプリセットです。

   • Update channel stable
   • Installation mode All namespaces on the cluster
   • Installed Namespace openshift-tempo-operator
   • Update approval Automatic
3. Enable Operator recommended cluster monitoring on this Namespace チェックボックスを選択します。
4. Install Install View Operator を選択します。

手順

1. 以下のコマンドを実行して、Tempo Operator のプロジェクトを作成します。

   $ oc apply -f - << EOF
   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     labels:
       kubernetes.io/metadata.name: openshift-tempo-operator
       openshift.io/cluster-monitoring: "true"
     name: openshift-tempo-operator
   EOF

2. 以下のコマンドを実行して、Operator グループを作成します。

   $ oc apply -f - << EOF
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: openshift-tempo-operator
     namespace: openshift-tempo-operator
   spec:
     upgradeStrategy: Default
   EOF

3. 以下のコマンドを実行して、サブスクリプションを作成します。

   $ oc apply -f - << EOF
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: tempo-product
     namespace: openshift-tempo-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: tempo-product
     source: redhat-operators
     sourceNamespace: openshift-marketplace
   EOF

手順

1. Home Projects Create Project に移動して、後続のステップで作成する TempoStack インスタンス用に任意のプロジェクトを作成します。

2. Workloads Secrets Create From YAML に移動して、TempoStack インスタンス用に作成したプロジェクトに、オブジェクトストレージバケットのシークレットを作成します。詳細は、「オブジェクトストレージのセットアップ」を参照してください。

   Amazon S3 および MinIO ストレージのシークレット例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. TempoStack インスタンスを作成します。

   注記

   同じクラスター上の別々のプロジェクトに、複数の TempoStack インスタンスを作成できます。

   1. Operators Installed Operators に移動します。
   2. TempoStack Create TempoStack YAML view の順に選択します。

   3. YAML view で、TempoStack カスタムリソース (CR) をカスタマイズします。

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: sample
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: <value>Gi 1
        storage:
          secret: 2
            name: <secret_name> 3
            type: <secret_provider> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        template:
          queryFrontend:
            jaegerQuery:
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route
        resources: 7
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      Tempo WAL の永続ボリューム要求のサイズ。デフォルトは 10Gi です。

      2

      前提条件の 1 つとして設定したオブジェクトストレージ用に、ステップ 2 で作成したシークレット。

      3

      シークレットの metadata 内にある name の値。

      4

      この値には、Azure Blob Storage の場合は azure、Google Cloud Storage の場合は gcs、Amazon S3、MinIO、または Red Hat OpenShift Data Foundation の場合は s3 を使用できます。

      5

      オプション:

      6

      オプション: CA 証明書を含む ConfigMap オブジェクトの名前。

      7

      オプション:

      AWS S3 および MinIO ストレージの TempoStack CR の例

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: simplest
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: 1Gi
        storage: 1
          secret:
            name: minio-test
            type: s3
        resources:
          total:
            limits:
              memory: 2Gi
              cpu: 2000m
        template:
          queryFrontend:
            jaegerQuery: 2
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route

      1

      この例のオブジェクトストレージは、前提条件の 1 つとして設定したものです。オブジェクトストレージのシークレットは、ステップ 2 で作成したものです。

      2

      この例にデプロイされたスタックは、HTTP および OpenTelemetry Protocol (OTLP) 経由で Jaeger Thrift を受信するように設定されています。これにより、Jaeger UI でデータが可視化されます。

   4. Create を選択します。

検証

1. Project: ドロップダウンリストを使用して、TempoStack インスタンスのプロジェクトを選択します。
2. Operators Installed Operators に移動して、TempoStack インスタンスの Status が Condition: Ready であることを確認します。
3. Workloads Pods に移動して、TempoStack インスタンスのすべてのコンポーネント Pod が稼働していることを確認します。

4. Tempo コンソールにアクセスします。

   1. Networking Routes に移動し、Ctrl+F で tempo を検索します。

   2. Location 列で URL を開き、Tempo コンソールにアクセスします。

      注記

      Tempo コンソールをインストールした直後は、Tempo コンソールにトレースデータは表示されません。

手順

1. 次のコマンドを実行して、後続の手順で作成する TempoStack インスタンス用に選択したプロジェクトを作成します。

   $ oc apply -f - << EOF
   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     name: <project_of_tempostack_instance>
   EOF

2. 次のコマンドを実行して、TempoStack インスタンス用に作成したプロジェクトでオブジェクトストレージバケットのシークレットを作成します。

   $ oc apply -f - << EOF
   <object_storage_secret>
   EOF

   詳細は、「オブジェクトストレージのセットアップ」を参照してください。

   Amazon S3 および MinIO ストレージのシークレット例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. TempoStack インスタンス用に作成したプロジェクトに TempoStack インスタンスを作成します。

   注記

   同じクラスター上の別々のプロジェクトに、複数の TempoStack インスタンスを作成できます。

   1. TempoStack カスタムリソース (CR) をカスタマイズします。

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: sample
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: <value>Gi 1
        storage:
          secret: 2
            name: <secret_name> 3
            type: <secret_provider> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        template:
          queryFrontend:
            jaegerQuery:
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route
        resources: 7
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      Tempo WAL の永続ボリューム要求のサイズ。デフォルトは 10Gi です。

      2

      前提条件の 1 つとして設定したオブジェクトストレージ用に、ステップ 2 で作成したシークレット。

      3

      シークレットの metadata 内にある name の値。

      4

      この値には、Azure Blob Storage の場合は azure、Google Cloud Storage の場合は gcs、Amazon S3、MinIO、または Red Hat OpenShift Data Foundation の場合は s3 を使用できます。

      5

      オプション:

      6

      オプション: CA 証明書を含む ConfigMap オブジェクトの名前。

      7

      オプション:

      AWS S3 および MinIO ストレージの TempoStack CR の例

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoStack
      metadata:
        name: simplest
        namespace: <project_of_tempostack_instance>
      spec:
        storageSize: 1Gi
        storage: 1
          secret:
            name: minio-test
            type: s3
        resources:
          total:
            limits:
              memory: 2Gi
              cpu: 2000m
        template:
          queryFrontend:
            jaegerQuery: 2
              enabled: true
              ingress:
                route:
                  termination: edge
                type: route

      1

      この例のオブジェクトストレージは、前提条件の 1 つとして設定したものです。オブジェクトストレージのシークレットは、ステップ 2 で作成したものです。

      2

      この例にデプロイされたスタックは、HTTP および OpenTelemetry Protocol (OTLP) 経由で Jaeger Thrift を受信するように設定されています。これにより、Jaeger UI でデータが可視化されます。

   2. 次のコマンドを実行して、カスタマイズされた CR を適用します。

      $ oc apply -f - << EOF
      <tempostack_cr>
      EOF

検証

1. 次のコマンドを実行して、すべての TempoStack components の status が Running、conditions が type: Ready になっていることを確認します。

   $ oc get tempostacks.tempo.grafana.com simplest -o yaml

2. 次のコマンドを実行して、すべての TempoStack コンポーネント Pod が稼働していることを確認します。

   $ oc get pods

3. Tempo コンソールにアクセスします。

   1. 以下のコマンドを実行してルートの詳細をクエリーします。

      $ oc get route

   2. Web ブラウザーで https://<route_from_previous_step> を開きます。

      注記

      Tempo コンソールをインストールした直後は、Tempo コンソールにトレースデータは表示されません。

手順

1. Home Projects Create Project に移動して、後続のステップで作成する TempoMonolithic インスタンス用に任意のプロジェクトを作成します。

2. トレースの保存に使用するサポート対象のストレージのタイプ (インメモリーストレージ、永続ボリューム、オブジェクトストレージ) を決定します。

   重要

   オブジェクトストレージは、distributed tracing platform (Tempo) には含まれていません。そのため、サポートされているプロバイダー (Red Hat OpenShift Data Foundation、MinIO、Amazon S3、Azure Blob Storage、または Google Cloud Storage) によるオブジェクトストアを設定する必要があります。

   また、オブジェクトストレージを選択するには、TempoMonolithic インスタンス用に作成したプロジェクトにオブジェクトストレージバケットのシークレットを作成する必要があります。これは、Workloads Secrets Create From YAML で実行できます。

   詳細は、「オブジェクトストレージのセットアップ」を参照してください。

   Amazon S3 および MinIO ストレージのシークレット例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. TempoMonolithic インスタンスを作成します。

   注記

   同じクラスター上の別々のプロジェクトに複数の TempoMonolithic インスタンスを作成できます。

   1. Operators Installed Operators に移動します。
   2. TempoMonolithic Create TempoMonolithic YAML view を選択します。

   3. YAML view で、TempoMonolithic カスタムリソース (CR) をカスタマイズします。

      次の TempoMonolithic CR は、OTLP/gRPC および OTLP/HTTP 経由のトレース取り込みを備えた TempoMonolithic デプロイメントを作成し、サポートされているタイプのストレージにトレースを保存し、ルート経由で Jaeger UI を公開します。

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoMonolithic
      metadata:
        name: <metadata_name>
        namespace: <project_of_tempomonolithic_instance>
      spec:
        storage:
          traces:
            backend: <supported_storage_type> 1
            size: <value>Gi 2
            s3: 3
              secret: <secret_name> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        jaegerui:
          enabled: true 7
          route:
            enabled: true 8
        resources: 9
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      トレースを保存するストレージのタイプ (インメモリーストレージ、永続ボリューム、またはオブジェクトストレージ)。永続ボリュームの値は pv です。オブジェクトストレージの値は、使用するオブジェクトストアのタイプに応じて、s3、gcs、または azure が受け入れられます。デフォルト値は、tmpfs インメモリーストレージの memory です。これは、Pod がシャットダウンするとデータが保持されないため、開発、テスト、デモ、および概念検証用の環境にのみ適しています。

      2

      メモリーサイズ: インメモリーストレージの場合、これは tmpfs ボリュームのサイズを意味します。デフォルトは 2Gi です。永続ボリュームの場合、これは永続ボリューム要求のサイズを意味します。デフォルトは 10Gi です。オブジェクトストレージの場合、これは Tempo WAL の永続ボリューム要求のサイズを意味し、デフォルトは 10Gi です。

      3

      オプション: オブジェクトストレージの場合、オブジェクトストレージのタイプ。使用するオブジェクトストアのタイプに応じて、s3、gcs、および azure が値として受け入れられます。

      4

      オプション: オブジェクトストレージの場合、ストレージシークレットの metadata 内の name の値。ストレージシークレットは、TempoMonolithic インスタンスと同じ namespace にあり、「表 1. 必要なシークレットパラメーター」(「オブジェクトストレージのセットアップ」セクションを参照) で指定えているフィールドを含んでいる必要があります。

      5

      オプション:

      6

      オプション: CA 証明書を含む ConfigMap オブジェクトの名前。

      7

      Jaeger UI を有効にします。

      8

      Jaeger UI のルートの作成を有効にします。

      9

      オプション:

   4. Create を選択します。

検証

1. Project: ドロップダウンリストを使用して、TempoMonolithic インスタンスのプロジェクトを選択します。
2. Operator Installed Operator に移動して、TempoMonolithic インスタンスの Status が Condition: Ready であることを確認します。
3. Workloads Pod に移動して、TempoMonolithic インスタンスの Pod が実行中であることを確認します。

4. Jaeger UI にアクセスします。

   1. Networking Routes に移動し、Ctrl+F を押して jaegerui を検索します。

      注記

      Jaeger UI は、tempo-<metadata_name_of_TempoMonolithic_CR>-jaegerui ルートを使用します。

   2. Location 列で URL を開き、Jaeger UI にアクセスします。

5. TempoMonolithic インスタンスの Pod の準備ができたら、クラスター内の tempo-<metadata_name_of_TempoMonolithic_CR>:4317 (OTLP/gRPC) および tempo-<metadata_name_of_TempoMonolithic_CR>:4318 (OTLP/HTTP) エンドポイントにトレースを送信できます。

   Tempo API は、クラスター内の tempo-<metadata_name_of_TempoMonolithic_CR>:3200 エンドポイントで利用できます。

手順

1. 次のコマンドを実行して、後続のステップで作成する TempoMonolithic インスタンス用に任意のプロジェクトを作成します。

   $ oc apply -f - << EOF
   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     name: <project_of_tempomonolithic_instance>
   EOF

2. トレースの保存に使用するサポート対象のストレージのタイプ (インメモリーストレージ、永続ボリューム、オブジェクトストレージ) を決定します。

   重要

   オブジェクトストレージは、distributed tracing platform (Tempo) には含まれていません。そのため、サポートされているプロバイダー (Red Hat OpenShift Data Foundation、MinIO、Amazon S3、Azure Blob Storage、または Google Cloud Storage) によるオブジェクトストアを設定する必要があります。

   また、オブジェクトストレージを選択するには、TempoMonolithic インスタンス用に作成したプロジェクトにオブジェクトストレージバケットのシークレットを作成する必要があります。これを行うには、次のコマンドを実行します。

   $ oc apply -f - << EOF
   <object_storage_secret>
   EOF

   詳細は、「オブジェクトストレージのセットアップ」を参照してください。

   Amazon S3 および MinIO ストレージのシークレット例

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     endpoint: http://minio.minio.svc:9000
     bucket: tempo
     access_key_id: tempo
     access_key_secret: <secret>
   type: Opaque

3. TempoMonolithic インスタンス用に作成したプロジェクト内に TempoMonolithic インスタンスを作成します。

   ヒント

   同じクラスター上の別々のプロジェクトに複数の TempoMonolithic インスタンスを作成できます。

   1. TempoMonolithic カスタムリソース (CR) をカスタマイズします。

      次の TempoMonolithic CR は、OTLP/gRPC および OTLP/HTTP 経由のトレース取り込みを備えた TempoMonolithic デプロイメントを作成し、サポートされているタイプのストレージにトレースを保存し、ルート経由で Jaeger UI を公開します。

      apiVersion: tempo.grafana.com/v1alpha1
      kind: TempoMonolithic
      metadata:
        name: <metadata_name>
        namespace: <project_of_tempomonolithic_instance>
      spec:
        storage:
          traces:
            backend: <supported_storage_type> 1
            size: <value>Gi 2
            s3: 3
              secret: <secret_name> 4
          tls: 5
            enabled: true
            caName: <ca_certificate_configmap_name> 6
        jaegerui:
          enabled: true 7
          route:
            enabled: true 8
        resources: 9
          total:
            limits:
              memory: <value>Gi
              cpu: <value>m

      1

      トレースを保存するストレージのタイプ (インメモリーストレージ、永続ボリューム、またはオブジェクトストレージ)。永続ボリュームの値は pv です。オブジェクトストレージの値は、使用するオブジェクトストアのタイプに応じて、s3、gcs、または azure が受け入れられます。デフォルト値は、tmpfs インメモリーストレージの memory です。これは、Pod がシャットダウンするとデータが保持されないため、開発、テスト、デモ、および概念検証用の環境にのみ適しています。

      2

      メモリーサイズ: インメモリーストレージの場合、これは tmpfs ボリュームのサイズを意味します。デフォルトは 2Gi です。永続ボリュームの場合、これは永続ボリューム要求のサイズを意味します。デフォルトは 10Gi です。オブジェクトストレージの場合、これは Tempo WAL の永続ボリューム要求のサイズを意味し、デフォルトは 10Gi です。

      3

      オプション: オブジェクトストレージの場合、オブジェクトストレージのタイプ。使用するオブジェクトストアのタイプに応じて、s3、gcs、および azure が値として受け入れられます。

      4

      オプション: オブジェクトストレージの場合、ストレージシークレットの metadata 内の name の値。ストレージシークレットは、TempoMonolithic インスタンスと同じ namespace にあり、「表 1. 必要なシークレットパラメーター」(「オブジェクトストレージのセットアップ」セクションを参照) で指定えているフィールドを含んでいる必要があります。

      5

      オプション:

      6

      オプション: CA 証明書を含む ConfigMap オブジェクトの名前。

      7

      Jaeger UI を有効にします。

      8

      Jaeger UI のルートの作成を有効にします。

      9

      オプション:

   2. 次のコマンドを実行して、カスタマイズされた CR を適用します。

      $ oc apply -f - << EOF
      <tempomonolithic_cr>
      EOF

検証

1. 次のコマンドを実行して、すべての TempoMonolithic components の status が Running であり、conditions が type: Ready であることを確認します。

   $ oc get tempomonolithic.tempo.grafana.com <metadata_name_of_tempomonolithic_cr> -o yaml

2. 次のコマンドを実行して、TempoMonolithic インスタンスの Pod が実行中であることを確認します。

   $ oc get pods

3. Jaeger UI にアクセスします。

   1. 次のコマンドを実行して、tempo-<metadata_name_of_tempomonolithic_cr>-jaegerui ルートのルート詳細をクエリーします。

      $ oc get route

   2. Web ブラウザーで https://<route_from_previous_step> を開きます。

4. TempoMonolithic インスタンスの Pod の準備ができたら、クラスター内の tempo-<metadata_name_of_tempomonolithic_cr>:4317 (OTLP/gRPC) および tempo-<metadata_name_of_tempomonolithic_cr>:4318 (OTLP/HTTP) エンドポイントにトレースを送信できます。

   Tempo API は、クラスター内の tempo-<metadata_name_of_tempomonolithic_cr>:3200 エンドポイントで利用できます。

手順

1. AWS S3 バケットを作成します。

2. AWS IAM ロール (次のステップで作成) と TempoStack インスタンスのサービスアカウントとの信頼関係を設定する AWS IAM ポリシー用に、次の trust.json ファイルを作成します。

   {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Effect": "Allow",
           "Principal": {
             "Federated": "arn:aws:iam::${<aws_account_id>}:oidc-provider/${<oidc_provider>}" 1
           },
           "Action": "sts:AssumeRoleWithWebIdentity",
           "Condition": {
             "StringEquals": {
               "${OIDC_PROVIDER}:sub": [
                 "system:serviceaccount:${<openshift_project_for_tempostack>}:tempo-${<tempostack_cr_name>}" 2
                 "system:serviceaccount:${<openshift_project_for_tempostack>}:tempo-${<tempostack_cr_name>}-query-frontend"
              ]
            }
          }
        }
       ]
   }

   1

   OpenShift Container Platform で設定した OIDC プロバイダー。設定した OIDC プロバイダーの値は、コマンド $ oc get authentication cluster -o json | jq -r '.spec.serviceAccountIssuer' | sed 'shttp[s]*://~g' を実行して取得することもできます。

   2

   TempoStack インスタンスを作成する namespace。

3. 作成した trust.json ポリシーファイルをアタッチして AWS IAM ロールを作成します。

   $ aws iam create-role \
         --role-name "tempo-s3-access" \
         --assume-role-policy-document "file:///tmp/trust.json" \
         --query Role.Arn \
         --output text

4. 作成したロールに AWS IAM ポリシーをアタッチします。

   $ aws iam attach-role-policy \
         --role-name "tempo-s3-access" \
         --policy-arn "arn:aws:iam::aws:policy/AmazonS3FullAccess"

5. OpenShift Container Platform で、次のように、キーを使用してオブジェクトストレージシークレットを作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: minio-test
   stringData:
     bucket: <s3_bucket_name>
     region: <s3_region>
     role_arn: <s3_role_arn>
   type: Opaque