Red Hat build of OpenTelemetry

手順

1. Red Hat build of OpenTelemetry Operatorをインストールします。

   1. Operators → OperatorHub に移動し、Red Hat build of OpenTelemetry Operator を検索します。

   2. Red Hat が提供する Red Hat build of OpenTelemetry Operator を選択し、Install → Install → View Operator と進みます。

      重要

      デフォルトのプリセットで Operator がインストールされます。

      • Update channel → stable
      • Installation mode → All namespaces on the cluster
      • Installed Namespace → openshift-operators
      • Update approval → Automatic
   3. インストール済み Operator ページの Details タブの ClusterServiceVersion details で、インストールの Status が Succeeded であることを確認します。
2. Home → Projects → Create Project に移動して、次の手順で作成する OpenTelemetry Collector インスタンスの任意のプロジェクトを作成します。

3. OpenTelemetry Collector インスタンスを作成します。

   1. Operators → Installed Operators に移動します。
   2. OpenTelemetry Collector → Create OpenTelemetry Collector → YAML view を選択します。

   3. YAML view で、OTLP、Jaeger、Zipkin レシーバー、およびデバッグエクスポーターを使用して OpenTelemetryCollector カスタムリソース (CR) をカスタマイズします。

      apiVersion: opentelemetry.io/v1alpha1
      kind: OpenTelemetryCollector
      metadata:
        name: otel
        namespace: <project_of_opentelemetry_collector_instance>
      spec:
        mode: deployment
        config: |
          receivers:
            otlp:
              protocols:
                grpc:
                http:
            jaeger:
              protocols:
                grpc:
                thrift_binary:
                thrift_compact:
                thrift_http:
            zipkin:
          processors:
            batch:
            memory_limiter:
              check_interval: 1s
              limit_percentage: 50
              spike_limit_percentage: 30
          exporters:
            debug:
          service:
            pipelines:
              traces:
                receivers: [otlp,jaeger,zipkin]
                processors: [memory_limiter,batch]
                exporters: [debug]

   4. Create を選択します。

検証

1. Project: ドロップダウンリストを使用して、OpenTelemetry Collector インスタンスのプロジェクトを選択します。
2. Operators → Installed Operators に移動して、OpenTelemetry Collector インスタンスの ステータス が Condition: Ready であることを確認します。
3. Workloads → Pods に移動して、OpenTelemetry Collector インスタンスのすべてのコンポーネント Pod が実行されていることを確認します。

手順

1. Red Hat build of OpenTelemetry Operatorをインストールします。

   1. 次のコマンドを実行して、Red Hat build of OpenTelemetry Operatorのプロジェクトを作成します。

      $ oc apply -f - << EOF
      apiVersion: project.openshift.io/v1
      kind: Project
      metadata:
        labels:
          kubernetes.io/metadata.name: openshift-opentelemetry-operator
          openshift.io/cluster-monitoring: "true"
        name: openshift-opentelemetry-operator
      EOF

   2. 以下のコマンドを実行して、Operator グループを作成します。

      $ oc apply -f - << EOF
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: openshift-opentelemetry-operator
        namespace: openshift-opentelemetry-operator
      spec:
        upgradeStrategy: Default
      EOF

   3. 以下のコマンドを実行して、サブスクリプションを作成します。

      $ oc apply -f - << EOF
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: opentelemetry-product
        namespace: openshift-opentelemetry-operator
      spec:
        channel: stable
        installPlanApproval: Automatic
        name: opentelemetry-product
        source: redhat-operators
        sourceNamespace: openshift-marketplace
      EOF

   4. 次のコマンドを実行して、Operator のステータスを確認します。

      $ oc get csv -n openshift-opentelemetry-operator

2. 後続の手順で作成する OpenTelemetry Collector インスタンス用に選択したプロジェクトを作成します。

   • メタデータなしでプロジェクトを作成するには、次のコマンドを実行します。

     $ oc new-project <project_of_opentelemetry_collector_instance>

   • メタデータを含むプロジェクトを作成するには、次のコマンドを実行します。

     $ oc apply -f - << EOF
     apiVersion: project.openshift.io/v1
     kind: Project
     metadata:
       name: <project_of_opentelemetry_collector_instance>
     EOF

3. OpenTelemetry Collector 用に作成したプロジェクトに OpenTelemetry Collector インスタンスを作成します。

   注記

   同じクラスター上の別々のプロジェクトに複数の OpenTelemetry Collector インスタンスを作成できます。

   1. OTLP、Jaeger、Zipkin レシーバーとデバッグエクスポーターを使用して、OpenTelemetry Collector カスタムリソース (CR) をカスタマイズします。

      apiVersion: opentelemetry.io/v1alpha1
      kind: OpenTelemetryCollector
      metadata:
        name: otel
        namespace: <project_of_opentelemetry_collector_instance>
      spec:
        mode: deployment
        config: |
          receivers:
            otlp:
              protocols:
                grpc:
                http:
            jaeger:
              protocols:
                grpc:
                thrift_binary:
                thrift_compact:
                thrift_http:
            zipkin:
          processors:
            batch:
            memory_limiter:
              check_interval: 1s
              limit_percentage: 50
              spike_limit_percentage: 30
          exporters:
            debug:
          service:
            pipelines:
              traces:
                receivers: [otlp,jaeger,zipkin]
                processors: [memory_limiter,batch]
                exporters: [debug]

   2. 次のコマンドを実行して、カスタマイズされた CR を適用します。

      $ oc apply -f - << EOF
      <OpenTelemetryCollector_custom_resource>
      EOF

検証

1. 次のコマンドを実行して、OpenTelemetry Collector Pod の status.phase が Running で、conditions が type: Ready であることを確認します。

   $ oc get pod -l app.kubernetes.io/managed-by=opentelemetry-operator,app.kubernetes.io/instance=<namespace>.<instance_name> -o yaml

2. 次のコマンドを実行して、OpenTelemetry Collector サービスを取得します。

   $ oc get service -l app.kubernetes.io/managed-by=opentelemetry-operator,app.kubernetes.io/instance=<namespace>.<instance_name>

手順

1. OpenTelemetry Collector インスタンスに次の証明書をマウントし、すでにマウントされている証明書を省略します。

   1. Red Hat OpenShift の cert-manager Operator を使用して証明書を生成する Issuer

      apiVersion: cert-manager.io/v1
      kind: Issuer
      metadata:
        name: selfsigned-issuer
      spec:
        selfSigned: {}

   2. 自己署名証明書

      apiVersion: cert-manager.io/v1
      kind: Certificate
      metadata:
        name: ca
      spec:
        isCA: true
        commonName: ca
        subject:
          organizations:
            - Organization # <your_organization_name>
          organizationalUnits:
            - Widgets
        secretName: ca-secret
        privateKey:
          algorithm: ECDSA
          size: 256
        issuerRef:
          name: selfsigned-issuer
          kind: Issuer
          group: cert-manager.io

   3. CA issuer

      apiVersion: cert-manager.io/v1
      kind: Issuer
      metadata:
        name: test-ca-issuer
      spec:
        ca:
          secretName: ca-secret

   4. クライアントとサーバーの証明書

      apiVersion: cert-manager.io/v1
      kind: Certificate
      metadata:
        name: server
      spec:
        secretName: server-tls
        isCA: false
        usages:
          - server auth
          - client auth
        dnsNames:
        - "otel.observability.svc.cluster.local" 1
        issuerRef:
          name: ca-issuer
      ---
      apiVersion: cert-manager.io/v1
      kind: Certificate
      metadata:
        name: client
      spec:
        secretName: client-tls
        isCA: false
        usages:
          - server auth
          - client auth
        dnsNames:
        - "otel.observability.svc.cluster.local" 2
        issuerRef:
          name: ca-issuer

      1

      サーバー OpenTelemetry Collector インスタンスのソルバーにマップされる正確な DNS 名のリスト。

      2

      クライアント OpenTelemetry Collector インスタンスのソルバーにマップされる正確な DNS 名のリスト。

2. OpenTelemetry Collector インスタンスのサービスアカウントを作成します。

   ServiceAccount の例

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: otel-collector-deployment

3. サービスアカウントのクラスターロールを作成します。

   ClusterRole の例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: otel-collector
   rules:
     1
     2
   - apiGroups: ["", "config.openshift.io"]
     resources: ["pods", "namespaces", "infrastructures", "infrastructures/status"]
     verbs: ["get", "watch", "list"]

   1

   k8sattributesprocessor には、Pod と namespace リソースに対する権限が必要です。

   2

   resourcedetectionprocessor には、インフラストラクチャーとステータスに対する権限が必要です。

4. クラスターロールをサービスアカウントにバインドします。

   ClusterRoleBinding の例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: otel-collector
   subjects:
   - kind: ServiceAccount
     name: otel-collector-deployment
     namespace: otel-collector-<example>
   roleRef:
     kind: ClusterRole
     name: otel-collector
     apiGroup: rbac.authorization.k8s.io

5. YAML ファイルを作成して、エッジクラスターで OpenTelemetryCollector カスタムリソース (CR) を定義します。

   エッジクラスター用の OpenTelemetryCollector カスタムリソースの例

   apiVersion: opentelemetry.io/v1alpha1
   kind: OpenTelemetryCollector
   metadata:
     name: otel
     namespace: otel-collector-<example>
   spec:
     mode: daemonset
     serviceAccount: otel-collector-deployment
     config: |
       receivers:
         jaeger:
           protocols:
             grpc:
             thrift_binary:
             thrift_compact:
             thrift_http:
         opencensus:
         otlp:
           protocols:
             grpc:
             http:
         zipkin:
       processors:
         batch:
         k8sattributes:
         memory_limiter:
           check_interval: 1s
           limit_percentage: 50
           spike_limit_percentage: 30
         resourcedetection:
           detectors: [openshift]
       exporters:
         otlphttp:
           endpoint: https://observability-cluster.com:443 1
           tls:
             insecure: false
             cert_file: /certs/server.crt
             key_file: /certs/server.key
             ca_file: /certs/ca.crt
       service:
         pipelines:
           traces:
             receivers: [jaeger, opencensus, otlp, zipkin]
             processors: [memory_limiter, k8sattributes, resourcedetection, batch]
             exporters: [otlp]
     volumes:
       - name: otel-certs
         secret:
           name: otel-certs
     volumeMounts:
       - name: otel-certs
         mountPath: /certs

   1

   Collector エクスポーターは、OTLP HTTP をエクスポートするように設定されており、中央クラスターから OpenTelemetry Collector を指します。

6. YAML ファイルを作成して、中央クラスターに OpenTelemetryCollector カスタムリソース (CR) を定義します。

   中央クラスターの OpenTelemetryCollector カスタムリソースの例

   apiVersion: opentelemetry.io/v1alpha1
   kind: OpenTelemetryCollector
   metadata:
     name: otlp-receiver
     namespace: observability
   spec:
     mode: "deployment"
     ingress:
       type: route
       route:
         termination: "passthrough"
     config: |
       receivers:
         otlp:
           protocols:
             http:
               tls: 1
                 cert_file: /certs/server.crt
                 key_file: /certs/server.key
                 client_ca_file: /certs/ca.crt
       exporters:
         logging:
         otlp:
           endpoint: "tempo-<simplest>-distributor:4317" 2
           tls:
             insecure: true
       service:
         pipelines:
           traces:
             receivers: [otlp]
             processors: []
             exporters: [otlp]
     volumes:
       - name: otel-certs
         secret:
           name: otel-certs
     volumeMounts:
       - name: otel-certs
         mountPath: /certs

   1

   Collector レシーバーには、最初の手順にリストされている証明書が必要です。

   2

   Collector エクスポーターは、OTLP をエクスポートするように設定され、Tempo ディストリビュータエンドポイントを指します。この例では、これは "tempo-simplest-distributor:4317" で、すでに作成されています。

手順

1. OpenTelemetry Collector のサービスアカウントを作成します。

   ServiceAccount の例

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: otel-collector-deployment

2. サービスアカウントのクラスターロールを作成します。

   ClusterRole の例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: otel-collector
   rules:
     1
     2
   - apiGroups: ["", "config.openshift.io"]
     resources: ["pods", "namespaces", "infrastructures", "infrastructures/status"]
     verbs: ["get", "watch", "list"]

   1

   k8sattributesprocessor には、Pod および namespace リソースに対する権限が必要です。

   2

   resourcedetectionprocessor には、インフラストラクチャーとステータスに対する権限が必要です。

3. クラスターロールをサービスアカウントにバインドします。

   ClusterRoleBinding の例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: otel-collector
   subjects:
   - kind: ServiceAccount
     name: otel-collector-deployment
     namespace: otel-collector-example
   roleRef:
     kind: ClusterRole
     name: otel-collector
     apiGroup: rbac.authorization.k8s.io

4. YAML ファイルを作成して、OpenTelemetryCollector カスタムリソース (CR) を定義します。

   OpenTelemetryCollector の例

   apiVersion: opentelemetry.io/v1alpha1
   kind: OpenTelemetryCollector
   metadata:
     name: otel
   spec:
     mode: deployment
     serviceAccount: otel-collector-deployment
     config: |
       receivers:
         jaeger:
           protocols:
             grpc:
             thrift_binary:
             thrift_compact:
             thrift_http:
         opencensus:
         otlp:
           protocols:
             grpc:
             http:
         zipkin:
       processors:
         batch:
         k8sattributes:
         memory_limiter:
           check_interval: 1s
           limit_percentage: 50
           spike_limit_percentage: 30
         resourcedetection:
           detectors: [openshift]
       exporters:
         otlp:
           endpoint: "tempo-simplest-distributor:4317" 1
           tls:
             insecure: true
       service:
         pipelines:
           traces:
             receivers: [jaeger, opencensus, otlp, zipkin] 2
             processors: [memory_limiter, k8sattributes, resourcedetection, batch]
             exporters: [otlp]

   1

   Collector エクスポーターは、OTLP をエクスポートするように設定され、作成済みの Tempo ディストリビューターエンドポイント (この例では "tempo-simplest-distributor:4317") を指します。

   2

   Collector は、Jaeger トレース、OpenCensus プロトコル経由の OpenCensus トレース、Zipkin プロトコル経由の Zipkin トレース、および GRPC プロトコル経由の OTLP トレースのレシーバーを使用して設定されます。

手順

1. OpenTelemetryCollector カスタムリソース (CR) で関連するログレベルを設定します。

     config: |
       service:
         telemetry:
           logs:
             level: debug 1

   1

   Collector のログレベル。サポートされている値には、info、warn、error、または debug が含まれます。デフォルトは info です。

2. oc logs コマンドまたは Web コンソールを使用してログを取得します。

手順

1. OpenTelemetryCollector カスタムリソースに次の行を追加して、テレメトリーサービスを有効にします。

     config: |
       service:
         telemetry:
           metrics:
             address: ":8888" 1

   1

   内部 Collector のメトリクスが公開されるアドレス。デフォルトは :8888 です。

1. ポート転送Collector Pod を使用する次のコマンドを実行して、メトリクスを取得します。

   $ oc port-forward <collector_pod>

2. http://localhost:8888/metrics でメトリクスエンドポイントにアクセスします。

手順

1. OpenTelemetryCollector カスタムリソースを次のように設定します。

     config: |
       exporters:
         debug:
           verbosity: detailed
       service:
         pipelines:
           traces:
             exporters: [debug]
           metrics:
             exporters: [debug]
           logs:
             exporters: [debug]

2. oc logs コマンドまたは Web コンソールを使用して、ログを標準出力にエクスポートします。

手順

1. OpenTelemetry Collector をサイドカーとして設定します。

   apiVersion: opentelemetry.io/v1alpha1
   kind: OpenTelemetryCollector
   metadata:
     name: otel
     namespace: <otel-collector-namespace>
   spec:
     mode: sidecar
     config: |
       receivers:
         jaeger:
           protocols:
             grpc:
             thrift_binary:
             thrift_compact:
             thrift_http:
       processors:
         batch:
         memory_limiter:
           check_interval: 1s
           limit_percentage: 50
           spike_limit_percentage: 30
         resourcedetection:
           detectors: [openshift]
           timeout: 2s
       exporters:
         otlp:
           endpoint: "tempo-<example>-gateway:8090" 1
           tls:
             insecure: true
       service:
         pipelines:
           traces:
             receivers: [jaeger]
             processors: [memory_limiter, resourcedetection, batch]
             exporters: [otlp]

   1

   このエンドポイントは、<example> Tempo Operator を使用してデプロイされた TempoStack インスタンスのゲートウェイを指します。

2. アプリケーションを実行するためのサービスアカウントを作成します。

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: otel-collector-sidecar

3. 一部のプロセッサーで必要な権限のためのクラスターロールを作成します。

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: otel-collector-sidecar
   rules:
     1
   - apiGroups: ["config.openshift.io"]
     resources: ["infrastructures", "infrastructures/status"]
     verbs: ["get", "watch", "list"]

   1

   resourcedetectionprocessor には、インフラストラクチャーとインフラストラクチャー/ステータスに対する権限が必要です。

4. ClusterRoleBinding を作成して、サービスアカウントの権限を設定します。

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: otel-collector-sidecar
   subjects:
   - kind: ServiceAccount
     name: otel-collector-deployment
     namespace: otel-collector-example
   roleRef:
     kind: ClusterRole
     name: otel-collector
     apiGroup: rbac.authorization.k8s.io

5. OpenTelemetry Collector をサイドカーとしてデプロイします。
6. Deployment オブジェクトから "sidecar.jaegertracing.io/inject": "true" アノテーションを削除することで、注入された Jaeger Agent をアプリケーションから削除します。
7. sidecar.opentelemetry.io/inject: "true" アノテーションを Deployment オブジェクトの .spec.template.metadata.annotations フィールドに追加して、OpenTelemetry サイドカーの自動注入を有効にします。
8. 作成したサービスアカウントをアプリケーションのデプロイメントに使用します。そうすることで、プロセッサーは正しい情報を取得してトレースに追加できます。

手順

1. OpenTelemetry Collector デプロイメントを設定します。

2. OpenTelemetry Collector のデプロイ先となるプロジェクトを作成します。

   apiVersion: project.openshift.io/v1
   kind: Project
   metadata:
     name: observability

3. OpenTelemetry Collector インスタンスを実行するためのサービスアカウントを作成します。

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: otel-collector-deployment
     namespace: observability

4. プロセッサーに必要な権限を設定するためのクラスターロールを作成します。

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: otel-collector
   rules:
     1
     2
   - apiGroups: ["", "config.openshift.io"]
     resources: ["pods", "namespaces", "infrastructures", "infrastructures/status"]
     verbs: ["get", "watch", "list"]

   1

   k8sattributesprocessor には、pods および namespace リソースに対する権限が必要です。

   2

   resourcedetectionprocessor には、infrastructures および infrastructures/status に対する権限が必要です。

5. ClusterRoleBinding を作成して、サービスアカウントの権限を設定します。

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: otel-collector
   subjects:
   - kind: ServiceAccount
     name: otel-collector-deployment
     namespace: observability
   roleRef:
     kind: ClusterRole
     name: otel-collector
     apiGroup: rbac.authorization.k8s.io

6. OpenTelemetry Collector インスタンスを作成します。

   注記

   このCollector は、トレースを TempoStack インスタンスにエクスポートします。Red Hat Tempo Operator を使用して TempoStack インスタンスを作成し、正しいエンドポイントを配置する必要があります。

   apiVersion: opentelemetry.io/v1alpha1
   kind: OpenTelemetryCollector
   metadata:
     name: otel
     namespace: observability
   spec:
     mode: deployment
     serviceAccount: otel-collector-deployment
     config: |
       receivers:
         jaeger:
           protocols:
             grpc:
             thrift_binary:
             thrift_compact:
             thrift_http:
       processors:
         batch:
         k8sattributes:
         memory_limiter:
           check_interval: 1s
           limit_percentage: 50
           spike_limit_percentage: 30
         resourcedetection:
           detectors: [openshift]
       exporters:
         otlp:
           endpoint: "tempo-example-gateway:8090"
           tls:
             insecure: true
       service:
         pipelines:
           traces:
             receivers: [jaeger]
             processors: [memory_limiter, k8sattributes, resourcedetection, batch]
             exporters: [otlp]

7. トレースエンドポイントを OpenTelemetry Operator に指定します。

8. トレースをアプリケーションから Jaeger に直接エクスポートする場合は、API エンドポイントを Jaeger エンドポイントから OpenTelemetry Collector エンドポイントに変更します。

   Golang を使用する jaegerexporter でトレースをエクスポートする場合の例

   exp, err := jaeger.New(jaeger.WithCollectorEndpoint(jaeger.WithEndpoint(url))) 1

   1

   URL は OpenTelemetry Collector API エンドポイントを指します。

手順

1. Operators → Installed Operators → Red Hat build of OpenTelemetry Operator → OpenTelemetryInstrumentation または OpenTelemetryCollector に移動します。
2. 関連するインスタンスを削除するには、 → Delete …​ → Delete を選択します。
3. オプション: Red Hat build of OpenTelemetry Operatorを削除します。

手順

1. 次のコマンドを実行して、OpenTelemetry Collector インスタンスの名前を取得します。

   $ oc get deployments -n <project_of_opentelemetry_instance>

2. 次のコマンドを実行して、OpenTelemetry Collector インスタンスを削除します。

   $ oc delete opentelemetrycollectors <opentelemetry_instance_name> -n <project_of_opentelemetry_instance>

3. オプション: Red Hat build of OpenTelemetry Operatorを削除します。