Logging

手順

1. ClusterLogForwarder CR オブジェクトを定義する YAML ファイルを作成または編集します。

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: collector
   spec:
     managementState: Managed
     outputs:
     - name: rsyslog-east 

   1

   
       syslog:
         appName: <app_name> 

   2

   
         enrichment: KubernetesMinimal
         facility: <facility_value> 

   3

   
         msgId: <message_ID> 

   4

   
         payloadKey: <record_field> 

   5

   
         procId: <process_ID> 

   6

   
         rfc: <RFC3164_or_RFC5424> 

   7

   
         severity: informational 

   8

   
         tuning:
           deliveryMode: <AtLeastOnce_or_AtMostOnce> 

   9

   
         url: <url> 

   10

   
       tls: 

   11

   
         ca:
           key: ca-bundle.crt
           secretName: syslog-secret
       type: syslog
     pipelines:
     - inputRefs: 

   12

   
       - application
       name: syslog-east 

   13

   
       outputRefs:
       - rsyslog-east
     serviceAccount: 

   14

   
       name: logcollector

   Copy to Clipboard Toggle word wrap

   1

   出力の名前を指定します。

   2

   オプション: syslog メッセージヘッダーの APP-NAME 部分の値を指定します。値は Syslog プロトコル に準拠している必要があります。値は、静的値と動的値を組み合わせたものにすることができます。フィールドパスとそれに続く || で構成され、その後に別のフィールドパスまたは静的値が続きます。最終的な値の最大長は 48 文字に切り捨てられます。動的値は中括弧で囲む必要があり、値の後に || で区切られた静的なフォールバック値を付ける必要があります。静的値には、英数字とダッシュ、アンダースコア、ドット、スラッシュのみを含めることができます。値の例は <value1>-{.<value2>||"none"} です。

   3

   オプション: syslog-msg ヘッダーの Facility 部分の値を指定します。

   4

   オプション: syslog-msg ヘッダーの MSGID 部分の値を指定します。値は、静的値と動的値を組み合わせたものにすることができます。フィールドパスとそれに続く || で構成され、その後に別のフィールドパスまたは静的値が続きます。最終的な値の最大長は 32 文字に切り捨てられます。動的値は中括弧で囲む必要があり、値の後に || で区切られた静的なフォールバック値を付ける必要があります。静的値には、英数字とダッシュ、アンダースコア、ドット、スラッシュのみを含めることができます。値の例は <value1>-{.<value2>||"none"} です。

   5

   オプション: ペイロードとして使用するレコードフィールドを指定します。payloadKey 値は、1 つの中括弧 {} で囲まれた 1 つのフィールドパスである必要があります。たとえば、{.<value>} です。

   6

   オプション: syslog メッセージヘッダーの PROCID 部分の値を指定します。値は Syslog プロトコル に準拠している必要があります。値は、静的値と動的値を組み合わせたものにすることができます。フィールドパスとそれに続く || で構成され、その後に別のフィールドパスまたは静的値が続きます。最終的な値の最大長は 48 文字に切り捨てられます。動的値は中括弧で囲む必要があり、値の後に || で区切られた静的なフォールバック値を付ける必要があります。静的値には、英数字とダッシュ、アンダースコア、ドット、スラッシュのみを含めることができます。値の例は <value1>-{.<value2>||"none"} です。

   7

   オプション: 生成されたメッセージが準拠する RFC を設定します。値は RFC3164 または RFC5424 にすることができます。

   8

   オプション: メッセージの重大度レベルを設定します。詳細は、Syslog プロトコル を参照してください。

   9

   オプション: ログ転送の配信モードを設定します。値は AtLeastOnce または AtMostOnce のどちらかです。

   10

   スキームを使用して絶対 URL を指定します。有効なスキームは、tcp、tls、および udp です。たとえば、tls://syslog-receiver.example.com:6514 です。

   11

   Transport Layer Security (TLS) クライアント接続のオプションを制御するための設定を指定します。

   12

   パイプラインを使用して転送するログタイプ (application、infrastructure または audit) を指定します。

   13

   パイプラインの名前を指定します。

   14

   サービスアカウントの名前。

2. CR オブジェクトを作成します。

   $ oc create -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. フィルターの設定を ClusterLogForwarder CR の filters 仕様に追加します。

   以下の例は、正規表現に基づいてログレコードを削除するように ClusterLogForwarder CR を設定する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     filters:
     - name: <filter_name>
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."foo-bar/baz" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: <pipeline_name> 

   7

   
       filterRefs: ["<filter_name>"]
   # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。drop フィルターは、フィルター設定に一致するログレコードをドロップします。

   2

   drop フィルターを適用するための設定オプションを指定します。

   3

   ログレコードが削除されるかどうかを評価するために使用されるテストの設定を指定します。

   • テストに指定されたすべての条件が true の場合、テストは合格し、ログレコードは削除されます。
   • drop フィルター設定に複数のテストが指定されている場合、いずれかのテストに合格すると、レコードは削除されます。
   • 条件の評価中にエラーが発生した場合 (たとえば、評価対象のログレコードにフィールドがない場合)、その条件は false と評価されます。

   4

   ドットで区切られたフィールドパス (ログレコード内のフィールドへのパス) を指定します。パスには、英数字とアンダースコア (a-zA-Z0-9_) を含めることができます (例: .kubernetes.namespace_name)。セグメントにこの範囲外の文字が含まれている場合、セグメントを引用符で囲む必要があります (例: .kubernetes.labels."foo.bar-bar/baz")。1 つの test 設定に複数のフィールドパスを含めることができますが、テストに合格して drop フィルターを適用するには、すべてのフィールドパスが true と評価される必要があります。

   5

   正規表現を指定します。ログレコードがこの正規表現と一致する場合は、破棄されます。単一の field パスに対して matches または notMatches 条件のいずれかを設定できますが、両方を設定することはできません。

   6

   正規表現を指定します。ログレコードがこの正規表現に一致しない場合、破棄されます。単一の field パスに対して matches または notMatches 条件のいずれかを設定できますが、両方を設定することはできません。

   7

   drop フィルターが適用されるパイプラインを指定します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR の input 仕様にフィルターの設定を追加します。

   以下の例は、ラベル式または一致したラベルキー/値に基づいてログを組み込むように ClusterLogForwarder CR を設定する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   照合するラベルキーを指定します。

   2

   Operator を指定します。有効な値には、In、NotIn、Exists、DoesNotExist などがあります。

   3

   文字列値の配列を指定します。operator 値が Exists または DoesNotExist のいずれかの場合、値の配列は空である必要があります。

   4

   正確なキーまたは値のマッピングを指定します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. フィルターの設定を ClusterLogForwarder CR の prune 仕様に追加します。

   次の例は、フィールドパスに基づいてログレコードを削除するように ClusterLogForwarder CR を設定する方法を示しています。

   重要

   両方が指定されている場合、最初に notIn 配列に基づいてレコードが整理され、in 配列よりも優先されます。notIn 配列を使用してレコードが整理された後、in 配列を使用してレコードが整理されます。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     filters:
     - name: <filter_name>
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp"] 

   4

   
     pipelines:
     - name: <pipeline_name> 

   5

   
       filterRefs: ["<filter_name>"]
   # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。prune フィルターでは、設定されたフィールドでログレコードをプルーニングします。

   2

   prune フィルターを適用するための設定オプションを指定します。in フィールドと notIn フィールドは、ログレコード内のフィールドへのパスであるドット区切りのフィールドパスの配列として指定されます。これらのパスには、英数字とアンダースコア (a-zA-Z0-9_) を含めることができます (例: .kubernetes.namespace_name)。セグメントにこの範囲外の文字が含まれている場合、セグメントを引用符で囲む必要があります (例: .kubernetes.labels."foo.bar-bar/baz")。

   3

   オプション: この配列で指定されたフィールドはすべてログレコードから削除されます。

   4

   オプション: この配列で指定されていないフィールドはログレコードから削除されます。

   5

   prune フィルターを適用するパイプラインを指定します。

   注記

   フィルターは、log_type、.log_source、および .message フィールドを除外します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR に audit および infrastructure ソースを定義する設定を追加します。

   次の例は、ClusterLogForwarder CR を設定して audit および infrastructure ソースを定義する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs1
         type: infrastructure
         infrastructure:
           sources: 

   1

   
             - node
       - name: mylogs2
         type: audit
         audit:
           sources: 

   2

   
             - kubeAPI
             - openshiftAPI
             - ovn
   # ...

   Copy to Clipboard Toggle word wrap

   1

   収集するインフラストラクチャーソースのリストを指定します。有効なソースには以下が含まれます。

   • node: ノードからのジャーナルログ
   • container: namespace にデプロイされたワークロードからのログ

   2

   収集する audit ソースのリストを指定します。有効なソースには以下が含まれます。

   • kubeAPI: Kubernetes API サーバーからのログ
   • openshiftAPI: OpenShift API サーバーからのログ
   • auditd: ノードの auditd サービスからのログ
   • ovn: オープン仮想ネットワークサービスからのログ

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR に namespace とコンテナー名を含めるか除外するかの設定を追加します。

   以下の例は、namespace およびコンテナー名を含めるか、除外するように ClusterLogForwarder CR を設定する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           includes:
             - namespace: "my-project" 

   1

   
               container: "my-container" 

   2

   
           excludes:
             - container: "other-container*" 

   3

   
               namespace: "other-namespace" 

   4

   
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   ログがこれらの namespace からのみ収集されることを指定します。

   2

   ログがこれらのコンテナーからのみ収集されることを指定します。

   3

   ログを収集するときに無視する namespace のパターンを指定します。

   4

   ログを収集するときに無視するコンテナーのセットを指定します。

   注記

   excludes フィールドは includes フィールドよりも優先されます。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. LogFileMetricExporter CR を YAML ファイルとして作成します。

   LogFileMetricExporter CR の例

   apiVersion: logging.openshift.io/v1alpha1
   kind: LogFileMetricExporter
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     nodeSelector: {} 

   1

   
     resources: 

   2

   
       limits:
         cpu: 500m
         memory: 256Mi
       requests:
         cpu: 200m
         memory: 128Mi
     tolerations: [] 

   3

   
   # ...

   Copy to Clipboard Toggle word wrap

   1

   オプション: nodeSelector スタンザは、Pod がスケジュールされるノードを定義します。

   2

   resources スタンザは、LogFileMetricExporter CR のリソース要件を定義します。

   3

   オプション: tolerations スタンザは、Pod が受け入れる toleration を定義します。

2. 次のコマンドを実行して、LogFileMetricExporter CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. AlertingRule カスタムリソース (CR) を作成します。

   インフラストラクチャー AlertingRule CR の例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   この AlertingRule CR が作成される namespace には、LokiStack spec.rules.namespaceSelector 定義に一致するラベルが必要です。

   2

   labels ブロックは、LokiStack の spec.rules.selector 定義と一致する必要があります。

   3

   infrastructure テナントの AlertingRule CR は、openshift-*、kube-\*、または default namespaces でのみサポートされます。

   4

   kubernetes_namespace_name: の値は、metadata.namespace の値と一致する必要があります。

   5

   この必須フィールドの値は、critical、warning、または info である必要があります。

   6

   このフィールドは必須です。

   7

   このフィールドは必須です。

   アプリケーション AlertingRule CR の例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary:  

   5

   
                 description:  

   6

   Copy to Clipboard Toggle word wrap

   1

   この AlertingRule CR が作成される namespace には、LokiStack spec.rules.namespaceSelector 定義に一致するラベルが必要です。

   2

   labels ブロックは、LokiStack の spec.rules.selector 定義と一致する必要があります。

   3

   kubernetes_namespace_name: の値は、metadata.namespace の値と一致する必要があります。

   4

   この必須フィールドの値は、critical、warning、または info である必要があります。

   5

   この必須フィールドの値は、ルールの概要です。

   6

   この必須フィールドの値は、ルールの詳細な説明です。

2. AlertingRule CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. LokiStack CR を作成します。

   • 次の例に示すように、ストリームベースの保持をグローバルに有効にします。

     AWS のグローバルストリームベースの保持の例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
        global: 

     1

     
           retention: 

     2

     
             days: 20
             streams:
             - days: 4
               priority: 1
               selector: '{kubernetes_namespace_name=~"test.+"}' 

     3

     
             - days: 1
               priority: 1
               selector: '{log_type="infrastructure"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     Copy to Clipboard Toggle word wrap

     1

     すべてのログストリームの保持ポリシーを設定します。注記: このフィールドは、オブジェクトストレージに保存されたログの保持期間には影響しません。

     2

     このブロックが CR に追加されると、クラスターで保持が有効になります。

     3

     ログ stream.spec: 制限を定義するために使用される LogQL クエリー が含まれます。

   • 次の例に示すように、テナントごとにストリームベースの保持を有効にします。

     AWS のテナントごとのストリームベースの保持の例

     apiVersion: loki.grafana.com/v1
     kind: LokiStack
     metadata:
       name: logging-loki
       namespace: openshift-logging
     spec:
       limits:
         global:
           retention:
             days: 20
         tenants: 

     1

     
           application:
             retention:
               days: 1
               streams:
                 - days: 4
                   selector: '{kubernetes_namespace_name=~"test.+"}' 

     2

     
           infrastructure:
             retention:
               days: 5
               streams:
                 - days: 1
                   selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
       managementState: Managed
       replicationFactor: 1
       size: 1x.small
       storage:
         schemas:
         - effectiveDate: "2020-10-11"
           version: v13
         secret:
           name: logging-loki-s3
           type: aws
       storageClassName: gp3-csi
       tenants:
         mode: openshift-logging

     Copy to Clipboard Toggle word wrap

     1

     テナントごとの保持ポリシーを設定します。有効なテナントタイプは、application、audit、および infrastructure です。

     2

     ログストリームの定義に使用される LogQL クエリー が含まれています。

2. LokiStack CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap
   注記

   これは、保存されたログの保持を管理するためのものではありません。保存されたログのグローバルな保持期間 (最大 30 日間までサポート) は、オブジェクトストレージで設定します。