ロギングの設定

手順

1. コレクターのサービスアカウントを作成します。認証にトークンを必要とするストレージにログを書き込む場合は、サービスアカウントにトークンを含める必要があります。

2. 適切なクラスターロールをサービスアカウントにバインドします。

   バインドコマンドの例

   $ oc adm policy add-cluster-role-to-user <cluster_role_name> system:serviceaccount:<namespace_name>:<service_account_name>

   Copy to Clipboard Toggle word wrap

手順

1. 既存の ClusterLogForwarder 設定を抽出し、ローカルファイルとして保存します。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   詳細は、以下のようになります。

   • <name > は、設定する ClusterLogForwarder インスタンスの名前です。
   • <namespace > は、ClusterLogForwarder インスタンスを作成した namespace です（例： openshift-logging ）。
   • <filename& gt; は、設定を保存するローカルファイルの名前です。

2. 不要なログレコードを ClusterLogForwarder CR の filter 仕様 に ドロップする設定を追加します。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。drop フィルターは、フィルター設定に一致するログレコードをドロップします。

   2

   ドロップ フィルターの設定オプションを指定します。

   3

   フィルターがログレコードをドロップするかどうかを評価するための条件を指定します。

   4

   ログレコードのフィールドへのドットで区切られたパスを指定します。

   • 各パスのセグメントには、英数字とアンダースコア、a-z、A-Z、0-9、_ を含めることができます（例： .kubernetes.namespace_name ）。
   • セグメントに異なる文字が含まれる場合、セグメントは引用符で囲む必要があります（例： .kubernetes.labels."app.version-1.2/beta "）。
   • 単一の テスト設定に複数のフィールドパスを含めることができますが、テスト に合格し、ドロップ フィルターを適用するには、すべて true と評価する必要があります。

   5

   正規表現を指定します。ログレコードがこの正規表現と一致する場合は、破棄されます。

   6

   正規表現を指定します。ログレコードがこの正規表現に一致しない場合、破棄されます。

   7

   ドロップ フィルターを使用するパイプラインを指定します。

   注記

   単一の field パスに対して matches または notMatches 条件のいずれかを設定できますが、両方を設定することはできません。

   優先度の高いログレコードのみを保持する設定例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   複数のテストを使用した設定例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターは、openshift で始まる namespace を含むログを破棄します。

   2

   フィルターは、Pod 名に my-pod を持たないアプリケーションログを破棄します。

3. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR の input 仕様にフィルターの設定を追加します。

   以下の例は、ラベル式または一致したラベルキー/値に基づいてログを組み込むように ClusterLogForwarder CR を設定する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   照合するラベルキーを指定します。

   2

   Operator を指定します。有効な値には、In、NotIn、Exists、DoesNotExist などがあります。

   3

   文字列値の配列を指定します。Operator 値が Exists または DoesNotExist のいずれかの場合、値の配列は空である必要があります。

   4

   正確なキーまたは値のマッピングを指定します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. 既存の ClusterLogForwarder 設定を抽出し、ローカルファイルとして保存します。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   詳細は、以下のようになります。

   • <name > は、設定する ClusterLogForwarder インスタンスの名前です。
   • <namespace > は、ClusterLogForwarder インスタンスを作成した namespace です（例： openshift-logging ）。
   • <filename& gt; は、設定を保存するローカルファイルの名前です。

2. ログレコードを ClusterLogForwarder CR の filters 仕様にプルーニングする設定を追加します。

   重要

   in および notIn パラメーターの両方を指定すると、プルーニング時に notIn 配列が優先されます。notIn 配列を使用してレコードがプルーニングされると、それらは in 配列を使用してプルーニングされます。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。prune フィルターでは、設定されたフィールドでログレコードをプルーニングします。

   2

   プルーニング フィルターの設定オプションを指定します。

   • in フィールドおよび notIn フィールドは、ログレコードのフィールドへのドットで区切られたパスの配列です。
   • 各パスのセグメントには、英数字とアンダースコア、a-z、A-Z、0-9、_ を含めることができます（例： .kubernetes.namespace_name ）。
   • セグメントに異なる文字が含まれる場合、セグメントは引用符で囲む必要があります（例： .kubernetes.labels."app.version-1.2/beta "）。

   3

   オプション：ログレコードから削除するフィールドを指定します。ログコレクターは他のすべてのフィールドを保持します。

   4

   オプション：ログレコードに保持するフィールドを指定します。ログコレクターは、他のすべてのフィールドを削除します。

   5

   prune フィルターを適用するパイプラインを指定します。

   重要

   • フィルターはログレコードから .log_type、.log_source、.message フィールドを削除できません。これらは notIn フィールドに含める必要があります。
   • googleCloudLogging 出力を使用する場合は、notIn フィールドに .hostname を含める必要があります。

3. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. AlertingRule カスタムリソース (CR) を作成します。

   インフラストラクチャー AlertingRule CR の例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: loki-operator-alerts
       namespace: openshift-operators-redhat 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "infrastructure" 

   3

   
       groups:
         - name: LokiOperatorHighReconciliationError
           rules:
             - alert: HighPercentageError
               expr: | 

   4

   
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"} |= "error" [1m])) by (job)
                   /
                 sum(rate({kubernetes_namespace_name="openshift-operators-redhat", kubernetes_pod_name=~"loki-operator-controller-manager.*"}[1m])) by (job)
                   > 0.01
               for: 10s
               labels:
                 severity: critical 

   5

   
               annotations:
                 summary: High Loki Operator Reconciliation Errors 

   6

   
                 description: High Loki Operator Reconciliation Errors 

   7

   Copy to Clipboard Toggle word wrap

   1

   この AlertingRule CR が作成される namespace には、LokiStack spec.rules.namespaceSelector 定義に一致するラベルが必要です。

   2

   labels ブロックは、LokiStack の spec.rules.selector 定義と一致する必要があります。

   3

   infrastructure テナントの AlertingRule CR は、openshift-*、kube-\*、または default namespaces でのみサポートされます。

   4

   kubernetes_namespace_name: の値は、metadata.namespace の値と一致する必要があります。

   5

   この必須フィールドの値は、critical、warning、または info である必要があります。

   6

   このフィールドは必須です。

   7

   このフィールドは必須です。

   アプリケーション AlertingRule CR の例

     apiVersion: loki.grafana.com/v1
     kind: AlertingRule
     metadata:
       name: app-user-workload
       namespace: app-ns 

   1

   
       labels: 

   2

   
         openshift.io/<label_name>: "true"
     spec:
       tenantID: "application"
       groups:
         - name: AppUserWorkloadHighError
           rules:
             - alert:
               expr: | 

   3

   
                 sum(rate({kubernetes_namespace_name="app-ns", kubernetes_pod_name=~"podName.*"} |= "error" [1m])) by (job)
               for: 10s
               labels:
                 severity: critical 

   4

   
               annotations:
                 summary:  

   5

   
                 description:  

   6

   Copy to Clipboard Toggle word wrap

   1

   この AlertingRule CR が作成される namespace には、LokiStack spec.rules.namespaceSelector 定義に一致するラベルが必要です。

   2

   labels ブロックは、LokiStack の spec.rules.selector 定義と一致する必要があります。

   3

   kubernetes_namespace_name: の値は、metadata.namespace の値と一致する必要があります。

   4

   この必須フィールドの値は、critical、warning、または info である必要があります。

   5

   この必須フィールドの値は、ルールの概要です。

   6

   この必須フィールドの値は、ルールの詳細な説明です。

2. AlertingRule CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ストリームベースの保持を有効にするには、LokiStack CR を作成し、YAML ファイルとして保存します。次の例では、lokistack.yaml という名前です。

   S3 のグローバルストリームベースの保持の例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
      global: 

   1

   
         retention: 

   2

   
           days: 20
           streams:
           - days: 4
             priority: 1
             selector: '{kubernetes_namespace_name=~"test.+"}' 

   3

   
           - days: 1
             priority: 1
             selector: '{log_type="infrastructure"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   すべてのログストリームの保持ポリシーを設定します。このポリシーは、オブジェクトストレージに保存されたログの保持期間には影響しません。

   2

   retention ブロックを CR に追加して、クラスターでの 保持 を有効にします。

   3

   LogQL クエリー を指定してログストリームを保持ルールに一致させます。

   S3 のテナントごとのストリームベースの保持の例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
       global:
         retention:
           days: 20
       tenants: 

   1

   
         application:
           retention:
             days: 1
             streams:
               - days: 4
                 selector: '{kubernetes_namespace_name=~"test.+"}' 

   2

   
         infrastructure:
           retention:
             days: 5
             streams:
               - days: 1
                 selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   テナントごとの保持ポリシーを設定します。有効なテナントタイプは、application、audit、および infrastructure です。

   2

   LogQL クエリー を指定してログストリームを保持ルールに一致させます。

2. LokiStack CR を適用します。

   $ oc apply -f lokistack.yaml

   Copy to Clipboard Toggle word wrap

手順

1. 次のコマンドを実行して、Pending 中ステータスの Pod をリスト表示します。

   $ oc get pods --field-selector status.phase==Pending -n openshift-logging

   Copy to Clipboard Toggle word wrap

   oc get pods の出力例

   NAME                           READY   STATUS    RESTARTS   AGE 

   1

   
   logging-loki-index-gateway-1   0/1     Pending   0          17m
   logging-loki-ingester-1        0/1     Pending   0          16m
   logging-loki-ruler-1           0/1     Pending   0          16m

   Copy to Clipboard Toggle word wrap

   1

   これらの Pod は、障害が発生したゾーンに対応する PVC があるため、Pending ステータスになっています。

2. 次のコマンドを実行して、Pending ステータスの PVC をリストします。

   $ oc get pvc -o=json -n openshift-logging | jq '.items[] | select(.status.phase == "Pending") | .metadata.name' -r

   Copy to Clipboard Toggle word wrap

   oc get pvc の出力例

   storage-logging-loki-index-gateway-1
   storage-logging-loki-ingester-1
   wal-logging-loki-ingester-1
   storage-logging-loki-ruler-1
   wal-logging-loki-ruler-1

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して Pod の PVC を削除します。

   $ oc delete pvc <pvc_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して Pod を削除します。

   $ oc delete pod <pod_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

   これらのオブジェクトが正常に削除されると、使用可能なゾーンでオブジェクトが自動的に再スケジュールされます。