ロギングの設定

手順

1. コレクターのサービスアカウントを作成します。認証にトークンを必要とするストレージにログを書き込む場合は、サービスアカウントにトークンを含める必要があります。

2. 適切なクラスターロールをサービスアカウントにバインドします。

   バインドコマンドの例

   $ oc adm policy add-cluster-role-to-user <cluster_role_name> system:serviceaccount:<namespace_name>:<service_account_name>

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR オブジェクトを定義する YAML ファイルを作成または編集します。

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: collector
   spec:
     managementState: Managed
     outputs:
     - name: rsyslog-east 

   1

   
       syslog:
         appName: <app_name> 

   2

   
         enrichment: KubernetesMinimal
         facility: <facility_value> 

   3

   
         msgId: <message_ID> 

   4

   
         payloadKey: <record_field> 

   5

   
         procId: <process_ID> 

   6

   
         rfc: <RFC3164_or_RFC5424> 

   7

   
         severity: informational 

   8

   
         tuning:
           deliveryMode: <AtLeastOnce_or_AtMostOnce> 

   9

   
         url: <url> 

   10

   
       tls: 

   11

   
         ca:
           key: ca-bundle.crt
           secretName: syslog-secret
       type: syslog
     pipelines:
     - inputRefs: 

   12

   
       - application
       name: syslog-east 

   13

   
       outputRefs:
       - rsyslog-east
     serviceAccount: 

   14

   
       name: logcollector

   Copy to Clipboard Toggle word wrap

   1

   出力の名前を指定します。

   2

   オプション: syslog メッセージヘッダーの APP-NAME 部分の値を指定します。値は Syslog プロトコル に準拠している必要があります。値は、静的値と動的値を組み合わせたものにすることができます。フィールドパスとそれに続く || で構成され、その後に別のフィールドパスまたは静的値が続きます。最終的な値の最大長は 48 文字に切り捨てられます。動的値は中括弧で囲む必要があり、値の後に || で区切られた静的なフォールバック値を付ける必要があります。静的値には、英数字とダッシュ、アンダースコア、ドット、スラッシュのみを含めることができます。値の例は <value1>-{.<value2>||"none"} です。

   3

   オプション: syslog-msg ヘッダーの Facility 部分の値を指定します。

   4

   オプション: syslog-msg ヘッダーの MSGID 部分の値を指定します。値は、静的値と動的値を組み合わせたものにすることができます。フィールドパスとそれに続く || で構成され、その後に別のフィールドパスまたは静的値が続きます。最終的な値の最大長は 32 文字に切り捨てられます。動的値は中括弧で囲む必要があり、値の後に || で区切られた静的なフォールバック値を付ける必要があります。静的値には、英数字とダッシュ、アンダースコア、ドット、スラッシュのみを含めることができます。値の例は <value1>-{.<value2>||"none"} です。

   5

   オプション: ペイロードとして使用するレコードフィールドを指定します。payloadKey 値は、1 つの中括弧 {} で囲まれた 1 つのフィールドパスである必要があります。たとえば、{.<value>} です。

   6

   オプション: syslog メッセージヘッダーの PROCID 部分の値を指定します。値は Syslog プロトコル に準拠している必要があります。値は、静的値と動的値を組み合わせたものにすることができます。フィールドパスとそれに続く || で構成され、その後に別のフィールドパスまたは静的値が続きます。最終的な値の最大長は 48 文字に切り捨てられます。動的値は中括弧で囲む必要があり、値の後に || で区切られた静的なフォールバック値を付ける必要があります。静的値には、英数字とダッシュ、アンダースコア、ドット、スラッシュのみを含めることができます。値の例は <value1>-{.<value2>||"none"} です。

   7

   オプション: 生成されたメッセージが準拠する RFC を設定します。値は RFC3164 または RFC5424 にすることができます。

   8

   オプション: メッセージの重大度レベルを設定します。詳細は、Syslog プロトコル を参照してください。

   9

   オプション: ログ転送の配信モードを設定します。値は AtLeastOnce または AtMostOnce のどちらかです。

   10

   スキームを使用して絶対 URL を指定します。有効なスキームは、tcp、tls、および udp です。たとえば、tls://syslog-receiver.example.com:6514 です。

   11

   Transport Layer Security (TLS) クライアント接続のオプションを制御するための設定を指定します。

   12

   パイプラインを使用して転送するログタイプ (application、infrastructure または audit) を指定します。

   13

   パイプラインの名前を指定します。

   14

   サービスアカウントの名前。

2. CR オブジェクトを作成します。

   $ oc create -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. CloudWatch にログを書き込む権限を付与する IAM ポリシーを作成します。

   1. 次の内容を含むファイル (例: cw-iam-role-policy.json) を作成します。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "logs:PutLogEvents",
                      "logs:CreateLogGroup",
                      "logs:PutRetentionPolicy",
                      "logs:CreateLogStream",
                      "logs:DescribeLogGroups",
                      "logs:DescribeLogStreams"
                  ],
                  "Resource": "arn:aws:logs:*:*:*"
              }
          ]
      }

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを実行して、以前のポリシー定義に基づいて IAM ポリシーを作成します。

      aws iam create-policy \
          --policy-name cluster-logging-allow \
          --policy-document file://cw-iam-role-policy.json

      Copy to Clipboard Toggle word wrap

      作成されたポリシーの Arn 値をメモします。

2. ロギングサービスアカウントが IAM ロールを引き受けることを許可する信頼ポリシーを作成します。

   1. 次の内容を含むファイル (例: cw-trust-policy.json) を作成します。

      {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Principal": {
                  "Federated": "arn:aws:iam::123456789012:oidc-provider/<OPENSHIFT_OIDC_PROVIDER_URL>" 

      1

      
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                  "StringEquals": {
                      "<OPENSHIFT_OIDC_PROVIDER_URL>:sub": "system:serviceaccount:openshift-logging:logcollector" 

      2

      
                  }
              }
          }
      ]
      }

      Copy to Clipboard Toggle word wrap

      1

      <OPENSHIFT_OIDC_PROVIDER_URL> は、Red Hat OpenShift Logging OIDC URL に置き換えます。

      2

      namespace とサービスアカウントは、ログフォワーダーが使用する namespace とサービスアカウントと一致する必要があります。

3. 次のコマンドを実行し、以前に定義した信頼ポリシーに基づいて IAM ロールを作成します。

   $ aws iam create-role --role-name openshift-logger --assume-role-policy-document file://cw-trust-policy.json

   Copy to Clipboard Toggle word wrap

   作成されたロールの Arn 値をメモします。

4. 次のコマンドを実行して、ポリシーをロールにアタッチします。

   $ aws iam put-role-policy \
         --role-name openshift-logger --policy-name cluster-logging-allow \
         --policy-document file://cw-role-policy.json

   Copy to Clipboard Toggle word wrap

手順

1. 既存の ClusterLogForwarder 設定を抽出し、ローカルファイルとして保存します。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   詳細は、以下のようになります。

   • <name> は、設定する ClusterLogForwarder インスタンスの名前です。
   • <namespace> は、ClusterLogForwarder インスタンスを作成した namespace です (例: openshift-logging)。
   • <filename> は、設定を保存するローカルファイルの名前です。

2. ClusterLogForwarder CR の filters spec に、不要なログレコードを破棄する設定を追加します。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。drop フィルターは、フィルター設定に一致するログレコードを破棄します。

   2

   drop フィルターの設定オプションを指定します。

   3

   フィルターがログレコードを破棄するかどうかを評価するテストの条件を指定します。

   4

   ログレコード内のフィールドへのドット区切りのパスを指定します。

   • 各パスセグメントには、英数字とアンダースコア (a-z、A-Z、0-9、_) を含めることができます (例: .kubernetes.namespace_name)。
   • セグメントに異なる文字が含まれている場合は、セグメントを引用符で囲む必要があります (例: .kubernetes.labels."app.version-1.2/beta")。
   • 1 つの test 設定にいくつかのフィールドパスを含めることができますが、テストに合格して drop フィルターを適用するには、すべてのフィールドパスが true と評価される必要があります。

   5

   正規表現を指定します。ログレコードがこの正規表現と一致する場合は、破棄されます。

   6

   正規表現を指定します。ログレコードがこの正規表現に一致しない場合、破棄されます。

   7

   drop フィルターを使用するパイプラインを指定します。

   注記

   単一の field パスに対して matches または notMatches 条件のいずれかを設定できますが、両方を設定することはできません。

   優先度の高いログレコードのみを保持する設定例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   いくつかのテストを含む設定例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターは、openshift で始まる namespace を含むログを破棄します。

   2

   フィルターは、Pod 名に my-pod が含まれないアプリケーションログを破棄します。

3. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR の input 仕様にフィルターの設定を追加します。

   以下の例は、ラベル式または一致したラベルキー/値に基づいてログを組み込むように ClusterLogForwarder CR を設定する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   照合するラベルキーを指定します。

   2

   Operator を指定します。有効な値には、In、NotIn、Exists、DoesNotExist などがあります。

   3

   文字列値の配列を指定します。operator 値が Exists または DoesNotExist のいずれかの場合、値の配列は空である必要があります。

   4

   正確なキーまたは値のマッピングを指定します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. 既存の ClusterLogForwarder 設定を抽出し、ローカルファイルとして保存します。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   詳細は、以下のようになります。

   • <name> は、設定する ClusterLogForwarder インスタンスの名前です。
   • <namespace> は、ClusterLogForwarder インスタンスを作成した namespace です (例: openshift-logging)。
   • <filename> は、設定を保存するローカルファイルの名前です。

2. ClusterLogForwarder CR の filters spec にログレコードをプルーニングするための設定を追加します。

   重要

   in と notIn の両方のパラメーターを指定した場合、プルーニング中に notIn 配列が in よりも優先されます。notIn 配列を使用してレコードがプルーニングされた後、続いて in 配列を使用してレコードがプルーニングされます。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。prune フィルターでは、設定されたフィールドでログレコードをプルーニングします。

   2

   prune フィルターの設定オプションを指定します。

   • in フィールドと notIn フィールドは、ログレコード内のフィールドへのドットで区切られたパスの配列です。
   • 各パスセグメントには、英数字とアンダースコア (a-z、A-Z、0-9、_) を含めることができます (例: .kubernetes.namespace_name)。
   • セグメントに異なる文字が含まれている場合は、セグメントを引用符で囲む必要があります (例: .kubernetes.labels."app.version-1.2/beta")。

   3

   オプション: ログレコードから削除するフィールドを指定します。ログコレクターが他のすべてのフィールドを保持します。

   4

   オプション: ログレコードに保持するフィールドを指定します。ログコレクターが他のすべてのフィールドを削除します。

   5

   prune フィルターを適用するパイプラインを指定します。

   重要

   • フィルターは、ログレコードから .log_type、.log_source、.message フィールドを削除できません。それらを notIn フィールドに含める必要があります。
   • googleCloudLogging 出力を使用する場合は、notIn フィールドに .hostname を含める必要があります。

3. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. GCP から受け取ったサービスアカウントの認証情報を key.json という名前のファイルにコピーします。

2. 次のコマンドを実行して、logging-loki-gcs という名前のオブジェクトストレージシークレットを作成します。

   $ oc create secret generic logging-loki-gcs \
     --from-literal=bucketname="<bucket_name>" \
     --from-file=key.json="<path/to/key.json>"

   Copy to Clipboard Toggle word wrap

手順

1. openshift-logging namespace に ObjectBucketClaim カスタムリソースを作成します。

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: loki-bucket-odf
     namespace: openshift-logging
   spec:
     generateBucketName: loki-bucket-odf
     storageClassName: openshift-storage.noobaa.io

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、関連付けられた ConfigMap オブジェクトからバケットのプロパティーを取得します。

   BUCKET_HOST=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_HOST}')
   BUCKET_NAME=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_NAME}')
   BUCKET_PORT=$(oc get -n openshift-logging configmap loki-bucket-odf -o jsonpath='{.data.BUCKET_PORT}')

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して、関連付けられたシークレットからバケットアクセスキーを取得します。

   ACCESS_KEY_ID=$(oc get -n openshift-logging secret loki-bucket-odf -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 -d)
   SECRET_ACCESS_KEY=$(oc get -n openshift-logging secret loki-bucket-odf -o jsonpath='{.data.AWS_SECRET_ACCESS_KEY}' | base64 -d)

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して、logging-loki-odf という名前のオブジェクトストレージシークレットを作成します。

   $ oc create -n openshift-logging secret generic logging-loki-odf \
   --from-literal=access_key_id="<access_key_id>" \
   --from-literal=access_key_secret="<secret_access_key>" \
   --from-literal=bucketnames="<bucket_name>" \
   --from-literal=endpoint="https://<bucket_host>:<bucket_port>"

   Copy to Clipboard Toggle word wrap

手順

1. 以下のコマンドを入力して新規グループを作成します。

   $ oc adm groups new cluster-admin

   Copy to Clipboard Toggle word wrap

2. 以下のコマンドを実行して、必要なユーザーを cluster-admin グループに追加します。

   $ oc adm groups add-users cluster-admin <username>

   Copy to Clipboard Toggle word wrap

3. 以下のコマンドを実行して cluster-admin ユーザーロールをグループに追加します。

   $ oc adm policy add-cluster-role-to-group cluster-admin cluster-admin

   Copy to Clipboard Toggle word wrap

手順

1. ストリームベースの保持を有効にするには、LokiStack CR を作成し、YAML ファイルとして保存します。次の例では、lokistack.yaml という名前になっています。

   S3 のグローバルストリームベースの保持の例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
      global: 

   1

   
         retention: 

   2

   
           days: 20
           streams:
           - days: 4
             priority: 1
             selector: '{kubernetes_namespace_name=~"test.+"}' 

   3

   
           - days: 1
             priority: 1
             selector: '{log_type="infrastructure"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   すべてのログストリームの保持ポリシーを設定します。このポリシーは、オブジェクトストレージに保存されるログの保持期間には影響しません。

   2

   retention ブロックを CR に追加して、クラスター内の保持を有効にします。

   3

   ログストリームを保持ルールに一致させるための LogQL クエリー を指定します。

   S3 のテナントごとのストリームベースの保持の例

   apiVersion: loki.grafana.com/v1
   kind: LokiStack
   metadata:
     name: logging-loki
     namespace: openshift-logging
   spec:
     limits:
       global:
         retention:
           days: 20
       tenants: 

   1

   
         application:
           retention:
             days: 1
             streams:
               - days: 4
                 selector: '{kubernetes_namespace_name=~"test.+"}' 

   2

   
         infrastructure:
           retention:
             days: 5
             streams:
               - days: 1
                 selector: '{kubernetes_namespace_name=~"openshift-cluster.+"}'
     managementState: Managed
     replicationFactor: 1
     size: 1x.small
     storage:
       schemas:
       - effectiveDate: "2020-10-11"
         version: v13
       secret:
         name: logging-loki-s3
         type: s3
     storageClassName: gp3-csi
     tenants:
       mode: openshift-logging

   Copy to Clipboard Toggle word wrap

   1

   テナントごとに保持ポリシーを設定します。有効なテナントタイプは、application、audit、および infrastructure です。

   2

   ログストリームを保持ルールに一致させるための LogQL クエリー を指定します。

2. LokiStack CR を適用します。

   $ oc apply -f lokistack.yaml

   Copy to Clipboard Toggle word wrap

手順

1. 次のコマンドを実行して、Pending 中ステータスの Pod をリスト表示します。

   $ oc get pods --field-selector status.phase==Pending -n openshift-logging

   Copy to Clipboard Toggle word wrap

   oc get pods の出力例

   NAME                           READY   STATUS    RESTARTS   AGE 

   1

   
   logging-loki-index-gateway-1   0/1     Pending   0          17m
   logging-loki-ingester-1        0/1     Pending   0          16m
   logging-loki-ruler-1           0/1     Pending   0          16m

   Copy to Clipboard Toggle word wrap

   1

   これらの Pod は、障害が発生したゾーンに対応する PVC があるため、Pending ステータスになっています。

2. 次のコマンドを実行して、Pending ステータスの PVC をリストします。

   $ oc get pvc -o=json -n openshift-logging | jq '.items[] | select(.status.phase == "Pending") | .metadata.name' -r

   Copy to Clipboard Toggle word wrap

   oc get pvc の出力例

   storage-logging-loki-index-gateway-1
   storage-logging-loki-ingester-1
   wal-logging-loki-ingester-1
   storage-logging-loki-ruler-1
   wal-logging-loki-ruler-1

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して Pod の PVC を削除します。

   $ oc delete pvc <pvc_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

4. 次のコマンドを実行して Pod を削除します。

   $ oc delete pod <pod_name> -n openshift-logging

   Copy to Clipboard Toggle word wrap

   これらのオブジェクトが正常に削除されると、使用可能なゾーンでオブジェクトが自動的に再スケジュールされます。