1.14. STS 対応クラスターから Amazon CloudWatch へログを転送する

手順

1. CloudWatch にログを書き込む権限を付与する IAM ポリシーを作成します。

   1. 次の内容を含むファイル (例: cw-iam-role-policy.json) を作成します。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "logs:PutLogEvents",
                      "logs:CreateLogGroup",
                      "logs:PutRetentionPolicy",
                      "logs:CreateLogStream",
                      "logs:DescribeLogGroups",
                      "logs:DescribeLogStreams"
                  ],
                  "Resource": "arn:aws:logs:*:*:*"
              }
          ]
      }

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを実行して、以前のポリシー定義に基づいて IAM ポリシーを作成します。

      aws iam create-policy \
          --policy-name cluster-logging-allow \
          --policy-document file://cw-iam-role-policy.json

      Copy to Clipboard Toggle word wrap

      作成されたポリシーの Arn 値をメモします。

2. ロギングサービスアカウントが IAM ロールを引き受けることを許可する信頼ポリシーを作成します。

   1. 次の内容を含むファイル (例: cw-trust-policy.json) を作成します。

      {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Principal": {
                  "Federated": "arn:aws:iam::123456789012:oidc-provider/<OPENSHIFT_OIDC_PROVIDER_URL>" 

      1

      
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                  "StringEquals": {
                      "<OPENSHIFT_OIDC_PROVIDER_URL>:sub": "system:serviceaccount:openshift-logging:logcollector" 

      2

      
                  }
              }
          }
      ]
      }

      Copy to Clipboard Toggle word wrap

      1

      <OPENSHIFT_OIDC_PROVIDER_URL> は、Red Hat OpenShift Logging OIDC URL に置き換えます。

      2

      namespace とサービスアカウントは、ログフォワーダーが使用する namespace とサービスアカウントと一致する必要があります。

3. 次のコマンドを実行し、以前に定義した信頼ポリシーに基づいて IAM ロールを作成します。

   $ aws iam create-role --role-name openshift-logger --assume-role-policy-document file://cw-trust-policy.json

   Copy to Clipboard Toggle word wrap

   作成されたロールの Arn 値をメモします。

4. 次のコマンドを実行して、ポリシーをロールにアタッチします。

   $ aws iam put-role-policy \
         --role-name openshift-logger --policy-name cluster-logging-allow \
         --policy-document file://cw-role-policy.json

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder カスタムリソース (CR) を作成または更新します。

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: <log_forwarder_name>
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: <service_account_name>
     outputs:
      - name: s3-output
        type: s3
        s3:
          keyPrefix: 's3{.log_type||"missing"}'
          bucket: <bucket_name>
          region: us-east-2
          authentication:
            type: iamRole
            iamRole:
              roleARN:
                key: role_arn
                secretName: sts-secret
              token:
                from: serviceAccount
     pipelines:
       - name: to-s3
         inputRefs:
           - infrastructure
           - audit
           - application
         outputRefs:
           - s3-output

   Copy to Clipboard Toggle word wrap
   • keyPrefix: ログオブジェクトの S3 キー接頭辞を定義します。フィールドパスを || で区切り、末尾に静的なフォールバック値を指定する形式で、静的または動的な値を使用できます。
   • bucket: ログが保存される S3 バケット名を指定します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

1. 初期認証: コレクターが、Identity and Access Management (IAM) ロールまたはアクセスキーを使用して、クラスターの AWS アカウントに対して認証します。
2. ロールの引き受け: 初期認証後、コレクターはターゲットの AWS アカウントでロールを引き受けます。
3. ログ転送: コレクターは、引き受けたロールの認証情報を使用して、ターゲットアカウント内の CloudWatch または S3 バケットにログを転送します。

手順

1. クラスターアカウント内に、必要な権限を持つターゲットロールを引き受ける初期アカウントを作成します。

   初期アカウントは、ユーザーと IAM ロールのどちらでも構いません。このアカウントがターゲットロールを引き受けます。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "sts:AssumeRole",
               "Resource": "arn:aws:iam::<target-aws-account-id>:role/target-logging-role"
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

2. ターゲットロールで、信頼ポリシーを作成し、初期クラスターロールと、必要に応じて外部 ID を指定します。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "arn:aws:iam:::<role_or_user>/<role-name_or_user-name>"
               },
               "Action": "sts:AssumeRole",
               "Condition": {
                   "StringEquals": {
                       "sts:ExternalId": "<your-unique-external-id>"
                   }
               }
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

   Principal.AWS フィールドを次のように設定します。

   • 初期アカウントがユーザーの場合は、次の形式を使用します。

     arn:aws:iam::<aws-account-id>:user/<user-name>

   • 初期アカウントが IAM ロールの場合は、次の形式を使用します。

     arn:aws:iam::<aws-account-id>:role/<role-name>

3. ログを CloudWatch 出力に転送するか S3 出力に転送するかに応じて、ターゲットロールに CloudWatch の権限または S3 の権限を設定します。

   CloudWatch の権限

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "logs:CreateLogGroup",
                   "logs:CreateLogStream",
                   "logs:PutLogEvents",
                   "logs:DescribeLogGroups",
                   "logs:DescribeLogStreams"
               ],
               "Resource": "*"
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

   S3 の権限

   {
       "Version": "2012-10-17",
       "Statement": [
           {
           "Sid": "AllowRoleToPutObjects",
           "Effect": "Allow",
           "Principal": {
               "AWS": "<assumerole_arn>"
           },
           "Action": [
               "s3:PutObject",
               "s3:PutObjectAcl"
           ],
           "Resource": [
               "arn:<aws_partition>:s3:::<s3_bucket>",
               "arn:<aws_partition>:s3:::<s3_bucket>/*"
           ]
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

手順

1. 既存の ClusterLogForwarder 設定を抽出し、ローカルファイルとして保存します。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   詳細は、以下のようになります。

   • <name> は、設定する ClusterLogForwarder インスタンスの名前です。
   • <namespace> は、ClusterLogForwarder インスタンスを作成した namespace です (例: openshift-logging)。
   • <filename> は、設定を保存するローカルファイルの名前です。

2. ClusterLogForwarder CR の filters spec に、不要なログレコードを破棄する設定を追加します。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。drop フィルターは、フィルター設定に一致するログレコードを破棄します。

   2

   drop フィルターの設定オプションを指定します。

   3

   フィルターがログレコードを破棄するかどうかを評価するテストの条件を指定します。

   4

   ログレコード内のフィールドへのドット区切りのパスを指定します。

   • 各パスセグメントには、英数字とアンダースコア (a-z、A-Z、0-9、_) を含めることができます (例: .kubernetes.namespace_name)。
   • セグメントに異なる文字が含まれている場合は、セグメントを引用符で囲む必要があります (例: .kubernetes.labels."app.version-1.2/beta")。
   • 1 つの test 設定にいくつかのフィールドパスを含めることができますが、テストに合格して drop フィルターを適用するには、すべてのフィールドパスが true と評価される必要があります。

   5

   正規表現を指定します。ログレコードがこの正規表現と一致する場合は、破棄されます。

   6

   正規表現を指定します。ログレコードがこの正規表現に一致しない場合、破棄されます。

   7

   drop フィルターを使用するパイプラインを指定します。

   注記

   単一の field パスに対して matches または notMatches 条件のいずれかを設定できますが、両方を設定することはできません。

   優先度の高いログレコードのみを保持する設定例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   いくつかのテストを含む設定例

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターは、openshift で始まる namespace を含むログを破棄します。

   2

   フィルターは、Pod 名に my-pod が含まれないアプリケーションログを破棄します。

3. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. ClusterLogForwarder CR の input 仕様にフィルターの設定を追加します。

   以下の例は、ラベル式または一致したラベルキー/値に基づいてログを組み込むように ClusterLogForwarder CR を設定する方法を示しています。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   照合するラベルキーを指定します。

   2

   Operator を指定します。有効な値には、In、NotIn、Exists、DoesNotExist などがあります。

   3

   文字列値の配列を指定します。operator 値が Exists または DoesNotExist のいずれかの場合、値の配列は空である必要があります。

   4

   正確なキーまたは値のマッピングを指定します。

2. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

手順

1. 既存の ClusterLogForwarder 設定を抽出し、ローカルファイルとして保存します。

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   詳細は、以下のようになります。

   • <name> は、設定する ClusterLogForwarder インスタンスの名前です。
   • <namespace> は、ClusterLogForwarder インスタンスを作成した namespace です (例: openshift-logging)。
   • <filename> は、設定を保存するローカルファイルの名前です。

2. ClusterLogForwarder CR の filters spec にログレコードをプルーニングするための設定を追加します。

   重要

   in と notIn の両方のパラメーターを指定した場合、プルーニング中に notIn 配列が in よりも優先されます。notIn 配列を使用してレコードがプルーニングされた後、続いて in 配列を使用してレコードがプルーニングされます。

   ClusterLogForwarder CR の例

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   フィルターのタイプを指定します。prune フィルターでは、設定されたフィールドでログレコードをプルーニングします。

   2

   prune フィルターの設定オプションを指定します。

   • in フィールドと notIn フィールドは、ログレコード内のフィールドへのドットで区切られたパスの配列です。
   • 各パスセグメントには、英数字とアンダースコア (a-z、A-Z、0-9、_) を含めることができます (例: .kubernetes.namespace_name)。
   • セグメントに異なる文字が含まれている場合は、セグメントを引用符で囲む必要があります (例: .kubernetes.labels."app.version-1.2/beta")。

   3

   オプション: ログレコードから削除するフィールドを指定します。ログコレクターが他のすべてのフィールドを保持します。

   4

   オプション: ログレコードに保持するフィールドを指定します。ログコレクターが他のすべてのフィールドを削除します。

   5

   prune フィルターを適用するパイプラインを指定します。

   重要

   • フィルターは、ログレコードから .log_type、.log_source、.message フィールドを削除できません。それらを notIn フィールドに含める必要があります。
   • googleCloudLogging 出力を使用する場合は、notIn フィールドに .hostname を含める必要があります。

3. 次のコマンドを実行して、ClusterLogForwarder CR を適用します。

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap