1.14. STS 지원 클러스터에서 Amazon CloudMonitor로 로그 전달

프로세스

1. CloudMonitor에 로그를 쓸 수 있는 권한을 부여하는 IAM 정책을 생성합니다.

   1. 다음 콘텐츠를 사용하여 cw-iam-role-policy.json 과 같은 파일을 생성합니다.

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "logs:PutLogEvents",
                      "logs:CreateLogGroup",
                      "logs:PutRetentionPolicy",
                      "logs:CreateLogStream",
                      "logs:DescribeLogGroups",
                      "logs:DescribeLogStreams"
                  ],
                  "Resource": "arn:aws:logs:*:*:*"
              }
          ]
      }

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 이전 정책 정의를 기반으로 IAM 정책을 생성합니다.

      aws iam create-policy \
          --policy-name cluster-logging-allow \
          --policy-document file://cw-iam-role-policy.json

      Copy to Clipboard Toggle word wrap

      생성된 정책의 Arn 값을 확인합니다.

2. 로깅 서비스 계정에서 IAM 역할을 가정할 수 있는 신뢰 정책을 생성합니다.

   1. 다음 콘텐츠를 사용하여 cw-trust-policy.json 과 같은 파일을 생성합니다.

      {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Principal": {
                  "Federated": "arn:aws:iam::123456789012:oidc-provider/<OPENSHIFT_OIDC_PROVIDER_URL>" 

      1

      
              },
              "Action": "sts:AssumeRoleWithWebIdentity",
              "Condition": {
                  "StringEquals": {
                      "<OPENSHIFT_OIDC_PROVIDER_URL>:sub": "system:serviceaccount:openshift-logging:logcollector" 

      2

      
                  }
              }
          }
      ]
      }

      Copy to Clipboard Toggle word wrap

      1

      & lt;OPENSHIFT_OIDC_PROVIDER_URL >을 Red Hat OpenShift Logging OIDC URL의 URL로 바꿉니다.

      2

      로그 전달자가 사용하는 네임스페이스 및 서비스 계정은 네임스페이스 및 서비스 계정과 일치해야 합니다.

3. 다음 명령을 실행하여 이전에 정의한 신뢰 정책을 기반으로 IAM 역할을 생성합니다.

   $ aws iam create-role --role-name openshift-logger --assume-role-policy-document file://cw-trust-policy.json

   Copy to Clipboard Toggle word wrap

   생성된 역할의 Arn 값을 확인합니다.

4. 다음 명령을 실행하여 역할에 정책을 연결합니다.

   $ aws iam put-role-policy \
         --role-name openshift-logger --policy-name cluster-logging-allow \
         --policy-document file://cw-role-policy.json

   Copy to Clipboard Toggle word wrap

프로세스

1. ClusterLogForwarder CR(사용자 정의 리소스)을 생성하거나 업데이트합니다.

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: <log_forwarder_name>
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: <service_account_name>
     outputs:
      - name: s3-output
        type: s3
        s3:
          keyPrefix: 's3{.log_type||"missing"}'
          bucket: <bucket_name>
          region: us-east-2
          authentication:
            type: iamRole
            iamRole:
              roleARN:
                key: role_arn
                secretName: sts-secret
              token:
                from: serviceAccount
     pipelines:
       - name: to-s3
         inputRefs:
           - infrastructure
           - audit
           - application
         outputRefs:
           - s3-output

   Copy to Clipboard Toggle word wrap
   • keyPrefix: 로그 오브젝트에 대한 S3 키 접두사를 정의합니다. || 로 구분되고 정적 폴백 값으로 끝나는 필드 경로로 구성된 정적 또는 동적 값을 사용할 수 있습니다.
   • bucket: 로그를 저장할 S3 버킷 이름을 지정합니다.

2. 다음 명령을 실행하여 ClusterLogForwarder CR을 적용합니다.

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

1. 초기 인증: 수집기는 IAM(Identity and Access Management) 역할 또는 액세스 키를 사용하여 클러스터의 AWS 계정에 인증합니다.
2. 역할 중단: 초기 인증 후 수집기는 대상 AWS 계정에서 역할을 가정합니다.
3. 로그 전달: 수집기는 가정된 역할의 인증 정보를 사용하여 대상 계정의 CloudMonitor 또는 S3 버킷으로 로그를 전달합니다.

프로세스

1. 클러스터 계정에 초기 계정을 생성하여 필요한 권한으로 대상 역할을 가정합니다.

   초기 계정은 사용자 또는 IAM 역할일 수 있습니다. 이 계정은 대상 역할을 가정합니다.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "sts:AssumeRole",
               "Resource": "arn:aws:iam::<target-aws-account-id>:role/target-logging-role"
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

2. 대상 역할에서 신뢰 정책을 생성하고 초기 클러스터 역할 및 선택적으로 외부 ID를 지정합니다.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "arn:aws:iam:::<role_or_user>/<role-name_or_user-name>"
               },
               "Action": "sts:AssumeRole",
               "Condition": {
                   "StringEquals": {
                       "sts:ExternalId": "<your-unique-external-id>"
                   }
               }
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

   다음과 같이 Principal.AWS 필드를 설정합니다.

   • 초기 계정이 사용자인 경우 형식을 사용합니다.

     arn:aws:iam::<aws-account-id>:user/<user-name>

   • 초기 계정이 IAM 역할인 경우 형식을 사용합니다.

     arn:aws:iam::<aws-account-id>:role/<role-name>

3. 로그를 CloudMonitor 또는 S3 출력에 전달할지 여부에 따라 대상 역할에서 CloudWatch 또는 S3 권한을 구성합니다.

   CloudMonitor 권한

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "logs:CreateLogGroup",
                   "logs:CreateLogStream",
                   "logs:PutLogEvents",
                   "logs:DescribeLogGroups",
                   "logs:DescribeLogStreams"
               ],
               "Resource": "*"
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

   S3 권한

   {
       "Version": "2012-10-17",
       "Statement": [
           {
           "Sid": "AllowRoleToPutObjects",
           "Effect": "Allow",
           "Principal": {
               "AWS": "<assumerole_arn>"
           },
           "Action": [
               "s3:PutObject",
               "s3:PutObjectAcl"
           ],
           "Resource": [
               "arn:<aws_partition>:s3:::<s3_bucket>",
               "arn:<aws_partition>:s3:::<s3_bucket>/*"
           ]
           }
       ]
   }

   Copy to Clipboard Toggle word wrap

프로세스

1. 기존 ClusterLogForwarder 구성을 추출하여 로컬 파일로 저장합니다.

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   다음과 같습니다.

   • < name>은 구성할 ClusterLogForwarder 인스턴스의 이름입니다.
   • <namespace >는 ClusterLogForwarder 인스턴스를 생성한 네임스페이스입니다(예: openshift-logging ).
   • <filename >은 구성을 저장하는 로컬 파일의 이름입니다.

2. ClusterLogForwarder CR의 필터 사양에 원하지 않는 로그 레코드를 삭제하는 구성을 추가합니다.

   ClusterLogForwarder CR의 예

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     # ...
     filters:
     - name: drop-filter
       type: drop 

   1

   
       drop: 

   2

   
       - test: 

   3

   
         - field: .kubernetes.labels."app.version-1.2/beta" 

   4

   
           matches: .+ 

   5

   
         - field: .kubernetes.pod_name
           notMatches: "my-pod" 

   6

   
     pipelines:
     - name: my-pipeline 

   7

   
       filterRefs:
       - drop-filter
     # ...

   Copy to Clipboard Toggle word wrap

   1

   필터 유형을 지정합니다. drop 필터는 필터 구성과 일치하는 로그 레코드를 삭제합니다.

   2

   drop filter에 대한 구성 옵션을 지정합니다.

   3

   필터가 로그 레코드를 삭제하는지 여부를 평가할 테스트에 대한 조건을 지정합니다.

   4

   로그 레코드에서 점으로 구분된 필드 경로를 지정합니다.

   • 각 경로 세그먼트에는 영숫자 및 밑줄, a-z,A-Z 0-9,_ .kubernetes.namespace_name 을 포함할 수 있습니다.
   • 세그먼트에 다른 문자가 포함된 경우 세그먼트는 따옴표로 묶어야 합니다(예: .kubernetes.labels."app.version-1.2/beta" ).
   • 단일 테스트 구성에 여러 필드 경로를 포함할 수 있지만 테스트가 통과하고 drop 필터를 적용하려면 모두 true로 평가되어야 합니다.

   5

   정규식을 지정합니다. 로그 레코드가 이 정규식과 일치하는 경우 해당 레코드가 삭제됩니다.

   6

   정규식을 지정합니다. 로그 레코드가 이 정규식과 일치하지 않으면 삭제됩니다.

   7

   drop 필터를 사용하는 파이프라인을 지정합니다.

   참고

   단일 필드 경로에 대해 matches 또는 notMatches 조건을 설정할 수 있지만 둘 다 설정할 수는 없습니다.

   우선순위가 높은 로그 레코드만 유지하는 구성의 예

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test:
       - field: .message
         notMatches: "(?i)critical|error"
       - field: .level
         matches: "info|warning"
   # ...

   Copy to Clipboard Toggle word wrap

   여러 테스트가 있는 구성 예

   # ...
   filters:
   - name: important
     type: drop
     drop:
     - test: 

   1

   
       - field: .kubernetes.namespace_name
         matches: "openshift.*"
     - test: 

   2

   
       - field: .log_type
         matches: "application"
       - field: .kubernetes.pod_name
         notMatches: "my-pod"
   # ...

   Copy to Clipboard Toggle word wrap

   1

   필터는 openshift 로 시작하는 네임스페이스가 포함된 로그를 삭제합니다.

   2

   이 필터는 Pod 이름에 my-pod 가 없는 애플리케이션 로그를 삭제합니다.

3. 다음 명령을 실행하여 ClusterLogForwarder CR을 적용합니다.

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. ClusterLogForwarder CR의 입력 사양에 필터 구성을 추가합니다.

   다음 예제에서는 라벨 표현식 또는 일치하는 라벨 키/값에 따라 로그를 포함하도록 ClusterLogForwarder CR을 구성하는 방법을 보여줍니다.

   ClusterLogForwarder CR의 예

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   # ...
   spec:
     serviceAccount:
       name: <service_account_name>
     inputs:
       - name: mylogs
         application:
           selector:
             matchExpressions:
             - key: env 

   1

   
               operator: In 

   2

   
               values: ["prod", "qa"] 

   3

   
             - key: zone
               operator: NotIn
               values: ["east", "west"]
             matchLabels: 

   4

   
               app: one
               name: app1
         type: application
   # ...

   Copy to Clipboard Toggle word wrap

   1

   일치시킬 레이블 키를 지정합니다.

   2

   Operator를 지정합니다. 유효한 값에는 in,NotIn,Exists 및 DoesNotExist 가 있습니다.

   3

   문자열 값의 배열을 지정합니다. operator 값이 Exists 또는 DoesNotExist 이면 값 배열이 비어 있어야 합니다.

   4

   정확한 키 또는 값 매핑을 지정합니다.

2. 다음 명령을 실행하여 ClusterLogForwarder CR을 적용합니다.

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 기존 ClusterLogForwarder 구성을 추출하여 로컬 파일로 저장합니다.

   $ oc get clusterlogforwarder <name> -n <namespace> -o yaml > <filename>.yaml

   Copy to Clipboard Toggle word wrap

   다음과 같습니다.

   • < name>은 구성할 ClusterLogForwarder 인스턴스의 이름입니다.
   • <namespace >는 ClusterLogForwarder 인스턴스를 생성한 네임스페이스입니다(예: openshift-logging ).
   • <filename >은 구성을 저장하는 로컬 파일의 이름입니다.

2. ClusterLogForwarder CR의 필터 사양에 로그 레코드를 정리하는 구성을 추가합니다.

   중요

   매개 변수와 notIn 매개변수를 둘 다 지정하면 정리 중에 notIn 배열이 우선합니다. notIn 배열을 사용하여 레코드를 정리하면 in 배열을 사용하여 정리됩니다.

   ClusterLogForwarder CR의 예

   apiVersion: observability.openshift.io/v1
   kind: ClusterLogForwarder
   metadata:
     name: instance
     namespace: openshift-logging
   spec:
     serviceAccount:
       name: my-account
     filters:
     - name: prune-filter
       type: prune 

   1

   
       prune: 

   2

   
         in: [.kubernetes.annotations, .kubernetes.namespace_id] 

   3

   
         notIn: [.kubernetes,.log_type,.message,."@timestamp",.log_source] 

   4

   
     pipelines:
     - name: my-pipeline 

   5

   
       filterRefs: ["prune-filter"]
     # ...

   Copy to Clipboard Toggle word wrap

   1

   필터 유형을 지정합니다. prune 필터는 구성된 필드를 통해 로그 레코드를 정리합니다.

   2

   정리 필터에 대한 구성 옵션을 지정합니다.

   • in 및 notIn 필드는 로그 레코드의 필드에 대한 점으로 구분된 경로의 배열입니다.
   • 각 경로 세그먼트에는 alpha-numeric 문자 및 밑줄, a-z,0-9,_ .kubernetes.namespace_name 을 포함할 수 있습니다.
   • 세그먼트에 다른 문자가 포함된 경우 세그먼트는 따옴표로 묶어야 합니다(예: .kubernetes.labels."app.version-1.2/beta" ).

   3

   선택 사항: 로그 레코드에서 제거할 필드를 지정합니다. 로그 수집기는 다른 모든 필드를 유지합니다.

   4

   선택 사항: 로그 레코드에 유지할 필드를 지정합니다. 로그 수집기는 다른 모든 필드를 제거합니다.

   5

   prune 필터가 적용되는 파이프라인을 지정합니다.

   중요

   • 필터는 로그 레코드에서 .log_type .log_source,.message 필드를 제거할 수 없습니다. 이를 notIn 필드에 포함해야 합니다.
   • GoogleCloudLogging 출력을 사용하는 경우 notIn 필드에 .hostname 을 포함해야 합니다.

3. 다음 명령을 실행하여 ClusterLogForwarder CR을 적용합니다.

   $ oc apply -f <filename>.yaml

   Copy to Clipboard Toggle word wrap