미터링

절차

1. oc create -f <file-name>.yaml 명령으로 Metering Operator에 대한 네임스페이스 오브젝트 YAML 파일을 생성합니다. CLI를 사용하여 네임스페이스를 생성해야 합니다. 예를 들어 metering-namespace.yaml은 다음과 같습니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-metering 1
     annotations:
       openshift.io/node-selector: "" 2
     labels:
       openshift.io/cluster-monitoring: "true"

   1

   openshift-metering 네임스페이스에 미터링을 배포하는 것이 좋습니다.

   2

   피연산자 Pod에 대한 특정 노드 선택기를 구성하기 전에 이 주석을 포함합니다.

2. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다. Metering Operator를 찾으려면 metering에 대해 필터링합니다.
3. 미터링 카드를 클릭하고 패키지 설명을 검토한 다음 설치를 클릭합니다.
4. 업데이트 채널, 설치 모드 및 승인 전략을 선택합니다.
5. 설치를 클릭합니다.

6. Operators → 설치된 Operators 페이지로 전환하여 Metering Operator가 설치되었는지 확인합니다. 설치가 완료되면 Metering Operator에 성공이라는 상태가 있습니다.

   참고

   Metering Operator가 표시되는 데 몇 분이 걸릴 수 있습니다.

7. Operator 세부 정보는 설치된 Operator 페이지에서 미터링을 클릭합니다. 세부 정보 페이지에서 미터링과 관련된 다른 리소스를 생성할 수 있습니다.

프로세스

1. Metering Operator의 Namespace 오브젝트 YAML 파일을 생성합니다. CLI를 사용하여 네임스페이스를 생성해야 합니다. 예를 들어 metering-namespace.yaml은 다음과 같습니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-metering 1
     annotations:
       openshift.io/node-selector: "" 2
     labels:
       openshift.io/cluster-monitoring: "true"

   1

   openshift-metering 네임스페이스에 미터링을 배포하는 것이 좋습니다.

   2

   피연산자 Pod에 대한 특정 노드 선택기를 구성하기 전에 이 주석을 포함합니다.

2. Namespace 오브젝트를 생성합니다.

   $ oc create -f <file-name>.yaml

   예를 들면 다음과 같습니다.

   $ oc create -f openshift-metering.yaml

3. OperatorGroup 오브젝트 YAML 파일을 생성합니다. 예를 들어 Metering-og는 다음과 같습니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: openshift-metering 1
     namespace: openshift-metering 2
   spec:
     targetNamespaces:
     - openshift-metering

   1

   이름은 임의의 이름입니다.

   2

   openshift-metering 네임스페이스를 지정합니다.

4. Subscription 오브젝트 YAML 파일을 생성하여 Metering Operator에 네임스페이스를 등록합니다. 이 오브젝트는 redhat-operators 카탈로그 리소스에서 가장 최근 릴리스된 버전을 대상으로 합니다. 예를 들어 metering-sub.yaml은 다음과 같습니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: metering-ocp 1
     namespace: openshift-metering 2
   spec:
     channel: "4.6" 3
     source: "redhat-operators" 4
     sourceNamespace: "openshift-marketplace"
     name: "metering-ocp"
     installPlanApproval: "Automatic" 5

   1

   이름은 임의의 이름입니다.

   2

   openshift-metering 네임스페이스를 지정해야 합니다.

   3

   4.6을 채널로 지정합니다.

   4

   metering-ocp 패키지 매니페스트를 포함하는 redhat-operators 카탈로그 리소스를 지정합니다. OpenShift Container Platform이 제한된 네트워크(연결이 끊긴 클러스터)에 설치된 경우 OLM(Operator Lifecycle Manager)을 구성할 때 생성된 CatalogSource 오브젝트의 이름을 지정합니다.

   5

   "자동" 설치 계획 승인을 지정합니다.

절차

1. 아래 s3-storage.yaml 파일에서 spec.storage 섹션을 편집합니다.

   s3-storage.yaml 파일의 예

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "s3"
         s3:
           bucket: "bucketname/path/" 1
           region: "us-west-1" 2
           secretName: "my-aws-secret" 3
           # Set to false if you want to provide an existing bucket, instead of
           # having metering create the bucket on your behalf.
           createBucket: true 4

   1

   데이터를 저장하려는 버킷의 이름을 지정합니다. 선택 사항: 버킷 내 경로를 지정합니다.

   2

   버킷의 리전을 지정합니다.

   3

   data.aws-access-key-id 및 data.aws-secret-access-key 필드에 AWS 인증 정보를 포함하는 미터링 네임스페이스의 시크릿 이름입니다. 자세한 내용은 아래 Secret 오브젝트 예제를 참조하십시오.

   4

   기존 S3 버킷을 제공하거나 CreateBucket 권한이 있는 IAM 인증 정보를 제공하지 않으려면 이 필드를 false로 설정합니다.

2. 다음 Secret 오브젝트를 템플릿으로 사용합니다.

   AWS Secret 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-aws-secret
   data:
     aws-access-key-id: "dGVzdAo="
     aws-secret-access-key: "c2VjcmV0Cg=="

   참고

   aws-access-key-id 및 aws-secret-access-key의 값은 base64로 인코딩되어야 합니다.

3. 시크릿을 생성합니다.

   $ oc create secret -n openshift-metering generic my-aws-secret \
     --from-literal=aws-access-key-id=my-access-key \
     --from-literal=aws-secret-access-key=my-secret-key

   참고

   이 명령은 aws-access-key-id 및 aws-secret-access-key 값을 자동으로 base64로 인코딩합니다.

절차

1. 아래 s3-compatible-storage.yaml 파일 예에서 spec.storage 섹션을 편집합니다.

   s3-compatible-storage.yaml 파일의 예

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "s3Compatible"
         s3Compatible:
           bucket: "bucketname" 1
           endpoint: "http://example:port-number" 2
           secretName: "my-aws-secret" 3

   1

   S3 호환 버킷의 이름을 지정합니다.

   2

   스토리지의 끝점을 지정합니다.

   3

   data.aws-access-key-id 및 data.aws-secret-access-key 필드에 AWS 인증 정보를 포함하는 미터링 네임스페이스의 시크릿 이름입니다. 자세한 내용은 아래 Secret 오브젝트 예제를 참조하십시오.

2. 다음 Secret 오브젝트를 템플릿으로 사용합니다.

   S3 호환 Secret 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-aws-secret
   data:
     aws-access-key-id: "dGVzdAo="
     aws-secret-access-key: "c2VjcmV0Cg=="

프로세스

1. azure-blob-storage.yaml 파일에서 spec.storage 섹션을 편집합니다.

   azure-blob-storage.yaml 파일 예

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "azure"
         azure:
           container: "bucket1" 1
           secretName: "my-azure-secret" 2
           rootDirectory: "/testDir" 3

   1

   컨테이너 이름을 지정합니다.

   2

   미터링 네임스페이스에 시크릿을 지정합니다. 자세한 내용은 아래 Secret 오브젝트 예제를 참조하십시오.

   3

   선택 사항: 데이터를 저장하려는 디렉터리를 지정합니다.

2. 다음 Secret 오브젝트를 템플릿으로 사용합니다.

   Azure Secret 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-azure-secret
   data:
     azure-storage-account-name: "dGVzdAo="
     azure-secret-access-key: "c2VjcmV0Cg=="

3. 시크릿을 생성합니다.

   $ oc create secret -n openshift-metering generic my-azure-secret \
     --from-literal=azure-storage-account-name=my-storage-account-name \
     --from-literal=azure-secret-access-key=my-secret-key

프로세스

1. 아래 gcs-storage.yaml 파일 예에서 spec.storage 섹션을 편집합니다.

   gcs-storage.yaml 파일 예

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "gcs"
         gcs:
           bucket: "metering-gcs/test1" 1
           secretName: "my-gcs-secret" 2

   1

   버킷 이름을 지정합니다. 선택적으로 데이터를 저장하려는 버킷 내 디렉터리를 지정할 수 있습니다.

   2

   미터링 네임스페이스에 시크릿을 지정합니다. 자세한 내용은 아래 Secret 오브젝트 예제를 참조하십시오.

2. 다음 Secret 오브젝트를 템플릿으로 사용합니다.

   Google Cloud Storage Secret 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-gcs-secret
   data:
     gcs-service-account.json: "c2VjcmV0Cg=="

3. 시크릿을 생성합니다.

   $ oc create secret -n openshift-metering generic my-gcs-secret \
     --from-file gcs-service-account.json=/path/to/my/service-account-key.json

프로세스

1. 스토리지에 대한 ReadWriteMany 영구 볼륨을 사용하도록 shared-storage.yaml 파일을 수정합니다.

   shared-storage.yaml 파일의 예

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "sharedPVC"
         sharedPVC:
           claimName: "metering-nfs" 1
           # Uncomment the lines below to provision a new PVC using the specified storageClass. 2
           # createPVC: true
           # storageClass: "my-nfs-storage-class"
           # size: 5Gi

   아래 설정 옵션 중 하나를 선택합니다.

   1

   storage.hive.sharedPVC.claimName을 기존 ReadWriteMany 영구 볼륨 클레임(PVC) 이름으로 설정합니다. 동적 볼륨 프로비저닝이 없거나 영구 볼륨 생성 방법에 대한 더 많은 제어가 필요한 경우 이 구성이 필요합니다.

   2

   storage.hive.sharedPVC.createPVC를 true로 설정하고 storage.hive.sharedPVC.storageClass를 ReadWriteMany 액세스 모드가 있는 스토리지 클래스 이름으로 설정합니다. 이 설정은 동적 볼륨 프로비저닝을 사용하여 자동으로 볼륨을 생성합니다.

2. 미터링을 위해 NFS 서버를 배포하는 데 필요한 다음 리소스 오브젝트를 생성합니다. oc create -f <file-name>.yaml 명령을 사용하여 오브젝트 YAML 파일을 생성합니다.

   1. PersistentVolume 리소스 오브젝트를 구성합니다.

      nfs_persistentvolume.yaml 예제 파일

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: nfs
        labels:
          role: nfs-server
      spec:
        capacity:
          storage: 5Gi
        accessModes:
        - ReadWriteMany
        storageClassName: nfs-server 1
        nfs:
          path: "/"
          server: REPLACEME
        persistentVolumeReclaimPolicy: Delete

      1

      [kind: StorageClass].metadata.name 필드 값.

   2. nfs-server 역할을 사용하여 Pod 리소스 오브젝트를 구성합니다.

      nfs_server.yaml 예제 파일

      apiVersion: v1
      kind: Pod
      metadata:
        name: nfs-server
        labels:
          role: nfs-server
      spec:
        containers:
          - name: nfs-server
            image: <image_name> 1
            imagePullPolicy: IfNotPresent
            ports:
              - name: nfs
                containerPort: 2049
            securityContext:
              privileged: true
            volumeMounts:
            - mountPath: "/mnt/data"
              name: local
        volumes:
          - name: local
            emptyDir: {}

      1

      NFS 서버 이미지를 설치합니다.

   3. nfs-server 역할을 사용하여 Service 리소스 오브젝트를 구성합니다.

      nfs_service.yaml 예제 파일

      apiVersion: v1
      kind: Service
      metadata:
        name: nfs-service
        labels:
          role: nfs-server
      spec:
        ports:
        - name: 2049-tcp
          port: 2049
          protocol: TCP
          targetPort: 2049
        selector:
          role: nfs-server
        sessionAffinity: None
        type: ClusterIP

   4. StorageClass 리소스 오브젝트를 구성합니다.

      nfs_storageclass.yaml 예제 파일

      apiVersion: storage.k8s.io/v1
      kind: StorageClass
      metadata:
        name: nfs-server 1
      provisioner: example.com/nfs
      parameters:
        archiveOnDelete: "false"
      reclaimPolicy: Delete
      volumeBindingMode: Immediate

      1

      [kind: PersistentVolume].spec.storageClassName 필드 값입니다.

절차

1. 미터링 Report 리소스가 완료되지 않고 ReportingPeriodUnmetDependencies의 상태를 표시하는지 확인합니다.

   $ oc get reports

   출력 예

   NAME                                  QUERY                          SCHEDULE   RUNNING                            FAILED   LAST REPORT TIME       AGE
   namespace-cpu-utilization-adhoc-10    namespace-cpu-utilization                 Finished                                    2020-10-31T00:00:00Z   2m38s
   namespace-cpu-utilization-adhoc-11    namespace-cpu-utilization                 ReportingPeriodUnmetDependencies                                   2m23s
   namespace-memory-utilization-202010   namespace-memory-utilization              ReportingPeriodUnmetDependencies                                   26s
   namespace-memory-utilization-202011   namespace-memory-utilization              ReportingPeriodUnmetDependencies                                   14s

2. NEWEST METRIC이 보고서 종료일보다 작은 ReportDataSource 리소스를 확인합니다.

   $ oc get reportdatasource

   출력 예

   NAME                                         EARLIEST METRIC        NEWEST METRIC          IMPORT START           IMPORT END             LAST IMPORT TIME       AGE
   ...
   node-allocatable-cpu-cores                   2020-04-23T09:14:00Z   2020-08-31T10:07:00Z   2020-04-23T09:14:00Z   2020-10-15T17:13:00Z   2020-12-09T12:45:10Z   230d
   node-allocatable-memory-bytes                2020-04-23T09:14:00Z   2020-08-30T05:19:00Z   2020-04-23T09:14:00Z   2020-10-14T08:01:00Z   2020-12-09T12:45:12Z   230d
   ...
   pod-usage-memory-bytes                       2020-04-23T09:14:00Z   2020-08-24T20:25:00Z   2020-04-23T09:14:00Z   2020-10-09T23:31:00Z   2020-12-09T12:45:12Z   230d

3. 많은 Pod 재시작이 필요한 경우 reporting-operator Pod 리소스의 상태를 확인합니다.

   $ oc get pods -l app=reporting-operator

   출력 예

   NAME                                  READY   STATUS    RESTARTS   AGE
   reporting-operator-84f7c9b7b6-fr697   2/2     Running   542        8d 1

   1

   Reporting Operator Pod가 높은 속도로 다시 시작됩니다.

4. OOMKilled 종료의 reporting-operator Pod 리소스를 확인합니다.

   $ oc describe pod/reporting-operator-84f7c9b7b6-fr697

   출력 예

   Name:         reporting-operator-84f7c9b7b6-fr697
   Namespace:    openshift-metering
   Priority:     0
   Node:         ip-10-xx-xx-xx.ap-southeast-1.compute.internal/10.xx.xx.xx
   ...
      Ports:          8080/TCP, 6060/TCP, 8082/TCP
      Host Ports:     0/TCP, 0/TCP, 0/TCP
      State:          Running
        Started:      Thu, 03 Dec 2020 20:59:45 +1000
      Last State:     Terminated
        Reason:       OOMKilled 1
        Exit Code:    137
        Started:      Thu, 03 Dec 2020 20:38:05 +1000
        Finished:     Thu, 03 Dec 2020 20:59:43 +1000

   1

   OOM 종료로 인해 Reporting Operator Pod가 종료되었습니다.

절차

1. reporting-operator Pod 리소스의 현재 메모리 제한을 확인합니다.

   $ oc describe pod reporting-operator-67d6f57c56-79mrt

   출력 예

   Name:         reporting-operator-67d6f57c56-79mrt
   Namespace:    openshift-metering
   Priority:     0
   ...
      Ports:          8080/TCP, 6060/TCP, 8082/TCP
      Host Ports:     0/TCP, 0/TCP, 0/TCP
      State:          Running
        Started:      Tue, 08 Dec 2020 14:26:21 +1000
      Ready:          True
      Restart Count:  0
      Limits:
        cpu:     1
        memory:  500Mi 1
      Requests:
        cpu:     500m
        memory:  250Mi
      Environment:
   ...

   1

   Reporting Operator Pod의 현재 메모리 제한입니다.

2. MeteringConfig 리소스를 편집하여 메모리 제한을 업데이트합니다.

   $ oc edit meteringconfig/operator-metering

   MeteringConfig 리소스의 예입니다.

   kind: MeteringConfig
   metadata:
     name: operator-metering
     namespace: openshift-metering
   spec:
     reporting-operator:
     spec:
       resources: 1
         limits:
           cpu: 1
           memory: 750Mi
         requests:
           cpu: 500m
           memory: 500Mi
   ...

   1

   MeteringConfig 리소스의 resources 필드 내에 메모리 제한을 추가하거나 늘립니다.

   참고

   메모리 제한이 증가한 후에도 수많은 OOM 종료 이벤트가 계속 있는 경우 다른 문제로 인해 보고서가 보류 중임을 나타낼 수 있습니다.