Metering

流程

1. 使用 oc create -f <file-name>.yaml 命令为 Metering Operator 创建一个命名空间对象 YAML 文件。您必须使用 CLI 创建命名空间。例如, metering-namespace.yaml:

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-metering 1
     annotations:
       openshift.io/node-selector: "" 2
     labels:
       openshift.io/cluster-monitoring: "true"

   1

   强烈建议在 openshift-metering 命名空间中部署 metering。

   2

   在为操作数 pod 配置特定的节点选择器前包括此注解。

2. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。使用 metering 过滤以查找 Metering Operator。
3. 点 Metering 卡，查看软件包描述，然后点 Install。
4. 选择一个 Update Channel、Installation Mode 和 Approval Strategy。
5. 点击 Install。

6. 通过切换到 Operators → Installed Operators 页来验证 Metering Operator 已被安装。安装完成后，Metering Operator 的状态 为 Succeeded。

   注意

   这可能需要几分钟时间才会显示 Metering Operator。

7. 点 Installed Operators 页中的 Metering 来查看 Operator 的详细信息。在 Operator Details 页中，还可创建其他与 metering 相关的资源。

流程

1. 为 Metering Operator 创建 Namespace 对象 YAML 文件。您必须使用 CLI 创建命名空间。例如, metering-namespace.yaml:

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-metering 1
     annotations:
       openshift.io/node-selector: "" 2
     labels:
       openshift.io/cluster-monitoring: "true"

   1

   强烈建议在 openshift-metering 命名空间中部署 metering。

   2

   在为操作数 pod 配置特定的节点选择器前包括此注解。

2. 创建 Namespace 对象：

   $ oc create -f <file-name>.yaml

   例如：

   $ oc create -f openshift-metering.yaml

3. 创建 OperatorGroup 对象 YAML 文件。例如, metering-og:

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: openshift-metering 1
     namespace: openshift-metering 2
   spec:
     targetNamespaces:
     - openshift-metering

   1

   名称是任意名称。

   2

   指定 openshift-metering 命名空间。

4. 创建一个 Subscription 对象 YAML 文件，以便为 Metering Operator 订阅一个命名空间。此对象以 redhat-operators 目录源中最新发布的版本为目标。例如, metering-sub.yaml:

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: metering-ocp 1
     namespace: openshift-metering 2
   spec:
     channel: "4.8" 3
     source: "redhat-operators" 4
     sourceNamespace: "openshift-marketplace"
     name: "metering-ocp"
     installPlanApproval: "Automatic" 5

   1

   名称是任意名称。

   2

   您必须指定 openshift-metering 命名空间。

   3

   指定 4.8 作为频道。

   4

   指定包含 metering-ocp 软件包清单的 redhat-operators 目录源。如果 OpenShift Container Platform 集群安装在受限网络中（也称为断开连接的集群），请指定配置 Operator LifeCycle Manager (OLM) 时创建的 CatalogSource 对象的名称。

   5

   指定 "Automatic" 安装计划批准。

流程

1. 编辑 s3-storage.yaml 文件中的 spec.storage 部分：

   s3-storage.yaml 文件示例

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "s3"
         s3:
           bucket: "bucketname/path/" 1
           region: "us-west-1" 2
           secretName: "my-aws-secret" 3
           # Set to false if you want to provide an existing bucket, instead of
           # having metering create the bucket on your behalf.
           createBucket: true 4

   1

   指定要存储数据的存储桶的名称。可选：指定存储桶中的路径。

   2

   指定存储桶的区域。

   3

   metering 命名空间中的一个 secret 的名称。它包含了 AWS 凭证信息（data.aws-access-key-id 和 data.aws-secret-access-key）。更多详情请查看以下示例 Secret 对象。

   4

   如果要提供现有 S3 存储桶，或者如果不想提供具有 CreateBucket 权限的 IAM 凭证，则把该字段设置为 false。

2. 使用以下 Secret 对象作为模板：

   AWS Secret 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-aws-secret
   data:
     aws-access-key-id: "dGVzdAo="
     aws-secret-access-key: "c2VjcmV0Cg=="

   注意

   Aws-access-key-id 值和 aws-secret-access-key 值必须采用 base64 编码。

3. 创建 secret：

   $ oc create secret -n openshift-metering generic my-aws-secret \
     --from-literal=aws-access-key-id=my-access-key \
     --from-literal=aws-secret-access-key=my-secret-key

   注意

   该命令会对您的 aws-access-key-id 值和 aws-secret-access-key 值自动进行 base64 编码。

流程

1. 编辑 s3-compatible-storage.yaml 文件中的 spec.storage 部分：

   s3-compatible-storage.yaml 文件示例

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "s3Compatible"
         s3Compatible:
           bucket: "bucketname" 1
           endpoint: "http://example:port-number" 2
           secretName: "my-aws-secret" 3

   1

   指定 S3 兼容存储桶的名称。

   2

   指定存储端点。

   3

   metering 命名空间中的一个 secret 的名称。它包含了 AWS 凭证信息（data.aws-access-key-id 和 data.aws-secret-access-key）。更多详情请查看以下示例 Secret 对象。

2. 使用以下 Secret 对象作为模板：

   S3 兼容 Secret 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-aws-secret
   data:
     aws-access-key-id: "dGVzdAo="
     aws-secret-access-key: "c2VjcmV0Cg=="

流程

1. 编辑 azure-blob-storage.yaml 文件中的 spec.storage 部分：

   azure-blob-storage.yaml 文件示例

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "azure"
         azure:
           container: "bucket1" 1
           secretName: "my-azure-secret" 2
           rootDirectory: "/testDir" 3

   1

   指定容器名称。

   2

   指定 metering 命名空间中的 secret。更多详情请查看以下示例 Secret 对象。

   3

   可选：指定要存储数据的目录。

2. 使用以下 Secret 对象作为模板：

   Azure Secret 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-azure-secret
   data:
     azure-storage-account-name: "dGVzdAo="
     azure-secret-access-key: "c2VjcmV0Cg=="

3. 创建 secret：

   $ oc create secret -n openshift-metering generic my-azure-secret \
     --from-literal=azure-storage-account-name=my-storage-account-name \
     --from-literal=azure-secret-access-key=my-secret-key

流程

1. 编辑 gcs-storage.yaml 文件中的 spec.storage 部分：

   gcs-storage.yaml 文件示例

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "gcs"
         gcs:
           bucket: "metering-gcs/test1" 1
           secretName: "my-gcs-secret" 2

   1

   指定存储桶的名称。您可选择在存储桶中指定要存储数据的目录。

   2

   指定 metering 命名空间中的 secret。更多详情请查看以下示例 Secret 对象。

2. 使用以下 Secret 对象作为模板：

   Google Cloud Storage Secret 对象示例

   apiVersion: v1
   kind: Secret
   metadata:
     name: my-gcs-secret
   data:
     gcs-service-account.json: "c2VjcmV0Cg=="

3. 创建 secret：

   $ oc create secret -n openshift-metering generic my-gcs-secret \
     --from-file gcs-service-account.json=/path/to/my/service-account-key.json

流程

1. 修改 shared-storage.yaml 文件，以使用 ReadWriteMany 持久性卷进行存储：

   apiVersion: metering.openshift.io/v1
   kind: MeteringConfig
   metadata:
     name: "operator-metering"
   spec:
     storage:
       type: "hive"
       hive:
         type: "sharedPVC"
         sharedPVC:
           claimName: "metering-nfs" 1
           # Uncomment the lines below to provision a new PVC using the specified storageClass. 2
           # createPVC: true
           # storageClass: "my-nfs-storage-class"
           # size: 5Gi

   从以下配置选项中任选一个：

   1

   将 storage.hive.sharedPVC.claimName 设置为一个现存 ReadWriteMany 持久性卷声明（PVC）的名称。如果您没有动态卷置备，或想要对持久性卷的创建方式拥有更多控制权，则需要此配置。

   2

   将 storage.hive.sharedPVC.createPVC 设置为 true，并将 storage.hive.sharedPVC.storageClass 设置为具有 ReadWriteMany 访问模式的存储类的名称。此配置使用动态卷置备来自动创建卷。

2. 为 metering 创建部署 NFS 服务器所需的以下资源对象。使用 oc create -f <file-name\".yaml 命令来创建对象 YAML 文件。

   1. 配置 PersistentVolume 资源对象：

      nfs_persistentvolume.yaml 文件示例

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: nfs
        labels:
          role: nfs-server
      spec:
        capacity:
          storage: 5Gi
        accessModes:
        - ReadWriteMany
        storageClassName: nfs-server 1
        nfs:
          path: "/"
          server: REPLACEME
        persistentVolumeReclaimPolicy: Delete

      1

      必须与 [kind: StorageClass].metadata.name 字段值完全匹配。

   2. 使用 nfs-server 角色配置 Pod 资源对象：

      nfs_server.yaml 文件示例

      apiVersion: v1
      kind: Pod
      metadata:
        name: nfs-server
        labels:
          role: nfs-server
      spec:
        containers:
          - name: nfs-server
            image: <image_name> 1
            imagePullPolicy: IfNotPresent
            ports:
              - name: nfs
                containerPort: 2049
            securityContext:
              privileged: true
            volumeMounts:
            - mountPath: "/mnt/data"
              name: local
        volumes:
          - name: local
            emptyDir: {}

      1

      安装您的 NFS 服务器镜像。

   3. 使用 nfs-server 角色配置 Service 资源对象：

      nfs_service.yaml 文件示例

      apiVersion: v1
      kind: Service
      metadata:
        name: nfs-service
        labels:
          role: nfs-server
      spec:
        ports:
        - name: 2049-tcp
          port: 2049
          protocol: TCP
          targetPort: 2049
        selector:
          role: nfs-server
        sessionAffinity: None
        type: ClusterIP

   4. 配置 StorageClass 资源对象：

      nfs_storageclass.yaml 文件示例

      apiVersion: storage.k8s.io/v1
      kind: StorageClass
      metadata:
        name: nfs-server 1
      provisioner: example.com/nfs
      parameters:
        archiveOnDelete: "false"
      reclaimPolicy: Delete
      volumeBindingMode: Immediate

      1

      必须与 [kind: PersistentVolume].spec.storageClassName 字段值完全匹配。

流程

1. 使用 OpenShift CLI（oc）或使用 YAML 文件创建 secret:

   • 使用以下命令创建 secret：

     $ oc --namespace openshift-metering create secret generic <YOUR_SECRETNAME> --from-literal=username=<YOUR_DATABASE_USERNAME> --from-literal=password=<YOUR_DATABASE_PASSWORD>

   • 使用 YAML 文件创建 secret。例如：

     apiVersion: v1
     kind: Secret
     metadata:
       name: <YOUR_SECRETNAME> 1
     data:
       username: <BASE64_ENCODED_DATABASE_USERNAME> 2
       password: <BASE64_ENCODED_DATABASE_PASSWORD> 3

     1

     secret 的名称。

     2

     base64 编码的数据库用户名。

     3

     base64 编码的数据库密码。

2. 创建配置文件以将 MySQL 或 PostgreSQL 数据库用于 Hive：

   • 要将 MySQL 数据库用于 Hive，请使用以下示例配置文件。Metering 支持将内部 Hive metastore 配置为使用 MySQL 服务器版本 5.6、5.7 和 8.0。

     spec:
       hive:
         spec:
           metastore:
             storage:
               create: false
           config:
             db:
               url: "jdbc:mysql://mysql.example.com:3306/hive_metastore" 1
               driver: "com.mysql.cj.jdbc.Driver"
               secretName: "REPLACEME" 2

     注意

     当将 Metering 配置为使用旧的 MySQL 服务器版本时，如 5.6 或 5.7 时，您可能需要在配置内部 Hive metastore 时添加 enabledTLSProtocols JDBC URL 参数。

     1

     要使用 TLS v1.2 密码套件，将 url 设置为 "jdbc:mysql://<hostname>:<port>/<schema>?enabledTLSProtocols=TLSv1.2"。

     2

     包含 base64 加密用户名和密码数据库凭证的 secret 名称。

     您可使用 spec.hive.config.url 来传递其他 JDBC 参数。如需了解更多详细信息，请参阅 MySQL Connector/J 8.0 文档。

   • 要将 PostgreSQL 数据库用于 Hive，请使用以下示例配置文件：

     spec:
       hive:
         spec:
           metastore:
             storage:
               create: false
           config:
             db:
               url: "jdbc:postgresql://postgresql.example.com:5432/hive_metastore"
               driver: "org.postgresql.Driver"
               username: "REPLACEME"
               password: "REPLACEME"

     您可使用 spec.hive.config.url 来传递其他 JDBC 参数。如需了解更多详细信息，请参阅 PostgreSQL JDBC 驱动程序文档。

流程

1. 检查未完成的、显示 ReportingPeriodUnmetDependencies 状态的 metering Report 资源：

   $ oc get reports

   输出示例

   NAME                                  QUERY                          SCHEDULE   RUNNING                            FAILED   LAST REPORT TIME       AGE
   namespace-cpu-utilization-adhoc-10    namespace-cpu-utilization                 Finished                                    2020-10-31T00:00:00Z   2m38s
   namespace-cpu-utilization-adhoc-11    namespace-cpu-utilization                 ReportingPeriodUnmetDependencies                                   2m23s
   namespace-memory-utilization-202010   namespace-memory-utilization              ReportingPeriodUnmetDependencies                                   26s
   namespace-memory-utilization-202011   namespace-memory-utilization              ReportingPeriodUnmetDependencies                                   14s

2. 检查 NEWEST METRIC 小于报告结束日期的 ReportDataSource 资源：

   $ oc get reportdatasource

   输出示例

   NAME                                         EARLIEST METRIC        NEWEST METRIC          IMPORT START           IMPORT END             LAST IMPORT TIME       AGE
   ...
   node-allocatable-cpu-cores                   2020-04-23T09:14:00Z   2020-08-31T10:07:00Z   2020-04-23T09:14:00Z   2020-10-15T17:13:00Z   2020-12-09T12:45:10Z   230d
   node-allocatable-memory-bytes                2020-04-23T09:14:00Z   2020-08-30T05:19:00Z   2020-04-23T09:14:00Z   2020-10-14T08:01:00Z   2020-12-09T12:45:12Z   230d
   ...
   pod-usage-memory-bytes                       2020-04-23T09:14:00Z   2020-08-24T20:25:00Z   2020-04-23T09:14:00Z   2020-10-09T23:31:00Z   2020-12-09T12:45:12Z   230d

3. 检查 reporting-operator Pod 资源的健康状态，以检查大量 pod 重启：

   $ oc get pods -l app=reporting-operator

   输出示例

   NAME                                  READY   STATUS    RESTARTS   AGE
   reporting-operator-84f7c9b7b6-fr697   2/2     Running   542        8d 1

   1

   Reporting Operator pod 以更高的率重启。

4. 检查 reporting-operator Pod 资源是否有 OOMKilled 终止：

   $ oc describe pod/reporting-operator-84f7c9b7b6-fr697

   输出示例

   Name:         reporting-operator-84f7c9b7b6-fr697
   Namespace:    openshift-metering
   Priority:     0
   Node:         ip-10-xx-xx-xx.ap-southeast-1.compute.internal/10.xx.xx.xx
   ...
      Ports:          8080/TCP, 6060/TCP, 8082/TCP
      Host Ports:     0/TCP, 0/TCP, 0/TCP
      State:          Running
        Started:      Thu, 03 Dec 2020 20:59:45 +1000
      Last State:     Terminated
        Reason:       OOMKilled 1
        Exit Code:    137
        Started:      Thu, 03 Dec 2020 20:38:05 +1000
        Finished:     Thu, 03 Dec 2020 20:59:43 +1000

   1

   Reporting Operator pod 因 OOM 终止而终止。

流程

1. 检查 reporting-operator Pod 资源的当前内存限值：

   $ oc describe pod reporting-operator-67d6f57c56-79mrt

   输出示例

   Name:         reporting-operator-67d6f57c56-79mrt
   Namespace:    openshift-metering
   Priority:     0
   ...
      Ports:          8080/TCP, 6060/TCP, 8082/TCP
      Host Ports:     0/TCP, 0/TCP, 0/TCP
      State:          Running
        Started:      Tue, 08 Dec 2020 14:26:21 +1000
      Ready:          True
      Restart Count:  0
      Limits:
        cpu:     1
        memory:  500Mi 1
      Requests:
        cpu:     500m
        memory:  250Mi
      Environment:
   ...

   1

   Reporting Operator pod 的当前内存限值。

2. 编辑 MeteringConfig 资源以更新内存限制：

   $ oc edit meteringconfig/operator-metering

   MeteringConfig 资源示例

   kind: MeteringConfig
   metadata:
     name: operator-metering
     namespace: openshift-metering
   spec:
     reporting-operator:
     spec:
       resources: 1
         limits:
           cpu: 1
           memory: 750Mi
         requests:
           cpu: 500m
           memory: 500Mi
   ...

   1

   在 MeteringConfig 资源的 resources 字段中添加或增加内存限值。

   注意

   如果在增加内存限制后仍然有大量 OOM 终止事件，这可能代表报告处于待处理状态。