17.3. Observability（可观察性）

流程

1. 创建 ConfigMap CR，并将它保存为 monitoringConfigMap.yaml，如下例所示：

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: cluster-monitoring-config
    namespace: openshift-monitoring
    data:
    config.yaml: |
      alertmanagerMain:
        enabled: false
      telemeterClient:
        enabled: false
      prometheusK8s:
         retention: 24h

2. 在单节点 OpenShift 中，运行以下命令来应用 ConfigMap CR：

   $ oc apply -f monitoringConfigMap.yaml

3. 创建 NameSpace CR，并将它保存为 monitoringNamespace.yaml，如下例所示：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: open-cluster-management-observability

4. 在 hub 集群中，运行以下命令在 hub 集群中应用 Namespace CR：

   $ oc apply -f monitoringNamespace.yaml

5. 创建 ObjectBucketClaim CR，并将它保存为 monitoringObjectBucketClaim.yaml，如下例所示：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: multi-cloud-observability
     namespace: open-cluster-management-observability
   spec:
     storageClassName: openshift-storage.noobaa.io
     generateBucketName: acm-multi

6. 在 hub 集群中，运行以下命令来应用 ObjectBucketClaim CR：

   $ oc apply -f monitoringObjectBucketClaim.yaml

7. 创建 Secret CR，并将它保存为 monitoringSecret.yaml，如下例所示：

   apiVersion: v1
   kind: Secret
   metadata:
     name: multiclusterhub-operator-pull-secret
     namespace: open-cluster-management-observability
   stringData:
     .dockerconfigjson: 'PULL_SECRET'

8. 在 hub 集群中，运行以下命令来应用 Secret CR：

   $ oc apply -f monitoringSecret.yaml

9. 运行以下命令，从 hub 集群获取 NooBaa 服务和后端存储桶名称的密钥：

   $ NOOBAA_ACCESS_KEY=$(oc get secret noobaa-admin -n openshift-storage -o json | jq -r '.data.AWS_ACCESS_KEY_ID|@base64d')

   $ NOOBAA_SECRET_KEY=$(oc get secret noobaa-admin -n openshift-storage -o json | jq -r '.data.AWS_SECRET_ACCESS_KEY|@base64d')

   $ OBJECT_BUCKET=$(oc get objectbucketclaim -n open-cluster-management-observability multi-cloud-observability -o json | jq -r .spec.bucketName)

10. 为存储桶存储创建一个 Secret CR，并将它保存为 monitoringBucketSecret.yaml，如下例所示：

    apiVersion: v1
    kind: Secret
    metadata:
      name: thanos-object-storage
      namespace: open-cluster-management-observability
    type: Opaque
    stringData:
      thanos.yaml: |
        type: s3
        config:
          bucket: ${OBJECT_BUCKET}
          endpoint: s3.openshift-storage.svc
          insecure: true
          access_key: ${NOOBAA_ACCESS_KEY}
          secret_key: ${NOOBAA_SECRET_KEY}

11. 在 hub 集群中，运行以下命令来应用 Secret CR：

    $ oc apply -f monitoringBucketSecret.yaml

12. 创建 MultiClusterObservability CR，并将它保存为 monitoringMultiClusterObservability.yaml，如下例所示：

    apiVersion: observability.open-cluster-management.io/v1beta2
    kind: MultiClusterObservability
    metadata:
      name: observability
    spec:
      advanced:
        retentionConfig:
          blockDuration: 2h
          deleteDelay: 48h
          retentionInLocal: 24h
          retentionResolutionRaw: 3d
      enableDownsampling: false
      observabilityAddonSpec:
        enableMetrics: true
        interval: 300
      storageConfig:
        alertmanagerStorageSize: 10Gi
        compactStorageSize: 100Gi
        metricObjectStorage:
          key: thanos.yaml
          name: thanos-object-storage
        receiveStorageSize: 25Gi
        ruleStorageSize: 10Gi
        storeStorageSize: 25Gi

13. 在 hub 集群中，运行以下命令来应用 MultiClusterObservability CR：

    $ oc apply -f monitoringMultiClusterObservability.yaml

验证

1. 运行以下命令，检查命名空间中的路由和 pod，以验证服务是否在 hub 集群中部署：

   $ oc get routes,pods -n open-cluster-management-observability

   输出示例

   NAME                                         HOST/PORT                                                                                        PATH      SERVICES                          PORT          TERMINATION          WILDCARD
   route.route.openshift.io/alertmanager        alertmanager-open-cluster-management-observability.cloud.example.com        /api/v2   alertmanager                      oauth-proxy   reencrypt/Redirect   None
   route.route.openshift.io/grafana             grafana-open-cluster-management-observability.cloud.example.com                       grafana                           oauth-proxy   reencrypt/Redirect   None 1
   route.route.openshift.io/observatorium-api   observatorium-api-open-cluster-management-observability.cloud.example.com             observability-observatorium-api   public        passthrough/None     None
   route.route.openshift.io/rbac-query-proxy    rbac-query-proxy-open-cluster-management-observability.cloud.example.com              rbac-query-proxy                  https         reencrypt/Redirect   None
   
   NAME                                                           READY   STATUS    RESTARTS   AGE
   pod/observability-alertmanager-0                               3/3     Running   0          1d
   pod/observability-alertmanager-1                               3/3     Running   0          1d
   pod/observability-alertmanager-2                               3/3     Running   0          1d
   pod/observability-grafana-685b47bb47-dq4cw                     3/3     Running   0          1d
   <...snip…>
   pod/observability-thanos-store-shard-0-0                       1/1     Running   0          1d
   pod/observability-thanos-store-shard-1-0                       1/1     Running   0          1d
   pod/observability-thanos-store-shard-2-0                       1/1     Running   0          1d

   1

   在列出的 grafana 路由中可以访问仪表板。您可以使用它来查看所有受管集群的指标。

流程

1. 创建 ConfigMap CR 并将其保存为 monitoringConfigMap.yaml，如下例所示：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       enableUserWorkload: true 1

   1

   设置为 true 以启用工作负载监控。

2. 运行以下命令来应用 ConfigMap CR：

   $ oc apply -f monitoringConfigMap.yaml

3. 创建 ServiceMonitor CR，并将它保存为 monitoringServiceMonitor.yaml，如下例所示：

   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     labels:
       app: ui
     name: myapp
     namespace: myns
   spec:
     endpoints: 1
     - interval: 30s
       port: ui-http
       scheme: http
       path: /healthz 2
     selector:
       matchLabels:
         app: ui

   1

   使用端点定义工作负载指标。

   2

   Prometheus 默认提取路径 /metrics。您可以在此处定义自定义路径。

4. 运行以下命令来应用 ServiceMonitor CR：

   $ oc apply -f monitoringServiceMonitor.yaml