Observability（可观察性）

Observability 服务使用来自社区的开源观察工具。查看以下与产品可观察性服务相关的工具描述：

下图显示了可观察性的组件：

可观察架构的组件包括以下项目：

重要：不要使用本地存储 Operator 或将本地卷用于持久性存储的存储类。如果 pod 重启后在不同节点上重启，则可能会丢失数据。发生这种情况时，pod 无法访问节点上的本地存储。确保您可以访问 receive 和 rules pod 的持久性卷，以避免数据丢失。

安装 Red Hat Advanced Cluster Management 时，必须创建以下持久性卷(PV)，以便 PVC 可以自动附加到 PVC。请注意，当没有指定默认存储类或想要使用非默认存储类来托管 PV 时，您必须在 MultiClusterObservability 自定义资源中定义存储类。建议您使用 Block Storage，类似于 Prometheus 使用存储。另外，alertmanager、thanos-compactor、thanos-ruler、thanos-receive-default 和 thanos-store-shard 的每个副本必须具有自己的 PV。查看下表：

注意 ：时间序列历史数据存储在对象存储中。Thanos 使用对象存储作为指标和与其相关的元数据的主存储。有关对象存储和降级的详情，请参阅启用可观察性服务。

要了解更多有关可观察性和集成组件的信息，请参阅以下主题：

默认情况下，OpenShift Container Platform 使用 Telemetry 服务向红帽发送指标数据。acm_managed_cluster_info 由 Red Hat Advanced Cluster Management 提供，包含在 Telemetry 中，但不会显示在 Red Hat Advanced Cluster Management Observe 环境概述 仪表板中。

查看框架支持的指标类型表：

Observability 组件需要 2701mCPU 和 11972Mi 内存来安装可观察性服务。下表是启用了 observability-addons 的五个受管集群的 pod 容量请求列表：

通过创建一个 MultiClusterObservability 自定义资源实例来启用可观察性服务。在启用可观察性前，请参阅 Observability pod 容量请求以了解更多信息。

备注：

完成以下步骤以启用可观察服务：

另外，您还可以从 Red Hat OpenShift Container Platform 控制台启用可观察性，创建一个名为 open-cluster-management-observability 的项目。务必在 open-cluster-management-observability 项目中创建名为 multiclusterhub-operator-pull-secret 的镜像 pull-secret。

在 open-cluster-management-observability 项目中创建名为 thanos-object-storage 的对象存储 secret, 。输入对象存储 secret 详细信息，然后单击 Create。请参阅 Enabling observability 部分的第 4 步来查看 secret 的示例。

创建 MultiClusterObservability 自定义资源实例。当您收到以下信息时，代表 OpenShift Container Platform 中已成功启用 obseravbility 服务：Observability components are deployed and running。

thanos --version

您可以禁用可观察性，在 Red Hat Advanced Cluster Management hub 集群中停止数据收集。

spec:
  imagePullPolicy: Always
  imagePullSecret: multiclusterhub-operator-pull-secret
  observabilityAddonSpec: # The ObservabilityAddonSpec defines the global settings for all managed clusters which have observability add-on enabled
    enableMetrics: false #indicates the observability addon push metrics to hub server

删除 MultiClusterObservability 自定义资源时，您将禁用和卸载 observability 服务。在 OpenShift Container Platform 控制台导航中，选择 Operators > Installed Operators > Advanced Cluster Manager for Kubernetes。删除 MultiClusterObservability 自定义资源。

通过在可观察性资源中添加 Prometheus 记录规则和 警报规则，为可观察性安装创建自定义规则。

要预先计算昂贵的表达式，请使用记录规则功能。结果保存为一组新的时间序列。使用警报规则，您可以根据如何将警报发送到外部服务来指定警报条件。

注： 当您更新自定义规则时，observability-thanos-rule pod 会自动重启。

使用 Prometheus 定义自定义规则来创建警报条件，并将通知发送到外部消息服务。查看以下自定义规则示例：

要开始从所有受管集群收集指标，请将指标添加到 metrics_list.yaml 文件中。完成以下步骤：

要根据您的需要更新每个可观察性组件的保留，请添加 advanced configuration 部分。完成以下步骤：

动态指标收集根据特定条件支持自动指标收集。默认情况下，单节点 OpenShift 集群不会收集 pod 和容器资源指标。单节点 OpenShift 集群达到特定级别的资源消耗后，会动态收集定义的粒度指标。当集群资源消耗在一段时间内持续低于阈值时，细致的指标集合会停止。

这些指标会根据由集合规则指定的受管集群上的条件动态收集。由于这些指标是动态收集的，所以以下 Red Hat Advanced Cluster Management Grafana 仪表板不会显示任何数据。激活集合规则并收集相应指标时，以下面板会在启动集合规则的时间里显示数据：

默认情况下，集合规则每 30 秒或以特定时间间隔在受管集群上持续评估。集合间隔和时间间隔中的最低值具有高优先权。当收集规则条件在 for 属性指定的持续时间内保留后，收集规则将启动，由规则指定的指标会在受管集群上自动收集。指标集合会在受管集群上不再存在集合规则条件后自动停止，至少有 15 分钟。

集合规则分组为名为 gather_rules 的参数部分，该部分可启用或禁用作为组。Red Hat Advanced Cluster Management 安装包含集合规则组 SNOResourceUsage，它有两个默认集合规则： HighCPUUsage 和 HighMemoryUsage。HighCPUUsage 集合规则从节点 CPU 使用率超过 70% 时开始。如果单节点 OpenShift 集群的总内存使用率超过可用节点内存的 70%，则 HighMemoryUsage 集合规则开始。目前，前面提到的阈值是固定的，且无法更改。当集合规则开始超过 for 属性指定的间隔时，系统会自动开始收集 dynamic_metrics 中指定的指标。

在以下 YAML 文件中查看 collect_rules 部分的动态指标列表：

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a {sno} cluster does not collect pod and container resource metrics. Once a {sno} cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["{sno}"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

可以在 custom-allowlist 中禁用 collect_rules.group，如下例所示。当 collect_rules.group 禁用时，指标集合会恢复到之前的行为。这些指标定期收集，指定间隔：

collect_rules:
  - group: -SNOResourceUsage

只有在启动规则时，数据才会在 Grafana 中显示。

如果工作负载增加，增加可观察 pod 的副本数。从您的 hub 集群中进入到 Red Hat OpenShift Container Platform 控制台。找到 MultiClusterObservability 自定义资源，并更新您要更改副本的组件的 replicas 参数值。更新的 YAML 可能类似以下内容：

spec:
   advanced:
      receive:
         replicas: 6

有关 mco observability 自定义资源中的参数的更多信息，请参阅 Observability API 文档。

增加和减少持久性卷和持久性卷声明，以更改存储类中的存储量。完成以下步骤：

如果要自定义 OpenShift Container Platform 路由认证，则必须在 alt_names 部分添加路由。要确保 OpenShift Container Platform 路由可以访问，请添加以下信息：alertmanager.apps.<domainname>, observatorium-api.apps.<domainname>, rbac-query-proxy.apps.<domainname>。

如需了解更多详细信息，请参阅监管文档中的 替换 alertmanager 路由的证书。

注意 ：用户负责证书轮转和更新。

您可以通过创建一个包含证书颁发机构并配置 MultiClusterObservability 自定义资源的 Secret 资源来配置与 observability 对象存储的安全连接。完成以下步骤：

配置代理设置，以允许与受管集群的通信通过 HTTP 和 HTTPS 代理服务器访问 hub 集群。通常，附加组件不需要任何特殊配置来支持 hub 集群和受管集群之间的 HTTP 和 HTTPS 代理服务器。但是，如果启用了可观察性附加组件，您必须完成代理配置。

完成以下步骤，为可观察附加组件配置代理设置：

如果开发需要改变，您可能需要为 hub 集群和受管集群配置的 observability 附加组件禁用代理设置。您可以随时禁用 observability 附加组件的代理设置。完成以下步骤：

Observability 提供了一个外部 API，用于通过 OpenShift 路由（rbac-query-proxy）查询指标。查看以下选项以获取 rbac-query-proxy 路由的查询：

完成以下步骤，为可观察性创建 proxy-byo-cert secret：

将指标导出到外部端点，该端点支持实时的 Prometheus Remote-Write 规格。完成以下步骤以将指标导出到外部端点：

通过从 hub 集群访问 Grafana 来查看来自受管集群的数据。您可以查询特定的警报并为查询添加过滤器。

例如，要从单节点 OpenShift 集群中探索 cluster_infrastructure_provider 警报，请使用以下查询表达式： cluster_infrastructure_provider{clusterType="SNO"}

注： 如果在单一节点受管集群中启用了可观察性，请不要设置 ObservabilitySpec.resources.CPU.limits 参数。当您设置 CPU 限制时，observability pod 会计算为受管集群的容量。请参阅附加资源部分中的管理工作负载分区。

使用 Grafana 仪表板查看 hub 集群和受管集群指标。Grafana 警报仪表板中显示的数据依赖于来自受管集群的 警报 指标。警报 指标不会影响受管集群将警报转发到 hub 集群上的 Red Hat Advanced Cluster Management 警报管理器。因此，指标和警报有不同的传播机制，并遵循单独的代码路径。

即使您在 Grafana 警报仪表板中看到数据，这不能保证受管集群警报成功转发到 Red Hat Advanced Cluster Management hub 集群警报管理器。如果指标从受管集群传播，您可以查看 Grafana 警报仪表板中显示的数据。

要使用 Grafana 仪表板来满足您的开发需要，请完成以下操作：

grafana-cli

./generate-dashboard-configmap-yaml.sh "Your Dashboard Name"
Save dashboard <your-dashboard-name> to ./your-dashboard-name.yaml

oc apply -f demo-dashboard.yaml

./setup-grafana-dev.sh --clean
secret "grafana-dev-config" deleted
deployment.apps "grafana-dev" deleted
serviceaccount "grafana-dev" deleted
route.route.openshift.io "grafana-dev" deleted
persistentvolumeclaim "grafana-dev" deleted
oauthclient.oauth.openshift.io "grafana-proxy-client-dev" deleted
clusterrolebinding.rbac.authorization.k8s.io "open-cluster-management:grafana-crb-dev" deleted

启用受管集群标签，将它们用于 Grafana 仪表板。当在 hub 集群中启用可观察性时，observability-managed-cluster-label-allowlist ConfigMap 会在 open-cluster-management-observability 命名空间中创建。ConfigMap 包含由 observabilty-rbac-query-proxy pod 维护的受管集群标签列表，用于在 ACM - Cluster Overview Grafana 仪表板中填充要过滤的标签名称列表。默认情况下，可观察性会忽略 observability-managed-cluster-label-allowlist ConfigMap 中的标签子集。

当集群导入到受管集群团队或修改时，observability-rbac-query-proxy pod 会监视对受管集群标签的任何更改，并自动更新 observability-managed-cluster-label-allowlist ConfigMap 以反映更改。ConfigMap 仅包含唯一的标签名称，这些名称包含在 ignore_labels 或 labels 列表中。您的 observability-managed-cluster-label-allowlist ConfigMap 可能类似以下 YAML 文件：

data:
  managed_cluster.yaml: |
    ignore_labels: 1
      - clusterID
      - cluster.open-cluster-management.io/clusterset
      - feature.open-cluster-management.io/addon-application-manager
      - feature.open-cluster-management.io/addon-cert-policy-controller
      - feature.open-cluster-management.io/addon-cluster-proxy
      - feature.open-cluster-management.io/addon-config-policy-controller
      - feature.open-cluster-management.io/addon-governance-policy-framework
      - feature.open-cluster-management.io/addon-iam-policy-controller
      - feature.open-cluster-management.io/addon-observability-controller
      - feature.open-cluster-management.io/addon-search-collector
      - feature.open-cluster-management.io/addon-work-manager
      - installer.name
      - installer.namespace
      - local-cluster
      - name
    labels: 2
      - cloud
      - vendor

+ <1> 任何 ConfigMap 的 ignore_labels keylist 中列出的标签已从 ACM - Clusters Overview Grafana 仪表板上的下拉列表中删除。<2> 在 ACM - Clusters Overview Grafana 仪表板的下拉列表中显示启用的标签。值来自 acm_managed_cluster_labels 指标，具体取决于所选 label 键值。

继续阅读如何在 Grafana 中使用受管集群标签：

data:
  managed_cluster.yaml: |
    ignore_labels:
      - clusterID
      - cluster.open-cluster-management.io/clusterset
      - feature.open-cluster-management.io/addon-application-manager
      - feature.open-cluster-management.io/addon-cert-policy-controller
      - feature.open-cluster-management.io/addon-cluster-proxy
      - feature.open-cluster-management.io/addon-config-policy-controller
      - feature.open-cluster-management.io/addon-governance-policy-framework
      - feature.open-cluster-management.io/addon-iam-policy-controller
      - feature.open-cluster-management.io/addon-observability-controller
      - feature.open-cluster-management.io/addon-search-collector
      - feature.open-cluster-management.io/addon-work-manager
      - installer.name
      - installer.namespace
      - local-cluster
      - name
    labels:
      - cloud
      - department
      - vendor

data:
  managed_cluster.yaml: |
    ignore_labels:
      - clusterID
      - installer.name
      - installer.namespace
    labels:
      - cloud
      - vendor
      - local-cluster
      - name

enabled managedcluster labels: <label>

data:
  managed_cluster.yaml: |
    ignore_labels:
      - clusterID
      - installer.name
      - installer.namespace
      - local-cluster
      - name
    labels:
      - cloud
      - vendor

disabled managedcluster label: <label>

要禁用受管集群的警报转发，请在 MultiClusterObservability 自定义资源中添加以下注解：

metadata:
      annotations:
        mco-disable-alerting: "true"

设置注解时，受管集群上的警报转发配置会被恢复。对 openshift-monitoring 命名空间中的 ocp-monitoring-config 配置映射所做的任何更改也会被恢复。设置注解可确保 ocp-monitoring-config 配置映射不再由 observability operator 端点管理或更新。更新配置后，受管集群中的 Prometheus 实例会重启。

重要： 如果您有一个带有指标数据的 Prometheus 实例，且 Prometheus 实例重启了 Prometheus 实例，则受管集群上的指标将会丢失。hub 集群中的指标不会受到影响。

恢复更改后，在 open-cluster-management-addon-observability 命名空间中会创建一个名为 cluster-monitoring-reverted 的 ConfigMap。任何新的、手动添加的警报转发配置都不会从 ConfigMap 恢复。

验证 hub 集群警报管理器不再将受管集群警报传播到第三方消息传递工具。请参阅上一节，配置 Alertmanager。

如果使用警报静默程序，您可以在从之前的状态中保留静默时迁移可观察性存储。要做到这一点，请通过使用您选择的 StorageClass 资源创建新 StatefulSets 和 PersistentVolume (PV)资源来 迁移您的 Red Hat Advanced Cluster Management observability 存储。

注： PV 的存储与用于存储从集群收集指标的对象存储不同。

当您使用 StatefulSets 和 PV 将可观察性数据迁移到新存储时，它会存储以下数据组件：

要迁移您的可观察性存储，请完成以下步骤：

通过列出 allow 和 deny list 部分中的资源，创建 search-collector-config ConfigMap 以定义从集群中收集哪些 Kubernetes 资源。列出 ConfigMap 中的 data.AllowedResources 和 data.DeniedResources 部分中的资源。运行以下命令来创建资源：

oc apply -f yourconfigMapFile.yaml

ConfigMap 可能类似以下 YAML 文件：

apiVersion: v1
kind: ConfigMap
metadata:
 name: search-collector-config
 namespace: <namespace where search-collector add-on is deployed>
data:
 AllowedResources: |-
   - apiGroups:
       - "*"
     resources:
       - services
       - pods
   - apiGroups:
       - admission.k8s.io
       - authentication.k8s.io
     resources:
       - "*"
 DeniedResources: |-
   - apiGroups:
       - "*"
     resources:
       - secrets
   - apiGroups:
       - admission.k8s.io
     resources:
       - policies
       - iampolicies
       - certificatepolicies

以上 ConfigMap 示例允许从所有 apiGroups 收集服务和 pod，同时允许从 admission.k8s.io 和 authentication.k8s.io apiGroups 收集所有资源。同时，ConfigMap 示例还阻止所有 apiGroups 的 secret 集合，同时防止来自 apiGroup admission.k8s.io 的 policies, iampolicies, and certificatepolicies 的集合。

注：如果您不提供 ConfigMap，则默认收集所有资源。如果您只提供 AllowedResources，则 AllowedResources 中未列出的所有资源都会被自动排除。同时 AllowedResources 和 DeniedResources 中列出的资源也会被排除。

您可以从 OpenShift Container Platform 控制台自定义搜索结果限制。更新 multicluster-engine 命名空间中的 console-mce-config。这些设置适用于所有用户，并可能会影响性能。查看以下性能参数描述：

从 OpenShift Container Platform 控制台运行以下 patch 命令，将搜索结果改为 100 个项目：

oc patch configmap console-mce-config -n multicluster-engine --type merge -p '{"data":{"SEARCH_RESULT_LIMIT":"100"}}'

您可以在 搜索框中 输入任何文字，结果会包括带有这个值的任何属性（如名称或命名空间）。用户无法搜索包含空空格的值。

如需更具体的搜索结果，请在搜索中包含属性。您可以组合属性的相关值以获取更精确的搜索范围。例如，搜索 cluster:dev red 以接收与 dev 集群中字符串"red" 匹配的结果。

完成以下步骤，使用搜索进行查询：

要从受管集群收集 Kubernetes 对象，klusterlet-addon-search pod 在启用了搜索的所有受管集群中运行。此部署在 open-cluster-management-agent-addon 命名空间中运行。具有大量资源的受管集群可能需要更多内存才能使 klusterlet-addon-search 部署正常工作。

受管集群中的 klusterlet-addon-search pod 的资源要求可在 Red Hat Advanced Cluster Management hub 集群的 ManagedClusterAddon 自定义资源中指定。每个带有受管集群名称的受管集群都有一个命名空间。从与受管集群名称匹配的命名空间中编辑 ManagedClusterAddon 自定义资源。运行以下命令以更新 xyz 受管集群中的资源要求：

oc edit managedclusteraddon search-collector -n xyz

将资源要求作为注解附加。查看以下示例：

apiVersion: addon.open-cluster-management.io/v1alpha1
kind: ManagedClusterAddOn
metadata:
  annotations: addon.open-cluster-management.io/search_memory_limit: 2048Mi
  addon.open-cluster-management.io/search_memory_request: 512Mi

该注解会覆盖受管集群上的资源要求，并使用新资源要求自动重启 pod。

注： 您可以使用控制台中的 API Explorer 来发现受管集群中定义的所有资源。或者，您可以通过运行以下命令来发现所有资源： oc api-resources

返回到 Observing 环境简介。

您可以在受管集群中搜索具有冲突的特定 Insights PolicyReport。完成以下步骤：

您可以查看特定集群中确定的问题。完成以下步骤：