Observability（可观察性）

默认情况下，产品安装中包含了可观察性（observability）功能，但不启用它。由于对持久性存储的要求，observability 服务默认不会启用。Red Hat Advanced Cluster Management 支持以下 S3 兼容、稳定的对象存储：

启用该服务后，observability-endpoint-operator 会自动部署到每个导入或创建的集群中。此控制器从 Red Hat OpenShift Container Platform Prometheus 收集数据，然后将其发送到 Red Hat Advanced Cluster Management hub 集群。

如果 hub 集群导入为 local-cluster，则在它上也会启用可观察性，并从 hub 集群收集指标。

observability 服务部署了一个 Prometheus AlertManager 实例，它允许通过第三方应用程序转发警报。它还包括一个 Grafana 实例，通过仪表板（静态）或数据探索启用数据视觉化。Red Hat Advanced Cluster Management 支持 Grafana 的版本 8.1.3。您还可以设计自己的 Grafana 仪表板。如需更多信息，请参阅指定 Grafana 仪表板。

您可以通过创建自定义 记录规则 或 警报规则来自定义可观察性服务。

有关启用可观察性的更多信息，请参阅启用可观察性服务。

默认情况下，OpenShift Container Platform 使用 Telemetry 服务向红帽发送指标数据。acm_managed_cluster_info 由 Red Hat Advanced Cluster Management 提供，包含在 Telemetry 中，但不会显示在 Red Hat Advanced Cluster Management Observe 环境概述 仪表板中。

查看框架支持的指标类型表：

从 OpenShift Container Platform 文档中了解使用遥测来收集并发送哪些指标类型。如需更多信息，请参阅 Telemetry 收集的信息。

Observability 组件需要 2701mCPU 和 11972Mi 内存来安装可观察性服务。下表是启用了 observability-addons 的五个受管集群的 pod 容量请求列表：

安装 Red Hat Advanced Cluster Management 时，必须创建以下持久性卷(PV)，以便 PVC 可以自动附加到 PVC。请注意，当没有指定默认存储类或想要使用非默认存储类来托管 PV 时，您必须在 MultiClusterObservability CR 中定义存储类。建议您使用 Block Storage，类似于 Prometheus 使用的内容。另外，alertmanager、thanos-compactor、thanos-ruler、thanos-receive-default 和 thanos-store-shard 的每个副本必须具有自己的 PV。查看下表：

注意 ：时间序列历史数据存储在对象存储中。Thanos 使用对象存储作为指标和与其相关的元数据的主存储。有关对象存储和降级的详情，请参阅启用可观察性服务

Red Hat Advanced Cluster Management 已测试并被 Red Hat OpenShift Data Foundation（以前称为 Red Hat OpenShift Container Storage）完全支持。

Red Hat Advanced Cluster Management 支持在用户提供的兼容 S3 API 的第三方对象存储中多集群可观察 Operator 的功能。

Red Hat Advanced Cluster Management 使用商业、合理的努力来帮助识别根本原因。

如果创建了相关的支持问题，且确定问题的根本原因是客户提供的兼容 S3 对象存储，则需要通过客户支持频道解决问题。

Red Hat Advanced Cluster Management 不会承诺修复客户提供的、问题的根本原因是 S3 兼容对象存储供应商的支持问题单。

请参阅 自定义可观察性 以了解如何配置可观察性服务、查看指标和其他数据。

通过创建一个 MultiClusterObservability 自定义资源（CR）实例来启用可观察性服务。在启用可观察性前，请参阅 Observability pod 容量请求以了解更多信息。

注 ：当由 Red Hat Advanced Cluster Management 管理的 OpenShift Container Platform 受管集群上启用或禁用了可观察性时，observability 端点 Operator 会添加额外的 alertmanager 配置来自动重启本地 Prometheus，以此更新 cluster-monitoring-config ConfigMap。

完成以下步骤以启用可观察服务：

完成以下步骤，使用 AWS 安全服务生成访问密钥：

另外，您还可以从 Red Hat OpenShift Container Platform 控制台启用可观察性，创建一个名为 open-cluster-management-observability 的项目。务必在 open-cluster-management-observability 项目中创建名为 multiclusterhub-operator-pull-secret 的镜像 pull-secret。

在 open-cluster-management-observability 项目中创建名为 thanos-object-storage 的对象存储 secret, 。输入对象存储 secret 详细信息，然后单击 Create。

注 ： 请参阅 Enabling observability 部分的第 4 步来查看 secret 的示例。

创建 MultiClusterObservability CR 实例。当您收到以下信息时，代表 OpenShift Container Platform 中已成功启用 obseravbility 服务：Observability components are deployed and running。

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a SNO cluster does not collect pod and container resource metrics. Once a SNO cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["SNO"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

collect_rules:
  - group: -SNOResourceUsage

要禁用可观察性服务，请卸载 observability 资源。在 OpenShift Container Platform 控制台导航中，选择 Operators > Installed Operators > Advanced Cluster Manager for Kubernetes。删除 MultiClusterObservability 自定义资源。

要了解更多有关如何定制可观察性的信息，请参阅定制可观察性。

通过在可观察性资源中添加 Prometheus 记录规则和 警报规则，为可观察性安装创建自定义规则。如需更多信息，请参阅 Prometheus 配置。

使用 Prometheus 定义自定义规则来创建警报条件，并将通知发送到外部消息服务。注：当您更新自定义规则时，observability-thanos-rule pod 会自动重启。

在 open-cluster-management-observability 命名空间中创建一个名为 thanos-ruler-custom-rules 的 ConfigMap。键必须被命名为 custom_rules.yaml，如下例所示。您可以在配置中创建多个规则。

要验证警报规则是否正常工作，启动 Grafana 仪表板，进入 Explore 页面并查询 ALERTS。只有启动警报时，Grafana 才会在 Grafana 中提供警报。

集成外部消息工具，如 email、Slack 和 PagerDuty 以接收来自 AlertManager 的通知。您必须覆盖 open-cluster-management-observability 命名空间中的 alertmanager-config secret 来添加集成，并为 AlertManager 配置路由。完成以下步骤以更新自定义接收器规则：

您的更改会在修改后立即生效。如需 AlertManager 的示例，请参阅 prometheus/alertmanager。

将指标添加到 metrics_list.yaml 文件中，用来从受管集群中收集数据。

在添加自定义指标前，请确定使用以下命令启用了 mco observability ： oc get mco observability -o yaml。在 status.conditions.message 中检查以下消息：Observability components are deployed and running

创建名为 observability-metrics-custom-allowlist.yaml 的文件，并将自定义指标名称添加到 metrics_list.yaml 参数。ConfigMap 的 YAML 可能类似以下内容：

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
    rules:
    - record: apiserver_request_duration_seconds:histogram_quantile_90
      expr: histogram_quantile(0.90,sum(rate(apiserver_request_duration_seconds_bucket{job=\"apiserver\",
        verb!=\"WATCH\"}[5m])) by (verb,le))

使用以下命令，在 open-cluster-management-observability 命名空间中创建 observability-metrics-custom-allowlist ConfigMap：oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml。

通过 Grafana 仪表板，查询来自 Explore 页的指标数据来验证是否收集了您的自定义指标的数据。您也可以在您自己的仪表板中使用自定义指标。有关查看仪表板的更多信息，请参阅指定 Grafana 仪表板。

如果您不需要收集管理集群中的特定指标数据，从 observability-metrics-custom-allowlist.yaml 文件中删除相应的指标。当您删除指标时，不会在受管集群上收集指标数据。如前文所述，首先验证 mco observability 是否已启用。

您可以在 metrics 名称的开头使用连字符 - 将默认指标名称添加到 metrics_list.yaml 参数中。例如： -cluster_infrastructure_provider。

使用以下命令，在 open-cluster-management-observability 命名空间中创建 observability-metrics-custom-allowlist ConfigMap：oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml。

验证特定指标是否没有从受管集群中收集。当您从 Grafana 仪表板查询指标时，指标不会显示。

您可以自定义可观察性，将指标导出到外部端点，该端点可实时支持 Prometheus Remote Write 协议。如需更多信息，请参阅 Prometheus Remote Write 协议。

apiVersion: v1
kind: Secret
metadata:
  name: victoriametrics
  namespace: open-cluster-management-observability
type: Opaque
stringData:
  ep.yaml: |
    url: http://victoriametrics:8428/api/v1/write
    http_client_config:
      basic_auth:
        username: test
        password: test

spec:
  storageConfig:
    writeStorage:
    - key: ep.yaml
      name: victoriametrics

添加 advanced 配置部分，以根据您的需要更新每个可观察性组件的保留。

编辑 MultiClusterObservability CR，使用以下命令添加 advanced 部分： oc edit mco observability -o yaml。您的 YAML 文件可能类似以下内容：

spec:
  advanced:
    retentionConfig:
      blockDuration: 2h
      deleteDelay: 48h
      retentionInLocal: 24h
      retentionResolutionRaw: 30d
      retentionResolution5m: 180d
      retentionResolution1h: 0d
    receive:
      resources:
        limits:
          memory: 4096Gi
      replicas: 3

有关可添加到高级配置中的所有参数的描述，请参阅 Observability API。

如果工作负载增加，增加可观察 pod 的副本数。从您的 hub 集群中进入到 Red Hat OpenShift Container Platform 控制台。找到 multiclusterobservability 自定义资源(CR)，并更新要更改副本的组件的 replicas 参数值。更新的 YAML 可能类似以下内容：

spec:
   advanced:
      receive:
         replicas: 6

有关 mco observability CR 中的参数的更多信息，请参阅 Observability API。

启用可观察性后，来自 OpenShift Container Platform 受管集群的警报会自动发送到 hub 集群。您可以使用 alertmanager-config YAML 文件，为警报配置外部通知系统。

查看 alertmanager-config YAML 文件示例：

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

如果要配置代理进行警报转发，请在 alertmanager-config YAML 文件中添加以下 global 条目：

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

如需更多信息，请参阅 Prometheus Alertmanager 文档。

metadata:
      annotations:
        mco-disable-alerting: "true"

添加您不想接收的警报。您可以根据警报名称、匹配标签或持续时间静默警报。添加您要静默的警报后，会创建一个 ID。您的静默警报的 ID 可能类似以下字符串 d839aca9-ed46-40be-84c4-dca8773671da。

继续读取静默警报的方法：

在全局范围内阻止 Red Hat Advanced Cluster Management 警报，它们不严重。通过在 open-cluster-management-observability 命名空间中定义 alertmanager-config 中的禁止规则来禁止警报。

当一组参数与另一组现有匹配者匹配时，禁止规则会静默警报。为了使规则生效，目标和源警报必须具有与 相等 列表中的标签名称相同的标签值。您的 forbidden_rules 可能类似以下：

global:
  resolve_timeout: 1h
inhibit_rules:1
  - equal:
      - namespace
    source_match:2
      severity: critical
    target_match_re:
      severity: warning|info

如果要自定义 OpenShift Container Platform 路由认证，则必须在 alt_names 部分添加路由。要确保 OpenShift Container Platform 路由可以访问，请添加以下信息：alertmanager.apps.<domainname>, observatorium-api.apps.<domainname>, rbac-query-proxy.apps.<domainname>。

注意 ：用户负责证书轮转和更新。

 thanos.yaml: |
    type: s3
    config:
      bucket: "thanos"
      endpoint: "minio:9000"
      insecure: false
      access_key: "minio"
      secret_key: "minio123"
      http_config:
        tls_config:
          ca_file: /etc/minio/certs/ca.crt
          insecure_skip_verify: false

 thanos.yaml: |
    type: s3
    config:
      ...
      http_config:
        tls_config:
          ca_file: /etc/minio/certs/ca.crt
          cert_file: /etc/minio/certs/public.crt
          key_file: /etc/minio/certs/private.key
          insecure_skip_verify: false

metricObjectStorage:
      key: thanos.yaml
      name: thanos-object-storage
      tlsSecretName: tls-certs-secret

通过从 hub 集群访问 Grafana 来查看来自受管集群的数据。您可以查询特定的警报并为查询添加过滤器。

例如，对于来自单一节点集群中的 cluster_infrastructure_provider，使用以下查询表达式：cluster_infrastructure_provider{clusterType="SNO"}

注 ： 如果在单一节点受管集群中启用了可观察性，则不要设置 ObservabilitySpec.resources.CPU.limits 参数。当您设置 CPU 限制时，observability pod 会计算为受管集群的容量。如需更多信息，请参阅管理工作负载分区。

您可以禁用可观察性，在 Red Hat Advanced Cluster Management hub 集群中停止数据收集。

spec:
  imagePullPolicy: Always
  imagePullSecret: multiclusterhub-operator-pull-secret
  observabilityAddonSpec: # The ObservabilityAddonSpec defines the global settings for all managed clusters which have observability add-on enabled
    enableMetrics: false #indicates the observability addon push metrics to hub server

首先，克隆 stolostron/multicluster-observability-operator/ 存储库，以便您可以运行 tools 文件夹中的脚本。完成以下步骤以设置 Grafana 开发人员实例：

Grafana 开发人员实例已设置。

设置 Grafana 实例后，您可以设计仪表板。完成以下步骤以刷新 Grafana 控制台并设计您的仪表板：

卸载实例时，相关资源也会被删除。运行以下命令：

./setup-grafana-dev.sh --clean
secret "grafana-dev-config" deleted
deployment.apps "grafana-dev" deleted
service "grafana-dev" deleted
ingress.extensions "grafana-dev" deleted
persistentvolumeclaim "grafana-dev" deleted

继续阅读以查看集成的功能描述：

如需更多信息，请参阅管理 Insights PolicyReports。

您可以在受管集群中搜索具有冲突的特定 Insights PolicyReport。

登录 Red Hat Advanced Cluster Management hub 集群后，点控制台标头中的 Search 图标进入 Search 页面。输入以下查询：kind:policyreport。

注 ： PolicyReport 名称与集群名称匹配。

您还可以通过洞察策略违反和类别进一步指定查询。当您选择一个 PolicyReport 名称时，您会被重定向到关联的集群的 Details 页面。Insights 侧栏会自动显示。

如果禁用了搜索服务，且您要搜索洞察信息，请在 hub 集群中运行以下命令：

+

oc get policyreport --all-namespaces

您可以查看特定集群中确定的问题。

登录 Red Hat Advanced Cluster Management 集群后，从导航菜单中选择 Overview。选择一个严重性来查看与该严重性关联的 PolicyReports。您可以在 Cluster issues 概况卡中查看集群问题的详细信息和严重程度。

另外，您还可以从导航菜单中选择 Clusters。从表中选择一个受管集群来查看更多详细信息。在 Status 卡中查看确定的问题数量。

选择潜在问题的数量来查看严重性图，并推荐对问题进行补救。点漏洞的链接来查看与漏洞相关的 How to remediate 和 Reason 信息。

注 ： 在解决了这个问题后，Red Hat Advanced Cluster Management 每 30 分钟会接收 Red Hat Insights，Red Hat Insights 每两小时更新一次。

务必验证从 PolicyReport 发送警报消息的组件。进入到 Governance 页面，再选择特定的策略报告。选择 Status 选项卡，再单击 View details 链接来查看 PolicyReport YAML 文件。

找到 source 参数，该参数会通知您发送违反情况的组件。值选项为 grc 和 insights。

了解如何为 PolicyReports 创建自定义警报规则，如需更多信息，请参阅 配置 AlertManager。