Observability（可观察性）

multiclusterhub-operator 默认启用 multicluster-observability-operator pod。您必须配置 multicluster-observability-operator pod。

当您启用该服务时，observability-endpoint-operator 会自动部署到每个导入或创建的集群中。此控制器从 Red Hat OpenShift Container Platform Prometheus 收集数据，然后将其发送到 Red Hat Advanced Cluster Management hub 集群。如果 hub 集群导入本身是自我管理，并将自身导入为 local-cluster，则在集群上也会启用可观察性，并从 hub 集群收集指标。提醒，当 hub 集群是自我管理的 disableHubSelfManagement 参数时，将 disableHubSelfManagement 参数设置为 false。

下图显示了可观察性的组件：

可观察架构的组件包括以下项目：

继续阅读以了解可以使用可观察性程序收集哪些指标，以及有关可观察性 pod 容量的信息。

通过创建一个 MultiClusterObservability 自定义资源实例来启用可观察性服务。在启用可观察性前，请参阅 Observability pod 容量请求以了解更多信息。

备注：

完成以下步骤以启用可观察服务：

另外，您还可以从 Red Hat OpenShift Container Platform 控制台启用可观察性，创建一个名为 open-cluster-management-observability 的项目。务必在 open-cluster-management-observability 项目中创建名为 multiclusterhub-operator-pull-secret 的镜像 pull-secret。

在 open-cluster-management-observability 项目中创建名为 thanos-object-storage 的对象存储 secret, 。输入对象存储 secret 详细信息，然后单击 Create。请参阅 Enabling observability 部分的第 4 步来查看 secret 的示例。

创建 MultiClusterObservability 自定义资源实例。当您收到以下信息时，代表 OpenShift Container Platform 中已成功启用 obseravbility 服务：Observability components are deployed and running。

thanos --version

您可以禁用可观察性，在 Red Hat Advanced Cluster Management hub 集群中停止数据收集。

spec:
  imagePullPolicy: Always
  imagePullSecret: multiclusterhub-operator-pull-secret
  observabilityAddonSpec: # The ObservabilityAddonSpec defines the global settings for all managed clusters which have observability add-on enabled
    enableMetrics: false #indicates the observability addon push metrics to hub server

删除 MultiClusterObservability 自定义资源时，您将禁用和卸载 observability 服务。在 OpenShift Container Platform 控制台导航中，选择 Operators > Installed Operators > Advanced Cluster Manager for Kubernetes。删除 MultiClusterObservability 自定义资源。

Observability 提供了一个外部 API，用于通过 OpenShift 路由（rbac-query-proxy）查询指标。查看以下选项以获取 rbac-query-proxy 路由的查询：

完成以下步骤，为可观察性创建 proxy-byo-cert secret：

将指标导出到外部端点，该端点支持实时的 Prometheus Remote-Write 规格。完成以下步骤以将指标导出到外部端点：

通过从 hub 集群访问 Grafana 来查看来自受管集群的数据。您可以查询特定的警报并为查询添加过滤器。

例如，要从单节点 OpenShift 集群中探索 cluster_infrastructure_provider 警报，请使用以下查询表达式： cluster_infrastructure_provider{clusterType="SNO"}

注： 如果在单一节点受管集群中启用了可观察性，请不要设置 ObservabilitySpec.resources.CPU.limits 参数。当您设置 CPU 限制时，observability pod 会计算为受管集群的容量。请参阅附加资源部分中的管理工作负载分区。

使用 Grafana 仪表板查看 hub 集群和受管集群指标。Grafana 警报仪表板中显示的数据依赖于来自受管集群的 警报 指标。警报 指标不会影响受管集群将警报转发到 hub 集群上的 Red Hat Advanced Cluster Management 警报管理器。因此，指标和警报有不同的传播机制，并遵循单独的代码路径。

即使您在 Grafana 警报仪表板中看到数据，这不能保证受管集群警报成功转发到 Red Hat Advanced Cluster Management hub 集群警报管理器。如果指标从受管集群传播，您可以查看 Grafana 警报仪表板中显示的数据。

要使用 Grafana 仪表板来满足您的开发需要，请完成以下操作：

grafana-cli

./generate-dashboard-configmap-yaml.sh "Your Dashboard Name"
Save dashboard <your-dashboard-name> to ./your-dashboard-name.yaml

oc apply -f demo-dashboard.yaml

./setup-grafana-dev.sh --clean
secret "grafana-dev-config" deleted
deployment.apps "grafana-dev" deleted
serviceaccount "grafana-dev" deleted
route.route.openshift.io "grafana-dev" deleted
persistentvolumeclaim "grafana-dev" deleted
oauthclient.oauth.openshift.io "grafana-proxy-client-dev" deleted
clusterrolebinding.rbac.authorization.k8s.io "open-cluster-management:grafana-crb-dev" deleted

通过在可观察性资源中添加 Prometheus 记录规则和 警报规则，为可观察性安装创建自定义规则。

要预先计算昂贵的表达式，请使用记录规则功能。结果保存为一组新的时间序列。使用警报规则，您可以根据如何将警报发送到外部服务来指定警报条件。

注： 当您更新自定义规则时，observability-thanos-rule pod 会自动重启。

使用 Prometheus 定义自定义规则来创建警报条件，并将通知发送到外部消息服务。查看以下自定义规则示例：

将指标添加到 metrics_list.yaml 文件中，以从受管集群收集。完成以下步骤：

添加 advanced 配置部分，以根据您的需要更新每个可观察性组件的保留。

编辑 MultiClusterObservability 自定义资源，并使用以下命令添加 advanced 部分：

oc edit mco observability -o yaml

您的 YAML 文件可能类似以下内容：

spec:
  advanced:
    retentionConfig:
      blockDuration: 2h
      deleteDelay: 48h
      retentionInLocal: 24h
      retentionResolutionRaw: 30d
      retentionResolution5m: 180d
      retentionResolution1h: 0d
    receive:
      resources:
        limits:
          memory: 4096Gi
      replicas: 3

有关可添加到 高级配置 中的所有参数的描述，请参阅 Observability API 文档。

动态指标收集根据特定条件支持自动指标收集。默认情况下，单节点 OpenShift 集群不会收集 pod 和容器资源指标。单节点 OpenShift 集群达到特定级别的资源消耗后，会动态收集定义的粒度指标。当集群资源消耗在一段时间内持续低于阈值时，细致的指标集合会停止。

这些指标会根据由集合规则指定的受管集群上的条件动态收集。由于这些指标是动态收集的，所以以下 Red Hat Advanced Cluster Management Grafana 仪表板不会显示任何数据。激活集合规则并收集相应指标时，以下面板会在启动集合规则的时间里显示数据：

默认情况下，集合规则每 30 秒或以特定时间间隔在受管集群上持续评估。集合间隔和时间间隔中的最低值具有高优先权。当收集规则条件在 for 属性指定的持续时间内保留后，收集规则将启动，由规则指定的指标会在受管集群上自动收集。指标集合会在受管集群上不再存在集合规则条件后自动停止，至少有 15 分钟。

集合规则分组为名为 gather_rules 的参数部分，该部分可启用或禁用作为组。Red Hat Advanced Cluster Management 安装包含集合规则组 SNOResourceUsage，它有两个默认集合规则： HighCPUUsage 和 HighMemoryUsage。HighCPUUsage 集合规则从节点 CPU 使用率超过 70% 时开始。如果单节点 OpenShift 集群的总内存使用率超过可用节点内存的 70%，则 HighMemoryUsage 集合规则开始。目前，前面提到的阈值是固定的，且无法更改。当集合规则开始超过 for 属性指定的间隔时，系统会自动开始收集 dynamic_metrics 中指定的指标。

在以下 YAML 文件中查看 collect_rules 部分的动态指标列表：

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a {sno} cluster does not collect pod and container resource metrics. Once a {sno} cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["{sno}"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

可以在 custom-allowlist 中禁用 collect_rules.group，如下例所示。当 collect_rules.group 禁用时，指标集合会恢复到之前的行为。这些指标定期收集，指定间隔：

collect_rules:
  - group: -SNOResourceUsage

只有在启动规则时，数据才会在 Grafana 中显示。

如果工作负载增加，增加可观察 pod 的副本数。从您的 hub 集群中进入到 Red Hat OpenShift Container Platform 控制台。找到 MultiClusterObservability 自定义资源，并更新您要更改副本的组件的 replicas 参数值。更新的 YAML 可能类似以下内容：

spec:
   advanced:
      receive:
         replicas: 6

有关 mco observability 自定义资源中的参数的更多信息，请参阅 Observability API 文档。

如果要自定义 OpenShift Container Platform 路由认证，则必须在 alt_names 部分添加路由。要确保 OpenShift Container Platform 路由可以访问，请添加以下信息：alertmanager.apps.<domainname>, observatorium-api.apps.<domainname>, rbac-query-proxy.apps.<domainname>。

如需了解更多详细信息，请参阅监管文档中的 替换 alertmanager 路由的证书。

注意 ：用户负责证书轮转和更新。

完成以下步骤以自定义用于访问对象存储的证书：

配置代理设置，以允许与受管集群的通信通过 HTTP 和 HTTPS 代理服务器访问 hub 集群。通常，附加组件不需要任何特殊配置来支持 hub 集群和受管集群之间的 HTTP 和 HTTPS 代理服务器。但是，如果启用了可观察性附加组件，您必须完成代理配置。

完成以下步骤，为可观察附加组件配置代理设置：

如果开发需要改变，您可能需要为 hub 集群和受管集群配置的 observability 附加组件禁用代理设置。您可以随时禁用 observability 附加组件的代理设置。完成以下步骤：

集成外部消息传递工具，如 email、Slack 和 PagerDuty，以从 Alertmanager 接收通知。您必须覆盖 open-cluster-management-observability 命名空间中的 alertmanager-config secret 来添加集成，并为 Alertmanager 配置路由。完成以下步骤以更新自定义接收器规则：

您的更改会在修改后立即生效。有关 Alertmanager 的示例，请参阅 prometheus/alertmanager。

启用可观察性后，来自 OpenShift Container Platform 受管集群的警报会自动发送到 hub 集群。您可以使用 alertmanager-config YAML 文件，为警报配置外部通知系统。

查看 alertmanager-config YAML 文件示例：

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

如果要配置代理进行警报转发，请在 alertmanager-config YAML 文件中添加以下 global 条目：

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

metadata:
      annotations:
        mco-disable-alerting: true

添加您不想接收的警报。您可以根据警报名称、匹配标签或持续时间来静默警报。添加要静默的警报后，会创建一个 ID。您的静默警报的 ID 可能类似以下字符串 d839aca9-ed46-40be-84c4-dca8773671da。

继续读取静默警报的方法：

在全局范围内限制 Red Hat Advanced Cluster Management 警报，这不太严重。通过在 open-cluster-management-observability 命名空间中定义 alertmanager-config 中的禁止规则来限制警报。

当一组与另一组现有匹配者匹配的一组参数时，禁止规则会静默警报。为了让规则生效，目标和源警报必须具有 equal 列表中标签名称相同的标签值。您的 inhibit_rules 可能类似以下：

global:
  resolve_timeout: 1h
inhibit_rules:1
  - equal:
      - namespace
    source_match:2
      severity: critical
    target_match_re:
      severity: warning|info

当您向 observability-managed-cluster-label-allowlist ConfigMap 中添加受管集群标签时，标签将作为 Grafana 中的过滤器选项提供。为 hub 集群或与受管集群团队关联的受管集群对象添加唯一标签。例如，如果您将标签 department=finance 添加到受管集群，则 ConfigMap 会被更新，并可能类似以下更改：

data:
  managed_cluster.yaml: |
    ignore_labels:
      - clusterID
      - cluster.open-cluster-management.io/clusterset
      - feature.open-cluster-management.io/addon-application-manager
      - feature.open-cluster-management.io/addon-cert-policy-controller
      - feature.open-cluster-management.io/addon-cluster-proxy
      - feature.open-cluster-management.io/addon-config-policy-controller
      - feature.open-cluster-management.io/addon-governance-policy-framework
      - feature.open-cluster-management.io/addon-iam-policy-controller
      - feature.open-cluster-management.io/addon-observability-controller
      - feature.open-cluster-management.io/addon-search-collector
      - feature.open-cluster-management.io/addon-work-manager
      - installer.name
      - installer.namespace
      - local-cluster
      - name
    labels:
      - cloud
      - department
      - vendor

通过从 observability-managed-cluster-label-allowlist ConfigMap 中的 ignore_labels 列表中删除标签来启用已禁用的受管集群标签。

例如，启用 local-cluster 和 name 标签。您的 observability-managed-cluster-label-allowlist ConfigMap 可能类似以下内容：

data:
  managed_cluster.yaml: |
    ignore_labels:
      - clusterID
      - installer.name
      - installer.namespace
    labels:
      - cloud
      - vendor
      - local-cluster
      - name

ConfigMap 在 30 秒后重新同步，以确保更新了集群标签。更新 ConfigMap 后，检查 open-cluster-management-observability 命名空间中的 observability-rbac-query-proxy pod 日志，以验证列出标签的位置。pod 日志中可能会显示以下信息：

enabled managedcluster labels: <label>

在 Grafana 仪表板中，验证标签是否在 Label 下拉菜单中选择。

从 Label 下拉菜单过滤器中列出的受管集群标签排除受管集群标签。将标签名称添加到 ignore_labels 列表中。例如，如果您将 local-cluster 和 name 重新添加到 ignore_labels 列表中，您的 YAML 可能类似以下文件：

data:
  managed_cluster.yaml: |
    ignore_labels:
      - clusterID
      - installer.name
      - installer.namespace
      - local-cluster
      - name
    labels:
      - cloud
      - vendor

检查 open-cluster-management-observability 命名空间中的 observability-rbac-query-proxy pod 日志，以验证列出标签的位置。pod 日志中可能会显示以下信息：

disabled managedcluster label: <label>

搜索构架由以下组件组成：

在 hub 集群中默认配置搜索。当您置备或手动导入受管集群时，klusterlet-addon-search 会被启用。如果要禁用对受管集群的搜索，请参阅修改集群的 klusterlet 附加设置以了解更多信息。

您可以修改 search-v2-operator 自定义资源中的默认值。要查看自定义资源的详情，请运行以下命令：

oc get search search-v2-operator -o yaml

搜索 Operator 会监视 search-v2-operator 自定义资源，协调更改并更新活跃的 pod。查看以下配置描述：

使用 search 从集群中查询资源数据。

需要的访问权限：集群管理员

继续阅读以下主题：

oc apply -f yourconfigMapFile.yaml

apiVersion: v1
kind: ConfigMap
metadata:
 name: search-collector-config
 namespace: <namespace where search-collector add-on is deployed>
data:
 AllowedResources: |-
   - apiGroups:
       - "*"
     resources:
       - services
       - pods
   - apiGroups:
       - admission.k8s.io
       - authentication.k8s.io
     resources:
       - "*"
 DeniedResources: |-
   - apiGroups:
       - "*"
     resources:
       - secrets
   - apiGroups:
       - admission.k8s.io
     resources:
       - policies
       - iampolicies
       - certificatepolicies

oc patch configmap console-mce-config -n multicluster-engine --type merge -p '{"data":{"SEARCH_RESULT_LIMIT":"100"}}'

oc edit managedclusteraddon search-collector -n xyz

apiVersion: addon.open-cluster-management.io/v1alpha1
kind: ManagedClusterAddOn
metadata:
  annotations: addon.open-cluster-management.io/search_memory_limit: 2048Mi
  addon.open-cluster-management.io/search_memory_request: 512Mi

继续阅读以查看集成的功能描述：

如需更多信息，请参阅管理 Insights PolicyReports。

Red Hat Advanced Cluster Management for Kubernetes PolicyReports 是 insights-client 生成的违反情况。PolicyReports 用于定义和配置发送到事件管理系统的警报。出现违反情况时，来自 PolicyReport 的警报将发送到事件管理系统。