Observability（可观察性）

使用以下命令，为可观察服务创建一个命名空间：

oc create namespace open-cluster-management-observability

生成 pull-secret。如果在 open-cluster-management 命名空间中安装了 Red Hat Advanced Cluster Management，请运行以下命令：

DOCKER_CONFIG_JSON=`oc extract secret/multiclusterhub-operator-pull-secret -n open-cluster-management --to=-`

如果命名空间中没有定义 multiclusterhub-operator-pull-secret，将 openshift-config 命名空间中的 pull-secret 复制到 open-cluster-management-observability 命名空间中。运行以下命令：

DOCKER_CONFIG_JSON=`oc extract secret/pull-secret -n openshift-config --to=-`

然后，在 open-cluster-management-observability 命名空间中创建 pull-secret，运行以下命令：

oc create secret generic multiclusterhub-operator-pull-secret \
    -n open-cluster-management-observability \
    --from-literal=.dockerconfigjson="$DOCKER_CONFIG_JSON" \
    --type=kubernetes.io/dockerconfigjson

为您的云供应商的对象存储创建 secret。您的 secret 必须包含存储解决方案的凭证。例如，运行以下命令：

oc create -f thanos-object-storage.yaml -n open-cluster-management-observability

查看以下受支持对象存储的 secret 示例：

您可以使用以下命令为云供应商检索 S3 access key 和 secret 密钥：

YOUR_CLOUD_PROVIDER_ACCESS_KEY=$(oc -n open-cluster-management-observability get secret <object-storage-secret> -o jsonpath="{.data.thanos\.yaml}" | base64 --decode | grep access_key | awk '{print $2}')

echo $ACCESS_KEY

YOUR_CLOUD_PROVIDER_SECRET_KEY=$(oc -n open-cluster-management-observability get secret <object-storage-secret> -o jsonpath="{.data.thanos\.yaml}" | base64 --decode | grep secret_key | awk '{print $2}')

echo $SECRET_KEY

创建镜像 pull-secret：

在 open-cluster-management-observability 项目中创建名为 thanos-object-storage 的对象存储 secret, 。在本例中，为可观察性服务创建一个 Amazon S3 对象存储 secret：

创建 MultiClusterObservability CR：

在 open-cluster-management-observability 命名空间中创建一个名为 thanos-ruler-custom-rules 的 ConfigMap。键必须被命名为 custom_rules.yaml，如下例所示。您可以在配置中创建多个规则：

如果要验证警报规则是否正常工作，请完成以下步骤：

从 alertmanager-config secret 中提取数据。运行以下命令：

oc -n open-cluster-management-observability get secret alertmanager-config --template='{{ index .data "alertmanager.yaml" }}' |base64 -d > alertmanager.yaml

运行以下命令，编辑并保存 alertmanager.yaml 文件配置：

oc -n open-cluster-management-observability create secret generic alertmanager-config --from-file=alertmanager.yaml --dry-run -o=yaml |  oc -n open-cluster-management-observability replace secret --filename=-

更新的 secret 可能与以下类似：

global
  smtp_smarthost: 'localhost:25'
  smtp_from: 'alertmanager@example.org'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'
templates:
- '/etc/alertmanager/template/*.tmpl'
route:
  group_by: ['alertname', 'cluster', 'service']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 3h
  receiver: team-X-mails
  routes:
  - match_re:
      service: ^(foo1|foo2|baz)$
    receiver: team-X-mails

验证 mco observability 已启用。在 status.conditions.message 中检查以下消息：Observability components are deployed and running运行以下命令：

oc get mco observability -o yaml

创建名为 observability-metrics-custom-allowlist.yaml 的文件，其中包含以下内容：将自定义指标的名称和记录规则添加到 metrics_list.yaml 参数。例如，从受管集群收集 node_memory_MemTotal_bytes 和apiserver_request_duration_seconds:histogram_quantile_90。ConfigMap 的 YAML 可能类似以下内容：

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
    rules:
    - record: apiserver_request_duration_seconds:histogram_quantile_90
      expr: histogram_quantile(0.90,sum(rate(apiserver_request_duration_seconds_bucket{job=\"apiserver\",
        verb!=\"WATCH\"}[5m])) by (verb,le))

运行以下命令，在 open-cluster-management-observability 命名空间内创建 observability-metrics-custom-allowlist ConfigMap：

oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml

验证 mco observability 已启用。在 status.conditions.message 中检查以下消息：Observability components are deployed and running运行以下命令：

oc get mco observability -o yaml

在 observability-metrics-custom-allowlist.yaml 文件中，将默认的指标名称添加到 metrics_list.yaml 参数，并在指标名称前带有一个连字符 -。例如，将 -cluster_infrastructure_provider 添加到指标列表中。ConfigMap 的 YAML 可能类似以下内容：

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
      - -cluster_infrastructure_provider

运行以下命令，在 open-cluster-management-observability 命名空间内创建 observability-metrics-custom-allowlist ConfigMap：

oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml

编辑 mco observability。运行以下命令：

oc edit mco observability -o yaml

将 advanced 配置添加到 mco observability YAML。您的 YAML 文件可能类似以下内容：

spec:
  advanced:
    retentionConfig:
      blockDuration: 2h
      deleteDelay: 48h
      retentionInLocal: 24h
      retentionResolutionRaw: 30d
      retentionResolution5m: 180d
      retentionResolution1h: 0d
    receive:
      resources:
        limits:
          memory: 4096Gi
      replicas: 3

编辑 YAML 选项卡中的 YAML 文件。更新的 YAML 可能类似以下内容：

spec:
   advanced:
      receive:
         replicas: 6

这意味着环境中有六个接收器。

在 OpenShift Container Platform 菜单导航中选择 Secrets。选择 alertmanager-config secret 以查看 YAML 文件。

注 ：如果您更改 alertmanager-config secret，评估间隔大约为一分钟。

查看 alertmanager-config YAML 文件示例：

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

如果要为警报转发配置代理，请将以下 全局 条目添加到 alertmanager-config YAML 文件中：

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

要查询来自单一节点集群的指标，请在查询表达式中添加以下标签： {clusterType="SNO"}。例如，对于来自单一节点集群中的 cluster_infrastructure_provider，使用以下查询表达式：cluster_infrastructure_provider{clusterType="SNO"}

注 ： 如果在单一节点受管集群中启用了可观察性，则不要设置 ObservabilitySpec.resources.CPU.limits 参数。当您设置 CPU 限制时，observability pod 会计算为受管集群的容量。如需更多信息，请参阅管理工作负载分区。

运行 setup-grafana-dev.sh 来设置 Grafana 实例。运行脚本时，会创建以下资源： secret/grafana-dev-config、deployment.apps/grafana-dev、service/grafana-dev、ingress.extensions/grafana-dev、persistentvolumeclaim/grafana-dev：

./setup-grafana-dev.sh --deploy
secret/grafana-dev-config created
deployment.apps/grafana-dev created
service/grafana-dev created
ingress.extensions/grafana-dev created
persistentvolumeclaim/grafana-dev created

使用 switch-to-grafana-admin.sh 脚本将用户角色切换到 Grafana 管理员。

按回车后，Policyreport 部分中会显示 insight 策略报告的列表。

注 ： PolicyReport 名称与集群名称匹配。

如果禁用了搜索服务，且您要搜索 insight 信息，在 hub 集群中运行以下命令：

oc get policyreport --all-namespaces

如果有多个要查看的漏洞，请点击 Back 查看潜在问题列表。

注 ： 在解决了这个问题后，Red Hat Advanced Cluster Management 每 30 分钟会接收 Red Hat Insights，Red Hat Insights 每两小时更新一次。