Observability（可观察性）

流程

1. 在 OpenShift Container Platform web 控制台中，进入 菜单 → Observability → Logging 来查看 Kibana 仪表板。

2. 创建索引模式。

   1. 要显示所有索引，请将索引模式定义为 *，然后点 Next step。
   2. 为 Time Filter field name 选择 @timestamp。
   3. 单击 Create index pattern。
3. 在 Kibana 仪表板的导航面板中，点 Discover 选项卡。

4. 创建过滤器以检索 Argo CD 的日志。以下步骤创建一个过滤器，用于检索 openshift-gitops 命名空间中的所有 pod 的日志：

   1. 点 Add a filter +。
   2. 选择 kubernetes.namespace_name 字段。
   3. 选择 is operator。
   4. 选择 openshift-gitops 值。
   5. 点击 Save。
5. 可选：添加额外的过滤器来缩小搜索范围。例如，要检索特定 pod 的日志，您可以使用 kubernetes.pod_name 作为字段创建另一个过滤器。
6. 在 Kibana 仪表板中查看过滤的 Argo CD 日志。

流程

1. 在 web 控制台的 Administrator 视角中，进入 Observe → Dashboards。
2. 在 Dashboard 下拉列表中，选择所需的 GitOps 仪表板： GitOps (Overview), GitOps / Components,GitOps / gRPC Services 或 GitOps / Rollouts。
3. 可选：从 Namespace、Cluster 和 Interval 下拉列表中选择特定的命名空间、集群和间隔。
4. 在 GitOps 仪表板中查看所需的 GitOps 指标。

流程

1. 在 web 控制台的 Developer 视角中，选择安装 Argo CD 应用程序的命名空间，并导航到 Observe → Metrics。
2. 从 Select query 下拉列表中，选择 Custom query。

3. 要检查 Argo CD 应用程序的健康状态，请在 Expression 字段中输入类似以下示例的 Prometheus Query Language (PromQL)查询：

   Example

   sum(argocd_app_info{dest_namespace=~"<your_defined_namespace>",health_status!=""}) by (health_status) 1

   1

   将 & lt;your_defined_namespace > 变量替换为定义的命名空间的实际名称，如 openshift-gitops。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 在 Web 控制台的 Administrator 视角中，点 Operators → Installed Operators。
3. 从 Project 列表中，选择安装用户定义的 Argo CD 实例的项目。
4. 从安装的 Operator 列表中选择 Red Hat OpenShift GitOps，再进入 Argo CD 选项卡。
5. 点用户定义的 Argo CD 实例。

6. 配置用户定义的 Argo CD 实例的 ArgoCD CR，以禁用自动提取指标：

   1. 点 YAML 选项卡，并编辑 ArgoCD CR 的 YAML 文件。

   2. 在 ArgoCD CR 中，将 spec.monitoring.disableMetrics 字段设置为 true ：

      ArgoCD CR 示例

      apiVersion: argoproj.io/v1beta1
      kind: ArgoCD
      metadata:
       name: example  1
       namespace: spring-petclinic 2
      spec:
       monitoring:
         disableMetrics: true

      1

      用户定义的 Argo CD 实例的名称。

      2

      要运行用户定义的 Argo CD 实例的命名空间。

      提示

      另外，使用以下命令在 Red Hat OpenShift GitOps argocd CLI 中禁用自动提取指标：

      示例命令

      $ oc patch argocd example -n spring-petclinic --type='json' -p='[{"op": "replace", "path": "/spec/monitoring/disableMetrics", "value": true}]'

      输出示例

      argocd.argoproj.io/example patched

7. 验证 Operator 是否将 openshift.io/cluster-monitoring=false 标签添加到定义的命名空间中：

   1. 进入 Administration → Namespaces。

      Namespaces 页面显示创建的命名空间。

   2. 点您定义的命名空间，进入 YAML 选项卡，并验证 Operator 的 metadata.labels 部分下是否添加了 openshift.io/cluster-monitoring=false 标签。

8. 验证 Operator 是否从定义的命名空间中删除以下资源：

   1. 前往 Home → Search。

   2. 从 Resources 列表中，选择 PrometheusRule,Role,RoleBinding, 和 ServiceMonitor。

      Search 页面显示所选资源。

   3. 在 Search 页面中，验证 PrometheusRule 部分下的 gitops-operator-argocd-alerts prometheus 规则已被删除。
   4. 在 Roles 部分的 Filter 列表中，选择 Namespace Roles。
   5. 验证 &lt ;argocd_namespace>-read 角色是否已删除。
   6. 在 RoleBindings 部分下，从 Filter 列表中选择 Namespace RoleBindings。
   7. 验证 &lt ;argocd_namespace>-prometheus-k8s-read-binding 角色绑定已被删除。
   8. 验证在 ServiceMonitors 部分下，< argocd_name> , & lt; argocd_name>-repo-server, 和 <argocd_name>-server 服务监控器已被删除。

流程

1. 在 Web 控制台的 Administrator 视角中，进入 Observe → Metrics。

2. 在 Expression 字段中输入指标。您可以从以下指标中选择：

   • active_argocd_instances_total
   • active_argocd_instances_by_phase
   • active_argocd_instance_reconciliation_count
   • controller_runtime_reconcile_time_seconds_per_instance_bucket
   • controller_runtime_reconcile_time_seconds_per_instance_count
   • controller_runtime_reconcile_time_seconds_per_instance_sum

3. （可选）：根据其属性过滤指标。例如，根据 Available 阶段过滤 active_argocd_instances_by_phase 指标：

   Example

   active_argocd_instances_by_phase{phase="Available"}

4. （可选）：点击 Add query 来输入多个查询。
5. 点 Run query 来启用并观察 GitOps Operator 指标。

流程

1. 点 Developer 视角下的 Environments。Environments 页面中显示应用程序列表及其 环境状态。
2. 将鼠标悬停在 Environment status 列下的图标上，以查看所有环境的同步状态。
3. 点击列表中的应用程序名称查看特定应用程序的详情。

4. 在 Application environments 页面中，如果 Overview 选项卡下的 Resources 部分显示图标，将鼠标悬停在图标上来获取状态详情。

   • 一个分离开的心型图标表示资源问题已降低应用程序的性能。
   • 一个黄色的符号表示资源问题中带有应用程序的健康状态的延迟数据。
5. 要查看应用程序的部署历史记录，请点 Deployment History 选项卡。该页面包括 Last deployment、Description （提交消息）、Environment、Author 和 Revision 等详情。

流程

1. 在给定的 Argo CD 实例中，将 .spec.monitoring.enabled 字段值设置为 true ：

   Argo CD 自定义资源示例

   apiVersion: argoproj.io/v1beta1
   kind: ArgoCD
   metadata:
     name: example-argocd
     labels:
       example: repo
   spec:
    # ...
     monitoring:
       enabled: true
    # ...

2. 验证 Operator 创建的 PrometheusRule 中是否包含警报规则：

   警报规则示例

   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     name: argocd-component-status-alert
     namespace: openshift-gitops
   spec:
     groups:
       - name: ArgoCDComponentStatus
         rules:
          # ...
           - alert: ApplicationSetControllerNotReady 1
             annotations:
               message: >-
                 applicationSet controller deployment for Argo CD instance in
                 namespace "default" is not running
             expr: >-
               kube_statefulset_status_replicas{statefulset="openshift-gitops-application-controller statefulset",
               namespace="openshift-gitops"} !=
               kube_statefulset_status_replicas_ready{statefulset="openshift-gitops-application-controller statefulset",
               namespace="openshift-gitops"}
             for: 1m
             labels:
               severity: critical

   1

   PrometheusRule 中的警报规则，用于检查 Argo CD 实例创建的工作负载是否如预期运行。