7.6. Troubleshooting Operator 的问题

流程

1. 列出 Operator 订阅：

   $ oc get subs -n <operator_namespace>

2. 使用 oc describe 命令检查 Subscription 资源：

   $ oc describe sub <subscription_name> -n <operator_namespace>

3. 在命令输出中，找到 Operator 订阅状况类型的 Conditions 部分。在以下示例中，CatalogSourcesUnhealthy 条件类型具有 false 状态，因为所有可用目录源都健康：

   输出示例

   Conditions:
      Last Transition Time:  2019-07-29T13:42:57Z
      Message:               all available catalogsources are healthy
      Reason:                AllCatalogSourcesHealthy
      Status:                False
      Type:                  CatalogSourcesUnhealthy

流程

1. 列出命名空间中的目录源。例如，您可以检查 openshift-marketplace 命名空间，该命名空间用于集群范围的目录源：

   $ oc get catalogsources -n openshift-marketplace

   输出示例

   NAME                  DISPLAY               TYPE   PUBLISHER   AGE
   certified-operators   Certified Operators   grpc   Red Hat     55m
   community-operators   Community Operators   grpc   Red Hat     55m
   example-catalog       Example Catalog       grpc   Example Org 2m25s
   redhat-marketplace    Red Hat Marketplace   grpc   Red Hat     55m
   redhat-operators      Red Hat Operators     grpc   Red Hat     55m

2. 使用 oc describe 命令获取有关目录源的详情和状态：

   $ oc describe catalogsource example-catalog -n openshift-marketplace

   输出示例

   Name:         example-catalog
   Namespace:    openshift-marketplace
   ...
   Status:
     Connection State:
       Address:              example-catalog.openshift-marketplace.svc:50051
       Last Connect:         2021-09-09T17:07:35Z
       Last Observed State:  TRANSIENT_FAILURE
     Registry Service:
       Created At:         2021-09-09T17:05:45Z
       Port:               50051
       Protocol:           grpc
       Service Name:       example-catalog
       Service Namespace:  openshift-marketplace

   在上例的输出中，最后观察到的状态是 TRANSIENT_FAILURE。此状态表示目录源建立连接时出现问题。

3. 列出创建目录源的命名空间中的 pod：

   $ oc get pods -n openshift-marketplace

   输出示例

   NAME                                    READY   STATUS             RESTARTS   AGE
   certified-operators-cv9nn               1/1     Running            0          36m
   community-operators-6v8lp               1/1     Running            0          36m
   marketplace-operator-86bfc75f9b-jkgbc   1/1     Running            0          42m
   example-catalog-bwt8z                   0/1     ImagePullBackOff   0          3m55s
   redhat-marketplace-57p8c                1/1     Running            0          36m
   redhat-operators-smxx8                  1/1     Running            0          36m

   在命名空间中创建目录源时，会在该命名空间中为目录源创建一个 pod。在前面的示例中，example-catalog-bwt8z pod 的状态是 ImagePullBackOff。此状态表示拉取目录源的索引镜像存在问题。

4. 使用 oc describe 命令检查 pod 以获取更多详细信息：

   $ oc describe pod example-catalog-bwt8z -n openshift-marketplace

   输出示例

   Name:         example-catalog-bwt8z
   Namespace:    openshift-marketplace
   Priority:     0
   Node:         ci-ln-jyryyg2-f76d1-ggdbq-worker-b-vsxjd/10.0.128.2
   ...
   Events:
     Type     Reason          Age                From               Message
     ----     ------          ----               ----               -------
     Normal   Scheduled       48s                default-scheduler  Successfully assigned openshift-marketplace/example-catalog-bwt8z to ci-ln-jyryyf2-f76d1-fgdbq-worker-b-vsxjd
     Normal   AddedInterface  47s                multus             Add eth0 [10.131.0.40/23] from openshift-sdn
     Normal   BackOff         20s (x2 over 46s)  kubelet            Back-off pulling image "quay.io/example-org/example-catalog:v1"
     Warning  Failed          20s (x2 over 46s)  kubelet            Error: ImagePullBackOff
     Normal   Pulling         8s (x3 over 47s)   kubelet            Pulling image "quay.io/example-org/example-catalog:v1"
     Warning  Failed          8s (x3 over 47s)   kubelet            Failed to pull image "quay.io/example-org/example-catalog:v1": rpc error: code = Unknown desc = reading manifest v1 in quay.io/example-org/example-catalog: unauthorized: access to the requested resource is not authorized
     Warning  Failed          8s (x3 over 47s)   kubelet            Error: ErrImagePull

   在前面的示例输出中，错误消息表示目录源的索引镜像因为授权问题而无法成功拉取。例如，索引镜像可能存储在需要登录凭证的 registry 中。

流程

1. 列出集群中运行的 Operator。输出包括 Operator 版本、可用性和运行时间信息：

   $ oc get clusteroperators

2. 列出在 Operator 命名空间中运行的 Operator pod，以及 pod 状态、重启和年龄：

   $ oc get pod -n <operator_namespace>

3. 输出详细的 Operator pod 概述：

   $ oc describe pod <operator_pod_name> -n <operator_namespace>

4. 如果 Operator 问题特定于某个节点，则在该节点上查询 Operator 容器状态。

   1. 为节点启动 debug pod：

      $ oc debug node/my-node

   2. 将 /host 设为 debug shell 中的根目录。debug pod 在 pod 中的 /host 中挂载主机的 root 文件系统。将根目录改为 /host，您可以运行主机可执行路径中包含的二进制文件：

      # chroot /host

      注意

      运行 Red Hat Enterprise Linux CoreOS(RHCOS)的 OpenShift Container Platform 4.10 集群节点不可变，它依赖于 Operator 来应用集群更改。不建议使用 SSH 访问集群节点。但是，如果 OpenShift Container Platform API 不可用，或 kubelet 在目标节点上无法正常工作, oc 操作将会受到影响。在这种情况下，可以使用 ssh core@<node>.<cluster_name>.<base_domain> 来访问节点。

   3. 列出节点容器的详细信息，包括状态和关联的 pod ID:

      # crictl ps

   4. 列出节点上特定 Operator 容器的信息。以下示例列出了 network-operator 容器的信息：

      # crictl ps --name network-operator

   5. 退出 debug shell。

流程

1. 列出在 Operator 命名空间中运行的 Operator pod，以及 pod 状态、重启和年龄：

   $ oc get pods -n <operator_namespace>

2. 检查 Operator pod 的日志：

   $ oc logs pod/<pod_name> -n <operator_namespace>

   如果 Operator pod 具有多个容器，则上述命令将会产生一个错误，其中包含每个容器的名称。从独立容器查询日志：

   $ oc logs pod/<operator_pod_name> -c <container_name> -n <operator_namespace>

3. 如果 API 无法正常工作，请使用 SSH 来查看每个 control plane 节点上的 Operator pod 和容器日志。将 <master-node>.<cluster_name>.<base_domain> 替换为适当的值。

   1. 列出每个 control plane 节点上的 pod：

      $ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl pods

   2. 对于任何未显示 Ready 状态的 Operator pod，详细检查 Pod 的状态。将 <operator_pod_id> 替换为上一命令输出中列出的 Operator pod ID:

      $ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl inspectp <operator_pod_id>

   3. 列出与 Operator pod 相关的容器：

      $ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl ps --pod=<operator_pod_id>

   4. 对于任何未显示 Ready 状态的 Operator 容器，请详细检查容器的状态。将 <container_id> 替换为上一命令输出中列出的容器 ID:

      $ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl inspect <container_id>

   5. 检查任何未显示 Ready 状态的 Operator 容器的日志。将 <container_id> 替换为上一命令输出中列出的容器 ID:

      $ ssh core@<master-node>.<cluster_name>.<base_domain> sudo crictl logs -f <container_id>

      注意

      运行 Red Hat Enterprise Linux CoreOS(RHCOS)的 OpenShift Container Platform 4.10 集群节点不可变，它依赖于 Operator 来应用集群更改。不建议使用 SSH 访问集群节点。在尝试通过 SSH 收集诊断数据前，请运行 oc adm must gather 和其他 oc 命令看它们是否可以提供足够的数据。但是，如果 OpenShift Container Platform API 不可用，或 kubelet 在目标节点上无法正常工作, oc 操作将会受到影响。在这种情况下,可以使用 ssh core@<node>.<cluster_name>.<base_domain> 来访问节点。

流程

1. 从安装 Operator 的命名空间中获取 Subscription 和 ClusterServiceVersion 对象的名称：

   $ oc get sub,csv -n <namespace>

   输出示例

   NAME                                                       PACKAGE                  SOURCE             CHANNEL
   subscription.operators.coreos.com/elasticsearch-operator   elasticsearch-operator   redhat-operators   5.0
   
   NAME                                                                         DISPLAY                            VERSION    REPLACES   PHASE
   clusterserviceversion.operators.coreos.com/elasticsearch-operator.5.0.0-65   OpenShift Elasticsearch Operator   5.0.0-65              Succeeded

2. 删除订阅：

   $ oc delete subscription <subscription_name> -n <namespace>

3. 删除集群服务版本：

   $ oc delete csv <csv_name> -n <namespace>

4. 在 openshift-marketplace 命名空间中获取所有失败的作业的名称和相关配置映射：

   $ oc get job,configmap -n openshift-marketplace

   输出示例

   NAME                                                                        COMPLETIONS   DURATION   AGE
   job.batch/1de9443b6324e629ddf31fed0a853a121275806170e34c926d69e53a7fcbccb   1/1           26s        9m30s
   
   NAME                                                                        DATA   AGE
   configmap/1de9443b6324e629ddf31fed0a853a121275806170e34c926d69e53a7fcbccb   3      9m30s

5. 删除作业：

   $ oc delete job <job_name> -n openshift-marketplace

   这样可确保尝试拉取无法访问的镜像的 Pod 不会被重新创建。

6. 删除配置映射：

   $ oc delete configmap <configmap_name> -n openshift-marketplace

7. 在 Web 控制台中使用 OperatorHub 重新安装 Operator。

流程

1. 检查是否有与 Operator 相关的命名空间是否处于"Terminating"状态：

   $ oc get namespaces

   输出示例

   operator-ns-1                                       Terminating

2. 检查卸载失败后是否存在与 Operator 相关的 CRD：

   $ oc get crds

   注意

   CRD 是全局集群定义；与 CRD 相关的实际自定义资源 (CR) 实例可能位于其他命名空间中，也可以是全局集群实例。

3. 如果有任何 CRD 由 Operator 提供或管理，并在卸载后删除 CRD：

   $ oc delete crd <crd_name>

4. 检查卸载后是否仍然存在与 Operator 相关的剩余 CR 实例，如果存在，请删除 CR：

   1. 要搜索的 CR 类型可能很难确定卸载后，需要了解 Operator 管理哪些 CRD。例如，如果您要对提供 EtcdCluster CRD 的 etcd Operator 卸载进行故障排除，您可以在命名空间中搜索剩余的 EtcdCluster CR：

      $ oc get EtcdCluster -n <namespace_name>

      另外，您还可以在所有命名空间中搜索：

      $ oc get EtcdCluster --all-namespaces

   2. 如果有任何剩余的 CR 应该被删除，请删除实例：

      $ oc delete <cr_name> <cr_instance_name> -n <namespace_name>

5. 检查命名空间删除是否已成功解决：

   $ oc get namespace <namespace_name>

   重要

   如果命名空间或其他 Operator 资源仍然没有完全卸载，请联系红帽支持。

6. 在 Web 控制台中使用 OperatorHub 重新安装 Operator。