故障排除

登录到您的集群。添加用于收集数据和目录的 Red Hat Advanced Cluster Management for Kubernetes 镜像。运行以下命令，在其中提供您要插入的镜像和输出目录：

oc adm must-gather --image=registry.redhat.io/rhacm2/acm-must-gather-rhel8:v2.6 --dest-dir=<directory>

对于通常的用例，在登录到您的 hub 集群时运行 must-gather 命令。

备注：要检查您的受管集群，找到位于 cluster-scoped-resources 目录中的 gather-managed.log 文件：

<your-directory>/cluster-scoped-resources/gather-managed.log>

检查 JOINED 和 AVAILABLE 栏没有被设置为 True 的受管集群。您可以在这些没有以 True 状态连接的集群中运行 must-gather 命令。

进入您指定的目录查看输出。输出以以下级别进行组织：

运行以下命令以提取日志，从其 mirror registry 中引用镜像：

REGISTRY=registry.example.com:5000
IMAGE=$REGISTRY/rhacm2/acm-must-gather-rhel8@sha256:ff9f37eb400dc1f7d07a9b6f2da9064992934b69847d17f59e385783c071b9d8

oc adm must-gather --image=$IMAGE --dest-dir=./data

运行以下命令来收集所有信息：

REGISTRY=<internal.repo.address:port>
IMAGE1=$REGISTRY/rhacm2/acm-must-gather-rhel8:v2.6
IMAGE2=$REGISTRY/multicluster-engine/must-gather-rhel8:v2.1

oc adm must-gather --image=$IMAGE1 --dest-dir=<directory>
oc adm must-gather --image=$IMAGE2 --dest-dir=<directory>

将以下脚本复制到一个文件中：

#!/bin/bash
ACM_NAMESPACE=<namespace>
oc delete mch --all -n $ACM_NAMESPACE
helm ls --namespace $ACM_NAMESPACE | cut -f 1 | tail -n +2 | xargs -n 1 helm delete --namespace $ACM_NAMESPACE
oc delete apiservice v1beta1.webhook.certmanager.k8s.io v1.admission.cluster.open-cluster-management.io v1.admission.work.open-cluster-management.io
oc delete clusterimageset --all
oc delete configmap -n $ACM_NAMESPACE cert-manager-controller cert-manager-cainjector-leader-election cert-manager-cainjector-leader-election-core
oc delete consolelink acm-console-link
oc delete crd klusterletaddonconfigs.agent.open-cluster-management.io placementbindings.policy.open-cluster-management.io policies.policy.open-cluster-management.io userpreferences.console.open-cluster-management.io searchservices.search.acm.com discoveredclusters.discovery.open-cluster-management.io discoveryconfigs.discovery.open-cluster-management.io
oc delete mutatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 ocm-mutating-webhook managedclustermutators.admission.cluster.open-cluster-management.io
oc delete oauthclient multicloudingress
oc delete rolebinding -n kube-system cert-manager-webhook-webhook-authentication-reader
oc delete scc kui-proxy-scc
oc delete validatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 channels.apps.open.cluster.management.webhook.validator application-webhook-validator multiclusterhub-operator-validating-webhook ocm-validating-webhook

将脚本中的 <namespace> 替换为安装 Red Hat Advanced Cluster Management 的命名空间的名称。确保指定正确的命名空间，因为命名空间会被清理和删除。

确定受管集群是否可用。您可以在 Red Hat Advanced Cluster Management 控制台的 Clusters 区域中进行检查。

如果不可用，请尝试重启受管集群。

如果受管集群状态仍处于离线状态，完成以下步骤：

在 Red Hat Advanced Cluster Management hub 集群中，运行以下命令，以确保 Red Hat Advanced Cluster Management 导入控制器正在运行。

kubectl -n multicluster-engine get pods -l app=managedcluster-import-controller-v2

您应该会看到两个正在运行的 pod。如果任何一个 pod 没有运行，请运行以下命令来查看日志以确定原因：

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1

在 Red Hat Advanced Cluster Management hub 集群中，运行以下命令以确定受管集群导入 secret 是否由 Red Hat Advanced Cluster Management 导入控制器成功生成：

kubectl -n <managed_cluster_name> get secrets <managed_cluster_name>-import

如果导入 secret 不存在，请运行以下命令来查看导入控制器的日志条目，并确定它没有被创建的原因：

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1 | grep importconfig-controller

在 Red Hat Advanced Cluster Management hub 集群中，如果您的受管集群是 local-cluster，或者由 Hive 置备，或者具有 auto-import secret，请运行以下命令来检查受管集群的导入状态。

kubectl get managedcluster <managed_cluster_name> -o=jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.message}{"\n"}{end}' | grep ManagedClusterImportSucceeded

如果 ManagedClusterImportSucceeded 条件为 true，则命令的结果表示失败的原因。

在受管集群中运行以下命令查看有问题的 Kubernetes pod 的名称：

kubectl get pod -n open-cluster-management-agent | grep klusterlet-registration-agent

在受管集群中运行以下命令查找错误的日志条目：

kubectl logs <registration_agent_pod> -n open-cluster-management-agent

把 registration_agent_pod 替换为在第 1 步中获得的 pod 名称。

通过在 hub 集群中输入以下命令来检索有问题的端口号：

oc get infrastructure cluster -o yaml | grep apiServerURL

确保来自受管集群的主机名可以被解析，并确保建立到主机和端口的出站连接。

如果无法通过受管集群建立通信，集群导入就不完整。受管集群的集群状态将会是 Pending import。

clouds.yaml 文件必须在 cacert 参数中指定 ca.crt 文件的路径。cacert 参数在生成 ignition shim 时传递给了 OpenShift 安装程序。请参见以下示例：

clouds:
  openstack:
    cacert: "/etc/pki/ca-trust/source/anchors/ca.crt"

certificatesSecretRef 参数必须引用一个其文件名与 ca.crt 文件匹配的 secret。请参见以下示例：

spec:
  baseDomain: dev09.red-chesterfield.com
  clusterName: txue-osspoke
  platform:
    openstack:
      cloud: openstack
      credentialsSecretRef:
        name: txue-osspoke-openstack-creds
      certificatesSecretRef:
        name: txue-osspoke-openstack-certificatebundle

要使用匹配文件名创建 secret，请运行以下命令：

oc create secret generic txue-osspoke-openstack-certificatebundle --from-file=ca.crt=ca.crt.pem -n $CLUSTERNAME

在 hub 集群中，运行以下命令来重新创建受管集群导入 secret：

oc delete secret -n <cluster_name> <cluster_name>-import

将 <cluster_name> 替换为您要导入的受管集群的名称。

在 hub 集群中，运行以下命令来将受管集群导入 secret 公开给 YAML 文件：

oc get secret -n <cluster_name> <cluster_name>-import -ojsonpath='{.data.import\.yaml}' | base64 --decode  > import.yaml

将 <cluster_name> 替换为您要导入的受管集群的名称。

在受管集群中，运行以下命令来应用 import.yaml 文件：

oc apply -f import.yaml

运行以下命令以生成保留在 <cluster_name> 命名空间中的资源列表：

oc api-resources --verbs=list --namespaced -o name | grep -E '^secrets|^serviceaccounts|^managedclusteraddons|^roles|^rolebindings|^manifestworks|^leases|^managedclusterinfo|^appliedmanifestworks'|^clusteroauths' | xargs -n 1 oc get --show-kind --ignore-not-found -n <cluster_name>

使用您要删除的集群的命名空间名称替换 cluster_name。

输入以下命令来编辑列表，删除列表中状态不是 Delete 的资源：

oc edit <resource_kind> <resource_name> -n <namespace>

将 resource_kind 替换为资源类型。将 resource_name 替换为资源的名称。使用资源的命名空间的名称替换 namespace。

输入以下命令来删除命名空间：

oc delete ns <cluster-name>

使用您要删除的命名空间的名称替换 cluster-name。

在 hub 集群中运行以下命令来手工删除存在的 auto-import-secret：

oc delete secret auto-import-secret -n <cluster-namespace>

将 cluster-namespace 替换为集群的命名空间。

输入以下命令在 hub 集群上编辑 ManagedCluster 规格：

oc edit managedcluster <cluster-name>

将 cluster-name 替换为您的受管集群的名称。

在 Red Hat Advanced Cluster Management 集群中，运行以下命令以应用该文件：

oc apply -f apps.open-cluster-management.io_channels_crd.yaml

在 open-cluster-management 命名空间中，编辑 advanced-cluster-management.<version, example 2.5.0> CSV，运行以下命令并编辑：

oc edit csv advanced-cluster-management.<version, example 2.5.0> -n open-cluster-management

查找以下容器：

更新会在 open-cluster-management 命名空间中重新创建以下 pod:

检查新 pod 是否使用新 docker 镜像运行。运行以下命令，然后查找新 docker 镜像：

oc get pod multicluster-operators-standalone-subscription-<random-characters> -n open-cluster-management -o yaml
oc get pod multicluster-operators-hub-subscription-<random-characters> -n open-cluster-management -o yaml

更新受管集群上的镜像。

在 hub 集群中，运行以下命令来将 multicluster_operators_subscription 键中的 image 值更新为您要使用的镜像：

oc edit configmap -n open-cluster-management mch-image-manifest-<version, example 2.5.0>
...
data:
multicluster_operators_subscription: <your image with tag>

重启现有的 multicluster-operators-hub-subscription pod：

oc delete pods -n open-cluster-management multicluster-operators-hub-subscription--<random-characters>

这会在受管集群上的 open-cluster-management-agent-addon 命名空间中重新创建 application-manager-<random-characters> pod。

当您通过控制台或 CLI 创建应用程序时，手动在频道 spec 中添加 'insecureSkipVerify: true'。请参见以下示例：

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
labels:
  name: sample-channel
  namespace: sample
spec:
  type: GitHub
  pathname: <Git URL>
  insecureSkipVerify: true

验证 Grafana 的默认配置是否有预期的超时设置：

如果您验证了 Grafana 的默认配置有预期的超时设置，您可以通过运行以下命令在 open-cluster-management 命名空间中配置 multicloud-console 路由：

oc annotate route multicloud-console -n open-cluster-management --overwrite haproxy.router.openshift.io/timeout=300s

确认受管集群列表包含 local-cluster，并且放置规则的 decisions 列表不显示 local-cluster。运行以下命令并查看结果：

% oc get managedclusters

请参阅 local-cluster 被加入的示例输出，但它不在 PlacementRule 的 YAML 中：

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
local-cluster   true                                  True     True        56d
cluster1        true                                  True     True        16h

apiVersion: apps.open-cluster-management.io/v1
kind: PlacementRule
metadata:
  name: all-ready-clusters
  namespace: default
spec:
  clusterSelector: {}
status:
  decisions:
  - clusterName: cluster1
    clusterNamespace: cluster1

在 YAML 文件中创建一个 Role，以便在 local-cluster 命名空间中授予 managedcluster 管理权限。请参见以下示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
rules:
- apiGroups:
  - cluster.open-cluster-management.io
  resources:
  - managedclusters
  verbs:
  - get

创建 RoleBinding 资源，向放置规则用户授予 local-cluster 命名空间的访问权限。请参见以下示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
subjects:
- kind: User
  name: zisis
  apiGroup: rbac.authorization.k8s.io

更新资源中的 apiVersion。例如，如果 subscription YAML 文件中显示 Deployment kind 的错误，您需要将 apiVersion 从 extensions/v1beta1 更新至 apps/v1。

请参见以下示例：

apiVersion: apps/v1
kind: Deployment

在受管集群中运行以下命令来验证可用版本：

kubectl explain <resource>

安装后，找到订阅 multicluster subscription community operator 的 operator 订阅 CR。运行以下命令：

% oc get sub -n open-cluster-management acm-operator-subscription

编辑 operator 订阅自定义资源，添加 spec.config.resources.yaml 文件，以定义资源限值。

注： 不要创建新的、订阅了同一个多集群订阅社区 operator 的订阅自定义资源。因为两个 operator 订阅都连接到一个 operator，operator Pod 会被 "killed" 并由两个 operator 订阅自定义资源重启。

请参阅以下更新的 .yaml 文件示例：

apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: multicluster-operators-subscription-alpha-community-operators-openshift-marketplace
  namespace: open-cluster-management
spec:
  channel: release-2.2
  config:
    resources:
      limits:
        cpu: 750m
        memory: 2Gi
      requests:
        cpu: 150m
        memory: 128Mi
  installPlanApproval: Automatic
  name: multicluster-operators-subscription
  source: community-operators
  sourceNamespace: openshift-marketplace

保存资源后，确保独立订阅 Pod 被重启为有 2GB 内存限制。运行以下命令：

% oc get pods -n open-cluster-management multicluster-operators-standalone-subscription-7c8cbf885f-c94kz -o yaml

apiVersion: v1
kind: Pod
...
spec:
  containers:
  - image: quay.io/open-cluster-management/multicluster-operators-subscription:community-2.2
...
    resources:
      limits:
        cpu: 750m
        memory: 2Gi
      requests:
        cpu: 150m
        memory: 128Mi
...
status:
  qosClass: Burstable

在受管集群中运行以下命令查看 Klusterlet 状态：

kubectl get klusterlets klusterlet -oyaml

在 hub 集群中，注解 klusterletaddonconfig 来暂停复制。使用以下命令：

oc annotate klusterletaddonconfig -n ${CLUSTER_NAME} ${CLUSTER_NAME} klusterletaddonconfig-pause=true --  overwrite=true

在 hub 集群中，缩减 klusterlet-addon-operator。使用以下命令：

oc edit manifestwork ${CLUSTER_NAME}-klusterlet-addon-operator -n ${CLUSTER_NAME}

找到 klusterlet-addon-operator 部署，将 replicas: 0 添加到 spec 以进行缩减。

- apiVersion: apps/v1
  kind: Deployment
  metadata:
    labels:
      app: cluster1
    name: klusterlet-addon-operator
    namespace: open-cluster-management-agent-addon
    spec:
      replicas: 0

在受管集群中，open-cluster-management-agent-addon/klusterlet-addon-operator pod 将被终止。

登录到受管集群，手动增加 appmgr pod 中的内存限值。

运行以下命令：

% oc edit deployments -n open-cluster-management-agent-addon klusterlet-addon-appmgr

例如，如果限制为 5G，将限制增加到 8G。

resources:
  limits:
    memory: 2Gi  -> 8Gi
  requests:
    memory: 128Mi -> 256Mi

注解订阅 CR，以便生成一个协调的单个订阅 operator。请参阅以下 data 规格：

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
  name: deva
  namespace: ch-obj
  labels:
    name: obj-sub
spec:
  type: ObjectBucket
  pathname: http://ec2-100-26-232-156.compute-1.amazonaws.com:9000/deva
  sourceNamespaces:
    - default
  secretRef:
    name: dev
---
apiVersion: v1
kind: Secret
metadata:
  name: dev
  namespace: ch-obj
  labels:
    name: obj-sub
data:
  AccessKeyID: YWRtaW4=
  SecretAccessKey: cGFzc3dvcmRhZG1pbg==

运行 oc annotate 进行测试：

oc annotate appsub -n <subscription-namespace> <subscription-name> test=true

验证是否安装了可观察性组件：

使用以下命令检查 hub 集群命名空间中的 pod 事件：

oc describe pod search-redisgraph-0

如果已创建了 searchcustomization CR，请检查存储类和存储大小是否有效，并检查是否创建了 PVC。运行以下命令列出 PVC：

oc get pvc  <storageclassname>-search-redisgraph-0

确保 PVC 可以绑定到 search-redisgraph-0 pod。如果问题仍没有解决，删除 StatefulSet search-redisgraph。search operator 会重新创建 StatefulSet。运行以下命令：

oc delete statefulset -n open-cluster-management search-redisgraph

删除名为 observability-controller-open-cluster-management.io-observability-signer-client-cert 的 secret，该 secret 位于 open-cluster-management-addon-observability 命名空间中。运行以下命令：

oc delete observability-controller-open-cluster-management.io-observability-signer-client-cert -n open-cluster-management-addon-observability

注：observability-controller-open-cluster-management.io-observability-signer-client-cert 会自动使用新证书重新创建。

检查以下要求，以确定 Submariner 的组件是否正确部署：

创建问题单。如果无法找出问题，请创建一个问题单，并包括以下信息：