故障排除

登录到您的集群。添加用于收集数据和目录的 Red Hat Advanced Cluster Management for Kubernetes 镜像。运行以下命令，在其中提供您要插入的镜像和输出目录：

oc adm must-gather --image=registry.redhat.io/rhacm2/acm-must-gather-rhel8:v2.7 --dest-dir=<directory>

对于通常的用例，在登录到您的 hub 集群时运行 must-gather 命令。

注： 如果要检查您的受管集群，找到位于 cluster-scoped-resources 目录中的 gather-managed.log 文件：

<your-directory>/cluster-scoped-resources/gather-managed.log>

检查 JOINED 和 AVAILABLE 栏没有被设置为 True 的受管集群。您可以在这些没有以 True 状态连接的集群中运行 must-gather 命令。

进入您指定的目录查看输出。输出以以下级别进行组织：

运行以下命令以提取日志，从其 mirror registry 中引用镜像：

REGISTRY=registry.example.com:5000
IMAGE=$REGISTRY/rhacm2/acm-must-gather-rhel8@sha256:ff9f37eb400dc1f7d07a9b6f2da9064992934b69847d17f59e385783c071b9d8

oc adm must-gather --image=$IMAGE --dest-dir=./data

运行以下命令来收集所有信息：

REGISTRY=<internal.repo.address:port>
IMAGE1=$REGISTRY/rhacm2/acm-must-gather-rhel8:v2.7
IMAGE2=$REGISTRY/multicluster-engine/must-gather-rhel8:v2.2

oc adm must-gather --image=$IMAGE1 --dest-dir=<directory>
oc adm must-gather --image=$IMAGE2 --dest-dir=<directory>

将以下脚本复制到一个文件中：

#!/bin/bash
ACM_NAMESPACE=<namespace>
oc delete mch --all -n $ACM_NAMESPACE
helm ls --namespace $ACM_NAMESPACE | cut -f 1 | tail -n +2 | xargs -n 1 helm delete --namespace $ACM_NAMESPACE
oc delete apiservice v1beta1.webhook.certmanager.k8s.io v1.admission.cluster.open-cluster-management.io v1.admission.work.open-cluster-management.io
oc delete clusterimageset --all
oc delete configmap -n $ACM_NAMESPACE cert-manager-controller cert-manager-cainjector-leader-election cert-manager-cainjector-leader-election-core
oc delete consolelink acm-console-link
oc delete crd klusterletaddonconfigs.agent.open-cluster-management.io placementbindings.policy.open-cluster-management.io policies.policy.open-cluster-management.io userpreferences.console.open-cluster-management.io searchservices.search.acm.com discoveredclusters.discovery.open-cluster-management.io discoveryconfigs.discovery.open-cluster-management.io
oc delete mutatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 ocm-mutating-webhook managedclustermutators.admission.cluster.open-cluster-management.io
oc delete oauthclient multicloudingress
oc delete rolebinding -n kube-system cert-manager-webhook-webhook-authentication-reader
oc delete scc kui-proxy-scc
oc delete validatingwebhookconfiguration cert-manager-webhook cert-manager-webhook-v1alpha1 channels.apps.open.cluster.management.webhook.validator application-webhook-validator multiclusterhub-operator-validating-webhook ocm-validating-webhook

将脚本中的 <namespace> 替换为安装 Red Hat Advanced Cluster Management 的命名空间的名称。确保指定正确的命名空间，因为命名空间会被清理和删除。

确定受管集群是否可用。您可以在 Red Hat Advanced Cluster Management 控制台的 Clusters 区域中进行检查。

如果不可用，请尝试重启受管集群。

如果受管集群状态仍处于离线状态，完成以下步骤：

在 Red Hat Advanced Cluster Management hub 集群中，运行以下命令，以确保 Red Hat Advanced Cluster Management 导入控制器正在运行。

kubectl -n multicluster-engine get pods -l app=managedcluster-import-controller-v2

您应该会看到两个正在运行的 pod。如果任何一个 pod 没有运行，请运行以下命令来查看日志以确定原因：

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1

在 Red Hat Advanced Cluster Management hub 集群中，运行以下命令以确定受管集群导入 secret 是否由 Red Hat Advanced Cluster Management 导入控制器成功生成：

kubectl -n <managed_cluster_name> get secrets <managed_cluster_name>-import

如果导入 secret 不存在，请运行以下命令来查看导入控制器的日志条目，并确定它没有被创建的原因：

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1 | grep importconfig-controller

在 Red Hat Advanced Cluster Management hub 集群中，如果您的受管集群是 local-cluster，或者由 Hive 置备，或者具有 auto-import secret，请运行以下命令来检查受管集群的导入状态。

kubectl get managedcluster <managed_cluster_name> -o=jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.message}{"\n"}{end}' | grep ManagedClusterImportSucceeded

如果 ManagedClusterImportSucceeded 条件为 true，则命令的结果表示失败的原因。

在受管集群中运行以下命令查看有问题的 Kubernetes pod 的名称：

kubectl get pod -n open-cluster-management-agent | grep klusterlet-registration-agent

在受管集群中运行以下命令查找错误的日志条目：

kubectl logs <registration_agent_pod> -n open-cluster-management-agent

把 registration_agent_pod 替换为在第 1 步中获得的 pod 名称。

通过在 hub 集群中输入以下命令来检索有问题的端口号：

oc get infrastructure cluster -o yaml | grep apiServerURL

确保来自受管集群的主机名可以被解析，并确保建立到主机和端口的出站连接。

如果无法通过受管集群建立通信，集群导入就不完整。受管集群的集群状态将会是 Pending import。

clouds.yaml 文件必须在 cacert 参数中指定 ca.crt 文件的路径。cacert 参数在生成 ignition shim 时传递给了 OpenShift 安装程序。请参见以下示例：

clouds:
  openstack:
    cacert: "/etc/pki/ca-trust/source/anchors/ca.crt"

certificatesSecretRef 参数必须引用一个其文件名与 ca.crt 文件匹配的 secret。请参见以下示例：

spec:
  baseDomain: dev09.red-chesterfield.com
  clusterName: txue-osspoke
  platform:
    openstack:
      cloud: openstack
      credentialsSecretRef:
        name: txue-osspoke-openstack-creds
      certificatesSecretRef:
        name: txue-osspoke-openstack-certificatebundle

要使用匹配文件名创建 secret，请运行以下命令：

oc create secret generic txue-osspoke-openstack-certificatebundle --from-file=ca.crt=ca.crt.pem -n $CLUSTERNAME

在 hub 集群中，运行以下命令来重新创建受管集群导入 secret：

oc delete secret -n <cluster_name> <cluster_name>-import

将 <cluster_name> 替换为您要导入的受管集群的名称。

在 hub 集群中，运行以下命令来将受管集群导入 secret 公开给 YAML 文件：

oc get secret -n <cluster_name> <cluster_name>-import -ojsonpath='{.data.import\.yaml}' | base64 --decode  > import.yaml

将 <cluster_name> 替换为您要导入的受管集群的名称。

在受管集群中，运行以下命令应用 import.yaml 文件：

oc apply -f import.yaml

运行以下命令以生成保留在 <cluster_name> 命名空间中的资源列表：

oc api-resources --verbs=list --namespaced -o name | grep -E '^secrets|^serviceaccounts|^managedclusteraddons|^roles|^rolebindings|^manifestworks|^leases|^managedclusterinfo|^appliedmanifestworks'|^clusteroauths' | xargs -n 1 oc get --show-kind --ignore-not-found -n <cluster_name>

使用您要删除的集群的命名空间名称替换 cluster_name。

输入以下命令来编辑列表，删除列表中状态不是 Delete 的资源：

oc edit <resource_kind> <resource_name> -n <namespace>

将 resource_kind 替换为资源类型。将 resource_name 替换为资源的名称。使用资源的命名空间的名称替换 namespace。

输入以下命令来删除命名空间：

oc delete ns <cluster-name>

使用您要删除的命名空间的名称替换 cluster-name。

在 hub 集群中运行以下命令来手工删除存在的 auto-import-secret：

oc delete secret auto-import-secret -n <cluster-namespace>

将 cluster-namespace 替换为集群的命名空间。

输入以下命令编辑 hub 集群上的 ManagedCluster 规格，但将 cluster-name 替换为受管集群的名称：

oc edit managedcluster <cluster-name>

在 ManagedCluster 规格中增加 leaseDurationSeconds 的值，如下例所示：

apiVersion: cluster.open-cluster-management.io/v1
kind: ManagedCluster
metadata:
  name: <cluster-name>
spec:
  hubAcceptsClient: true
  leaseDurationSeconds: 60

在 Red Hat Advanced Cluster Management 集群中，运行以下命令以应用该文件：

oc apply -f apps.open-cluster-management.io_channels_crd.yaml

在 open-cluster-management 命名空间中，编辑 advanced-cluster-management.<version, example 2.5.0> CSV，运行以下命令并编辑：

oc edit csv advanced-cluster-management.<version, example 2.5.0> -n open-cluster-management

查找以下容器：

更新会在 open-cluster-management 命名空间中重新创建以下 pod:

检查新 pod 是否使用新 docker 镜像运行。运行以下命令，然后查找新 docker 镜像：

oc get pod multicluster-operators-standalone-subscription-<random-characters> -n open-cluster-management -o yaml
oc get pod multicluster-operators-hub-subscription-<random-characters> -n open-cluster-management -o yaml

更新受管集群上的镜像。

在 hub 集群中，运行以下命令来将 multicluster_operators_subscription 键中的 image 值更新为您要使用的镜像：

oc edit configmap -n open-cluster-management mch-image-manifest-<version, example 2.5.0>
...
data:
multicluster_operators_subscription: <your image with tag>

重启现有的 multicluster-operators-hub-subscription pod：

oc delete pods -n open-cluster-management multicluster-operators-hub-subscription--<random-characters>

这会在受管集群上的 open-cluster-management-agent-addon 命名空间中重新创建 application-manager-<random-characters> pod。

当您通过控制台或 CLI 创建应用程序时，手动在频道 spec 中添加 'insecureSkipVerify: true'。请参见以下示例：

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
labels:
  name: sample-channel
  namespace: sample
spec:
  type: GitHub
  pathname: <Git URL>
  insecureSkipVerify: true

验证 Grafana 的默认配置是否有预期的超时设置：

如果您验证了 Grafana 的默认配置有预期的超时设置，您可以运行以下命令来在 open-cluster-management-observability 命名空间中配置 Grafana：

oc annotate route grafana -n open-cluster-management-observability --overwrite haproxy.router.openshift.io/timeout=300s

确认受管集群列表包含 local-cluster，并且放置规则的 decisions 列表不显示 local-cluster。运行以下命令并查看结果：

% oc get managedclusters

请参阅 local-cluster 被加入的示例输出，但它不在 PlacementRule 的 YAML 中：

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
local-cluster   true                                  True     True        56d
cluster1        true                                  True     True        16h

apiVersion: apps.open-cluster-management.io/v1
kind: PlacementRule
metadata:
  name: all-ready-clusters
  namespace: default
spec:
  clusterSelector: {}
status:
  decisions:
  - clusterName: cluster1
    clusterNamespace: cluster1

在 YAML 文件中创建一个 Role，以便在 local-cluster 命名空间中授予 managedcluster 管理权限。请参见以下示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
rules:
- apiGroups:
  - cluster.open-cluster-management.io
  resources:
  - managedclusters
  verbs:
  - get

创建 RoleBinding 资源，向放置规则用户授予 local-cluster 命名空间的访问权限。请参见以下示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
subjects:
- kind: User
  name: zisis
  apiGroup: rbac.authorization.k8s.io

更新资源中的 apiVersion。例如，如果 subscription YAML 文件中显示 Deployment kind 的错误，您需要将 apiVersion 从 extensions/v1beta1 更新至 apps/v1。

请参见以下示例：

apiVersion: apps/v1
kind: Deployment

在受管集群中运行以下命令来验证可用版本：

kubectl explain <resource>

在受管集群中运行以下命令查看 Klusterlet 状态：

kubectl get klusterlets klusterlet -oyaml

在 hub 集群中，注解 klusterletaddonconfig 来暂停复制。使用以下命令：

oc annotate klusterletaddonconfig -n ${CLUSTER_NAME} ${CLUSTER_NAME} klusterletaddonconfig-pause=true --  overwrite=true

在 hub 集群中，缩减 klusterlet-addon-operator。使用以下命令：

oc edit manifestwork ${CLUSTER_NAME}-klusterlet-addon-operator -n ${CLUSTER_NAME}

找到 klusterlet-addon-operator 部署，将 replicas: 0 添加到 spec 以进行缩减。

- apiVersion: apps/v1
  kind: Deployment
  metadata:
    labels:
      app: cluster1
    name: klusterlet-addon-operator
    namespace: open-cluster-management-agent-addon
    spec:
      replicas: 0

在受管集群中，open-cluster-management-agent-addon/klusterlet-addon-operator pod 将被终止。

登录到受管集群，手动增加 appmgr pod 中的内存限值。

运行以下命令:

% oc edit deployments -n open-cluster-management-agent-addon klusterlet-addon-appmgr

例如，如果限制为 5G，将限制增加到 8G。

resources:
  limits:
    memory: 2Gi  -> 8Gi
  requests:
    memory: 128Mi -> 256Mi

注解订阅 CR，以便生成一个协调的单个订阅 operator。请参阅以下 data 规格：

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
  name: deva
  namespace: ch-obj
  labels:
    name: obj-sub
spec:
  type: ObjectBucket
  pathname: http://ec2-100-26-232-156.compute-1.amazonaws.com:9000/deva
  sourceNamespaces:
    - default
  secretRef:
    name: dev
---
apiVersion: v1
kind: Secret
metadata:
  name: dev
  namespace: ch-obj
  labels:
    name: obj-sub
data:
  AccessKeyID: YWRtaW4=
  SecretAccessKey: cGFzc3dvcmRhZG1pbg==

运行 oc annotate 进行测试：

oc annotate appsub -n <subscription-namespace> <subscription-name> test=true

验证是否安装了可观察性组件：

删除名为 observability-controller-open-cluster-management.io-observability-signer-client-cert 的 secret，该 secret 位于 open-cluster-management-addon-observability 命名空间中。运行以下命令:

oc delete secret observability-controller-open-cluster-management.io-observability-signer-client-cert -n open-cluster-management-addon-observability

注： observability-controller-open-cluster-management.io-observability-signer-client-cert 会自动使用新证书重新创建。

运行以下命令来切换到 open-cluster-management 项目：

oc project open-cluster-management

运行以下命令以防止搜索 Operator 覆盖您的更改：

oc annotate search search-v2-operator search-pause=true

运行以下命令以更新 search-postgres YAML 文件中的资源：

oc edit cm search-postgres -n open-cluster-management

有关增加资源的信息，请参见以下示例：

  postgresql.conf: |-
    work_mem = '128MB' # Higher values allocate more memory
    max_parallel_workers_per_gather = '0' # Disables parallel queries
    shared_buffers = '1GB' # Higher values allocate more memory

在退出前，请确保保存您的更改。

运行以下命令以重启 postgres 和 api pod。

oc delete pod search-postgres-xyz search-api-xzy

要验证您的更改，请打开 search-postgres YAML 文件，并确认您对 postgresql.conf: 所做的更改是否存在：

oc get cm search-postgres -n open-cluster-management -o yaml

检查以下要求，以确定 Submariner 的组件是否正确部署：

创建问题单。如果无法找出问题，请创建一个问题单，并包括以下信息：

创建 metrics Service 资源。为 hub 集群添加 metrics Service 资源。您的 YAML 可能类似以下文件：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: hub-subscription-metrics
  name: hub-subscription-metrics
  namespace: open-cluster-management
spec:
  ports:
    - name: metrics
      port: 8381
      protocol: TCP
      targetPort: 8381
  selector:
    app: multicluster-operators-hub-subscription
  sessionAffinity: None
  type: ClusterIP

运行以下命令以应用该文件：

oc apply -f

验证是否已创建 metrics 服务。运行以下命令:

oc get svc -n open-cluster-management hub-subscription-metrics

为受管集群创建并应用 metrics Service 资源。为受管集群添加 metrics Service 资源。您的 YAML 可能类似以下文件：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: mc-subscription-metrics
  name: mc-subscription-metrics
  namespace: open-cluster-management-agent-addon
spec:
  ports:
  - name: metrics
    port: 8388
    protocol: TCP
    targetPort: 8388
  selector:
    component: application-manager
  sessionAffinity: None
  type: ClusterIP

运行以下命令以启动新的 YAML 文件：

oc apply -f

验证是否已创建 metrics 服务。运行以下命令:

oc get svc -n open-cluster-management mc-subscription-metrics

为独立集群创建 metrics Service 资源。为受管集群添加 metrics Service 资源。您的 YAML 可能类似以下文件：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: standalone-subscription-metrics
  name: standalone-subscription-metrics
  namespace: open-cluster-management
spec:
  ports:
    - name: metrics
      port: 8389
      protocol: TCP
      targetPort: 8389
  selector:
    app: multicluster-operators-standalone-subscription
  sessionAffinity: None
  type: ClusterIP

运行以下命令以应用您的文件：

oc apply -f

在为独立集群添加新指标服务后，验证是否已创建 metrics 服务。运行以下命令:

oc get svc -n open-cluster-management standalone-subscription-metrics