故障排除

登录到您的集群。添加用于收集数据和目录的 Red Hat Advanced Cluster Management for Kubernetes 镜像。运行以下命令，在其中提供您要插入的镜像和输出目录：

oc adm must-gather --image=registry.redhat.io/rhacm2/acm-must-gather-rhel8:v2.9 --dest-dir=<directory>

对于通常的用例，在登录到您的 hub 集群时运行 must-gather 命令。

注： 如果要检查您的受管集群，找到位于 cluster-scoped-resources 目录中的 gather-managed.log 文件：

<your-directory>/cluster-scoped-resources/gather-managed.log>

检查 JOINED 和 AVAILABLE 栏没有被设置为 True 的受管集群。您可以在这些没有以 True 状态连接的集群中运行 must-gather 命令。

进入您指定的目录查看输出。输出以以下级别进行组织：

运行以下命令收集所有信息，将 < 2.x> 替换为 &lt; acm-must-gather& gt; 支持的版本，如 2.9，以及 < multicluster-engine/must-gather>，如 2.4。

REGISTRY=<internal.repo.address:port>
IMAGE1=$REGISTRY/rhacm2/acm-must-gather-rhel8:v<2.x>

oc adm must-gather --image=$IMAGE1 --dest-dir=<directory>

将以下脚本复制到一个文件中：

#!/bin/bash
ACM_NAMESPACE=<namespace>
oc delete mch --all -n $ACM_NAMESPACE
oc delete apiservice v1.admission.cluster.open-cluster-management.io v1.admission.work.open-cluster-management.io
oc delete clusterimageset --all
oc delete clusterrole multiclusterengines.multicluster.openshift.io-v1-admin multiclusterengines.multicluster.openshift.io-v1-crdview multiclusterengines.multicluster.openshift.io-v1-edit multiclusterengines.multicluster.openshift.io-v1-view open-cluster-management:addons:application-manager open-cluster-management:admin-aggregate open-cluster-management:cert-policy-controller-hub open-cluster-management:cluster-manager-admin-aggregate open-cluster-management:config-policy-controller-hub open-cluster-management:edit-aggregate open-cluster-management:iam-policy-controller-hub open-cluster-management:policy-framework-hub open-cluster-management:view-aggregate
oc delete crd klusterletaddonconfigs.agent.open-cluster-management.io placementbindings.policy.open-cluster-management.io policies.policy.open-cluster-management.io userpreferences.console.open-cluster-management.io discoveredclusters.discovery.open-cluster-management.io discoveryconfigs.discovery.open-cluster-management.io
oc delete mutatingwebhookconfiguration ocm-mutating-webhook managedclustermutators.admission.cluster.open-cluster-management.io multicluster-observability-operator
oc delete validatingwebhookconfiguration channels.apps.open.cluster.management.webhook.validator application-webhook-validator multiclusterhub-operator-validating-webhook ocm-validating-webhook multicluster-observability-operator multiclusterengines.multicluster.openshift.io

将脚本中的 <namespace> 替换为安装 Red Hat Advanced Cluster Management 的命名空间的名称。确保指定正确的命名空间，因为命名空间会被清理和删除。

将 cluster-manager 恢复到以前的版本。

运行以下命令，将 ManagedClusterSets 和 ManagedClusterSetBindings 自定义资源定义恢复到之前的版本：

oc annotate crds managedclustersets.cluster.open-cluster-management.io operator.open-cluster-management.io/version-
oc annotate crds  managedclustersetbindings.cluster.open-cluster-management.io operator.open-cluster-management.io/version-

重启 cluster-manager 并等待重新创建自定义资源定义。运行以下命令：

oc -n multicluster-engine delete pods -l app=cluster-manager
oc wait crds managedclustersets.cluster.open-cluster-management.io --for=jsonpath="{.metadata.annotations['operator\.open-cluster-management\.io/version']}"="2.3.3" --timeout=120s
oc wait crds managedclustersetbindings.cluster.open-cluster-management.io --for=jsonpath="{.metadata.annotations['operator\.open-cluster-management\.io/version']}"="2.3.3" --timeout=120s

使用以下命令启动存储版本迁移：

oc patch StorageVersionMigration managedclustersets.cluster.open-cluster-management.io --type='json' -p='[{"op":"replace", "path":"/spec/resource/version", "value":"v1beta1"}]'
oc patch StorageVersionMigration managedclustersets.cluster.open-cluster-management.io --type='json' --subresource status -p='[{"op":"remove", "path":"/status/conditions"}]'
oc patch StorageVersionMigration managedclustersetbindings.cluster.open-cluster-management.io --type='json' -p='[{"op":"replace", "path":"/spec/resource/version", "value":"v1beta1"}]'
oc patch StorageVersionMigration managedclustersetbindings.cluster.open-cluster-management.io --type='json' --subresource status -p='[{"op":"remove", "path":"/status/conditions"}]'

运行以下命令等待迁移完成：

oc wait storageversionmigration managedclustersets.cluster.open-cluster-management.io --for=condition=Succeeded --timeout=120s
oc wait storageversionmigration managedclustersetbindings.cluster.open-cluster-management.io --for=condition=Succeeded --timeout=120s

将 cluster-manager 恢复到 Red Hat Advanced Cluster Management 2.9。它可能需要几分钟时间。运行以下命令:

oc annotate mce multiclusterengine pause-
oc patch clustermanager cluster-manager --type='json' -p='[{"op": "replace", "path": "/spec/registrationImagePullSpec", "value": "'$ORIGIN_REGISTRATION_IMAGE'"}]'

确定受管集群是否可用。您可以在 Red Hat Advanced Cluster Management 控制台的 Clusters 区域中进行检查。

如果不可用，请尝试重启受管集群。

如果受管集群状态仍处于离线状态，完成以下步骤：

在 Red Hat Advanced Cluster Management hub 集群中，运行以下命令，以确保 Red Hat Advanced Cluster Management 导入控制器正在运行。

kubectl -n multicluster-engine get pods -l app=managedcluster-import-controller-v2

您应该会看到两个正在运行的 pod。如果任何一个 pod 没有运行，请运行以下命令来查看日志以确定原因：

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1

在 Red Hat Advanced Cluster Management hub 集群中，运行以下命令以确定受管集群导入 secret 是否由 Red Hat Advanced Cluster Management 导入控制器成功生成：

kubectl -n <managed_cluster_name> get secrets <managed_cluster_name>-import

如果导入 secret 不存在，请运行以下命令来查看导入控制器的日志条目，并确定它没有被创建的原因：

kubectl -n multicluster-engine logs -l app=managedcluster-import-controller-v2 --tail=-1 | grep importconfig-controller

在 Red Hat Advanced Cluster Management hub 集群中，如果您的受管集群是 local-cluster，或者由 Hive 置备，或者具有 auto-import secret，请运行以下命令来检查受管集群的导入状态。

kubectl get managedcluster <managed_cluster_name> -o=jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.message}{"\n"}{end}' | grep ManagedClusterImportSucceeded

如果 ManagedClusterImportSucceeded 条件为 true，则命令的结果表示失败的原因。

在受管集群中运行以下命令查看有问题的 Kubernetes pod 的名称：

kubectl get pod -n open-cluster-management-agent | grep klusterlet-registration-agent

在受管集群中运行以下命令查找错误的日志条目：

kubectl logs <registration_agent_pod> -n open-cluster-management-agent

把 registration_agent_pod 替换为在第 1 步中获得的 pod 名称。

通过在 hub 集群中输入以下命令来检索有问题的端口号：

oc get infrastructure cluster -o yaml | grep apiServerURL

确保来自受管集群的主机名可以被解析，并确保建立到主机和端口的出站连接。

如果无法通过受管集群建立通信，集群导入就不完整。受管集群的集群状态将会是 Pending import。

clouds.yaml 文件必须在 cacert 参数中指定 ca.crt 文件的路径。cacert 参数在生成 ignition shim 时传递给了 OpenShift 安装程序。请参见以下示例：

clouds:
  openstack:
    cacert: "/etc/pki/ca-trust/source/anchors/ca.crt"

certificatesSecretRef 参数必须引用一个其文件名与 ca.crt 文件匹配的 secret。请参见以下示例：

spec:
  baseDomain: dev09.red-chesterfield.com
  clusterName: txue-osspoke
  platform:
    openstack:
      cloud: openstack
      credentialsSecretRef:
        name: txue-osspoke-openstack-creds
      certificatesSecretRef:
        name: txue-osspoke-openstack-certificatebundle

要使用匹配文件名创建 secret，请运行以下命令：

oc create secret generic txue-osspoke-openstack-certificatebundle --from-file=ca.crt=ca.crt.pem -n $CLUSTERNAME

在 hub 集群中，运行以下命令来重新创建受管集群导入 secret：

oc delete secret -n <cluster_name> <cluster_name>-import

将 <cluster_name> 替换为您要导入的受管集群的名称。

在 hub 集群中，运行以下命令来将受管集群导入 secret 公开给 YAML 文件：

oc get secret -n <cluster_name> <cluster_name>-import -ojsonpath='{.data.import\.yaml}' | base64 --decode  > import.yaml

将 <cluster_name> 替换为您要导入的受管集群的名称。

在受管集群中，运行以下命令应用 import.yaml 文件：

oc apply -f import.yaml

运行以下命令以生成保留在 <cluster_name> 命名空间中的资源列表：

oc api-resources --verbs=list --namespaced -o name | grep -E '^secrets|^serviceaccounts|^managedclusteraddons|^roles|^rolebindings|^manifestworks|^leases|^managedclusterinfo|^appliedmanifestworks'|^clusteroauths' | xargs -n 1 oc get --show-kind --ignore-not-found -n <cluster_name>

使用您要删除的集群的命名空间名称替换 cluster_name。

输入以下命令来编辑列表，删除列表中状态不是 Delete 的资源：

oc edit <resource_kind> <resource_name> -n <namespace>

将 resource_kind 替换为资源类型。将 resource_name 替换为资源的名称。使用资源的命名空间的名称替换 namespace。

输入以下命令来删除命名空间：

oc delete ns <cluster-name>

使用您要删除的命名空间的名称替换 cluster-name。

在 hub 集群中运行以下命令来手工删除存在的 auto-import-secret：

oc delete secret auto-import-secret -n <cluster-namespace>

将 cluster-namespace 替换为集群的命名空间。

将参数 force-create 更改为 true。请参见以下 YAML 示例：

apiVersion: snapshot.storage.k8s.io/v1
deletionPolicy: Delete
driver: cinder.csi.openstack.org
kind: VolumeSnapshotClass
metadata:
  annotations:
    snapshot.storage.kubernetes.io/is-default-class: 'true'
  name: standard-csi
parameters:
  force-create: 'true'

登录到您的全局 hub 集群。对于典型的用例，在登录到全局 hub 集群时运行以下命令：

oc adm must-gather --image=quay.io/stolostron/must-gather:SNAPSHOTNAME

如果要检查您的受管 hub 集群，请在这些集群中运行 must-gather 命令。

可选： 如果要将结果保存到 SOMENAME 目录中，您可以运行以下命令而不是上一步中的结果：

oc adm must-gather --image=quay.io/stolostron/must-gather:SNAPSHOTNAME --dest-dir=<SOMENAME> ; tar -cvzf <SOMENAME>.tgz <SOMENAME>

您可以为目录指定不同的名称。

注意： 命令包括创建 gzipped tarball 文件所需的添加。

确保目标已分区。

SELECT relname, relkind FROM pg_class WHERE relname = 'local_policies';

表输出类似以下示例：

如果 relkind 是 p，则当前表将被分区。如果是，您可以跳过剩余的步骤并升级其他表。

将常规表转换为分区表。

-- start a transaction
BEGIN;
-- Rename the legacy TABLE_NAME
ALTER TABLE event.local_policies RENAME TO local_policies_old;
-- Partition tables: https://github.com/stolostron/multicluster-global-hub/blob/main/operator/pkg/controllers/hubofhubs/database/2.tables.sql#L283-L318
CREATE TABLE IF NOT EXISTS event.local_policies (
    event_name character varying(63) NOT NULL,
    policy_id uuid NOT NULL,
    cluster_id uuid NOT NULL,
    leaf_hub_name character varying(63) NOT NULL,
    message text,
    reason text,
    count integer NOT NULL DEFAULT 0,
    source jsonb,
    created_at timestamp without time zone DEFAULT now() NOT NULL,
    compliance local_status.compliance_type NOT NULL,
    -- Rename the constraint to avoid conflicts
    CONSTRAINT local_policies_unique_partition_constraint UNIQUE (event_name, count, created_at)
) PARTITION BY RANGE (created_at);
-- Create partitions, load the old data to the previous partition table
CREATE TABLE IF NOT EXISTS event.local_policies_2023_08 PARTITION OF event.local_policies FOR VALUES FROM ('2023-08-01') TO ('2023-09-01');
CREATE TABLE IF NOT EXISTS event.local_policies_2023_07 PARTITION OF event.local_policies FOR VALUES FROM ('2000-01-01') TO ('2023-08-01');

-- Move the records from regular table to partition table
INSERT INTO event.local_policies SELECT * FROM event.local_polcies_old;
DROP TABLE IF EXISTS event.local_policies_old;
-- commit the transaction
COMMIT;

您可以根据表名称和当前日期替换以下值：

输入以下命令编辑 hub 集群上的 ManagedCluster 规格，但将 cluster-name 替换为受管集群的名称：

oc edit managedcluster <cluster-name>

在 ManagedCluster 规格中增加 leaseDurationSeconds 的值，如下例所示：

apiVersion: cluster.open-cluster-management.io/v1
kind: ManagedCluster
metadata:
  name: <cluster-name>
spec:
  hubAcceptsClient: true
  leaseDurationSeconds: 60

在 Red Hat Advanced Cluster Management 集群中，运行以下命令以应用该文件：

oc apply -f apps.open-cluster-management.io_channels_crd.yaml

在 open-cluster-management 命名空间中，编辑 advanced-cluster-management.<version, example 2.5.0> CSV，运行以下命令并编辑：

oc edit csv advanced-cluster-management.<version, example 2.5.0> -n open-cluster-management

查找以下容器：

更新会在 open-cluster-management 命名空间中重新创建以下 pod:

检查新 pod 是否使用新 docker 镜像运行。运行以下命令，然后查找新 docker 镜像：

oc get pod multicluster-operators-standalone-subscription-<random-characters> -n open-cluster-management -o yaml
oc get pod multicluster-operators-hub-subscription-<random-characters> -n open-cluster-management -o yaml

更新受管集群上的镜像。

在 hub 集群中，运行以下命令来将 multicluster_operators_subscription 键中的 image 值更新为您要使用的镜像：

oc edit configmap -n open-cluster-management mch-image-manifest-<version, example 2.5.0>
...
data:
multicluster_operators_subscription: <your image with tag>

重启现有的 multicluster-operators-hub-subscription pod：

oc delete pods -n open-cluster-management multicluster-operators-hub-subscription--<random-characters>

这会在受管集群上的 open-cluster-management-agent-addon 命名空间中重新创建 application-manager-<random-characters> pod。

当您通过控制台或 CLI 创建应用程序时，手动在频道 spec 中添加 'insecureSkipVerify: true'。请参见以下示例：

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
labels:
  name: sample-channel
  namespace: sample
spec:
  type: GitHub
  pathname: <Git URL>
  insecureSkipVerify: true

验证 Grafana 的默认配置是否有预期的超时设置：

如果您验证了 Grafana 的默认配置有预期的超时设置，您可以运行以下命令来在 open-cluster-management-observability 命名空间中配置 Grafana：

oc annotate route grafana -n open-cluster-management-observability --overwrite haproxy.router.openshift.io/timeout=300s

确认受管集群列表包含 local-cluster，并且放置规则的 decisions 列表不显示 local-cluster。运行以下命令并查看结果：

% oc get managedclusters

请参阅 local-cluster 被加入的示例输出，但它不在 PlacementRule 的 YAML 中：

NAME            HUB ACCEPTED   MANAGED CLUSTER URLS   JOINED   AVAILABLE   AGE
local-cluster   true                                  True     True        56d
cluster1        true                                  True     True        16h

apiVersion: apps.open-cluster-management.io/v1
kind: PlacementRule
metadata:
  name: all-ready-clusters
  namespace: default
spec:
  clusterSelector: {}
status:
  decisions:
  - clusterName: cluster1
    clusterNamespace: cluster1

在 YAML 文件中创建一个 Role，以便在 local-cluster 命名空间中授予 managedcluster 管理权限。请参见以下示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
rules:
- apiGroups:
  - cluster.open-cluster-management.io
  resources:
  - managedclusters
  verbs:
  - get

创建 RoleBinding 资源，向放置规则用户授予 local-cluster 命名空间的访问权限。请参见以下示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: managedcluster-admin-user-zisis
  namespace: local-cluster
subjects:
- kind: User
  name: zisis
  apiGroup: rbac.authorization.k8s.io

更新资源中的 apiVersion。例如，如果 subscription YAML 文件中显示 Deployment kind 的错误，您需要将 apiVersion 从 extensions/v1beta1 更新至 apps/v1。

请参见以下示例：

apiVersion: apps/v1
kind: Deployment

在受管集群中运行以下命令来验证可用版本：

kubectl explain <resource>

在受管集群中运行以下命令查看 Klusterlet 状态：

kubectl get klusterlets klusterlet -oyaml

注解订阅 CR，以便生成一个协调的单个订阅 operator。请参阅以下 data 规格：

apiVersion: apps.open-cluster-management.io/v1
kind: Channel
metadata:
  name: deva
  namespace: ch-obj
  labels:
    name: obj-sub
spec:
  type: ObjectBucket
  pathname: http://ec2-100-26-232-156.compute-1.amazonaws.com:9000/deva
  sourceNamespaces:
    - default
  secretRef:
    name: dev
---
apiVersion: v1
kind: Secret
metadata:
  name: dev
  namespace: ch-obj
  labels:
    name: obj-sub
data:
  AccessKeyID: YWRtaW4=
  SecretAccessKey: cGFzc3dvcmRhZG1pbg==

运行 oc annotate 进行测试：

oc annotate appsub -n <subscription-namespace> <subscription-name> test=true

验证是否安装了可观察性组件：

删除名为 observability-controller-open-cluster-management.io-observability-signer-client-cert 的 secret，该 secret 位于 open-cluster-management-addon-observability 命名空间中。运行以下命令:

oc delete secret observability-controller-open-cluster-management.io-observability-signer-client-cert -n open-cluster-management-addon-observability

注： observability-controller-open-cluster-management.io-observability-signer-client-cert 会自动使用新证书重新创建。

运行以下命令来切换到 open-cluster-management 项目：

oc project open-cluster-management

增加 search-postgres pod 内存。以下命令将内存增加到 16Gi ：

oc patch search -n open-cluster-management search-v2-operator --type json -p '[{"op": "add", "path": "/spec/deployments/database/resources", "value": {"limits": {"memory": "16Gi"}, "requests": {"memory": "32Mi", "cpu": "25m"}}}]'

运行以下命令以防止搜索 Operator 覆盖您的更改：

oc annotate search search-v2-operator search-pause=true

运行以下命令以更新 search-postgres YAML 文件中的资源：

oc edit cm search-postgres -n open-cluster-management

有关增加资源的信息，请参见以下示例：

  postgresql.conf: |-
    work_mem = '128MB' # Higher values allocate more memory
    max_parallel_workers_per_gather = '0' # Disables parallel queries
    shared_buffers = '1GB' # Higher values allocate more memory

在退出前，请确保保存您的更改。

运行以下命令以重启 postgres 和 api pod。

oc delete pod search-postgres-xyz search-api-xzy

要验证您的更改，请打开 search-postgres YAML 文件，并确认您对 postgresql.conf: 所做的更改是否存在：

oc get cm search-postgres -n open-cluster-management -o yaml

通过在对象存储配置中添加 thanos bucket verify 命令来解决块错误。使用以下命令在 observability-thanos-compact pod 中设置配置：

oc rsh observability-thanos-compact-0
[..]
thanos tools bucket verify -r --objstore.config="$OBJSTORE_CONFIG" --objstore-backup.config="$OBJSTORE_CONFIG" --id=01HKZYEZ2DVDQXF1STVEXAMPLE

如果上一个命令不起作用，则必须标记块以进行删除，因为它可能会损坏。运行以下命令：

thanos tools bucket mark --id "01HKZYEZ2DVDQXF1STVEXAMPLE" --objstore.config="$OBJSTORE_CONFIG" --marker=deletion-mark.json --details=DELETE

如果您阻止删除，请运行以下命令清理标记的块：

thanos tools bucket cleanup --objstore.config="$OBJSTORE_CONFIG"

检查以下要求，以确定 Submariner 的组件是否正确部署：