第 1 章 带有多集群引擎 operator 的集群生命周期概述

当您从 hub 集群中删除 VolSync ManagedClusterAddOn 时，它会删除受管集群上的 VolSync operator 订阅，但不会删除集群服务版本(CSV)。要从受管集群中删除 CSV，请在您要删除 VolSync 的每个受管集群中运行以下命令：

oc delete csv -n openshift-operators volsync-product.v0.6.0

如果您安装了不同版本的 VolSync，请将 v0.6.0 替换为您的安装版本。

删除 ManagedClusterSet 后，添加到每个受管集群的标签不会被自动删除。从已删除受管集群集中包含的每个受管集群手动删除该标签。该标签类似以下示例：cluster.open-cluster-management.io/clusterset:<ManagedClusterSet Name>。

如果您针对 ClusterPool 创建 Hive ClusterClaim 并手动将 ClusterClaimspec 生命周期字段设置为无效的 golang 时间值，则产品将停止实现并协调所有 ClusterClaims，而不仅仅是不正确的声明。

如果发生这个错误，您可以在 clusterclaim-controller pod 日志中看到以下内容，它是一个带有池名称和无效生命周期的特定示例：

E0203 07:10:38.266841       1 reflector.go:138] sigs.k8s.io/controller-runtime/pkg/cache/internal/informers_map.go:224: Failed to watch *v1.ClusterClaim: failed to list *v1.ClusterClaim: v1.ClusterClaimList.Items: []v1.ClusterClaim: v1.ClusterClaim.v1.ClusterClaim.Spec: v1.ClusterClaimSpec.Lifetime: unmarshalerDecoder: time: unknown unit "w" in duration "1w", error found in #10 byte of ...|time":"1w"}},{"apiVe|..., bigger context ...|clusterPoolName":"policy-aas-hubs","lifetime":"1w"}},{"apiVersion":"hive.openshift.io/v1","kind":"Cl|...

您可以删除无效的声明。

如果删除了不正确的声明，则声明可以在不需要进一步交互的情况下再次成功进行协调。

clusterimageset 处于 fast 频道，但置备的集群处于 stable 频道。目前，产品不会将 频道 同步到置备的 OpenShift Container Platform 集群。

进入 OpenShift Container Platform 控制台中的正确频道。点 Administration > Cluster Settings > Details Channel。

恢复受管集群使用自定义 CA 证书的 hub 集群的备份后，受管集群和 hub 集群之间的连接可能会失败。这是因为在恢复的 hub 集群上没有备份 CA 证书。要恢复连接，将受管集群的命名空间中自定义 CA 证书信息复制到恢复的 hub 集群上的 <managed_cluster>-admin-kubeconfig secret。

提示： 如果您在创建备份副本前将此 CA 证书复制到 hub 集群，备份副本会包括 secret 信息。当使用备份副本来恢复时，hub 和受管集群之间的连接会自动完成。

如果在 disableHubSelfManagement 被设置为 false 时删除 local-cluster，则 MulticlusterHub operator 会重新创建 local-cluster。分离 local-cluster 后，可能不会自动重新创建 local-cluster。

使用控制台创建内部集群时，您必须为集群选择一个可用的子网。它没有标记为必填字段。

当使用 Infrastructure Operator 创建 OpenShift Container Platform 集群时，ISO 镜像的文件名可能会太长。镜像名称长会导致镜像置备和集群置备失败。要确定这是否是问题，请完成以下步骤：

如果出现问题，通常位于以下 OpenShift Container Platform 版本上，因为基础架构操作员不使用镜像服务：

为了避免这个错误，将 OpenShift Container Platform 升级到 4.8.18 或更高版本，或 4.9.7 或更高版本。

当您意外尝试以不同名称的集群形式重新导入名为 local-cluster 的集群时，local-cluster 和重新导入的集群的状态将 离线。

要从这个问题单中恢复，请完成以下步骤：

当满足以下条件时，配置为自动置备受管集群的 Automation 模板可能会失败：

如果您通过安装 klusterlet operator 导入受管集群，klusterlet Operator 的版本必须与 hub 集群的版本相同，或者 klusterlet Operator 将无法正常工作。

您无法手动删除受管集群的命名空间。受管集群命名空间会在受管集群分离后自动删除。如果在分离受管集群前手动删除受管集群命名空间，受管集群会在删除受管集群后显示持续终止状态。要删除此正在终止的受管集群，请从分离的受管集群中手动删除终结器。

hub 集群和管理集群的时间可能会不同步，在控制台中显示 unknown，当在几分钟内会变为 available。确保正确配置了 OpenShift Container Platform hub 集群时间。请参阅自定义节点。

您无法导入 IBM OpenShift Container Platform Kubernetes Service 版本 3.11 集群。支持 IBM OpenShift Kubernetes Service 的更新的版本。

当您在云供应商一端更改云供应商访问密钥时，您还需要在 multicluster engine operator 的控制台中更新此云供应商的对应凭证。当凭证在托管受管集群的云供应商过期并尝试删除受管集群时，需要此项。

搜索 hub 集群中资源的 RBAC 映射。根据 RBAC 设置，用户可能无法看到来自受管集群的节点数据。搜索的结果可能与集群的 Nodes 页面中显示的结果不同。

当销毁受管集群时，在一小时后仍然继续显示 Destroying 状态，且集群不会被销毁。要解决这个问题请完成以下步骤：

您不能使用 Red Hat Advanced Cluster Management 控制台升级 OpenShift Container Platform Dedicated 环境中的 OpenShift Container Platform 受管集群。

特定受管集群中特定资源的搜索详情页面可能会失败。在进行搜索前，您必须确保受管集群中的 work-manager 附加组件处于 Available 状态。

Red Hat OpenShift Container Platform 集群和非 OpenShift Container Platform 集群都支持 pod 日志功能，但非 OpenShift Container Platform 集群需要启用 LoadBalancer 来使用该功能。完成以下步骤以启用 LoadBalancer：

如需有关 LoadBalancer 类型的更多信息，请参阅 Kubernetes 文档中的 Service 页面。

当您在 OpenShift Container Platform 4.10.z 上使用集群范围代理配置创建托管服务集群时，nodeip-configuration.service 服务不会在 worker 节点上启动。

因为身份验证 operator 超时错误，在 Azure 上置备 OpenShift Container Platform 4.11 集群会失败。要临时解决这个问题，在 install-config.yaml 文件中使用不同的 worker 节点类型，或者将 vmNetworkingType 参数设置为 Basic。请参阅以下 install-config.yaml 示例：

compute:
- hyperthreading: Enabled
  name: 'worker'
  replicas: 3
  platform:
    azure:
      type:  Standard_D2s_v3
      osDisk:
        diskSizeGB: 128
      vmNetworkingType: 'Basic'

iPXE 是开源网络引导固件。如需了解更多详细信息，请参阅 iPXE。

引导节点时，一些 DHCP 服务器中的 URL 长度限制会关闭 InfraEnv 自定义资源定义中的 ipxeScript URL，从而导致在控制台中的以下错误消息：

no bootable devices

要临时解决这个问题，请完成以下步骤：

如果您在 Red Hat Advanced Cluster Management 2.6 中使用已删除的 BareMetalAssets API，则在升级到 Red Hat Advanced Cluster Management 2.7 后无法删除 ClusterDeployment，因为 BareMetalAssets API 绑定到 ClusterDeployment。

要临时解决这个问题，请在升级到 Red Hat Advanced Cluster Management 2.7 前运行以下命令来删除 finalizers：

oc patch clusterdeployment <clusterdeployment-name> -p '{"metadata":{"finalizers":null}}' --type=merge

当使用中央基础架构管理服务在断开连接的环境中部署集群时，集群节点可能无法开始安装。

这是因为集群使用从 OpenShift Container Platform 版本 4.12.0 到 4.12.2 提供的 Red Hat Enterprise Linux CoreOS live ISO 镜像创建的发现 ISO 镜像。该镜像包含一个限制性 /etc/containers/policy.json 文件，该文件需要来自 registry.redhat.io 和 registry.access.redhat.com 的镜像的签名。在断开连接的环境中，mirror 的镜像可能没有 mirror 的签名，这会导致发现集群节点的镜像拉取失败。Agent 镜像无法与集群节点连接，这会导致与辅助服务的通信失败。

要临时解决这个问题，将 ignition 覆盖应用到集群，将 /etc/containers/policy.json 文件设置为 unrestrictive。ignition 覆盖可以在 InfraEnv 自定义资源定义中设置。以下示例显示了带有覆盖的 InfraEnv 自定义资源定义：

apiVersion: agent-install.openshift.io/v1beta1
kind: InfraEnv
metadata:
  name: cluster
  namespace: cluster
spec:
  ignitionConfigOverride: '{"ignition":{"version":"3.2.0"},"storage":{"files":[{"path":"/etc/containers/policy.json","mode":420,"overwrite":true,"contents":{"source":"data:text/plain;charset=utf-8;base64,ewogICAgImRlZmF1bHQiOiBbCiAgICAgICAgewogICAgICAgICAgICAidHlwZSI6ICJpbnNlY3VyZUFjY2VwdEFueXRoaW5nIgogICAgICAgIH0KICAgIF0sCiAgICAidHJhbnNwb3J0cyI6CiAgICAgICAgewogICAgICAgICAgICAiZG9ja2VyLWRhZW1vbiI6CiAgICAgICAgICAgICAgICB7CiAgICAgICAgICAgICAgICAgICAgIiI6IFt7InR5cGUiOiJpbnNlY3VyZUFjY2VwdEFueXRoaW5nIn1dCiAgICAgICAgICAgICAgICB9CiAgICAgICAgfQp9"}}]}}'

以下示例显示了创建的未限制文件：

{
    "default": [
        {
            "type": "insecureAcceptAnything"
        }
    ],
    "transports": {
        "docker-daemon": {
        "": [
        {
            "type": "insecureAcceptAnything"
        }
        ]
    }
    }
}

更改此设置后，集群可以安装。

您可以在安装受管集群时使用 ClusterDeployment 资源指定自定义 ingress 域，但更改仅在使用 SyncSet 资源安装后才会生效。因此，clusterdeployment.yaml 文件中的 spec 字段显示您指定的自定义入口域，但 status 仍然会显示默认域。

如果注解和 ManagedCluster 名称不匹配，控制台会将集群显示为 Pending import。集群不能被 multicluster engine operator 使用。如果没有注解，而 ManagedCluster 名称与 HostedCluster 资源的 Infra-ID 值不匹配时会出现相同的问题。"

当使用控制台向现有托管集群添加新节点池时，同一版本的 OpenShift Container Platform 可能会在选项列表中出现多次。您可以在列表中为您想要的版本选择任何实例。

使用 ManagedClusterSet API 时不支持 selectorType: LaberSelector 设置。支持 selectorType: ExclusiveClusterSetLabel 设置。