托管 control plane

流程

1. 运行以下命令来创建 ConfigMap 资源：

   $ oc create -f <your-config-map-file.yaml>

   将 <your-config-map-file.yaml> 替换为包含 hcp-sizing-baseline 配置映射的 YAML 文件的名称。

2. 在 local-cluster 命名空间中创建 hcp-sizing-baseline 配置映射，以指定您要覆盖的测量。您的配置映射可能类似以下 YAML 文件：

   kind: ConfigMap
   apiVersion: v1
   metadata:
     name: hcp-sizing-baseline
     namespace: local-cluster
   data:
     incrementalCPUUsagePer1KQPS: "9.0"
     memoryRequestPerHCP: "18"
     minimumQPSPerHCP: "50.0"

3. 运行以下命令，删除 hypershift-addon-agent 部署以重启 hypershift-addon-agent pod：

   $ oc delete deployment hypershift-addon-agent -n open-cluster-management-agent-addon

1. 运行以下命令登录到您的 hub 集群：

   $ oc login

2. 运行以下命令来编辑 hypershift-addon-deploy-config 附加组件部署配置规格：

   $ oc edit addondeploymentconfig hypershift-addon-deploy-config -n multicluster-engine

3. 在规格中添加 disableMetrics=true 自定义变量，如下例所示：

   apiVersion: addon.open-cluster-management.io/v1alpha1
   kind: AddOnDeploymentConfig
   metadata:
     name: hypershift-addon-deploy-config
     namespace: multicluster-engine
   spec:
     customizedVariables:
     - name: hcMaxNumber
       value: "80"
     - name: hcThresholdNumber
       value: "60"
     - name: disableMetrics 1
       value: "true"

   1

   disableMetrics=true 自定义变量为新的和现有的 hypershift-addon 受管集群附加组件禁用指标服务监控。

4. 运行以下命令，将更改应用到配置规格：

   $ oc apply -f <filename>.yaml

流程

1. 运行以下命令，获取用于下载 hcp 二进制文件的 URL：

   $ oc get ConsoleCLIDownload hcp-cli-download -o json | jq -r ".spec"

2. 运行以下命令来下载 hcp 二进制文件：

   $ wget <hcp_cli_download_url> 1

   1

   将 hcp_cli_download_url 替换为您在上一步中获取的 URL。

3. 运行以下命令来解包下载的存档：

   $ tar xvzf hcp.tar.gz

4. 运行以下命令使 hcp 二进制文件可执行：

   $ chmod +x hcp

5. 运行以下命令，将 hcp 二进制文件移到路径中的目录中：

   $ sudo mv hcp /usr/local/bin/.

流程

1. 在 OpenShift Container Platform web 控制台中点 Help 图标 → Command Line Tools。
2. 为您的平台点 Download hcp CLI。

3. 运行以下命令来解包下载的存档：

   $ tar xvzf hcp.tar.gz

4. 运行以下命令使二进制文件可执行：

   $ chmod +x hcp

5. 运行以下命令，将二进制文件移到路径中的目录中：

   $ sudo mv hcp /usr/local/bin/.

流程

1. 访问内容网关并下载 hcp 二进制文件。

2. 运行以下命令来解包下载的存档：

   $ tar xvzf hcp.tar.gz

3. 运行以下命令使 hcp 二进制文件可执行：

   $ chmod +x hcp

4. 运行以下命令，将 hcp 二进制文件移到路径中的目录中：

   $ sudo mv hcp /usr/local/bin/.

流程

1. 运行以下命令来启用该功能：

   $ oc patch mce multiclusterengine --type=merge -p '{"spec":{"overrides":{"components":[{"name":"hypershift","enabled": true}]}}}' 1

   1

   默认 MultiClusterEngine 资源实例名称是 multiclusterengine，但您可以通过运行以下命令来从集群中获取 MultiClusterEngine：$ oc get mce。

2. 运行以下命令，以验证 MultiClusterEngine 自定义资源中是否启用了 hypershift 和 hypershift-local-hosting 功能：

   $ oc get mce multiclusterengine -o yaml 1

   1

   默认 MultiClusterEngine 资源实例名称是 multiclusterengine，但您可以通过运行以下命令来从集群中获取 MultiClusterEngine：$ oc get mce。

   输出示例

   apiVersion: multicluster.openshift.io/v1
   kind: MultiClusterEngine
   metadata:
     name: multiclusterengine
   spec:
     overrides:
       components:
       - name: hypershift
         enabled: true
       - name: hypershift-local-hosting
         enabled: true

流程

1. 运行以下命令，创建一个可对集群托管 OIDC 发现文档的公共访问权限的 S3 存储桶：

   $ aws s3api create-bucket --bucket <bucket_name> \1
     --create-bucket-configuration LocationConstraint=<region> \2
     --region <region> 3

   1

   将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

   2 3

   要在 us-east-1 区域以外的区域中创建存储桶，请包含这一行，并将 <region> 替换为您要使用的区域。要在 us-east-1 区域中创建存储桶，请省略这一行。

   $ aws s3api delete-public-access-block --bucket <bucket_name> 1

   1

   将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

   $ echo '{
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": "*",
               "Action": "s3:GetObject",
               "Resource": "arn:aws:s3:::<bucket_name>/*" 1
           }
       ]
   }' | envsubst > policy.json

   1

   将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

   $ aws s3api put-bucket-policy --bucket <bucket_name> --policy file://policy.json 1

   1

   将 <bucket_name> 替换为您要创建的 S3 存储桶的名称。

   注意

   如果使用 Mac 计算机，则必须导出存储桶名称才能使策略正常工作。

2. 为 HyperShift Operator 创建一个名为 hypershift-operator-oidc-provider-s3-credentials 的 OIDC S3 secret。
3. 将 secret 保存到 local-cluster 命名空间中。

4. 请查看下表以验证 secret 是否包含以下字段：

   表 4.1. AWS secret 的必填字段

   字段名称	描述
   bucket	包含具有公共访问权限的 S3 存储桶，用于保存托管集群的 OIDC 发现文档。
   credentials	对包含可以访问存储桶的 default 配置集凭证的文件的引用。默认情况下，HyperShift 仅使用 default 配置集来运行 bucket。
   region	指定 S3 存储桶的区域。

5. 要创建 AWS secret，请运行以下命令：

   $ oc create secret generic <secret_name> --from-file=credentials=<path>/.aws/credentials --from-literal=bucket=<s3_bucket> --from-literal=region=<region> -n local-cluster

   注意

   secret 的灾难恢复备份不会被自动启用。要添加启用 hypershift-operator-oidc-provider-s3-credentials secret 的标签来备份灾难恢复，请运行以下命令：

   $ oc label secret hypershift-operator-oidc-provider-s3-credentials -n local-cluster cluster.open-cluster-management.io/backup=true

流程

1. 运行以下命令，获取用户的 Amazon 资源名称(ARN)：

   $ aws sts get-caller-identity --query "Arn" --output text

   输出示例

   arn:aws:iam::1234567890:user/<aws_username>

   使用此输出作为下一步中 <arn> 的值。

2. 创建一个包含角色信任关系配置的 JSON 文件。请参见以下示例：

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "<arn>" 1
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

   1

   将 <arn> 替换为您在上一步中记下的用户的 ARN。

3. 运行以下命令来创建 Identity and Access Management (IAM) 角色：

   $ aws iam create-role \
   --role-name <name> \1
   --assume-role-policy-document file://<file_name>.json \2
   --query "Role.Arn"

   1

   将 <name> 替换为角色名称，如 hcp-cli-role。

   2

   将 <file_name> 替换为您在上一步中创建的 JSON 文件的名称。

   输出示例

   arn:aws:iam::820196288204:role/myrole

4. 创建名为 policy.json 的 JSON 文件，其中包含您的角色的以下权限策略：

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "EC2",
               "Effect": "Allow",
               "Action": [
                   "ec2:CreateDhcpOptions",
                   "ec2:DeleteSubnet",
                   "ec2:ReplaceRouteTableAssociation",
                   "ec2:DescribeAddresses",
                   "ec2:DescribeInstances",
                   "ec2:DeleteVpcEndpoints",
                   "ec2:CreateNatGateway",
                   "ec2:CreateVpc",
                   "ec2:DescribeDhcpOptions",
                   "ec2:AttachInternetGateway",
                   "ec2:DeleteVpcEndpointServiceConfigurations",
                   "ec2:DeleteRouteTable",
                   "ec2:AssociateRouteTable",
                   "ec2:DescribeInternetGateways",
                   "ec2:DescribeAvailabilityZones",
                   "ec2:CreateRoute",
                   "ec2:CreateInternetGateway",
                   "ec2:RevokeSecurityGroupEgress",
                   "ec2:ModifyVpcAttribute",
                   "ec2:DeleteInternetGateway",
                   "ec2:DescribeVpcEndpointConnections",
                   "ec2:RejectVpcEndpointConnections",
                   "ec2:DescribeRouteTables",
                   "ec2:ReleaseAddress",
                   "ec2:AssociateDhcpOptions",
                   "ec2:TerminateInstances",
                   "ec2:CreateTags",
                   "ec2:DeleteRoute",
                   "ec2:CreateRouteTable",
                   "ec2:DetachInternetGateway",
                   "ec2:DescribeVpcEndpointServiceConfigurations",
                   "ec2:DescribeNatGateways",
                   "ec2:DisassociateRouteTable",
                   "ec2:AllocateAddress",
                   "ec2:DescribeSecurityGroups",
                   "ec2:RevokeSecurityGroupIngress",
                   "ec2:CreateVpcEndpoint",
                   "ec2:DescribeVpcs",
                   "ec2:DeleteSecurityGroup",
                   "ec2:DeleteDhcpOptions",
                   "ec2:DeleteNatGateway",
                   "ec2:DescribeVpcEndpoints",
                   "ec2:DeleteVpc",
                   "ec2:CreateSubnet",
                   "ec2:DescribeSubnets"
               ],
               "Resource": "*"
           },
           {
               "Sid": "ELB",
               "Effect": "Allow",
               "Action": [
                   "elasticloadbalancing:DeleteLoadBalancer",
                   "elasticloadbalancing:DescribeLoadBalancers",
                   "elasticloadbalancing:DescribeTargetGroups",
                   "elasticloadbalancing:DeleteTargetGroup"
               ],
               "Resource": "*"
           },
           {
               "Sid": "IAMPassRole",
               "Effect": "Allow",
               "Action": "iam:PassRole",
               "Resource": "arn:*:iam::*:role/*-worker-role",
               "Condition": {
                   "ForAnyValue:StringEqualsIfExists": {
                       "iam:PassedToService": "ec2.amazonaws.com"
                   }
               }
           },
           {
               "Sid": "IAM",
               "Effect": "Allow",
               "Action": [
                   "iam:CreateInstanceProfile",
                   "iam:DeleteInstanceProfile",
                   "iam:GetRole",
                   "iam:UpdateAssumeRolePolicy",
                   "iam:GetInstanceProfile",
                   "iam:TagRole",
                   "iam:RemoveRoleFromInstanceProfile",
                   "iam:CreateRole",
                   "iam:DeleteRole",
                   "iam:PutRolePolicy",
                   "iam:AddRoleToInstanceProfile",
                   "iam:CreateOpenIDConnectProvider",
                   "iam:ListOpenIDConnectProviders",
                   "iam:DeleteRolePolicy",
                   "iam:UpdateRole",
                   "iam:DeleteOpenIDConnectProvider",
                   "iam:GetRolePolicy"
               ],
               "Resource": "*"
           },
           {
               "Sid": "Route53",
               "Effect": "Allow",
               "Action": [
                   "route53:ListHostedZonesByVPC",
                   "route53:CreateHostedZone",
                   "route53:ListHostedZones",
                   "route53:ChangeResourceRecordSets",
                   "route53:ListResourceRecordSets",
                   "route53:DeleteHostedZone",
                   "route53:AssociateVPCWithHostedZone",
                   "route53:ListHostedZonesByName"
               ],
               "Resource": "*"
           },
           {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:ListAllMyBuckets",
                   "s3:ListBucket",
                   "s3:DeleteObject",
                   "s3:DeleteBucket"
               ],
               "Resource": "*"
           }
       ]
   }

5. 运行以下命令，将 policy.json 文件附加到角色中：

   $ aws iam put-role-policy \
     --role-name <role_name> \1
     --policy-name <policy_name> \2
     --policy-document file://policy.json 3

   1

   将 <role_name> 替换为您的角色的名称。

   2

   将 <policy_name> 替换为您的策略名称。

   3

   policy.json 文件包含您的角色的权限策略。

6. 运行以下命令，在名为 sts-creds.json 的 JSON 文件中检索 STS 凭证：

   $ aws sts get-session-token --output json > sts-creds.json

   sts-creds.json 文件示例

   {
                 "Credentials": {
                     "AccessKeyId": "ASIA1443CE0GN2ATHWJU",
                     "SecretAccessKey": "XFLN7cZ5AP0d66KhyI4gd8Mu0UCQEDN9cfelW1”,
                     "SessionToken": "IQoJb3JpZ2luX2VjEEAaCXVzLWVhc3QtMiJHMEUCIDyipkM7oPKBHiGeI0pMnXst1gDLfs/TvfskXseKCbshAiEAnl1l/Html7Iq9AEIqf////KQburfkq4A3TuppHMr/9j1TgCj1z83SO261bHqlJUazKoy7vBFR/a6LHt55iMBqtKPEsIWjBgj/jSdRJI3j4Gyk1//luKDytcfF/tb9YrxDTPLrACS1lqAxSIFZ82I/jDhbDs=",
                     "Expiration": "2025-05-16T04:19:32+00:00"
                 }
             }

流程

1. 为 HyperShift Operator 创建 AWS 凭证 secret，并将其命名为 hypershift-operator-private-link-credentials。secret 必须位于用作管理集群的受管集群的命名空间中。如果使用 local-cluster，请在 local-cluster 命名空间中创建 secret。
2. 下表确认 secret 包含必填字段：

流程

1. 要在 AWS 上创建托管集群，请运行以下命令：

   $ hcp create cluster aws \
       --name <hosted_cluster_name> \1
       --infra-id <infra_id> \2
       --base-domain <basedomain> \3
       --sts-creds <path_to_sts_credential_file> \4
       --pull-secret <path_to_pull_secret> \5
       --region <region> \6
       --generate-ssh \
       --node-pool-replicas <node_pool_replica_count> \7
       --namespace <hosted_cluster_namespace> \8
       --role-arn <role_name> \9
       --render-into <file_name>.yaml 10

   1

   指定托管集群的名称，如 example。

   2

   指定您的基础架构名称。您必须为 <hosted_cluster_name> 和 <infra_id> 提供相同的值。否则，集群可能无法在 Kubernetes Operator 控制台的多集群引擎中正确显示。

   3

   指定您的基域，例如 example.com。

   4

   指定 AWS STS 凭证文件的路径，例如 /home/user/sts-creds/sts-creds.json。

   5

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   6

   指定 AWS 区域名称，如 us-east-1。

   7

   指定节点池副本数，例如 3。

   8

   默认情况下，所有 HostedCluster 和 NodePool 自定义资源都会在 clusters 命名空间中创建。您可以使用-- namespace <namespace> 参数，在特定命名空间中创建 HostedCluster 和 NodePool 自定义资源。

   9

   指定 Amazon Resource Name (ARN)，例如 arn:aws:iam::820196288204:role/myrole。

   10

   如果要指明 EC2 实例是否在共享或单个租户硬件上运行，请包含此字段。--render-into 标志会将 Kubernetes 资源呈现到您在此字段中指定的 YAML 文件中。然后，继续执行下一步来编辑 YAML 文件。

2. 如果在上一命令中包含了 --render-into 标志，请编辑指定的 YAML 文件。编辑 YAML 文件中的 NodePool 规格，以指示 EC2 实例是否应该在共享或单租户硬件上运行，如下例所示：

   YAML 文件示例

   apiVersion: hypershift.openshift.io/v1beta1
   kind: NodePool
   metadata:
     name: <nodepool_name> 1
   spec:
     platform:
       aws:
         placement:
           tenancy: "default" 2

   1

   指定 NodePool 资源的名称。

   2

   为 tenancy 指定有效的值："default", "dedicated", 或 "host"。当节点池实例在共享硬件上运行时，请使用 "default"。当每个节点池实例在单租户硬件上运行时，请使用 "dedicated"。当节点池实例在预分配的专用主机上运行时，请使用 "host"。

验证

1. 验证托管集群的状态，以检查 AVAILABLE 的值是否为 True。运行以下命令:

   $ oc get hostedclusters -n <hosted_cluster_namespace>

2. 运行以下命令，获取节点池列表：

   $ oc get nodepools --namespace <hosted_cluster_namespace>

流程

1. 输入以下命令来创建托管的 control plane 命名空间：

   $ oc create ns <hosted_cluster_namespace>-<hosted_cluster_name>

   将 <hosted_cluster_namespace> 替换为托管集群命名空间名称，如 clusters。将 <hosted_cluster_name> 替换为托管集群的名称。

2. 验证您是否为集群配置了默认存储类。否则，您可能会看到待处理的 PVC。运行以下命令:

   $ hcp create cluster agent \
       --name=<hosted_cluster_name> \1
       --pull-secret=<path_to_pull_secret> \2
       --agent-namespace=<hosted_control_plane_namespace> \3
       --base-domain=<basedomain> \4
       --api-server-address=api.<hosted_cluster_name>.<basedomain> \5
       --etcd-storage-class=<etcd_storage_class> \6
       --ssh-key  <path_to_ssh_public_key> \7
       --namespace <hosted_cluster_namespace> \8
       --control-plane-availability-policy HighlyAvailable \9
       --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \10
       --node-pool-replicas <node_pool_replica_count> 11

   1

   指定托管集群的名称，如 example。

   2

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   3

   指定托管的 control plane 命名空间，如 cluster-example。使用 oc get agent -n <hosted_control_plane_namespace> 命令，确保此命名空间中有代理可用。

   4

   指定您的基域，如 krnl.es。

   5

   --api-server-address 标志定义用于托管集群中的 Kubernetes API 通信的 IP 地址。如果没有设置 --api-server-address 标志，您必须登录以连接到管理集群。

   6

   指定 etcd 存储类名称，如 lvm-storageclass。

   7

   指定 SSH 公钥的路径。默认文件路径为 ~/.ssh/id_rsa.pub。

   8

   指定托管集群命名空间。

   9

   指定托管 control plane 组件的可用性策略。支持的选项包括 SingleReplica 和 HighlyAvailable。默认值为 HighlyAvailable。

   10

   指定您要使用的 OpenShift Container Platform 版本，如 4.17.0-multi。如果您使用断开连接的环境，将 <ocp_release_image> 替换为摘要镜像。要提取 OpenShift Container Platform 发行镜像摘要，请参阅 提取 OpenShift Container Platform 发行镜像摘要。

   11

   指定节点池副本数，例如 3。您必须将副本数指定为 0 或更高，才能创建相同数量的副本。否则，不会创建节点池。

3. 片刻后，输入以下命令验证托管 control plane pod 是否正在运行：

   $ oc -n <hosted_control_plane_namespace> get pods

   输出示例

   NAME                                             READY   STATUS    RESTARTS   AGE
   capi-provider-7dcf5fc4c4-nr9sq                   1/1     Running   0          4m32s
   catalog-operator-6cd867cc7-phb2q                 2/2     Running   0          2m50s
   certified-operators-catalog-884c756c4-zdt64      1/1     Running   0          2m51s
   cluster-api-f75d86f8c-56wfz                      1/1     Running   0          4m32s

流程

1. 输入 extract 命令，获取新的托管集群的 kubeconfig ：

   $ oc extract -n <hosted-control-plane-namespace> secret/admin-kubeconfig --to=- > kubeconfig-<hosted-cluster-name>

2. 使用 kubeconfig 查看托管集群的集群 Operator。输入以下命令：

   $ oc get co --kubeconfig=kubeconfig-<hosted-cluster-name>

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
   console                                    4.10.26   True        False         False      2m38s
   dns                                        4.10.26   True        False         False      2m52s
   image-registry                             4.10.26   True        False         False      2m8s
   ingress                                    4.10.26   True        False         False      22m

3. 您还可以输入以下命令来查看在托管集群中运行的 pod：

   $ oc get pods -A --kubeconfig=kubeconfig-<hosted-cluster-name>

   输出示例

   NAMESPACE                                          NAME                                                      READY   STATUS             RESTARTS        AGE
   kube-system                                        konnectivity-agent-khlqv                                  0/1     Running            0               3m52s
   openshift-cluster-node-tuning-operator             tuned-dhw5p                                               1/1     Running            0               109s
   openshift-cluster-storage-operator                 cluster-storage-operator-5f784969f5-vwzgz                 1/1     Running            1 (113s ago)    20m
   openshift-cluster-storage-operator                 csi-snapshot-controller-6b7687b7d9-7nrfw                  1/1     Running            0               3m8s
   openshift-console                                  console-5cbf6c7969-6gk6z                                  1/1     Running            0               119s
   openshift-console                                  downloads-7bcd756565-6wj5j                                1/1     Running            0               4m3s
   openshift-dns-operator                             dns-operator-77d755cd8c-xjfbn                             2/2     Running            0               21m
   openshift-dns                                      dns-default-kfqnh                                         2/2     Running            0               113s

1. 通过在 configure-metallb.yaml 文件中保存以下示例 YAML 内容来创建 MetalLB 资源：

   apiVersion: metallb.io/v1beta1
   kind: MetalLB
   metadata:
     name: metallb
     namespace: metallb-system

2. 输入以下命令应用 YAML 内容：

   $ oc apply -f configure-metallb.yaml

   输出示例

   metallb.metallb.io/metallb created

3. 通过在 create-ip-address-pool.yaml 文件中保存以下示例 YAML 内容来创建 IPAddressPool 资源：

   apiVersion: metallb.io/v1beta1
   kind: IPAddressPool
   metadata:
     name: metallb
     namespace: metallb-system
   spec:
     addresses:
     - 192.168.216.32-192.168.216.122 1

   1

   在节点网络中创建带有可用 IP 地址范围的地址池。将 IP 地址范围替换为网络中未使用的可用 IP 地址池。

4. 输入以下命令应用 YAML 内容：

   $ oc apply -f create-ip-address-pool.yaml

   输出示例

   ipaddresspool.metallb.io/metallb created

5. 通过在 l2advertisement.yaml 文件中保存以下示例 YAML 内容来创建 L2Advertisement 资源：

   apiVersion: metallb.io/v1beta1
   kind: L2Advertisement
   metadata:
     name: l2advertisement
     namespace: metallb-system
   spec:
     ipAddressPools:
      - metallb

6. 输入以下命令应用 YAML 内容：

   $ oc apply -f l2advertisement.yaml

   输出示例

   l2advertisement.metallb.io/metallb created

流程

1. 运行以下命令:

   NODEPOOL_NAME=${CLUSTER_NAME}-work
   NODEPOOL_REPLICAS=5
   
   $ oc scale nodepool/$NODEPOOL_NAME --namespace clusters --replicas=$NODEPOOL_REPLICAS

2. 片刻后，输入以下命令查看节点池的状态：

   $ oc --kubeconfig $CLUSTER_NAME-kubeconfig get nodes

   输出示例

   NAME                  STATUS   ROLES    AGE     VERSION
   example-9jvnf         Ready    worker   97s     v1.27.4+18eadca
   example-n6prw         Ready    worker   116m    v1.27.4+18eadca
   example-nc6g4         Ready    worker   117m    v1.27.4+18eadca
   example-thp29         Ready    worker   4m17s   v1.27.4+18eadca
   example-twxns         Ready    worker   88s     v1.27.4+18eadca

流程

1. 输入以下命令验证 HostedCluster 资源是否已过渡到 completed 状态：

   $ oc get --namespace clusters hostedclusters <hosted_cluster_name>

   输出示例

   NAMESPACE   NAME      VERSION   KUBECONFIG                 PROGRESS    AVAILABLE   PROGRESSING   MESSAGE
   clusters    example   4.12.2    example-admin-kubeconfig   Completed   True        False         The hosted control plane is available

2. 输入以下命令验证托管集群中的所有集群 Operator 是否在线：

   $ hcp create kubeconfig --name <hosted_cluster_name> > <hosted_cluster_name>-kubeconfig

   $ oc get co --kubeconfig=<hosted_cluster_name>-kubeconfig

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
   console                                    4.12.2   True        False         False      2m38s
   csi-snapshot-controller                    4.12.2   True        False         False      4m3s
   dns                                        4.12.2   True        False         False      2m52s
   image-registry                             4.12.2   True        False         False      2m8s
   ingress                                    4.12.2   True        False         False      22m
   kube-apiserver                             4.12.2   True        False         False      23m
   kube-controller-manager                    4.12.2   True        False         False      23m
   kube-scheduler                             4.12.2   True        False         False      23m
   kube-storage-version-migrator              4.12.2   True        False         False      4m52s
   monitoring                                 4.12.2   True        False         False      69s
   network                                    4.12.2   True        False         False      4m3s
   node-tuning                                4.12.2   True        False         False      2m22s
   openshift-apiserver                        4.12.2   True        False         False      23m
   openshift-controller-manager               4.12.2   True        False         False      23m
   openshift-samples                          4.12.2   True        False         False      2m15s
   operator-lifecycle-manager                 4.12.2   True        False         False      22m
   operator-lifecycle-manager-catalog         4.12.2   True        False         False      23m
   operator-lifecycle-manager-packageserver   4.12.2   True        False         False      23m
   service-ca                                 4.12.2   True        False         False      4m41s
   storage                                    4.12.2   True        False         False      4m43s

流程

1. 输入以下命令来创建托管的 control plane 命名空间：

   $ oc create ns <hosted_cluster_namespace>-<hosted_cluster_name> 1

   1

   将 <hosted_cluster_namespace> 替换为托管集群命名空间名称，如 clusters。将 <hosted_cluster_name> 替换为托管集群的名称。

2. 输入以下命令创建托管集群：

   $ hcp create cluster agent \
     --name=<hosted_cluster_name> \1
     --pull-secret=<path_to_pull_secret> \2
     --agent-namespace=<hosted_control_plane_namespace> \3
     --base-domain=<basedomain> \4
     --api-server-address=api.<hosted_cluster_name>.<basedomain> \5
     --etcd-storage-class=<etcd_storage_class> \6
     --ssh-key  <path_to_ssh_key> \7
     --namespace <hosted_cluster_namespace> \8
     --control-plane-availability-policy HighlyAvailable \9
     --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release> \10
     --node-pool-replicas <node_pool_replica_count> 11

   1

   指定托管集群的名称，如 example。

   2

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   3

   指定托管的 control plane 命名空间，如 cluster-example。使用 oc get agent -n <hosted-control-plane-namespace> 命令，确保此在命名空间中有可用的代理。

   4

   指定您的基域，如 krnl.es。

   5

   --api-server-address 标志定义用于托管集群中的 Kubernetes API 通信的 IP 地址。如果没有设置 --api-server-address 标志，您必须登录以连接到管理集群。

   6

   验证您是否为集群配置了默认存储类。否则，您可能会使用待处理的 PVC 结束。指定 etcd 存储类名称，如 lvm-storageclass。

   7

   指定 SSH 公钥的路径。默认文件路径为 ~/.ssh/id_rsa.pub。

   8

   指定托管集群命名空间。

   9

   指定托管 control plane 组件的可用性策略。支持的选项包括 SingleReplica 和 HighlyAvailable。默认值为 HighlyAvailable。

   10

   指定您要使用的 OpenShift Container Platform 版本，如 4.17.0-multi。

   11

   指定节点池副本数，例如 3。您必须将副本数指定为 0 或更高，才能创建相同数量的副本。否则，不会创建节点池。

流程

1. 输入以下命令获取新托管集群的 kubeconfig 文件：

   $ oc extract -n <hosted_cluster_namespace> secret/<hosted_cluster_name>-admin-kubeconfig --to=- > kubeconfig-<hosted_cluster_name>

2. 使用 kubeconfig 文件查看托管集群的集群 Operator。输入以下命令：

   $ oc get co --kubeconfig=kubeconfig-<hosted_cluster_name>

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
   console                                    4.10.26   True        False         False      2m38s
   csi-snapshot-controller                    4.10.26   True        False         False      4m3s
   dns                                        4.10.26   True        False         False      2m52s

3. 输入以下命令来查看在托管集群中运行的 pod：

   $ oc get pods -A --kubeconfig=kubeconfig-<hosted_cluster_name>

   输出示例

   NAMESPACE                                          NAME                                                      READY   STATUS             RESTARTS        AGE
   kube-system                                        konnectivity-agent-khlqv                                  0/1     Running            0               3m52s
   openshift-cluster-samples-operator                 cluster-samples-operator-6b5bcb9dff-kpnbc                 2/2     Running            0               20m
   openshift-monitoring                               alertmanager-main-0                                       6/6     Running            0               100s
   openshift-monitoring                               openshift-state-metrics-677b9fb74f-qqp6g                  3/3     Running            0               104s

流程

1. 输入以下命令来创建托管的 control plane 命名空间：

   $ oc create ns <hosted_cluster_namespace>-<hosted_cluster_name>

   将 <hosted_cluster_namespace> 替换为托管集群命名空间名称，如 clusters。将 <hosted_cluster_name> 替换为托管集群的名称。

2. 验证您是否为集群配置了默认存储类。否则，您可能会看到待处理的 PVC。运行以下命令:

   $ hcp create cluster agent \
       --name=<hosted_cluster_name> \1
       --pull-secret=<path_to_pull_secret> \2
       --agent-namespace=<hosted_control_plane_namespace> \3
       --base-domain=<basedomain> \4
       --api-server-address=api.<hosted_cluster_name>.<basedomain> \5
       --etcd-storage-class=<etcd_storage_class> \6
       --ssh-key  <path_to_ssh_public_key> \7
       --namespace <hosted_cluster_namespace> \8
       --control-plane-availability-policy HighlyAvailable \9
       --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \10
       --node-pool-replicas <node_pool_replica_count> 11

   1

   指定托管集群的名称，如 example。

   2

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   3

   指定托管的 control plane 命名空间，如 cluster-example。使用 oc get agent -n <hosted_control_plane_namespace> 命令，确保此命名空间中有代理可用。

   4

   指定您的基域，如 krnl.es。

   5

   --api-server-address 标志定义用于托管集群中的 Kubernetes API 通信的 IP 地址。如果没有设置 --api-server-address 标志，您必须登录以连接到管理集群。

   6

   指定 etcd 存储类名称，如 lvm-storageclass。

   7

   指定 SSH 公钥的路径。默认文件路径为 ~/.ssh/id_rsa.pub。

   8

   指定托管集群命名空间。

   9

   指定托管 control plane 组件的可用性策略。支持的选项包括 SingleReplica 和 HighlyAvailable。默认值为 HighlyAvailable。

   10

   指定您要使用的 OpenShift Container Platform 版本，如 4.17.0-multi。如果您使用断开连接的环境，将 <ocp_release_image> 替换为摘要镜像。要提取 OpenShift Container Platform 发行镜像摘要，请参阅 提取 OpenShift Container Platform 发行镜像摘要。

   11

   指定节点池副本数，例如 3。您必须将副本数指定为 0 或更高，才能创建相同数量的副本。否则，不会创建节点池。

3. 片刻后，输入以下命令验证托管 control plane pod 是否正在运行：

   $ oc -n <hosted_control_plane_namespace> get pods

   输出示例

   NAME                                             READY   STATUS    RESTARTS   AGE
   capi-provider-7dcf5fc4c4-nr9sq                   1/1     Running   0          4m32s
   catalog-operator-6cd867cc7-phb2q                 2/2     Running   0          2m50s
   certified-operators-catalog-884c756c4-zdt64      1/1     Running   0          2m51s
   cluster-api-f75d86f8c-56wfz                      1/1     Running   0          4m32s

流程

1. 创建 YAML 文件以包含配置。请参见以下示例：

   apiVersion: agent-install.openshift.io/v1beta1
   kind: InfraEnv
   metadata:
     name: <hosted_cluster_name>
     namespace: <hosted_control_plane_namespace>
   spec:
     cpuArchitecture: s390x
     pullSecretRef:
       name: pull-secret
     sshAuthorizedKey: <ssh_public_key>

2. 将文件保存为 infraenv-config.yaml。

3. 输入以下命令应用配置：

   $ oc apply -f infraenv-config.yaml

4. 要获取下载 PXE 镜像的 URL，如 initrd.img、kernel.img 或 rootfs.img，它允许 IBM Z 机器作为代理加入，请输入以下命令：

   $ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name> -o json

流程

1. 运行以下命令，将 NodePool 对象扩展到两个节点：

   $ oc -n <clusters_namespace> scale nodepool <nodepool_name> --replicas 2

   Cluster API 代理供应商会随机选择两个分配给托管集群的代理。这些代理会经历不同的状态，最终将托管集群作为 OpenShift Container Platform 节点加入。代理按以下顺序通过转换阶段：

   • binding
   • discovering
   • insufficient
   • installing
   • install-in-progress
   • added-to-existing-cluster

2. 运行以下命令，以查看特定扩展代理的状态：

   $ oc -n <hosted_control_plane_namespace> get agent -o \
     jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} \
     Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'

   输出示例

   BMH: Agent: 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d State: known-unbound
   BMH: Agent: 5e498cd3-542c-e54f-0c58-ed43e28b568a State: insufficient

3. 运行以下命令来查看转换阶段：

   $ oc -n <hosted_control_plane_namespace> get agent

   输出示例

   NAME                                   CLUSTER           APPROVED       ROLE        STAGE
   50c23cda-cedc-9bbd-bcf1-9b3a5c75804d   hosted-forwarder   true          auto-assign
   5e498cd3-542c-e54f-0c58-ed43e28b568a                      true          auto-assign
   da503cf1-a347-44f2-875c-4960ddb04091   hosted-forwarder   true          auto-assign

4. 运行以下命令以生成 kubeconfig 文件来访问托管集群：

   $ hcp create kubeconfig --namespace <clusters_namespace> --name <hosted_cluster_namespace> > <hosted_cluster_name>.kubeconfig

5. 代理访问 added-to-existing-cluster 状态后，输入以下命令验证您可以看到 OpenShift Container Platform 节点：

   $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes

   输出示例

   NAME                             STATUS   ROLES    AGE      VERSION
   worker-zvm-0.hostedn.example.com Ready    worker   5m41s    v1.24.0+3882f8f
   worker-zvm-1.hostedn.example.com Ready    worker   6m3s     v1.24.0+3882f8f

   集群 Operator 开始通过向节点添加工作负载来协调。

6. 输入以下命令验证在扩展 NodePool 对象时是否创建了两台机器：

   $ oc -n <hosted_control_plane_namespace> get machine.cluster.x-k8s.io

   输出示例

   NAME                                CLUSTER  NODENAME PROVIDERID     PHASE     AGE   VERSION
   hosted-forwarder-79558597ff-5tbqp   hosted-forwarder-crqq5   worker-zvm-0.hostedn.example.com   agent://50c23cda-cedc-9bbd-bcf1-9b3a5c75804d   Running   41h   4.15.0
   hosted-forwarder-79558597ff-lfjfk   hosted-forwarder-crqq5   worker-zvm-1.hostedn.example.com   agent://5e498cd3-542c-e54f-0c58-ed43e28b568a   Running   41h   4.15.0

7. 运行以下命令来检查集群版本：

   $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusterversion,co

   输出示例

   NAME                                         VERSION       AVAILABLE   PROGRESSING   SINCE   STATUS
   clusterversion.config.openshift.io/version   4.15.0-ec.2   True        False         40h     Cluster version is 4.15.0-ec.2

8. 运行以下命令来检查集群 Operator 状态：

   $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusteroperators

流程

1. 输入以下命令来创建托管的 control plane 命名空间：

   $ oc create ns <hosted_cluster_namespace>-<hosted_cluster_name>

   将 <hosted_cluster_namespace> 替换为托管集群命名空间名称，如 clusters。将 <hosted_cluster_name> 替换为托管集群的名称。

2. 验证您是否为集群配置了默认存储类。否则，您可能会看到待处理的 PVC。运行以下命令:

   $ hcp create cluster agent \
       --name=<hosted_cluster_name> \1
       --pull-secret=<path_to_pull_secret> \2
       --agent-namespace=<hosted_control_plane_namespace> \3
       --base-domain=<basedomain> \4
       --api-server-address=api.<hosted_cluster_name>.<basedomain> \5
       --etcd-storage-class=<etcd_storage_class> \6
       --ssh-key  <path_to_ssh_public_key> \7
       --namespace <hosted_cluster_namespace> \8
       --control-plane-availability-policy HighlyAvailable \9
       --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \10
       --node-pool-replicas <node_pool_replica_count> 11

   1

   指定托管集群的名称，如 example。

   2

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   3

   指定托管的 control plane 命名空间，如 cluster-example。使用 oc get agent -n <hosted_control_plane_namespace> 命令，确保此命名空间中有代理可用。

   4

   指定您的基域，如 krnl.es。

   5

   --api-server-address 标志定义用于托管集群中的 Kubernetes API 通信的 IP 地址。如果没有设置 --api-server-address 标志，您必须登录以连接到管理集群。

   6

   指定 etcd 存储类名称，如 lvm-storageclass。

   7

   指定 SSH 公钥的路径。默认文件路径为 ~/.ssh/id_rsa.pub。

   8

   指定托管集群命名空间。

   9

   指定托管 control plane 组件的可用性策略。支持的选项包括 SingleReplica 和 HighlyAvailable。默认值为 HighlyAvailable。

   10

   指定您要使用的 OpenShift Container Platform 版本，如 4.17.0-multi。如果您使用断开连接的环境，将 <ocp_release_image> 替换为摘要镜像。要提取 OpenShift Container Platform 发行镜像摘要，请参阅 提取 OpenShift Container Platform 发行镜像摘要。

   11

   指定节点池副本数，例如 3。您必须将副本数指定为 0 或更高，才能创建相同数量的副本。否则，不会创建节点池。

3. 片刻后，输入以下命令验证托管 control plane pod 是否正在运行：

   $ oc -n <hosted_control_plane_namespace> get pods

   输出示例

   NAME                                             READY   STATUS    RESTARTS   AGE
   capi-provider-7dcf5fc4c4-nr9sq                   1/1     Running   0          4m32s
   catalog-operator-6cd867cc7-phb2q                 2/2     Running   0          2m50s
   certified-operators-catalog-884c756c4-zdt64      1/1     Running   0          2m51s
   cluster-api-f75d86f8c-56wfz                      1/1     Running   0          4m32s

流程

1. 运行以下命令，查看单架构托管的集群的现有 OpenShift Container Platform 发行镜像：

   $ oc get hostedcluster/<hosted_cluster_name> -o jsonpath='{.spec.release.image}' 1

   1

   将 <hosted_cluster_name> 替换为托管集群的名称。

   输出示例

   quay.io/openshift-release-dev/ocp-release:<4.y.z>-x86_64 1

   1

   将 <4.y.z> 替换为您使用的受支持 OpenShift Container Platform 版本。

2. 在 OpenShift Container Platform 发行镜像中，如果使用摘要而不是标签，找到发行镜像的多架构标签版本：

   1. 运行以下命令，为 OpenShift Container Platform 版本设置 OCP_VERSION 环境变量：

      $ OCP_VERSION=$(oc image info quay.io/openshift-release-dev/ocp-release@sha256:ac78ebf77f95ab8ff52847ecd22592b545415e1ff6c7ff7f66bf81f158ae4f5e -o jsonpath='{.config.config.Labels["io.openshift.release"]}')

   2. 运行以下命令，为您的发行镜像的多架构标签版本设置 MULTI_ARCH_TAG 环境变量：

      $ MULTI_ARCH_TAG=$(skopeo inspect docker://quay.io/openshift-release-dev/ocp-release@sha256:ac78ebf77f95ab8ff52847ecd22592b545415e1ff6c7ff7f66bf81f158ae4f5e | jq -r '.RepoTags' | sed 's/"//g' | sed 's/,//g' | grep -w "$OCP_VERSION-multi$" | xargs)

   3. 运行以下命令，为多架构发行镜像名称设置 IMAGE 环境变量：

      $ IMAGE=quay.io/openshift-release-dev/ocp-release:$MULTI_ARCH_TAG

   4. 要查看多架构镜像摘要列表，请运行以下命令：

      $ oc image info $IMAGE

      输出示例

      OS            DIGEST
      linux/amd64   sha256:b4c7a91802c09a5a748fe19ddd99a8ffab52d8a31db3a081a956a87f22a22ff8
      linux/ppc64le sha256:66fda2ff6bd7704f1ba72be8bfe3e399c323de92262f594f8e482d110ec37388
      linux/s390x   sha256:b1c1072dc639aaa2b50ec99b530012e3ceac19ddc28adcbcdc9643f2dfd14f34
      linux/arm64   sha256:7b046404572ac96202d82b6cb029b421dddd40e88c73bbf35f602ffc13017f21

3. 将托管集群从单架构转换为多架构：

   1. 在托管集群中将 multiArch 标志设置为 true，以便托管集群可以同时创建 64 位 AMD 和 64 位 ARM 节点池。运行以下命令:

      $ oc patch -n clusters hostedclusters/<hosted_cluster_name> -p '{"spec":{"platform":{"aws":{"multiArch":true}}}}' --type=merge

   2. 运行以下命令，确认托管集群中的 multiArch 标志被设置为 true ：

      $ oc get hostedcluster/<hosted_cluster_name> -o jsonpath='{.spec.platform.aws.multiArch}'

   3. 通过确保使用与托管集群相同的 OpenShift Container Platform 版本，为托管集群设置多架构 OpenShift Container Platform 发行镜像。运行以下命令:

      $ oc patch -n clusters hostedclusters/<hosted_cluster_name> -p '{"spec":{"release":{"image":"quay.io/openshift-release-dev/ocp-release:<4.x.y>-multi"}}}' --type=merge 1

      1

      将 <4.y.z> 替换为您使用的受支持 OpenShift Container Platform 版本。

   4. 运行以下命令确认托管集群中设置了多架构镜像：

      $ oc get hostedcluster/<hosted_cluster_name> -o jsonpath='{.spec.release.image}'

4. 运行以下命令，检查 HostedControlPlane 资源的状态是否为 Progressing ：

   $ oc get hostedcontrolplane -n <hosted_control_plane_namespace> -oyaml

   输出示例

   #...
     - lastTransitionTime: "2024-07-28T13:07:18Z"
       message: HostedCluster is deploying, upgrading, or reconfiguring
       observedGeneration: 5
       reason: Progressing
       status: "True"
       type: Progressing
   #...

5. 运行以下命令，检查 HostedCluster 资源的状态是否为 Progressing ：

   $ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> -oyaml

流程

1. 输入以下命令，根据 64 位 ARM 架构创建节点池：

   $ hcp create nodepool aws \
   --cluster-name <hosted_cluster_name> \1
   --name <nodepool_name> \2
   --node-count=<node_count> \3
   --arch arm64

   1

   将 <hosted_cluster_name> 替换为托管集群的名称。

   2

   将 <nodepool_name> 替换为您的节点池名称。

   3

   将 <node_count> 替换为您的节点数的整数，例如 2。

2. 输入以下命令基于 64 位 AMD 架构创建节点池：

   $ hcp create nodepool aws \
   --cluster-name <hosted_cluster_name> \1
   --name <nodepool_name> \2
   --node-count=<node_count> \3
   --arch amd64

   1

   将 <hosted_cluster_name> 替换为托管集群的名称。

   2

   将 <nodepool_name> 替换为您的节点池名称。

   3

   将 <node_count> 替换为您的节点数的整数，例如 2。

流程

1. 将 NodePool 对象扩展到两个节点：

   $ oc -n <hosted_cluster_namespace> scale nodepool <nodepool_name> --replicas 2

   Cluster API 代理供应商会随机选择两个分配给托管集群的代理。这些代理会经历不同的状态，最终将托管集群作为 OpenShift Container Platform 节点加入。代理按以下顺序传递状态：

   • binding
   • discovering
   • insufficient
   • installing
   • install-in-progress
   • added-to-existing-cluster

2. 输入以下命令：

   $ oc -n <hosted_control_plane_namespace> get agent

   输出示例

   NAME                                   CLUSTER         APPROVED   ROLE          STAGE
   4dac1ab2-7dd5-4894-a220-6a3473b67ee6   hypercluster1   true       auto-assign
   d9198891-39f4-4930-a679-65fb142b108b                   true       auto-assign
   da503cf1-a347-44f2-875c-4960ddb04091   hypercluster1   true       auto-assign

3. 输入以下命令：

   $ oc -n <hosted_control_plane_namespace> get agent -o jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'

   输出示例

   BMH: ocp-worker-2 Agent: 4dac1ab2-7dd5-4894-a220-6a3473b67ee6 State: binding
   BMH: ocp-worker-0 Agent: d9198891-39f4-4930-a679-65fb142b108b State: known-unbound
   BMH: ocp-worker-1 Agent: da503cf1-a347-44f2-875c-4960ddb04091 State: insufficient

4. 输入 extract 命令，获取新的托管集群的 kubeconfig ：

   $ oc extract -n <hosted_cluster_namespace> secret/<hosted_cluster_name>-admin-kubeconfig --to=- > kubeconfig-<hosted_cluster_name>

5. 代理访问 added-to-existing-cluster 状态后，输入以下命令验证是否可以看到托管的集群中的 OpenShift Container Platform 节点：

   $ oc --kubeconfig kubeconfig-<hosted_cluster_name> get nodes

   输出示例

   NAME           STATUS   ROLES    AGE     VERSION
   ocp-worker-1   Ready    worker   5m41s   v1.24.0+3882f8f
   ocp-worker-2   Ready    worker   6m3s    v1.24.0+3882f8f

   集群 Operator 开始通过向节点添加工作负载来协调。

6. 输入以下命令验证在扩展 NodePool 对象时是否创建了两台机器：

   $ oc -n <hosted_control_plane_namespace> get machines

   输出示例

   NAME                            CLUSTER               NODENAME       PROVIDERID                                     PHASE     AGE   VERSION
   hypercluster1-c96b6f675-m5vch   hypercluster1-b2qhl   ocp-worker-1   agent://da503cf1-a347-44f2-875c-4960ddb04091   Running   15m   4.x.z
   hypercluster1-c96b6f675-tl42p   hypercluster1-b2qhl   ocp-worker-2   agent://4dac1ab2-7dd5-4894-a220-6a3473b67ee6   Running   15m   4.x.z

   clusterversion 协调过程最终达到缺少 Ingress 和 Console 集群 Operator 的时间点。

7. 输入以下命令：

   $ oc --kubeconfig kubeconfig-<hosted_cluster_name> get clusterversion,co

   输出示例

   NAME                                         VERSION   AVAILABLE   PROGRESSING   SINCE   STATUS
   clusterversion.config.openshift.io/version             False       True          40m     Unable to apply 4.x.z: the cluster operator console has not yet successfully rolled out
   
   NAME                                                                             VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
   clusteroperator.config.openshift.io/console                                      4.12z     False       False         False      11m     RouteHealthAvailable: failed to GET route (https://console-openshift-console.apps.hypercluster1.domain.com): Get "https://console-openshift-console.apps.hypercluster1.domain.com": dial tcp 10.19.3.29:443: connect: connection refused
   clusteroperator.config.openshift.io/csi-snapshot-controller                      4.12z     True        False         False      10m
   clusteroperator.config.openshift.io/dns                                          4.12z     True        False         False      9m16s

1. 通过创建包含 MetalLB Operator 配置的 YAML 文件来部署 MetalLB：

   apiVersion: v1
   kind: Namespace
   metadata:
     name: metallb
     labels:
       openshift.io/cluster-monitoring: "true"
     annotations:
       workload.openshift.io/allowed: management
   ---
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: metallb-operator-operatorgroup
     namespace: metallb
   ---
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: metallb-operator
     namespace: metallb
   spec:
     channel: "stable"
     name: metallb-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace

2. 将文件保存为 metallb-operator-config.yaml。

3. 输入以下命令应用配置：

   $ oc apply -f metallb-operator-config.yaml

4. Operator 运行后，创建 MetalLB 实例：

   1. 创建包含 MetalLB 实例的配置的 YAML 文件：

      apiVersion: metallb.io/v1beta1
      kind: MetalLB
      metadata:
        name: metallb
        namespace: metallb

   2. 将文件保存为 metallb-instance-config.yaml。

   3. 输入以下命令创建 MetalLB 实例：

      $ oc apply -f metallb-instance-config.yaml

5. 使用单个 IP 地址创建 IPAddressPool 资源。此 IP 地址必须与集群节点使用的网络位于同一个子网中。

   1. 创建一个文件，如 ipaddresspool.yaml，其内容类似以下示例：

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        namespace: metallb
        name: <ip_address_pool_name> 1
      spec:
        addresses:
          - <ingress_ip>-<ingress_ip> 2
        autoAssign: false

      1

      指定 IPAddressPool 资源名称。

      2

      指定环境的 IP 地址。例如：192.168.122.23。

   2. 输入以下命令为 IP 地址池应用配置：

      $ oc apply -f ipaddresspool.yaml

6. 创建 L2 广告。

   1. 创建一个文件，如 l2advertisement.yaml，内容类似以下示例：

      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: <l2_advertisement_name> 1
        namespace: metallb
      spec:
        ipAddressPools:
         - <ip_address_pool_name> 2

      1

      指定 L2Advertisement 资源名称。

      2

      指定 IPAddressPool 资源名称。

   2. 输入以下命令应用配置：

      $ oc apply -f l2advertisement.yaml

7. 创建 LoadBalancer 类型的服务后，MetalLB 为该服务添加外部 IP 地址。

   1. 配置一个新的负载均衡器服务，通过创建名为 metallb-loadbalancer-service.yaml 的 YAML 文件将入口流量路由到 ingress 部署：

      kind: Service
      apiVersion: v1
      metadata:
        annotations:
         metallb.io/address-pool: ingress-public-ip
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer

   2. 保存 metallb-loadbalancer-service.yaml 文件。

   3. 输入以下命令应用 YAML 配置：

      $ oc apply -f metallb-loadbalancer-service.yaml

   4. 输入以下命令访问 OpenShift Container Platform 控制台：

      $ curl -kI https://console-openshift-console.apps.example.krnl.es

      输出示例

      HTTP/1.1 200 OK

   5. 检查 clusterversion 和 clusteroperator 值，以验证所有内容是否正在运行。输入以下命令：

      $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusterversion,co

      输出示例

      NAME                                         VERSION   AVAILABLE   PROGRESSING   SINCE   STATUS
      clusterversion.config.openshift.io/version   4.x.y      True        False        3m32s   Cluster version is 4.x.y
      
      NAME                                                                             VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
      clusteroperator.config.openshift.io/console                                      4.x.y     True        False         False      3m50s
      clusteroperator.config.openshift.io/ingress                                      4.x.y     True        False         False      53m

      将 <4.x.y> 替换为您要使用的受支持 OpenShift Container Platform 版本，如 4.17.0-multi。

1. 验证 NodePool 资源中的 spec.nodeDrainTimeout 值是否大于 0s。将 <hosted_cluster_namespace> 替换为托管集群命名空间的名称，将 <nodepool_name> 替换为节点池名称。运行以下命令:

   $ oc get nodepool -n <hosted_cluster_namespace> <nodepool_name> -o yaml | grep nodeDrainTimeout

   输出示例

   nodeDrainTimeout: 30s

2. 如果 spec.nodeDrainTimeout 值不大于 0s，请运行以下命令修改值：

   $ oc patch nodepool -n <hosted_cluster_namespace> <nodepool_name> -p '{"spec":{"nodeDrainTimeout": "30m"}}' --type=merge

3. 通过将 NodePool 资源中的 spec.management.autoRepair 字段设置为 true 来启用机器健康检查。运行以下命令:

   $ oc patch nodepool -n <hosted_cluster_namespace> <nodepool_name> -p '{"spec": {"management": {"autoRepair":true}}}' --type=merge

4. 运行以下命令，使用 autoRepair: true 值验证 NodePool 资源是否已更新：

   $ oc get nodepool -n <hosted_cluster_namespace> <nodepool_name> -o yaml | grep autoRepair

流程

1. 通过将 NodePool 资源中的 spec.management.autoRepair 字段设置为 false 来禁用机器健康检查。运行以下命令:

   $ oc patch nodepool -n <hosted_cluster_namespace> <nodepool_name> -p '{"spec": {"management": {"autoRepair":false}}}' --type=merge

2. 运行以下命令，验证 NodePool 资源是否使用 autoRepair: false 值更新：

   $ oc get nodepool -n <hosted_cluster_namespace> <nodepool_name> -o yaml | grep autoRepair