4.5. 在 IBM Z 上部署托管的 control plane

流程

1. 运行以下命令来创建命名空间：

   $ oc create ns <hosted_cluster_namespace>

   将 <hosted_cluster_namespace > 替换为托管集群命名空间的标识符。HyperShift Operator 创建命名空间。在裸机基础架构上托管集群创建过程中，生成的 Cluster API 供应商角色需要命名空间已存在。

2. 输入以下命令为托管集群创建配置文件：

   $ hcp create cluster agent \
     --name=<hosted_cluster_name> \

   1

   
     --pull-secret=<path_to_pull_secret> \

   2

   
     --agent-namespace=<hosted_control_plane_namespace> \

   3

   
     --base-domain=<base_domain> \

   4

   
     --api-server-address=api.<hosted_cluster_name>.<base_domain> \

   5

   
     --etcd-storage-class=<etcd_storage_class> \

   6

   
     --ssh-key=<path_to_ssh_key> \

   7

   
     --namespace=<hosted_cluster_namespace> \

   8

   
     --control-plane-availability-policy=HighlyAvailable \

   9

   
     --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \

   10

   
     --node-pool-replicas=<node_pool_replica_count> \

   11

   
     --render \
     --render-sensitive \
     --ssh-key <home_directory>/<path_to_ssh_key>/<ssh_key> > hosted-cluster-config.yaml 

   12

   1

   指定托管集群的名称，如。

   2

   指定 pull secret 的路径，如 /user/name/pullsecret。

   3

   指定托管的 control plane 命名空间，如 cluster-example。使用 oc get agent -n <hosted_control_plane_namespace> 命令，确保此命名空间中有代理可用。

   4

   指定您的基域，如 krnl.es。

   5

   --api-server-address 标志定义用于托管集群中的 Kubernetes API 通信的 IP 地址。如果没有设置 --api-server-address 标志，您必须登录以连接到管理集群。

   6

   指定 etcd 存储类名称，如 lvm-storageclass。

   7

   指定 SSH 公钥的路径。默认文件路径为 ~/.ssh/id_rsa.pub。

   8

   指定托管集群命名空间。

   9

   指定托管 control plane 组件的可用性策略。支持的选项包括 SingleReplica 和 HighlyAvailable。默认值为 HighlyAvailable。

   10

   指定您要使用的 OpenShift Container Platform 版本，如 4.19.0-multi。如果您使用断开连接的环境，将 <ocp_release_image> 替换为摘要镜像。要提取 OpenShift Container Platform 发行镜像摘要，请参阅 提取 OpenShift Container Platform 发行镜像摘要。

   11

   指定节点池副本数，如 3。您必须将副本数指定为 0 或更高，才能创建相同数量的副本。否则，您不会创建节点池。

   12

   在 --ssh-key 标志后，指定 SSH 密钥的路径，如 user/.ssh/id_rsa。

3. 配置服务发布策略。默认情况下，托管集群使用 NodePort 服务发布策略，因为节点端口始终在没有额外基础架构的情况下可用。但是，您可以将服务发布策略配置为使用负载均衡器。

   • 如果您使用默认的 NodePort 策略，请将 DNS 配置为指向托管的集群计算节点，而不是管理集群节点。如需更多信息，请参阅"裸机上的 DNS 配置"。

   • 对于生产环境，请使用 LoadBalancer 策略，因为此策略提供证书处理和自动 DNS 解析。以下示例演示了在托管集群配置文件中更改服务发布 LoadBalancer 策略：

     # ...
     spec:
       services:
       - service: APIServer
         servicePublishingStrategy:
           type: LoadBalancer 

     1

     
       - service: Ignition
         servicePublishingStrategy:
           type: Route
       - service: Konnectivity
         servicePublishingStrategy:
           type: Route
       - service: OAuthServer
         servicePublishingStrategy:
           type: Route
       - service: OIDC
         servicePublishingStrategy:
           type: Route
       sshKey:
         name: <ssh_key>
     # ...

     1

     指定 LoadBalancer 作为 API 服务器类型。对于所有其他服务，将 Route 指定为类型。

4. 输入以下命令将更改应用到托管集群配置文件：

   $ oc apply -f hosted_cluster_config.yaml

5. 输入以下命令检查托管集群、节点池和 pod 的创建：

   $ oc get hostedcluster \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   $ oc get nodepool \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   $ oc get pods -n <hosted_cluster_namespace>

6. 确认托管集群已就绪。Available: True 的状态表示集群的就绪状态，节点池状态显示 AllMachinesReady: True。这些状态表示所有集群 Operator 的运行状况。

7. 在托管集群中安装 MetalLB：

   1. 从托管集群中提取 kubeconfig 文件，并输入以下命令为托管集群访问设置环境变量：

      $ oc get secret \
        <hosted_cluster_namespace>-admin-kubeconfig \
        -n <hosted_cluster_namespace> \
        -o jsonpath='{.data.kubeconfig}' \
        | base64 -d > \
        kubeconfig-<hosted_cluster_namespace>.yaml

      $ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"

   2. 通过创建 install-metallb-operator.yaml 文件来安装 MetalLB Operator：

      apiVersion: v1
      kind: Namespace
      metadata:
        name: metallb-system
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: metallb-operator
        namespace: metallb-system
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator
        namespace: metallb-system
      spec:
        channel: "stable"
        name: metallb-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace
        installPlanApproval: Automatic
      # ...

   3. 输入以下命令应用该文件：

      $ oc apply -f install-metallb-operator.yaml

   4. 通过创建 deploy-metallb-ipaddresspool.yaml 文件来配置 MetalLB IP 地址池：

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: metallb
        namespace: metallb-system
      spec:
        autoAssign: true
        addresses:
        - 10.11.176.71-10.11.176.75
      ---
      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: l2advertisement
        namespace: metallb-system
      spec:
        ipAddressPools:
        - metallb
      # ...

   5. 输入以下命令应用配置：

      $ oc apply -f deploy-metallb-ipaddresspool.yaml

   6. 输入以下命令检查 Operator 状态、IP 地址池和 L2Advertisement 资源来验证 MetalLB 的安装：

      $ oc get pods -n metallb-system

      $ oc get ipaddresspool -n metallb-system

      $ oc get l2advertisement -n metallb-system

8. 为入口配置负载均衡器：

   1. 创建 ingress-loadbalancer.yaml 文件：

      apiVersion: v1
      kind: Service
      metadata:
        annotations:
          metallb.universe.tf/address-pool: metallb
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer
      # ...

   2. 输入以下命令应用配置：

      $ oc apply -f ingress-loadbalancer.yaml

   3. 输入以下命令验证负载均衡器服务是否按预期工作：

      $ oc get svc metallb-ingress -n openshift-ingress

      输出示例

      NAME              TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
      metallb-ingress   LoadBalancer   172.31.127.129   10.11.176.71   80:30961/TCP,443:32090/TCP   16h

9. 配置 DNS 以使用负载均衡器：

   1. 通过将 5.2. apps .<hosted_cluster_namespace>.<base_domain> 通配符 DNS 记录指向负载均衡器 IP 地址，为 apps 域配置 DNS。

   2. 输入以下命令验证 DNS 解析：

      $ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>

      输出示例

      Server:         10.11.176.1
      Address:        10.11.176.1#53
      
      Name:   console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com
      Address: 10.11.176.71

验证

1. 输入以下命令检查集群 Operator：

   $ oc get clusteroperators

   确保所有 Operator 显示 AVAILABLE: True,PROGRESSING: False, 和 DEGRADED: False。

2. 输入以下命令检查节点：

   $ oc get nodes

   确保每个节点都有 READY 状态。

3. 通过在 Web 浏览器中输入以下 URL 来测试对控制台的访问：

   https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>

流程

1. 创建 YAML 文件以包含配置。请参见以下示例：

   apiVersion: agent-install.openshift.io/v1beta1
   kind: InfraEnv
   metadata:
     name: <hosted_cluster_name>
     namespace: <hosted_control_plane_namespace>
   spec:
     cpuArchitecture: s390x
     pullSecretRef:
       name: pull-secret
     sshAuthorizedKey: <ssh_public_key>

2. 将文件保存为 infraenv-config.yaml。

3. 输入以下命令应用配置：

   $ oc apply -f infraenv-config.yaml

4. 要获取下载 PXE 镜像的 URL，如 initrd.img、kernel.img 或 rootfs.img，它允许 IBM Z 机器作为代理加入，请输入以下命令：

   $ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name> -o json

流程

1. 运行以下命令，将 NodePool 对象扩展到两个节点：

   $ oc -n <clusters_namespace> scale nodepool <nodepool_name> --replicas 2

   Cluster API 代理供应商会随机选择两个分配给托管集群的代理。这些代理会经历不同的状态，最终将托管集群作为 OpenShift Container Platform 节点加入。代理按以下顺序通过转换阶段：

   • binding
   • discovering
   • insufficient
   • installing
   • install-in-progress
   • added-to-existing-cluster

2. 运行以下命令，以查看特定扩展代理的状态：

   $ oc -n <hosted_control_plane_namespace> get agent -o \
     jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} \
     Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'

   输出示例

   BMH: Agent: 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d State: known-unbound
   BMH: Agent: 5e498cd3-542c-e54f-0c58-ed43e28b568a State: insufficient

3. 运行以下命令来查看转换阶段：

   $ oc -n <hosted_control_plane_namespace> get agent

   输出示例

   NAME                                   CLUSTER           APPROVED       ROLE        STAGE
   50c23cda-cedc-9bbd-bcf1-9b3a5c75804d   hosted-forwarder   true          auto-assign
   5e498cd3-542c-e54f-0c58-ed43e28b568a                      true          auto-assign
   da503cf1-a347-44f2-875c-4960ddb04091   hosted-forwarder   true          auto-assign

4. 运行以下命令以生成 kubeconfig 文件来访问托管集群：

   $ hcp create kubeconfig \
     --namespace <clusters_namespace> \
     --name <hosted_cluster_namespace> > <hosted_cluster_name>.kubeconfig

5. 代理访问 added-to-existing-cluster 状态后，输入以下命令验证您可以看到 OpenShift Container Platform 节点：

   $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes

   输出示例

   NAME                             STATUS   ROLES    AGE      VERSION
   worker-zvm-0.hostedn.example.com Ready    worker   5m41s    v1.24.0+3882f8f
   worker-zvm-1.hostedn.example.com Ready    worker   6m3s     v1.24.0+3882f8f

   集群 Operator 开始通过向节点添加工作负载来协调。

6. 输入以下命令验证在扩展 NodePool 对象时是否创建了两台机器：

   $ oc -n <hosted_control_plane_namespace> get machine.cluster.x-k8s.io

   输出示例

   NAME                                CLUSTER  NODENAME PROVIDERID     PHASE     AGE   VERSION
   hosted-forwarder-79558597ff-5tbqp   hosted-forwarder-crqq5   worker-zvm-0.hostedn.example.com   agent://50c23cda-cedc-9bbd-bcf1-9b3a5c75804d   Running   41h   4.15.0
   hosted-forwarder-79558597ff-lfjfk   hosted-forwarder-crqq5   worker-zvm-1.hostedn.example.com   agent://5e498cd3-542c-e54f-0c58-ed43e28b568a   Running   41h   4.15.0

7. 运行以下命令来检查集群版本：

   $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusterversion,co

   输出示例

   NAME                                         VERSION       AVAILABLE   PROGRESSING   SINCE   STATUS
   clusterversion.config.openshift.io/version   4.15.0-ec.2   True        False         40h     Cluster version is 4.15.0-ec.2

8. 运行以下命令来检查集群 Operator 状态：

   $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusteroperators