4.5. 在 IBM Z 上部署托管的 control plane

流程

1. 运行以下命令来创建命名空间：

   $ oc create ns <hosted_cluster_namespace>

   Copy to Clipboard Toggle word wrap

   将 <hosted_cluster_namespace > 替换为托管集群命名空间的标识符。通常，命名空间由 HyperShift Operator 创建，但在裸机上托管集群创建过程中，会生成一个 Cluster API 供应商角色，需要命名空间已存在。

2. 输入以下命令为托管集群创建配置文件：

   $ hcp create cluster agent \
     --name=<hosted_cluster_name> \

   1

   
     --pull-secret=<path_to_pull_secret> \

   2

   
     --agent-namespace=<hosted_control_plane_namespace> \

   3

   
     --base-domain=<base_domain> \

   4

   
     --api-server-address=api.<hosted_cluster_name>.<base_domain> \

   5

   
     --etcd-storage-class=<etcd_storage_class> \

   6

   
     --ssh-key=<path_to_ssh_key> \

   7

   
     --namespace=<hosted_cluster_namespace> \

   8

   
     --control-plane-availability-policy=HighlyAvailable \

   9

   
     --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \

   10

   
     --node-pool-replicas=<node_pool_replica_count> \

   11

   
     --render \
     --render-sensitive \
     --ssh-key <home_directory>/<path_to_ssh_key>/<ssh_key> > hosted-cluster-config.yaml 

   12

   Copy to Clipboard Toggle word wrap

   1

   指定托管集群的名称。

   2

   指定 pull secret 的路径，例如 /user/name/pullsecret。

   3

   指定托管的 control plane 命名空间。要确保代理在这个命名空间中可用，请输入 oc get agent -n <hosted_control_plane_namespace> 命令。

   4

   指定您的基域，如 krnl.es。

   5

   --api-server-address 标志定义用于托管集群中的 Kubernetes API 通信的 IP 地址。如果没有设置 --api-server-address 标志，您必须登录以连接到管理集群。

   6

   指定 etcd 存储类名称，如 lvm-storageclass。

   7

   指定 SSH 公钥的路径。默认文件路径为 ~/.ssh/id_rsa.pub。

   8

   指定托管集群命名空间。

   9

   指定托管 control plane 组件的可用性策略。支持的选项包括 SingleReplica 和 HighlyAvailable。默认值为 HighlyAvailable。

   10

   指定您要使用的 OpenShift Container Platform 版本，例如 4.19.0-multi。如果您使用断开连接的环境，将 <ocp_release_image> 替换为摘要镜像。要提取 OpenShift Container Platform 发行镜像摘要，请参阅"提取发行镜像摘要"。

   11

   指定节点池副本数，例如 3。您必须将副本数指定为 0 或更高，才能创建相同数量的副本。否则，不会创建节点池。

   12

   在 --ssh-key 标志后，指定 SSH 密钥的路径；例如 user/.ssh/id_rsa。

3. 配置服务发布策略。默认情况下，托管集群使用 NodePort 服务发布策略，因为节点端口始终在没有额外基础架构的情况下可用。但是，您可以将服务发布策略配置为使用负载均衡器。

   • 如果您使用默认的 NodePort 策略，请将 DNS 配置为指向托管的集群计算节点，而不是管理集群节点。如需更多信息，请参阅"裸机上的 DNS 配置"。

   • 对于生产环境，请使用 LoadBalancer 策略，因为它提供证书处理和自动 DNS 解析。要更改服务发布策略 LoadBalancer，在托管集群配置文件中编辑服务发布策略详情：

     ...
     spec:
       services:
       - service: APIServer
         servicePublishingStrategy:
           type: LoadBalancer 

     1

     
       - service: Ignition
         servicePublishingStrategy:
           type: Route
       - service: Konnectivity
         servicePublishingStrategy:
           type: Route
       - service: OAuthServer
         servicePublishingStrategy:
           type: Route
       - service: OIDC
         servicePublishingStrategy:
           type: Route
       sshKey:
         name: <ssh_key>
     ...

     Copy to Clipboard Toggle word wrap

     1

     指定 LoadBalancer 作为 API 服务器类型。对于所有其他服务，将 Route 指定为类型。

4. 输入以下命令将更改应用到托管集群配置文件：

   $ oc apply -f hosted_cluster_config.yaml

   Copy to Clipboard Toggle word wrap

5. 输入以下命令来监控托管集群、节点池和 pod 的创建：

   $ oc get hostedcluster \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   Copy to Clipboard Toggle word wrap

   $ oc get nodepool \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   Copy to Clipboard Toggle word wrap

   $ oc get pods -n <hosted_cluster_namespace>

   Copy to Clipboard Toggle word wrap
6. 确认托管集群已就绪。当集群的状态为 Available: True 时，节点池状态会显示 AllMachinesReady: True，并且所有集群 Operator 都健康。

7. 在托管集群中安装 MetalLB：

   1. 从托管集群中提取 kubeconfig 文件，并输入以下命令为托管集群访问设置环境变量：

      $ oc get secret \
        <hosted_cluster_namespace>-admin-kubeconfig \
        -n <hosted_cluster_namespace> \
        -o jsonpath='{.data.kubeconfig}' \
        | base64 -d > \
        kubeconfig-<hosted_cluster_namespace>.yaml

      Copy to Clipboard Toggle word wrap

      $ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"

      Copy to Clipboard Toggle word wrap

   2. 通过创建 install-metallb-operator.yaml 文件来安装 MetalLB Operator：

      apiVersion: v1
      kind: Namespace
      metadata:
        name: metallb-system
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: metallb-operator
        namespace: metallb-system
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator
        namespace: metallb-system
      spec:
        channel: "stable"
        name: metallb-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace
        installPlanApproval: Automatic

      Copy to Clipboard Toggle word wrap

   3. 输入以下命令应用该文件：

      $ oc apply -f install-metallb-operator.yaml

      Copy to Clipboard Toggle word wrap

   4. 通过创建 deploy-metallb-ipaddresspool.yaml 文件来配置 MetalLB IP 地址池：

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: metallb
        namespace: metallb-system
      spec:
        autoAssign: true
        addresses:
        - 10.11.176.71-10.11.176.75
      ---
      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: l2advertisement
        namespace: metallb-system
      spec:
        ipAddressPools:
        - metallb

      Copy to Clipboard Toggle word wrap

   5. 输入以下命令应用配置：

      $ oc apply -f deploy-metallb-ipaddresspool.yaml

      Copy to Clipboard Toggle word wrap

   6. 通过检查 Operator 状态、IP 地址池和 L2Advertisement 来验证是否安装了 MetalLB。输入以下命令：

      $ oc get pods -n metallb-system

      Copy to Clipboard Toggle word wrap

      $ oc get ipaddresspool -n metallb-system

      Copy to Clipboard Toggle word wrap

      $ oc get l2advertisement -n metallb-system

      Copy to Clipboard Toggle word wrap

8. 为入口配置负载均衡器：

   1. 创建 ingress-loadbalancer.yaml 文件：

      apiVersion: v1
      kind: Service
      metadata:
        annotations:
          metallb.universe.tf/address-pool: metallb
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer

      Copy to Clipboard Toggle word wrap

   2. 输入以下命令应用配置：

      $ oc apply -f ingress-loadbalancer.yaml

      Copy to Clipboard Toggle word wrap

   3. 输入以下命令验证负载均衡器服务是否按预期工作：

      $ oc get svc metallb-ingress -n openshift-ingress

      Copy to Clipboard Toggle word wrap

      输出示例

      NAME              TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
      metallb-ingress   LoadBalancer   172.31.127.129   10.11.176.71   80:30961/TCP,443:32090/TCP   16h

      Copy to Clipboard Toggle word wrap

9. 配置 DNS 以使用负载均衡器：

   1. 通过将 5.2. apps .<hosted_cluster_namespace>.<base_domain> 通配符 DNS 记录指向负载均衡器 IP 地址，为 apps 域配置 DNS。

   2. 输入以下命令验证 DNS 解析：

      $ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>

      Copy to Clipboard Toggle word wrap

      输出示例

      Server:         10.11.176.1
      Address:        10.11.176.1#53
      
      Name:   console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com
      Address: 10.11.176.71

      Copy to Clipboard Toggle word wrap

验证

1. 输入以下命令检查集群 Operator：

   $ oc get clusteroperators

   Copy to Clipboard Toggle word wrap

   确保所有 Operator 显示 AVAILABLE: True,PROGRESSING: False, 和 DEGRADED: False。

2. 输入以下命令检查节点：

   $ oc get nodes

   Copy to Clipboard Toggle word wrap

   确保所有节点的状态为 READY。

3. 通过在 Web 浏览器中输入以下 URL 来测试对控制台的访问：

   https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令:

   virt-install \
      --name "<vm_name>" \ 

   1

   
      --autostart \
      --ram=16384 \
      --cpu host \
      --vcpus=4 \
      --location "<path_to_kernel_initrd_image>,kernel=kernel.img,initrd=initrd.img" \ 

   2

   
      --disk <qcow_image_path> \ 

   3

   
      --network network:macvtap-net,mac=<mac_address> \ 

   4

   
      --graphics none \
      --noautoconsole \
      --wait=-1
      --extra-args "rd.neednet=1 nameserver=<nameserver>   coreos.live.rootfs_url=http://<http_server>/rootfs.img random.trust_cpu=on rd.luks.options=discard ignition.firstboot ignition.platform.id=metal console=tty1 console=ttyS1,115200n8 coreos.inst.persistent-kargs=console=tty1 console=ttyS1,115200n8" 

   5

   Copy to Clipboard Toggle word wrap

   1

   指定虚拟机的名称。

   2

   指定 kernel_initrd_image 文件的位置。

   3

   指定磁盘镜像路径。

   4

   指定 Mac 地址。

   5

   指定代理的服务器名称。

2. 对于 ISO 引导，从 InfraEnv 资源下载 ISO，并运行以下命令来引导节点：

   virt-install \
     --name "<vm_name>" \ 

   1

   
     --autostart \
     --memory=16384 \
     --cpu host \
     --vcpus=4 \
     --network network:macvtap-net,mac=<mac_address> \ 

   2

   
     --cdrom "<path_to_image.iso>" \ 

   3

   
     --disk <qcow_image_path> \
     --graphics none \
     --noautoconsole \
     --os-variant <os_version> \ 

   4

   
     --wait=-1

   Copy to Clipboard Toggle word wrap

   1

   指定虚拟机的名称。

   2

   指定 Mac 地址。

   3

   指定 image.iso 文件的位置。

   4

   指定您使用的操作系统版本。

流程

1. 为代理创建引导参数文件：

   参数文件示例

   rd.neednet=1 cio_ignore=all,!condev \
   console=ttysclp0 \
   ignition.firstboot ignition.platform.id=metal
   coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \

   1

   
   coreos.inst.persistent-kargs=console=ttysclp0
   ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns> \

   2

   
   rd.znet=qeth,<network_adaptor_range>,layer2=1
   rd.<disk_type>=<adapter> \

   3

   
   zfcp.allow_lun_scan=0
   ai.ip_cfg_override=1 \

   4

   
   random.trust_cpu=on rd.luks.options=discard

   Copy to Clipboard Toggle word wrap

   1

   对于 coreos.live.rootfs_url 工件，请为您要启动的 kernel 和 initramfs 指定匹配的 rootfs 工件。仅支持 HTTP 和 HTTPS 协议。

   2

   对于 ip 参数，请手动分配 IP 地址，如 在 IBM Z 和 IBM LinuxONE 中使用 z/VM 安装集群中所述。

   3

   对于在 DASD 类型磁盘中安装，请使用 rd.dasd 指定要安装 Red Hat Enterprise Linux CoreOS (RHCOS) 的 DASD。对于在 FCP 类型磁盘中安装，请使用 rd.zfcp=<adapter>,<wwpn>,<lun> 指定要安装 RHCOS 的 FCP 磁盘。

   4

   使用 Open Systems Adapter (OSA) 或 HiperSockets 时指定此参数。

2. 从 InfraEnv 资源下载 .ins 和 initrd.img.addrsize 文件。

   默认情况下，InfraEnv 资源中没有 .ins 和 initrd.img.addrsize 文件的 URL。您必须编辑 URL 来获取这些工件。

   1. 运行以下命令，将内核 URL 端点更新为包含 ins-file ：

      $ curl -k -L -o generic.ins "< url for ins-file >"

      Copy to Clipboard Toggle word wrap

      URL 示例

      https://…/boot-artifacts/ins-file?arch=s390x&version=4.17.0

      Copy to Clipboard Toggle word wrap

   2. 更新 initrd URL 端点，使其包含 s390x-initrd-addrsize ：

      URL 示例

      https://…./s390x-initrd-addrsize?api_key=<api-key>&arch=s390x&version=4.17.0

      Copy to Clipboard Toggle word wrap

3. 将 initrd、kernel、common.ins 和 initrd.img.addrsize 参数文件传输到文件服务器。有关如何使用 FTP 和引导传输文件的更多信息，请参阅"在 LPAR 中安装"。
4. 启动机器。
5. 对集群中的所有其他机器重复这个过程。

流程

1. 更新参数文件，以添加 rootfs_url、network_adaptor 和 disk_type 值。

   参数文件示例

   rd.neednet=1 cio_ignore=all,!condev \
   console=ttysclp0  \
   ignition.firstboot ignition.platform.id=metal \
   coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \

   1

   
   coreos.inst.persistent-kargs=console=ttysclp0
   ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns> \

   2

   
   rd.znet=qeth,<network_adaptor_range>,layer2=1
   rd.<disk_type>=<adapter> \

   3

   
   zfcp.allow_lun_scan=0
   ai.ip_cfg_override=1 \

   4

   Copy to Clipboard Toggle word wrap

   1

   对于 coreos.live.rootfs_url 工件，请为您要启动的 kernel 和 initramfs 指定匹配的 rootfs 工件。仅支持 HTTP 和 HTTPS 协议。

   2

   对于 ip 参数，请手动分配 IP 地址，如 在 IBM Z 和 IBM LinuxONE 中使用 z/VM 安装集群中所述。

   3

   对于在 DASD 类型磁盘中安装，请使用 rd.dasd 指定要安装 Red Hat Enterprise Linux CoreOS (RHCOS) 的 DASD。对于在 FCP 类型磁盘中安装，请使用 rd.zfcp=<adapter>,<wwpn>,<lun> 指定要安装 RHCOS 的 FCP 磁盘。

   注意

   对于 FCP 多路径配置，请提供两个磁盘而不是一个。

   Example

   rd.zfcp=<adapter1>,<wwpn1>,<lun1> \
   rd.zfcp=<adapter2>,<wwpn2>,<lun2>

   Copy to Clipboard Toggle word wrap

   4

   使用 Open Systems Adapter (OSA) 或 HiperSockets 时指定此参数。

2. 运行以下命令，将 initrd、内核镜像和参数文件移到客户虚拟机中：

   vmur pun -r -u -N kernel.img $INSTALLERKERNELLOCATION/<image name>

   Copy to Clipboard Toggle word wrap

   vmur pun -r -u -N generic.parm $PARMFILELOCATION/paramfilename

   Copy to Clipboard Toggle word wrap

   vmur pun -r -u -N initrd.img $INSTALLERINITRAMFSLOCATION/<image name>

   Copy to Clipboard Toggle word wrap

3. 从客户机虚拟机控制台运行以下命令：

   cp ipl c

   Copy to Clipboard Toggle word wrap

4. 要列出代理及其属性，请输入以下命令：

   $ oc -n <hosted_control_plane_namespace> get agents

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME    CLUSTER APPROVED    ROLE    STAGE
   50c23cda-cedc-9bbd-bcf1-9b3a5c75804d    auto-assign
   5e498cd3-542c-e54f-0c58-ed43e28b568a    auto-assign

   Copy to Clipboard Toggle word wrap

5. 运行以下命令来批准代理。

   $ oc -n <hosted_control_plane_namespace> patch agent \
     50c23cda-cedc-9bbd-bcf1-9b3a5c75804d -p \
     '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-zvm-0.hostedn.example.com"}}' \

   1

   
     --type merge

   Copy to Clipboard Toggle word wrap

   1

   另外，您还可以在规格中设置代理 ID <installation_disk_id> 和 <hostname>。

6. 运行以下命令验证代理是否已批准：

   $ oc -n <hosted_control_plane_namespace> get agents

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                                            CLUSTER     APPROVED   ROLE          STAGE
   50c23cda-cedc-9bbd-bcf1-9b3a5c75804d             true       auto-assign
   5e498cd3-542c-e54f-0c58-ed43e28b568a             true       auto-assign

   Copy to Clipboard Toggle word wrap