4.5. IBM Z への Hosted Control Plane のデプロイ

手順

1. 次のコマンドを入力して namespace を作成します。

   $ oc create ns <hosted_cluster_namespace>

   Copy to Clipboard Toggle word wrap

   <hosted_cluster_namespace> は、ホステッドクラスター namespace の識別子に置き換えます。HyperShift Operator は namespace を作成します。ベアメタルインフラストラクチャーでのホストされたクラスター作成プロセス中に、生成された Cluster API プロバイダーロールでは namespace がすでに存在している必要があります。

2. 次のコマンドを入力して、ホステッドクラスターの設定ファイルを作成します。

   $ hcp create cluster agent \
     --name=<hosted_cluster_name> \

   1

   
     --pull-secret=<path_to_pull_secret> \

   2

   
     --agent-namespace=<hosted_control_plane_namespace> \

   3

   
     --base-domain=<base_domain> \

   4

   
     --api-server-address=api.<hosted_cluster_name>.<base_domain> \

   5

   
     --etcd-storage-class=<etcd_storage_class> \

   6

   
     --ssh-key=<path_to_ssh_key> \

   7

   
     --namespace=<hosted_cluster_namespace> \

   8

   
     --control-plane-availability-policy=HighlyAvailable \

   9

   
     --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \

   10

   
     --node-pool-replicas=<node_pool_replica_count> \

   11

   
     --render \
     --render-sensitive \
     --ssh-key <home_directory>/<path_to_ssh_key>/<ssh_key> > hosted-cluster-config.yaml 

   12

   Copy to Clipboard Toggle word wrap

   1

   ホステッドクラスターの名前を指定します （例：）。

   2

   /user/name/pullsecret などのプルシークレットへのパスを指定します。

   3

   clusters-example などのホステッドコントロールプレーン namespace を指定します。oc get agent -n <hosted_control_plane_namespace> コマンドを使用して、この namespace でエージェントが使用可能であることを確認します。

   4

   krnl.es などのベースドメインを指定します。

   5

   The --api-server-address フラグは、ホストされたクラスター内の Kubernetes API 通信に使用される IP アドレスを定義します。--api-server-address フラグを設定しない場合は、管理クラスターに接続するためにログインする必要があります。

   6

   lvm-storageclass などの etcd ストレージクラス名を指定します。

   7

   SSH 公開鍵へのパスを指定します。デフォルトのファイルパスは ~/.ssh/id_rsa.pub です。

   8

   ホステッドクラスターの namespace を指定します。

   9

   Hosted Control Plane コンポーネントの可用性ポリシーを指定します。サポートされているオプションは SingleReplica と HighlyAvailable です。デフォルト値は HighlyAvailable です。

   10

   4.19.0-multi など、使用するサポート対象の OpenShift Container Platform バージョンを指定します。非接続環境を使用している場合は、<ocp_release_image> をダイジェストイメージに置き換えます。OpenShift Container Platform リリースイメージダイジェストを抽出するには、OpenShift Container Platform リリースイメージダイジェストの抽出 を参照してください。

   11

   ノードプールレプリカ数を指定します（例： 3 ）同じ数のレプリカを作成するには、レプリカ数を 0 以上に指定する必要があります。それ以外の場合は、ノードプールを作成しません。

   12

   -ssh-key フラグの後に、user/.ssh/id_rsa などの SSH キーへのパスを指定します。

3. サービス公開ストラテジーを設定します。デフォルトでは、ノードポートは追加のインフラストラクチャーなしで常に利用できるため、ホステッドクラスターは NodePort サービス公開ストラテジーを使用します。ただし、ロードバランサーを使用するようにサービス公開ストラテジーを設定できます。

   • デフォルトの NodePort ストラテジーを使用している場合は、管理クラスターノードではなく、ホステッドクラスターコンピュートノードを指すように DNS を設定します。詳細は、「ベアメタル上の DNS 設定」を参照してください。

   • 実稼働環境では、証明書の処理と自動 DNS 解決を提供するため、LoadBalancer ストラテジーを使用します。次の例は、ホストされたクラスター設定ファイルでサービス公開 LoadBalancer ストラテジーを変更する方法を示しています。

     # ...
     spec:
       services:
       - service: APIServer
         servicePublishingStrategy:
           type: LoadBalancer 

     1

     
       - service: Ignition
         servicePublishingStrategy:
           type: Route
       - service: Konnectivity
         servicePublishingStrategy:
           type: Route
       - service: OAuthServer
         servicePublishingStrategy:
           type: Route
       - service: OIDC
         servicePublishingStrategy:
           type: Route
       sshKey:
         name: <ssh_key>
     # ...

     Copy to Clipboard Toggle word wrap

     1

     API サーバータイプとして LoadBalancer を指定します。それ以外のすべてのサービスでは、タイプとして Route を指定します。

4. 次のコマンドを入力して、ホステッドクラスター設定ファイルに変更を適用します。

   $ oc apply -f hosted_cluster_config.yaml

   Copy to Clipboard Toggle word wrap

5. 次のコマンドを入力して、ホステッドクラスター、ノードプール、および Pod の作成を確認します。

   $ oc get hostedcluster \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   Copy to Clipboard Toggle word wrap

   $ oc get nodepool \
     <hosted_cluster_namespace> -n \
     <hosted_cluster_namespace> -o \
     jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .

   Copy to Clipboard Toggle word wrap

   $ oc get pods -n <hosted_cluster_namespace>

   Copy to Clipboard Toggle word wrap
6. ホステッドクラスターの準備ができていることを確認します。Available: True のステータスはクラスターの readiness を示し、ノードプールのステータスは AllMachinesReady: True と表示されます。これらのステータスは、すべてのクラスター Operator の正常性を示します。

7. ホステッドクラスターに MetalLB をインストールします。

   1. 次のコマンドを入力して、ホステッドクラスターから kubeconfig ファイルを展開し、ホステッドクラスターアクセス用の環境変数を設定します。

      $ oc get secret \
        <hosted_cluster_namespace>-admin-kubeconfig \
        -n <hosted_cluster_namespace> \
        -o jsonpath='{.data.kubeconfig}' \
        | base64 -d > \
        kubeconfig-<hosted_cluster_namespace>.yaml

      Copy to Clipboard Toggle word wrap

      $ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"

      Copy to Clipboard Toggle word wrap

   2. install-metallb-operator.yaml ファイルを作成して MetalLB Operator をインストールします。

      apiVersion: v1
      kind: Namespace
      metadata:
        name: metallb-system
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: metallb-operator
        namespace: metallb-system
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator
        namespace: metallb-system
      spec:
        channel: "stable"
        name: metallb-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace
        installPlanApproval: Automatic
      # ...

      Copy to Clipboard Toggle word wrap

   3. 以下のコマンドを入力してファイルを適用します。

      $ oc apply -f install-metallb-operator.yaml

      Copy to Clipboard Toggle word wrap

   4. deploy-metallb-ipaddresspool.yaml ファイルを作成して、MetalLB IP アドレスプールを設定します。

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: metallb
        namespace: metallb-system
      spec:
        autoAssign: true
        addresses:
        - 10.11.176.71-10.11.176.75
      ---
      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: l2advertisement
        namespace: metallb-system
      spec:
        ipAddressPools:
        - metallb
      # ...

      Copy to Clipboard Toggle word wrap

   5. 次のコマンドを入力して設定を適用します。

      $ oc apply -f deploy-metallb-ipaddresspool.yaml

      Copy to Clipboard Toggle word wrap

   6. 次のコマンドを入力して、Operator のステータス、IP アドレスプール、および L2Advertisement リソースをチェックして、MetalLB のインストールを確認します。

      $ oc get pods -n metallb-system

      Copy to Clipboard Toggle word wrap

      $ oc get ipaddresspool -n metallb-system

      Copy to Clipboard Toggle word wrap

      $ oc get l2advertisement -n metallb-system

      Copy to Clipboard Toggle word wrap

8. Ingress 用のロードバランサーを設定します。

   1. ingress-loadbalancer.yaml ファイルを作成します。

      apiVersion: v1
      kind: Service
      metadata:
        annotations:
          metallb.universe.tf/address-pool: metallb
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer
      # ...

      Copy to Clipboard Toggle word wrap

   2. 次のコマンドを入力して設定を適用します。

      $ oc apply -f ingress-loadbalancer.yaml

      Copy to Clipboard Toggle word wrap

   3. 次のコマンドを入力して、ロードバランサーサービスが期待どおりに動作することを確認します。

      $ oc get svc metallb-ingress -n openshift-ingress

      Copy to Clipboard Toggle word wrap

      出力例

      NAME              TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
      metallb-ingress   LoadBalancer   172.31.127.129   10.11.176.71   80:30961/TCP,443:32090/TCP   16h

      Copy to Clipboard Toggle word wrap

9. ロードバランサーと連携するように DNS を設定します。

   1. *.apps.<hosted_cluster_namespace>.<base_domain> ワイルドカード DNS レコードがロードバランサーの IP アドレスをポイントするように、apps ドメインの DNS を設定します。

   2. 次のコマンドを入力して DNS 解決を確認します。

      $ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>

      Copy to Clipboard Toggle word wrap

      出力例

      Server:         10.11.176.1
      Address:        10.11.176.1#53
      
      Name:   console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com
      Address: 10.11.176.71

      Copy to Clipboard Toggle word wrap

検証

1. 次のコマンドを入力して、クラスター Operator を確認します。

   $ oc get clusteroperators

   Copy to Clipboard Toggle word wrap

   すべての Operator に AVAILABLE: True、PROGRESSING: False、DEGRADED: False が表示されていることを確認します。

2. 次のコマンドを入力してノードを確認します。

   $ oc get nodes

   Copy to Clipboard Toggle word wrap

   各ノードのステータスが READY であることを確認します。

3. Web ブラウザーに次の URL を入力して、コンソールへのアクセスをテストします。

   https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>

   Copy to Clipboard Toggle word wrap

手順

1. 以下のコマンドを実行します。

   virt-install \
      --name "<vm_name>" \ 

   1

   
      --autostart \
      --ram=16384 \
      --cpu host \
      --vcpus=4 \
      --location "<path_to_kernel_initrd_image>,kernel=kernel.img,initrd=initrd.img" \ 

   2

   
      --disk <qcow_image_path> \ 

   3

   
      --network network:macvtap-net,mac=<mac_address> \ 

   4

   
      --graphics none \
      --noautoconsole \
      --wait=-1
      --extra-args "rd.neednet=1 nameserver=<nameserver>   coreos.live.rootfs_url=http://<http_server>/rootfs.img random.trust_cpu=on rd.luks.options=discard ignition.firstboot ignition.platform.id=metal console=tty1 console=ttyS1,115200n8 coreos.inst.persistent-kargs=console=tty1 console=ttyS1,115200n8" 

   5

   Copy to Clipboard Toggle word wrap

   1

   仮想マシンの名前を指定します。

   2

   kernel_initrd_image ファイルの場所を指定します。

   3

   ディスクイメージのパスを指定します。

   4

   Mac アドレスを指定します。

   5

   エージェントのサーバー名を指定します。

2. ISO ブートの場合は、InfraEnv リソースから ISO をダウンロードし、次のコマンドを実行してノードを起動します。

   virt-install \
     --name "<vm_name>" \ 

   1

   
     --autostart \
     --memory=16384 \
     --cpu host \
     --vcpus=4 \
     --network network:macvtap-net,mac=<mac_address> \ 

   2

   
     --cdrom "<path_to_image.iso>" \ 

   3

   
     --disk <qcow_image_path> \
     --graphics none \
     --noautoconsole \
     --os-variant <os_version> \ 

   4

   
     --wait=-1

   Copy to Clipboard Toggle word wrap

   1

   仮想マシンの名前を指定します。

   2

   Mac アドレスを指定します。

   3

   image.iso ファイルの場所を指定します。

   4

   使用しているオペレーティングシステムのバージョンを指定します。

手順

1. エージェントのブートパラメーターファイルを作成します。

   パラメーターファイルの例

   rd.neednet=1 cio_ignore=all,!condev \
   console=ttysclp0 \
   ignition.firstboot ignition.platform.id=metal
   coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \

   1

   
   coreos.inst.persistent-kargs=console=ttysclp0
   ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns> \

   2

   
   rd.znet=qeth,<network_adaptor_range>,layer2=1
   rd.<disk_type>=<adapter> \

   3

   
   zfcp.allow_lun_scan=0
   ai.ip_cfg_override=1 \

   4

   
   random.trust_cpu=on rd.luks.options=discard

   Copy to Clipboard Toggle word wrap

   1

   coreos.live.rootfs_url アーティファクトには、起動する kernel と initramfs に合った rootfs アーティファクトを指定します。HTTP プロトコルおよび HTTPS プロトコルのみがサポートされます。

   2

   ip パラメーターには、z/VM を使用したクラスターの IBM Z および IBM LinuxONE へのインストール の説明に従って、IP アドレスを手動で割り当てます。

   3

   DASD タイプのディスクにインストールする場合は、rd.dasd を使用して、Red Hat Enterprise Linux CoreOS (RHCOS) をインストールする DASD を指定します。FCP タイプのディスクにインストールする場合は、rd.zfcp=<adapter>,<wwpn>,<lun> を使用して、RHCOS がインストールされる FCP ディスクを指定します。

   4

   Open Systems Adapter (OSA) または HiperSockets を使用する場合は、このパラメーターを指定します。

2. InfraEnv リソースから .ins ファイルと initrd.img.addrsize ファイルをダウンロードします。

   デフォルトでは、.ins ファイルと initrd.img.addrsize ファイルの URL は、InfraEnv リソースにはありません。これらのアーティファクトを取得するには、URL を編集する必要があります。

   1. 次のコマンドを実行して、カーネル URL エンドポイントを更新し、ins-file を含めます。

      $ curl -k -L -o generic.ins "< url for ins-file >"

      Copy to Clipboard Toggle word wrap

      URL の例

      https://…/boot-artifacts/ins-file?arch=s390x&version=4.17.0

      Copy to Clipboard Toggle word wrap

   2. initrd URL エンドポイントを更新し、s390x-initrd-addrsize を含めます。

      URL の例

      https://…./s390x-initrd-addrsize?api_key=<api-key>&arch=s390x&version=4.17.0

      Copy to Clipboard Toggle word wrap

3. initrd、kernel、generic.ins、および initrd.img.addrsize パラメーターファイルをファイルサーバーに転送します。FTP を使用してファイルを転送し、ブートする方法の詳細は、「LPAR へのインストール」を参照してください。
4. マシンを起動します。
5. クラスター内の他のマシンすべてに対してこの手順を繰り返します。

手順

1. パラメーターファイルを更新して、rootfs_url、network_adaptor、および disk_type の値を追加します。

   パラメーターファイルの例

   rd.neednet=1 cio_ignore=all,!condev \
   console=ttysclp0  \
   ignition.firstboot ignition.platform.id=metal \
   coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \

   1

   
   coreos.inst.persistent-kargs=console=ttysclp0
   ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns> \

   2

   
   rd.znet=qeth,<network_adaptor_range>,layer2=1
   rd.<disk_type>=<adapter> \

   3

   
   zfcp.allow_lun_scan=0
   ai.ip_cfg_override=1 \

   4

   Copy to Clipboard Toggle word wrap

   1

   coreos.live.rootfs_url アーティファクトには、起動する kernel と initramfs に合った rootfs アーティファクトを指定します。HTTP プロトコルおよび HTTPS プロトコルのみがサポートされます。

   2

   ip パラメーターには、z/VM を使用したクラスターの IBM Z および IBM LinuxONE へのインストール の説明に従って、IP アドレスを手動で割り当てます。

   3

   DASD タイプのディスクにインストールする場合は、rd.dasd を使用して、Red Hat Enterprise Linux CoreOS (RHCOS) をインストールする DASD を指定します。FCP タイプのディスクにインストールする場合は、rd.zfcp=<adapter>,<wwpn>,<lun> を使用して、RHCOS がインストールされる FCP ディスクを指定します。

   4

   Open Systems Adapter (OSA) または HiperSockets を使用する場合は、このパラメーターを指定します。

2. 次のコマンドを実行して、initrd、カーネルイメージ、およびパラメーターファイルをゲスト VM に移動します。

   vmur pun -r -u -N kernel.img $INSTALLERKERNELLOCATION/<image name>

   Copy to Clipboard Toggle word wrap

   vmur pun -r -u -N generic.parm $PARMFILELOCATION/paramfilename

   Copy to Clipboard Toggle word wrap

   vmur pun -r -u -N initrd.img $INSTALLERINITRAMFSLOCATION/<image name>

   Copy to Clipboard Toggle word wrap

3. ゲスト VM コンソールから次のコマンドを実行します。

   cp ipl c

   Copy to Clipboard Toggle word wrap

4. エージェントとそのプロパティーをリスト表示するには、次のコマンドを入力します。

   $ oc -n <hosted_control_plane_namespace> get agents

   Copy to Clipboard Toggle word wrap

   出力例

   NAME    CLUSTER APPROVED    ROLE    STAGE
   50c23cda-cedc-9bbd-bcf1-9b3a5c75804d    auto-assign
   5e498cd3-542c-e54f-0c58-ed43e28b568a    auto-assign

   Copy to Clipboard Toggle word wrap

5. 次のコマンドを実行してエージェントを承認します。

   $ oc -n <hosted_control_plane_namespace> patch agent \
     50c23cda-cedc-9bbd-bcf1-9b3a5c75804d -p \
     '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-zvm-0.hostedn.example.com"}}' \

   1

   
     --type merge

   Copy to Clipboard Toggle word wrap

   1

   必要に応じて、仕様でエージェント ID <installation_disk_id> と <hostname> を設定できます。

6. 次のコマンドを実行して、エージェントが承認されていることを確認します。

   $ oc -n <hosted_control_plane_namespace> get agents

   Copy to Clipboard Toggle word wrap

   出力例

   NAME                                            CLUSTER     APPROVED   ROLE          STAGE
   50c23cda-cedc-9bbd-bcf1-9b3a5c75804d             true       auto-assign
   5e498cd3-542c-e54f-0c58-ed43e28b568a             true       auto-assign

   Copy to Clipboard Toggle word wrap