15.2. OpenShift Container Platform インストールの環境の設定

手順

1. ssh でプロビジョナーノードにログインします。

2. root 以外のユーザー (kni) を作成し、そのユーザーに sudo 権限を付与します。

   # useradd kni

   # passwd kni

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   # chmod 0440 /etc/sudoers.d/kni

3. 新規ユーザーの ssh キーを作成します。

   # su - kni -c "ssh-keygen -f /home/kni/.ssh/id_rsa -N ''"

4. プロビジョナーノードで新規ユーザーとしてログインします。

   # su - kni

5. Red Hat Subscription Manager を使用してプロビジョナーノードを登録します。

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms \
                                     --enable=rhel-8-for-x86_64-baseos-rpms

   注記

   Red Hat Subscription Manager についての詳細は、Using and Configuring Red Hat Subscription Manager を参照してください。

6. 以下のパッケージをインストールします。

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

7. ユーザーを変更して、新たに作成したユーザーに libvirt グループを追加します。

   $ sudo usermod --append --groups libvirt kni

8. firewalld を起動します。

   $ sudo systemctl start firewalld

9. firewalld を有効にします。

   $ sudo systemctl enable firewalld

10. http サービスを起動します。

    $ sudo firewall-cmd --zone=public --add-service=http --permanent

    $ sudo firewall-cmd --reload

11. libvirtd サービスを開始して、これを有効にします。

    $ sudo systemctl enable libvirtd --now

12. プロビジョナーノードの ID を設定します。

    $ PRVN_HOST_ID=<ID>

    以下の ibmcloud コマンドで ID を表示できます。

    $ ibmcloud sl hardware list

13. パブリックサブネットの ID を設定します。

    $ PUBLICSUBNETID=<ID>

    以下の ibmcloud コマンドで ID を表示できます。

    $ ibmcloud sl subnet list

14. プライベートサブネットの ID を設定します。

    $ PRIVSUBNETID=<ID>

    以下の ibmcloud コマンドで ID を表示できます。

    $ ibmcloud sl subnet list

15. provisioner ノードのパブリック IP アドレスを設定します。

    $ PRVN_PUB_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | jq .primaryIpAddress -r)

16. パブリックネットワークの CIDR を設定します。

    $ PUBLICCIDR=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .cidr)

17. パブリックネットワークの IP アドレスおよび CIDR を設定します。

    $ PUB_IP_CIDR=$PRVN_PUB_IP/$PUBLICCIDR

18. パブリックネットワークのゲートウェイを設定します。

    $ PUB_GATEWAY=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .gateway -r)

19. プロビジョナーノードのプライベート IP アドレスを設定します。

    $ PRVN_PRIV_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | \
                     jq .primaryBackendIpAddress -r)

20. プライベートネットワークの CIDR を設定します。

    $ PRIVCIDR=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .cidr)

21. プライベートネットワークの IP アドレスおよび CIDR を設定します。

    $ PRIV_IP_CIDR=$PRVN_PRIV_IP/$PRIVCIDR

22. プライベートネットワークのゲートウェイを設定します。

    $ PRIV_GATEWAY=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .gateway -r)

23. baremetal および provisioning ネットワークのブリッジを設定します。

    $ sudo nohup bash -c "
        nmcli --get-values UUID con show | xargs -n 1 nmcli con delete
        nmcli connection add ifname provisioning type bridge con-name provisioning
        nmcli con add type bridge-slave ifname eth1 master provisioning
        nmcli connection add ifname baremetal type bridge con-name baremetal
        nmcli con add type bridge-slave ifname eth2 master baremetal
        nmcli connection modify baremetal ipv4.addresses $PUB_IP_CIDR ipv4.method manual ipv4.gateway $PUB_GATEWAY
        nmcli connection modify provisioning ipv4.addresses 172.22.0.1/24,$PRIV_IP_CIDR ipv4.method manual
        nmcli connection modify provisioning +ipv4.routes \"10.0.0.0/8 $PRIV_GATEWAY\"
        nmcli con down baremetal
        nmcli con up baremetal
        nmcli con down provisioning
        nmcli con up provisioning
        init 6
    "

    注記

    eth1 および eth2 の場合は、必要に応じて適切なインターフェイス名を置き換えます。

24. 必要な場合は、provisioner ノードに対して再度 SSH を実行します。

    # ssh kni@provisioner.<cluster-name>.<domain>

25. 接続ブリッジが適切に作成されていることを確認します。

    $ sudo nmcli con show

    出力例

    NAME               UUID                                  TYPE      DEVICE
    baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
    provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
    virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
    bridge-slave-eth1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eth1
    bridge-slave-eth2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eth2

26. pull-secret.txt ファイルを作成します。

    $ vim pull-secret.txt

    Web ブラウザーで、Install on Bare Metal with user-provisioned infrastructure に移動します。ステップ 1 で、Download pull secret をクリックします。pull-secret.txt ファイルにコンテンツを貼り付け、そのコンテンツを kni ユーザーのホームディレクトリーに保存します。

手順

1. dnsmasq をインストールします。

   $ sudo dnf install dnsmasq

2. dnsmasq 設定ファイルを開きます。

   $ sudo vi /etc/dnsmasq.conf

3. 以下の設定を dnsmasq 設定ファイルに追加します。

   interface=baremetal
   except-interface=lo
   bind-dynamic
   log-dhcp
   
   dhcp-range=<ip_addr>,<ip_addr>,<pub_cidr> 1
   dhcp-option=baremetal,121,0.0.0.0/0,<pub_gateway>,<prvn_priv_ip>,<prvn_pub_ip> 2
   
   dhcp-hostsfile=/var/lib/dnsmasq/dnsmasq.hostsfile

   1

   DHCP 範囲を設定します。<ip_addr> の両方のインスタンスをパブリックサブネットから 1 つの未使用の IP アドレスに置き換え、baremetal ネットワークの dhcp-range が開始し、IP アドレスで終了するようにします。<pub_cidr> をパブリックサブネットの CIDR に置き換えます。

   2

   DHCP オプションを設定します。<pub_gateway> を、baremetal ネットワークのゲートウェイの IP アドレスに置き換えます。<prvn_priv_ip> を provisioning ネットワーク上のプロビジョナーノードのプライベート IP アドレスの IP アドレスに置き換えます。<prvn_pub_ip> を、baremetal ネットワーク上のプロビジョナーノードのパブリック IP アドレスの IP アドレスに置き換えます。

   <pub_cidr> の値を取得するには、以下を実行します。

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .cidr

   <publicsubnetid> をパブリックサブネットの ID に置き換えます。

   <pub_gateway> の値を取得するには、以下を実行します。

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .gateway -r

   <publicsubnetid> をパブリックサブネットの ID に置き換えます。

   <prvn_priv_ip> の値を取得するには、以下を実行します。

   $ ibmcloud  sl hardware detail <id> --output JSON | \
               jq .primaryBackendIpAddress -r

   <id> をプロビジョナーノードの ID に置き換えます。

   <prvn_pub_ip> の値を取得するには、以下を実行します。

   $ ibmcloud sl hardware detail <id> --output JSON | jq .primaryIpAddress -r

   <id> をプロビジョナーノードの ID に置き換えます。

4. クラスターのハードウェアのリストを取得します。

   $ ibmcloud sl hardware list

5. 各ノードの MAC アドレスおよび IP アドレスを取得します。

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '.networkComponents[] | \
     "\(.primaryIpAddress) \(.macAddress)"' | grep -v null

   <id> をノードの ID に置き換えてください。

   出力例

   "10.196.130.144 00:e0:ed:6a:ca:b4"
   "141.125.65.215 00:e0:ed:6a:ca:b5"

   パブリックネットワークの MAC アドレスと IP アドレスを書き留めておきます。プライベートネットワークの MAC アドレスを別々に書留ておきます。これは、後に install-config.yaml ファイルで使用します。各ノードにパブリック baremetal ネットワークのパブリック MAC アドレスと IP アドレスがすべてあり、プライベートの provisioning の MAC アドレスになるまで、この手順を繰り返します。

6. 各ノードのパブリック baremetal ネットワークの MAC アドレスと IP アドレスペアを dnsmasq.hostsfile ファイルに追加します。

   $ sudo vim /var/lib/dnsmasq/dnsmasq.hostsfile

   入力の例

   00:e0:ed:6a:ca:b5,141.125.65.215,master-0
   <mac>,<ip>,master-1
   <mac>,<ip>,master-2
   <mac>,<ip>,worker-0
   <mac>,<ip>,worker-1
   ...

   <mac>,<ip> を、対応するノード名のパブリック MAC アドレスとパブリック IP アドレスに置き換えます。

7. dnsmasq を開始します。

   $ sudo systemctl start dnsmasq

8. dnsmasq を有効にして、ノードのブート時に起動できるようにします。

   $ sudo systemctl enable dnsmasq

9. dnsmasq が実行中であることを確認します。

   $ sudo systemctl status dnsmasq

   出力例

   ● dnsmasq.service - DNS caching server.
   Loaded: loaded (/usr/lib/systemd/system/dnsmasq.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-05 05:04:14 CDT; 49s ago
   Main PID: 3101 (dnsmasq)
   Tasks: 1 (limit: 204038)
   Memory: 732.0K
   CGroup: /system.slice/dnsmasq.service
   └─3101 /usr/sbin/dnsmasq -k

10. UDP プロトコルでポート 53 および 67 を開きます。

    $ sudo firewall-cmd --add-port 53/udp --permanent

    $ sudo firewall-cmd --add-port 67/udp --permanent

11. masquerade を使用して、外部ゾーンに provisioning を追加します。

    $ sudo firewall-cmd --change-zone=provisioning --zone=external --permanent

    このステップにより、管理サブネットへの IPMI 呼び出しのネットワークアドレス変換が確保されます。

12. firewalld 設定を再読み込みします。

    $ sudo firewall-cmd --reload

手順

1. 環境変数を設定します。

   $ export cmd=openshift-baremetal-install

   $ export pullsecret_file=~/pull-secret.txt

   $ export extract_dir=$(pwd)

2. oc バイナリーを取得します。

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

3. インストーラーを実行します。

   $ sudo cp oc /usr/local/bin

   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}

   $ sudo cp openshift-baremetal-install /usr/local/bin

手順

1. install-config.yaml を設定します。pullSecret および sshKey など、環境に合わせて適切な変数を変更します。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api_ip>
       ingressVIP: <wildcard_ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://10.196.130.145?privilegelevel=OPERATOR 1
             username: root
             password: <password>
           bootMACAddress: 00:e0:ed:6a:ca:b4 2
           rootDeviceHints:
             deviceName: "/dev/sda"
         - name: openshift-worker-0
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>?privilegelevel=OPERATOR 3
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address> 4
           rootDeviceHints:
             deviceName: "/dev/sda"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1 3

   bmc.address は、値が OPERATOR に設定された privilegelevel の設定を提供します。これは、IBM Cloud Bare Metal (Classic) インフラストラクチャーに必要です。

   2 4

   対応するノードのプライベート provisioning ネットワーク NIC の MAC アドレスを追加します。

   注記

   ibmcloud コマンドラインユーティリティーを使用して、パスワードを取得できます。

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '"(.networkManagementIpAddress) (.remoteManagementAccounts[0].password)"'

   <id> をノードの ID に置き換えてください。

2. クラスター設定を保存するディレクトリーを作成します。

   $ mkdir ~/clusterconfigs

3. install-config.yaml ファイルをディレクトリーにコピーします。

   $ cp install-config.yaml ~/clusterconfig

4. OpenShift Container Platform クラスターをインストールする前に、すべてのベアメタルノードの電源がオフになっていることを確認します。

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

5. 以前に試行したデプロイメントにより古いブートストラップリソースが残っている場合は、これを削除します。

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. OpenShift Container Platform マニフェストを作成します。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated