IBM Cloud Bare Metal (Classic)へのインストール

手順

1. ssh でプロビジョナーノードにログインします。

2. root 以外のユーザー (kni) を作成し、そのユーザーに sudo 権限を付与します。

   # useradd kni

   Copy to Clipboard Toggle word wrap

   # passwd kni

   Copy to Clipboard Toggle word wrap

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   Copy to Clipboard Toggle word wrap

   # chmod 0440 /etc/sudoers.d/kni

   Copy to Clipboard Toggle word wrap

3. 新規ユーザーの ssh キーを作成します。

   # su - kni -c "ssh-keygen -f /home/kni/.ssh/id_rsa -N ''"

   Copy to Clipboard Toggle word wrap

4. プロビジョナーノードで新規ユーザーとしてログインします。

   # su - kni

   Copy to Clipboard Toggle word wrap

5. Red Hat Subscription Manager を使用してプロビジョナーノードを登録します。

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach

   Copy to Clipboard Toggle word wrap

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms \
                                     --enable=rhel-8-for-x86_64-baseos-rpms

   Copy to Clipboard Toggle word wrap
   注記

   Red Hat Subscription Manager の詳細は、Using and Configuring Red Hat Subscription Manager を参照してください。

6. 以下のパッケージをインストールします。

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

   Copy to Clipboard Toggle word wrap

7. ユーザーを変更して、新たに作成したユーザーに libvirt グループを追加します。

   $ sudo usermod --append --groups libvirt kni

   Copy to Clipboard Toggle word wrap

8. firewalld を起動します。

   $ sudo systemctl start firewalld

   Copy to Clipboard Toggle word wrap

9. firewalld を有効にします。

   $ sudo systemctl enable firewalld

   Copy to Clipboard Toggle word wrap

10. http サービスを起動します。

    $ sudo firewall-cmd --zone=public --add-service=http --permanent

    Copy to Clipboard Toggle word wrap

    $ sudo firewall-cmd --reload

    Copy to Clipboard Toggle word wrap

11. libvirtd サービスを開始して、これを有効にします。

    $ sudo systemctl enable libvirtd --now

    Copy to Clipboard Toggle word wrap

12. プロビジョナーノードの ID を設定します。

    $ PRVN_HOST_ID=<ID>

    Copy to Clipboard Toggle word wrap

    以下の ibmcloud コマンドで ID を表示できます。

    $ ibmcloud sl hardware list

    Copy to Clipboard Toggle word wrap

13. パブリックサブネットの ID を設定します。

    $ PUBLICSUBNETID=<ID>

    Copy to Clipboard Toggle word wrap

    以下の ibmcloud コマンドで ID を表示できます。

    $ ibmcloud sl subnet list

    Copy to Clipboard Toggle word wrap

14. プライベートサブネットの ID を設定します。

    $ PRIVSUBNETID=<ID>

    Copy to Clipboard Toggle word wrap

    以下の ibmcloud コマンドで ID を表示できます。

    $ ibmcloud sl subnet list

    Copy to Clipboard Toggle word wrap

15. provisioner ノードのパブリック IP アドレスを設定します。

    $ PRVN_PUB_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | jq .primaryIpAddress -r)

    Copy to Clipboard Toggle word wrap

16. パブリックネットワークの CIDR を設定します。

    $ PUBLICCIDR=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .cidr)

    Copy to Clipboard Toggle word wrap

17. パブリックネットワークの IP アドレスおよび CIDR を設定します。

    $ PUB_IP_CIDR=$PRVN_PUB_IP/$PUBLICCIDR

    Copy to Clipboard Toggle word wrap

18. パブリックネットワークのゲートウェイを設定します。

    $ PUB_GATEWAY=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .gateway -r)

    Copy to Clipboard Toggle word wrap

19. プロビジョナーノードのプライベート IP アドレスを設定します。

    $ PRVN_PRIV_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | \
                     jq .primaryBackendIpAddress -r)

    Copy to Clipboard Toggle word wrap

20. プライベートネットワークの CIDR を設定します。

    $ PRIVCIDR=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .cidr)

    Copy to Clipboard Toggle word wrap

21. プライベートネットワークの IP アドレスおよび CIDR を設定します。

    $ PRIV_IP_CIDR=$PRVN_PRIV_IP/$PRIVCIDR

    Copy to Clipboard Toggle word wrap

22. プライベートネットワークのゲートウェイを設定します。

    $ PRIV_GATEWAY=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .gateway -r)

    Copy to Clipboard Toggle word wrap

23. baremetal および provisioning ネットワークのブリッジを設定します。

    $ sudo nohup bash -c "
        nmcli --get-values UUID con show | xargs -n 1 nmcli con delete
        nmcli connection add ifname provisioning type bridge con-name provisioning
        nmcli con add type bridge-slave ifname eth1 master provisioning
        nmcli connection add ifname baremetal type bridge con-name baremetal
        nmcli con add type bridge-slave ifname eth2 master baremetal
        nmcli connection modify baremetal ipv4.addresses $PUB_IP_CIDR ipv4.method manual ipv4.gateway $PUB_GATEWAY
        nmcli connection modify provisioning ipv4.addresses 172.22.0.1/24,$PRIV_IP_CIDR ipv4.method manual
        nmcli connection modify provisioning +ipv4.routes \"10.0.0.0/8 $PRIV_GATEWAY\"
        nmcli con down baremetal
        nmcli con up baremetal
        nmcli con down provisioning
        nmcli con up provisioning
        init 6
    "

    Copy to Clipboard Toggle word wrap
    注記

    eth1 および eth2 の場合は、必要に応じて適切なインターフェイス名を置き換えます。

24. 必要な場合は、provisioner ノードに対して再度 SSH を実行します。

    # ssh kni@provisioner.<cluster-name>.<domain>

    Copy to Clipboard Toggle word wrap

25. 接続ブリッジが適切に作成されていることを確認します。

    $ sudo nmcli con show

    Copy to Clipboard Toggle word wrap

    出力例

    NAME               UUID                                  TYPE      DEVICE
    baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
    provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
    virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
    bridge-slave-eth1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eth1
    bridge-slave-eth2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eth2

    Copy to Clipboard Toggle word wrap

26. pull-secret.txt ファイルを作成します。

    $ vim pull-secret.txt

    Copy to Clipboard Toggle word wrap

    Web ブラウザーで、Install on Bare Metal with user-provisioned infrastructure に移動します。ステップ 1 で、Download pull secret をクリックします。pull-secret.txt ファイルにコンテンツを貼り付け、そのコンテンツを kni ユーザーのホームディレクトリーに保存します。

手順

1. dnsmasq をインストールします。

   $ sudo dnf install dnsmasq

   Copy to Clipboard Toggle word wrap

2. dnsmasq 設定ファイルを開きます。

   $ sudo vi /etc/dnsmasq.conf

   Copy to Clipboard Toggle word wrap

3. 以下の設定を dnsmasq 設定ファイルに追加します。

   interface=baremetal
   except-interface=lo
   bind-dynamic
   log-dhcp
   
   dhcp-range=<ip_addr>,<ip_addr>,<pub_cidr> 

   1

   
   dhcp-option=baremetal,121,0.0.0.0/0,<pub_gateway>,<prvn_priv_ip>,<prvn_pub_ip> 

   2

   
   
   dhcp-hostsfile=/var/lib/dnsmasq/dnsmasq.hostsfile

   Copy to Clipboard Toggle word wrap

   1

   DHCP 範囲を設定します。<ip_addr> の両方のインスタンスをパブリックサブネットから 1 つの未使用の IP アドレスに置き換え、baremetal ネットワークの dhcp-range が開始し、IP アドレスで終了するようにします。<pub_cidr> をパブリックサブネットの CIDR に置き換えます。

   2

   DHCP オプションを設定します。<pub_gateway> を、baremetal ネットワークのゲートウェイの IP アドレスに置き換えます。<prvn_priv_ip> を、provisioning ネットワーク上にあるプロビジョナーノードのプライベート IP アドレスの IP アドレスに置き換えます。<prvn_pub_ip> を、baremetal ネットワーク上にあるプロビジョナーノードのパブリック IP アドレスの IP アドレスに置き換えます。

   <pub_cidr> の値を取得するには、以下を実行します。

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .cidr

   Copy to Clipboard Toggle word wrap

   <publicsubnetid> をパブリックサブネットの ID に置き換えます。

   <pub_gateway> の値を取得するには、以下を実行します。

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .gateway -r

   Copy to Clipboard Toggle word wrap

   <publicsubnetid> をパブリックサブネットの ID に置き換えます。

   <prvn_priv_ip> の値を取得するには、以下を実行します。

   $ ibmcloud  sl hardware detail <id> --output JSON | \
               jq .primaryBackendIpAddress -r

   Copy to Clipboard Toggle word wrap

   <id> をプロビジョナーノードの ID に置き換えます。

   <prvn_pub_ip> の値を取得するには、以下を実行します。

   $ ibmcloud sl hardware detail <id> --output JSON | jq .primaryIpAddress -r

   Copy to Clipboard Toggle word wrap

   <id> をプロビジョナーノードの ID に置き換えます。

4. クラスターのハードウェアのリストを取得します。

   $ ibmcloud sl hardware list

   Copy to Clipboard Toggle word wrap

5. 各ノードの MAC アドレスおよび IP アドレスを取得します。

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '.networkComponents[] | \
     "\(.primaryIpAddress) \(.macAddress)"' | grep -v null

   Copy to Clipboard Toggle word wrap

   <id> をノードの ID に置き換えてください。

   出力例

   "10.196.130.144 00:e0:ed:6a:ca:b4"
   "141.125.65.215 00:e0:ed:6a:ca:b5"

   Copy to Clipboard Toggle word wrap

   パブリックネットワークの MAC アドレスと IP アドレスを書き留めておきます。プライベートネットワークの MAC アドレスを別々に書き留めておきます。これは、後に install-config.yaml ファイルで使用します。各ノードにパブリック baremetal ネットワークのパブリック MAC アドレスと IP アドレスがすべてあり、プライベートの provisioning の MAC アドレスになるまで、この手順を繰り返します。

6. 各ノードのパブリック baremetal ネットワークの MAC アドレスと IP アドレスペアを dnsmasq.hostsfile ファイルに追加します。

   $ sudo vim /var/lib/dnsmasq/dnsmasq.hostsfile

   Copy to Clipboard Toggle word wrap

   入力の例

   00:e0:ed:6a:ca:b5,141.125.65.215,master-0
   <mac>,<ip>,master-1
   <mac>,<ip>,master-2
   <mac>,<ip>,worker-0
   <mac>,<ip>,worker-1
   ...

   Copy to Clipboard Toggle word wrap

   <mac>,<ip> を、対応するノード名のパブリック MAC アドレスとパブリック IP アドレスに置き換えます。

7. dnsmasq を開始します。

   $ sudo systemctl start dnsmasq

   Copy to Clipboard Toggle word wrap

8. dnsmasq を有効にして、ノードのブート時に起動できるようにします。

   $ sudo systemctl enable dnsmasq

   Copy to Clipboard Toggle word wrap

9. dnsmasq が実行中であることを確認します。

   $ sudo systemctl status dnsmasq

   Copy to Clipboard Toggle word wrap

   出力例

   ● dnsmasq.service - DNS caching server.
   Loaded: loaded (/usr/lib/systemd/system/dnsmasq.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-05 05:04:14 CDT; 49s ago
   Main PID: 3101 (dnsmasq)
   Tasks: 1 (limit: 204038)
   Memory: 732.0K
   CGroup: /system.slice/dnsmasq.service
   └─3101 /usr/sbin/dnsmasq -k

   Copy to Clipboard Toggle word wrap

10. UDP プロトコルでポート 53 および 67 を開きます。

    $ sudo firewall-cmd --add-port 53/udp --permanent

    Copy to Clipboard Toggle word wrap

    $ sudo firewall-cmd --add-port 67/udp --permanent

    Copy to Clipboard Toggle word wrap

11. masquerade を使用して、外部ゾーンに provisioning を追加します。

    $ sudo firewall-cmd --change-zone=provisioning --zone=external --permanent

    Copy to Clipboard Toggle word wrap

    このステップにより、管理サブネットへの IPMI 呼び出しのネットワークアドレス変換が確保されます。

12. firewalld 設定を再読み込みします。

    $ sudo firewall-cmd --reload

    Copy to Clipboard Toggle word wrap

手順

1. 環境変数を設定します。

   $ export cmd=openshift-baremetal-install

   Copy to Clipboard Toggle word wrap

   $ export pullsecret_file=~/pull-secret.txt

   Copy to Clipboard Toggle word wrap

   $ export extract_dir=$(pwd)

   Copy to Clipboard Toggle word wrap

2. oc バイナリーを取得します。

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

   Copy to Clipboard Toggle word wrap

3. インストーラーを実行します。

   $ sudo cp oc /usr/local/bin

   Copy to Clipboard Toggle word wrap

   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}

   Copy to Clipboard Toggle word wrap

   $ sudo cp openshift-baremetal-install /usr/local/bin

   Copy to Clipboard Toggle word wrap

手順

1. install-config.yaml を設定します。pullSecret および sshKey など、環境に合わせて適切な変数を変更します。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api_ip>
       ingressVIP: <wildcard_ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://10.196.130.145?privilegelevel=OPERATOR 

   1

   
             username: root
             password: <password>
           bootMACAddress: 00:e0:ed:6a:ca:b4 

   2

   
           rootDeviceHints:
             deviceName: "/dev/sda"
         - name: openshift-worker-0
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>?privilegelevel=OPERATOR 

   3

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address> 

   4

   
           rootDeviceHints:
             deviceName: "/dev/sda"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   Copy to Clipboard Toggle word wrap

   1 3

   bmc.address は、値が OPERATOR に設定された privilegelevel の設定を提供します。これは、IBM Cloud Bare Metal (Classic) インフラストラクチャーに必要です。

   2 4

   対応するノードのプライベート provisioning ネットワーク NIC の MAC アドレスを追加します。

   注記

   ibmcloud コマンドラインユーティリティーを使用して、パスワードを取得できます。

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '"(.networkManagementIpAddress) (.remoteManagementAccounts[0].password)"'

   Copy to Clipboard Toggle word wrap

   <id> をノードの ID に置き換えてください。

2. クラスター設定を保存するディレクトリーを作成します。

   $ mkdir ~/clusterconfigs

   Copy to Clipboard Toggle word wrap

3. install-config.yaml ファイルをディレクトリーにコピーします。

   $ cp install-config.yaml ~/clusterconfigs

   Copy to Clipboard Toggle word wrap

4. OpenShift Container Platform クラスターをインストールする前に、すべてのベアメタルノードの電源がオフになっていることを確認します。

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

   Copy to Clipboard Toggle word wrap

5. 以前に試行したデプロイメントにより古いブートストラップリソースが残っている場合は、これを削除します。

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

   Copy to Clipboard Toggle word wrap

1. OpenShift Container Platform マニフェストを作成します。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   Copy to Clipboard Toggle word wrap

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

   Copy to Clipboard Toggle word wrap