安装 IBM Cloud Bare Metal (Classic)

流程

1. 通过 ssh 登录到 provisioner 节点。

2. 创建非 root 用户(kni)并为该用户提供 sudo 权限：

   # useradd kni

   Copy to Clipboard Toggle word wrap

   # passwd kni

   Copy to Clipboard Toggle word wrap

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   Copy to Clipboard Toggle word wrap

   # chmod 0440 /etc/sudoers.d/kni

   Copy to Clipboard Toggle word wrap

3. 为新用户创建 ssh 密钥：

   # su - kni -c "ssh-keygen -f /home/kni/.ssh/id_rsa -N ''"

   Copy to Clipboard Toggle word wrap

4. 以新用户身份登录到 provisioner 节点：

   # su - kni

   Copy to Clipboard Toggle word wrap

5. 使用 Red Hat Subscription Manager 注册 provisioner 节点：

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach

   Copy to Clipboard Toggle word wrap

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms \
                                     --enable=rhel-8-for-x86_64-baseos-rpms

   Copy to Clipboard Toggle word wrap
   注意

   有关 Red Hat Subscription Manager 的详情，请参考 使用和配置 Red Hat Subscription Manager。

6. 安装以下软件包：

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

   Copy to Clipboard Toggle word wrap

7. 修改用户，将 libvirt 组添加到新创建的用户：

   $ sudo usermod --append --groups libvirt kni

   Copy to Clipboard Toggle word wrap

8. 启动 firewalld ：

   $ sudo systemctl start firewalld

   Copy to Clipboard Toggle word wrap

9. 启用 firewalld ：

   $ sudo systemctl enable firewalld

   Copy to Clipboard Toggle word wrap

10. 启动 http 服务：

    $ sudo firewall-cmd --zone=public --add-service=http --permanent

    Copy to Clipboard Toggle word wrap

    $ sudo firewall-cmd --reload

    Copy to Clipboard Toggle word wrap

11. 启动并启用 libvirtd 服务：

    $ sudo systemctl enable libvirtd --now

    Copy to Clipboard Toggle word wrap

12. 设置 provisioner 节点的 ID：

    $ PRVN_HOST_ID=<ID>

    Copy to Clipboard Toggle word wrap

    您可以使用以下 ibmcloud 命令查看 ID：

    $ ibmcloud sl hardware list

    Copy to Clipboard Toggle word wrap

13. 设置公共子网的 ID：

    $ PUBLICSUBNETID=<ID>

    Copy to Clipboard Toggle word wrap

    您可以使用以下 ibmcloud 命令查看 ID：

    $ ibmcloud sl subnet list

    Copy to Clipboard Toggle word wrap

14. 设置专用子网的 ID：

    $ PRIVSUBNETID=<ID>

    Copy to Clipboard Toggle word wrap

    您可以使用以下 ibmcloud 命令查看 ID：

    $ ibmcloud sl subnet list

    Copy to Clipboard Toggle word wrap

15. 设置 provisioner 节点公共 IP 地址：

    $ PRVN_PUB_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | jq .primaryIpAddress -r)

    Copy to Clipboard Toggle word wrap

16. 为公共网络设置 CIDR:

    $ PUBLICCIDR=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .cidr)

    Copy to Clipboard Toggle word wrap

17. 为公共网络设置 IP 地址和 CIDR：

    $ PUB_IP_CIDR=$PRVN_PUB_IP/$PUBLICCIDR

    Copy to Clipboard Toggle word wrap

18. 为公共网络设置网关：

    $ PUB_GATEWAY=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .gateway -r)

    Copy to Clipboard Toggle word wrap

19. 设置 provisioner 节点的专用 IP 地址：

    $ PRVN_PRIV_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | \
                     jq .primaryBackendIpAddress -r)

    Copy to Clipboard Toggle word wrap

20. 为专用网络设置 CIDR：

    $ PRIVCIDR=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .cidr)

    Copy to Clipboard Toggle word wrap

21. 设置专用网络的 IP 地址和 CIDR：

    $ PRIV_IP_CIDR=$PRVN_PRIV_IP/$PRIVCIDR

    Copy to Clipboard Toggle word wrap

22. 为专用网络设置网关：

    $ PRIV_GATEWAY=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .gateway -r)

    Copy to Clipboard Toggle word wrap

23. 为 baremetal 设置网桥并 置备 网络：

    $ sudo nohup bash -c "
        nmcli --get-values UUID con show | xargs -n 1 nmcli con delete
        nmcli connection add ifname provisioning type bridge con-name provisioning
        nmcli con add type bridge-slave ifname eth1 master provisioning
        nmcli connection add ifname baremetal type bridge con-name baremetal
        nmcli con add type bridge-slave ifname eth2 master baremetal
        nmcli connection modify baremetal ipv4.addresses $PUB_IP_CIDR ipv4.method manual ipv4.gateway $PUB_GATEWAY
        nmcli connection modify provisioning ipv4.addresses 172.22.0.1/24,$PRIV_IP_CIDR ipv4.method manual
        nmcli connection modify provisioning +ipv4.routes \"10.0.0.0/8 $PRIV_GATEWAY\"
        nmcli con down baremetal
        nmcli con up baremetal
        nmcli con down provisioning
        nmcli con up provisioning
        init 6
    "

    Copy to Clipboard Toggle word wrap
    注意

    对于 eth1 和 eth2，根据需要替换相应的接口名称。

24. 如果需要，通过 SSH 重新连接到 provisioner 节点：

    # ssh kni@provisioner.<cluster-name>.<domain>

    Copy to Clipboard Toggle word wrap

25. 验证连接网桥是否已正确创建：

    $ sudo nmcli con show

    Copy to Clipboard Toggle word wrap

    输出示例

    NAME               UUID                                  TYPE      DEVICE
    baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
    provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
    virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
    bridge-slave-eth1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eth1
    bridge-slave-eth2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eth2

    Copy to Clipboard Toggle word wrap

26. 创建 pull-secret.txt 文件：

    $ vim pull-secret.txt

    Copy to Clipboard Toggle word wrap

    在 Web 浏览器中，导航到 Install on Bare Metal with user-provisioned infrastructure。在第 1 步中，点击 Download pull secret。将内容粘贴到 pull-secret.txt 文件中，并将内容保存到 kni 用户的主目录中。

流程

1. 安装 dnsmasq:

   $ sudo dnf install dnsmasq

   Copy to Clipboard Toggle word wrap

2. 打开 dnsmasq 配置文件：

   $ sudo vi /etc/dnsmasq.conf

   Copy to Clipboard Toggle word wrap

3. 在 dnsmasq 配置文件中添加以下配置：

   interface=baremetal
   except-interface=lo
   bind-dynamic
   log-dhcp
   
   dhcp-range=<ip_addr>,<ip_addr>,<pub_cidr> 

   1

   
   dhcp-option=baremetal,121,0.0.0.0/0,<pub_gateway>,<prvn_priv_ip>,<prvn_pub_ip> 

   2

   
   
   dhcp-hostsfile=/var/lib/dnsmasq/dnsmasq.hostsfile

   Copy to Clipboard Toggle word wrap

   1

   设置 DHCP 范围。将 <ip_addr> 实例替换为一个来自公共子网的未使用的 IP 地址，以便 baremetal 网络的 dhcp-range 并以相同的 IP 地址开始和结尾。将 <pub_cidr> 替换为公共子网的 CIDR。

   2

   设置 DHCP 选项。将 <pub_gateway> 替换为 baremetal 网络的网关 IP 地址。将 <prvn_priv_ip> 替换为 provisioning 网络上 provisioner 节点的专用 IP 地址的 IP 地址。将 <prvn_pub_ip> 替换为 baremetal 网络中 provisioner 节点的公共 IP 地址的 IP 地址。

   要检索 <pub_cidr> 的值，请执行：

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .cidr

   Copy to Clipboard Toggle word wrap

   将 <publicsubnetid> 替换为公共子网的 ID。

   要检索 <pub_gateway> 的值，请执行：

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .gateway -r

   Copy to Clipboard Toggle word wrap

   将 <publicsubnetid> 替换为公共子网的 ID。

   要检索 <prvn_priv_ip> 的值，请执行：

   $ ibmcloud  sl hardware detail <id> --output JSON | \
               jq .primaryBackendIpAddress -r

   Copy to Clipboard Toggle word wrap

   将 <id> 替换为 provisioner 节点的 ID。

   要检索 <prvn_pub_ip> 的值，请执行：

   $ ibmcloud sl hardware detail <id> --output JSON | jq .primaryIpAddress -r

   Copy to Clipboard Toggle word wrap

   将 <id> 替换为 provisioner 节点的 ID。

4. 获取集群的硬件列表：

   $ ibmcloud sl hardware list

   Copy to Clipboard Toggle word wrap

5. 获取每个节点的 MAC 地址和 IP 地址：

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '.networkComponents[] | \
     "\(.primaryIpAddress) \(.macAddress)"' | grep -v null

   Copy to Clipboard Toggle word wrap

   将 <id> 替换为节点的 ID。

   输出示例

   "10.196.130.144 00:e0:ed:6a:ca:b4"
   "141.125.65.215 00:e0:ed:6a:ca:b5"

   Copy to Clipboard Toggle word wrap

   记录公共网络的 MAC 地址和 IP 地址。单独记录专用网络的 MAC 地址，稍后您将在 install-config.yaml 文件中使用它。对每个节点重复这个过程，直到您拥有公共 baremetal 网络的所有公共 MAC 和 IP 地址，以及私有 provisioning 网络的 MAC 地址。

6. 将每个节点的 public baremetal 网络的 MAC 和 IP 地址对添加到 dnsmasq.hostsfile 文件中：

   $ sudo vim /var/lib/dnsmasq/dnsmasq.hostsfile

   Copy to Clipboard Toggle word wrap

   输入示例

   00:e0:ed:6a:ca:b5,141.125.65.215,master-0
   <mac>,<ip>,master-1
   <mac>,<ip>,master-2
   <mac>,<ip>,worker-0
   <mac>,<ip>,worker-1
   ...

   Copy to Clipboard Toggle word wrap

   将 <mac>,<ip> 替换为相应节点名称的公共 MAC 地址和公共 IP 地址。

7. 启动 dnsmasq:

   $ sudo systemctl start dnsmasq

   Copy to Clipboard Toggle word wrap

8. 启用 dnsmasq，以便在引导节点时启动：

   $ sudo systemctl enable dnsmasq

   Copy to Clipboard Toggle word wrap

9. 验证 dnsmasq 是否正在运行：

   $ sudo systemctl status dnsmasq

   Copy to Clipboard Toggle word wrap

   输出示例

   ● dnsmasq.service - DNS caching server.
   Loaded: loaded (/usr/lib/systemd/system/dnsmasq.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-05 05:04:14 CDT; 49s ago
   Main PID: 3101 (dnsmasq)
   Tasks: 1 (limit: 204038)
   Memory: 732.0K
   CGroup: /system.slice/dnsmasq.service
   └─3101 /usr/sbin/dnsmasq -k

   Copy to Clipboard Toggle word wrap

10. 使用 UDP 协议打开端口 53 和 67 ：

    $ sudo firewall-cmd --add-port 53/udp --permanent

    Copy to Clipboard Toggle word wrap

    $ sudo firewall-cmd --add-port 67/udp --permanent

    Copy to Clipboard Toggle word wrap

11. 使用 masquerade 为外部区添加 置备 ：

    $ sudo firewall-cmd --change-zone=provisioning --zone=external --permanent

    Copy to Clipboard Toggle word wrap

    这一步可确保将 IPMI 调用的网络地址转换为管理子网。

12. 重新载入 firewalld 配置：

    $ sudo firewall-cmd --reload

    Copy to Clipboard Toggle word wrap

流程

1. 设置环境变量：

   $ export cmd=openshift-baremetal-install

   Copy to Clipboard Toggle word wrap

   $ export pullsecret_file=~/pull-secret.txt

   Copy to Clipboard Toggle word wrap

   $ export extract_dir=$(pwd)

   Copy to Clipboard Toggle word wrap

2. 获取 oc 二进制文件：

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

   Copy to Clipboard Toggle word wrap

3. 解压安装程序：

   $ sudo cp oc /usr/local/bin

   Copy to Clipboard Toggle word wrap

   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}

   Copy to Clipboard Toggle word wrap

   $ sudo cp openshift-baremetal-install /usr/local/bin

   Copy to Clipboard Toggle word wrap

流程

1. 配置 install-config.yaml。更改适当的变量以匹配环境，包括 pullSecret 和 sshKey。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api_ip>
       ingressVIP: <wildcard_ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://10.196.130.145?privilegelevel=OPERATOR 

   1

   
             username: root
             password: <password>
           bootMACAddress: 00:e0:ed:6a:ca:b4 

   2

   
           rootDeviceHints:
             deviceName: "/dev/sda"
         - name: openshift-worker-0
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>?privilegelevel=OPERATOR 

   3

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address> 

   4

   
           rootDeviceHints:
             deviceName: "/dev/sda"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   Copy to Clipboard Toggle word wrap

   1 3

   bmc.address 提供了 privilegelevel 配置设置，值设为 OPERATOR。这是 IBM Cloud® Bare Metal (Classic)基础架构所必需的。

   2 4

   为对应节点添加私有 provisioning 网络 NIC 的 MAC 地址。

   注意

   您可以使用 ibmcloud 命令行实用程序来检索密码。

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '"(.networkManagementIpAddress) (.remoteManagementAccounts[0].password)"'

   Copy to Clipboard Toggle word wrap

   将 <id> 替换为节点的 ID。

2. 创建用于存储集群配置的目录：

   $ mkdir ~/clusterconfigs

   Copy to Clipboard Toggle word wrap

3. 将 install-config.yaml 文件复制到目录中：

   $ cp install-config.yaml ~/clusterconfigs

   Copy to Clipboard Toggle word wrap

4. 在安装 OpenShift Container Platform 集群前，请确保关闭所有裸机节点：

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

   Copy to Clipboard Toggle word wrap

5. 如果以前的部署尝试中保留了旧的 bootstrap 资源，请删除旧的 bootstrap 资源：

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

   Copy to Clipboard Toggle word wrap

1. 创建 OpenShift Container Platform 清单。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   Copy to Clipboard Toggle word wrap

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

   Copy to Clipboard Toggle word wrap