IBM Cloud Bare Metal (Classic) 설치

프로세스

1. ssh를 통해 프로비저너 노드에 로그인합니다.

2. root가 아닌 사용자 (kni)를 만들고 해당 사용자에게 sudo 권한을 부여합니다.

   # useradd kni

   Copy to Clipboard Toggle word wrap

   # passwd kni

   Copy to Clipboard Toggle word wrap

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   Copy to Clipboard Toggle word wrap

   # chmod 0440 /etc/sudoers.d/kni

   Copy to Clipboard Toggle word wrap

3. 새 사용자에 대한 ssh 키를 만듭니다.

   # su - kni -c "ssh-keygen -f /home/kni/.ssh/id_rsa -N ''"

   Copy to Clipboard Toggle word wrap

4. 프로비저너 노드에서 새 사용자로 로그인합니다.

   # su - kni

   Copy to Clipboard Toggle word wrap

5. Red Hat Subscription Manager를 사용하여 프로비저닝 노드를 등록합니다.

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach

   Copy to Clipboard Toggle word wrap

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms \
                                     --enable=rhel-8-for-x86_64-baseos-rpms

   Copy to Clipboard Toggle word wrap
   참고

   Red Hat Subscription Manager에 대한 자세한 내용은 Using and Configuring Red Hat Subscription Manager에서 참조하십시오.

6. 다음 패키지를 설치합니다.

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

   Copy to Clipboard Toggle word wrap

7. 사용자를 변경하여 libvirt 그룹을 새로 만든 사용자에 추가합니다.

   $ sudo usermod --append --groups libvirt kni

   Copy to Clipboard Toggle word wrap

8. firewalld 시작:

   $ sudo systemctl start firewalld

   Copy to Clipboard Toggle word wrap

9. firewalld 활성화:

   $ sudo systemctl enable firewalld

   Copy to Clipboard Toggle word wrap

10. http 서비스를 시작합니다.

    $ sudo firewall-cmd --zone=public --add-service=http --permanent

    Copy to Clipboard Toggle word wrap

    $ sudo firewall-cmd --reload

    Copy to Clipboard Toggle word wrap

11. libvirtd 서비스를 시작하고 활성화합니다.

    $ sudo systemctl enable libvirtd --now

    Copy to Clipboard Toggle word wrap

12. 프로비저너 노드의 ID를 설정합니다.

    $ PRVN_HOST_ID=<ID>

    Copy to Clipboard Toggle word wrap

    다음 ibmcloud 명령을 사용하여 ID를 볼 수 있습니다.

    $ ibmcloud sl hardware list

    Copy to Clipboard Toggle word wrap

13. 공용 서브넷의 ID를 설정합니다.

    $ PUBLICSUBNETID=<ID>

    Copy to Clipboard Toggle word wrap

    다음 ibmcloud 명령을 사용하여 ID를 볼 수 있습니다.

    $ ibmcloud sl subnet list

    Copy to Clipboard Toggle word wrap

14. 프라이빗 서브넷의 ID를 설정합니다.

    $ PRIVSUBNETID=<ID>

    Copy to Clipboard Toggle word wrap

    다음 ibmcloud 명령을 사용하여 ID를 볼 수 있습니다.

    $ ibmcloud sl subnet list

    Copy to Clipboard Toggle word wrap

15. 프로비저너 노드 공용 IP 주소를 설정합니다.

    $ PRVN_PUB_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | jq .primaryIpAddress -r)

    Copy to Clipboard Toggle word wrap

16. 공용 네트워크의 CIDR을 설정합니다.

    $ PUBLICCIDR=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .cidr)

    Copy to Clipboard Toggle word wrap

17. 공용 네트워크의 IP 주소 및 CIDR을 설정합니다.

    $ PUB_IP_CIDR=$PRVN_PUB_IP/$PUBLICCIDR

    Copy to Clipboard Toggle word wrap

18. 공용 네트워크의 게이트웨이를 설정합니다.

    $ PUB_GATEWAY=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .gateway -r)

    Copy to Clipboard Toggle word wrap

19. 프로비저너 노드의 개인 IP 주소를 설정합니다.

    $ PRVN_PRIV_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | \
                     jq .primaryBackendIpAddress -r)

    Copy to Clipboard Toggle word wrap

20. 사설 네트워크의 CIDR을 설정합니다.

    $ PRIVCIDR=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .cidr)

    Copy to Clipboard Toggle word wrap

21. 사설 네트워크의 IP 주소 및 CIDR을 설정합니다.

    $ PRIV_IP_CIDR=$PRVN_PRIV_IP/$PRIVCIDR

    Copy to Clipboard Toggle word wrap

22. 사설 네트워크의 게이트웨이를 설정합니다.

    $ PRIV_GATEWAY=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .gateway -r)

    Copy to Clipboard Toggle word wrap

23. baremetal 및 provisioning 네트워크에 대한 브릿지를 설정합니다.

    $ sudo nohup bash -c "
        nmcli --get-values UUID con show | xargs -n 1 nmcli con delete
        nmcli connection add ifname provisioning type bridge con-name provisioning
        nmcli con add type bridge-slave ifname eth1 master provisioning
        nmcli connection add ifname baremetal type bridge con-name baremetal
        nmcli con add type bridge-slave ifname eth2 master baremetal
        nmcli connection modify baremetal ipv4.addresses $PUB_IP_CIDR ipv4.method manual ipv4.gateway $PUB_GATEWAY
        nmcli connection modify provisioning ipv4.addresses 172.22.0.1/24,$PRIV_IP_CIDR ipv4.method manual
        nmcli connection modify provisioning +ipv4.routes \"10.0.0.0/8 $PRIV_GATEWAY\"
        nmcli con down baremetal
        nmcli con up baremetal
        nmcli con down provisioning
        nmcli con up provisioning
        init 6
    "

    Copy to Clipboard Toggle word wrap
    참고

    eth1 및 eth2의 경우 필요에 따라 적절한 인터페이스 이름을 대체합니다.

24. 필요한 경우 provisioner 노드로 SSH를 실행합니다.

    # ssh kni@provisioner.<cluster-name>.<domain>

    Copy to Clipboard Toggle word wrap

25. 연결 브리지가 올바르게 생성되었는지 확인합니다.

    $ sudo nmcli con show

    Copy to Clipboard Toggle word wrap

    출력 예

    NAME               UUID                                  TYPE      DEVICE
    baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
    provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
    virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
    bridge-slave-eth1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eth1
    bridge-slave-eth2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eth2

    Copy to Clipboard Toggle word wrap

26. pull-secret.txt 파일을 만듭니다.

    $ vim pull-secret.txt

    Copy to Clipboard Toggle word wrap

    웹 브라우저에서 Install on Bare Metal with user-provisioned infrastructure 로 이동합니다. 1단계에서 풀 시크릿 다운로드를 클릭합니다. pull-secret.txt 파일에 내용을 붙여 넣고 kni 사용자의 홈 디렉터리에 저장합니다.

프로세스

1. dnsmasq를 설치합니다.

   $ sudo dnf install dnsmasq

   Copy to Clipboard Toggle word wrap

2. dnsmasq 구성 파일을 엽니다.

   $ sudo vi /etc/dnsmasq.conf

   Copy to Clipboard Toggle word wrap

3. dnsmasq 구성 파일에 다음 구성을 추가합니다.

   interface=baremetal
   except-interface=lo
   bind-dynamic
   log-dhcp
   
   dhcp-range=<ip_addr>,<ip_addr>,<pub_cidr> 

   1

   
   dhcp-option=baremetal,121,0.0.0.0/0,<pub_gateway>,<prvn_priv_ip>,<prvn_pub_ip> 

   2

   
   
   dhcp-hostsfile=/var/lib/dnsmasq/dnsmasq.hostsfile

   Copy to Clipboard Toggle word wrap

   1

   DHCP 범위를 설정합니다. baremetal 네트워크의 dhcp-range가 IP 주소로 시작되고 종료되도록 <ip_addr>의 두 인스턴스를 공용 서브넷에서 사용하지 않는 IP 주소로 모두 바꿉니다. <pub_cidr>을 공용 서브넷의 CIDR로 바꿉니다.

   2

   DHCP 옵션을 설정합니다. <pub_gateway>를 baremetal 네트워크의 게이트웨이 IP 주소로 바꿉니다. <prvn_priv_ip>를 provisioning 네트워크에서 프로비저너 노드 개인 IP 주소의 IP 주소로 바꿉니다. <prvn_pub_ip>를 baremetal 네트워크에서 프로비저너 노드 공용 IP 주소의 IP 주소로 바꿉니다.

   <pub_cidr>의 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .cidr

   Copy to Clipboard Toggle word wrap

   <publicsubnetid>를 공용 서브넷의 ID로 바꿉니다.

   <pub_gateway>의 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .gateway -r

   Copy to Clipboard Toggle word wrap

   <publicsubnetid>를 공용 서브넷의 ID로 바꿉니다.

   <prvn_priv_ip>의 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud  sl hardware detail <id> --output JSON | \
               jq .primaryBackendIpAddress -r

   Copy to Clipboard Toggle word wrap

   <id>를 프로비저너 노드의 ID로 바꿉니다.

   <prvn_pub_ip>의 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud sl hardware detail <id> --output JSON | jq .primaryIpAddress -r

   Copy to Clipboard Toggle word wrap

   <id>를 프로비저너 노드의 ID로 바꿉니다.

4. 클러스터의 하드웨어 목록을 가져옵니다.

   $ ibmcloud sl hardware list

   Copy to Clipboard Toggle word wrap

5. 각 노드의 MAC 주소 및 IP 주소를 가져옵니다.

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '.networkComponents[] | \
     "\(.primaryIpAddress) \(.macAddress)"' | grep -v null

   Copy to Clipboard Toggle word wrap

   <id>를 노드 ID로 바꿉니다.

   출력 예

   "10.196.130.144 00:e0:ed:6a:ca:b4"
   "141.125.65.215 00:e0:ed:6a:ca:b5"

   Copy to Clipboard Toggle word wrap

   공용 네트워크의 MAC 주소 및 IP 주소를 기록합니다. 나중에 install-config.yaml 파일에서 사용할 사설 네트워크의 MAC 주소를 별도로 기록해 둡니다. 공용 baremetal 네트워크의 공용 MAC 및 IP 주소와 개인 provisioning 네트워크의 MAC 주소가 모두 있을 때까지 각 노드에 대해 이 절차를 반복합니다.

6. 각 노드의 공용 baremetal 네트워크의 MAC 및 IP 주소 쌍을 dnsmasq.hostsfile 파일에 추가합니다.

   $ sudo vim /var/lib/dnsmasq/dnsmasq.hostsfile

   Copy to Clipboard Toggle word wrap

   입력 예

   00:e0:ed:6a:ca:b5,141.125.65.215,master-0
   <mac>,<ip>,master-1
   <mac>,<ip>,master-2
   <mac>,<ip>,worker-0
   <mac>,<ip>,worker-1
   ...

   Copy to Clipboard Toggle word wrap

   <mac>,<ip>를 해당 노드 이름의 공용 MAC 주소 및 공용 IP 주소로 바꿉니다.

7. dnsmasq 를 시작합니다.

   $ sudo systemctl start dnsmasq

   Copy to Clipboard Toggle word wrap

8. 노드를 부팅할 때 시작되도록 dnsmasq 를 활성화합니다.

   $ sudo systemctl enable dnsmasq

   Copy to Clipboard Toggle word wrap

9. dnsmasq 가 실행 중인지 확인합니다.

   $ sudo systemctl status dnsmasq

   Copy to Clipboard Toggle word wrap

   출력 예

   ● dnsmasq.service - DNS caching server.
   Loaded: loaded (/usr/lib/systemd/system/dnsmasq.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-05 05:04:14 CDT; 49s ago
   Main PID: 3101 (dnsmasq)
   Tasks: 1 (limit: 204038)
   Memory: 732.0K
   CGroup: /system.slice/dnsmasq.service
   └─3101 /usr/sbin/dnsmasq -k

   Copy to Clipboard Toggle word wrap

10. UDP 프로토콜을 사용하여 포트 53 및 67 을 엽니다.

    $ sudo firewall-cmd --add-port 53/udp --permanent

    Copy to Clipboard Toggle word wrap

    $ sudo firewall-cmd --add-port 67/udp --permanent

    Copy to Clipboard Toggle word wrap

11. masquerade를 사용하여 외부 영역에 provisioning 을 추가합니다.

    $ sudo firewall-cmd --change-zone=provisioning --zone=external --permanent

    Copy to Clipboard Toggle word wrap

    이 단계에서는 관리 서브넷에 대한 IPMI 호출의 네트워크 주소 변환을 보장합니다.

12. firewalld 구성을 다시 로드합니다.

    $ sudo firewall-cmd --reload

    Copy to Clipboard Toggle word wrap

프로세스

1. 환경 변수를 설정합니다.

   $ export cmd=openshift-baremetal-install

   Copy to Clipboard Toggle word wrap

   $ export pullsecret_file=~/pull-secret.txt

   Copy to Clipboard Toggle word wrap

   $ export extract_dir=$(pwd)

   Copy to Clipboard Toggle word wrap

2. oc 바이너리를 가져옵니다.

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

   Copy to Clipboard Toggle word wrap

3. 설치 프로그램 압축을 풉니다.

   $ sudo cp oc /usr/local/bin

   Copy to Clipboard Toggle word wrap

   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}

   Copy to Clipboard Toggle word wrap

   $ sudo cp openshift-baremetal-install /usr/local/bin

   Copy to Clipboard Toggle word wrap

프로세스

1. install-config.yaml을 설정합니다. pullSecret 및 sshKey 등 환경에 맞게 적절한 변수를 변경합니다.

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api_ip>
       ingressVIP: <wildcard_ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://10.196.130.145?privilegelevel=OPERATOR 

   1

   
             username: root
             password: <password>
           bootMACAddress: 00:e0:ed:6a:ca:b4 

   2

   
           rootDeviceHints:
             deviceName: "/dev/sda"
         - name: openshift-worker-0
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>?privilegelevel=OPERATOR 

   3

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address> 

   4

   
           rootDeviceHints:
             deviceName: "/dev/sda"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   Copy to Clipboard Toggle word wrap

   1 3

   bmc.address 는 OPERATOR 로 설정된 privilegelevel 구성 설정을 제공합니다. 이는 IBM Cloud® Bare Metal (Classic) 인프라에 필요합니다.

   2 4

   해당 노드에 대한 개인 provisioning 네트워크 NIC의 MAC 주소를 추가합니다.

   참고

   ibmcloud 명령줄 유틸리티를 사용하여 암호를 검색할 수 있습니다.

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '"(.networkManagementIpAddress) (.remoteManagementAccounts[0].password)"'

   Copy to Clipboard Toggle word wrap

   <id>를 노드 ID로 바꿉니다.

2. 클러스터 구성을 저장할 디렉터리를 생성합니다.

   $ mkdir ~/clusterconfigs

   Copy to Clipboard Toggle word wrap

3. install-config.yaml 파일을 디렉터리에 복사합니다.

   $ cp install-config.yaml ~/clusterconfig

   Copy to Clipboard Toggle word wrap

4. OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원이 꺼졌는지 확인합니다.

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

   Copy to Clipboard Toggle word wrap

5. 이전 배포에서 남은 경우 이전 부트스트랩 리소스를 제거합니다.

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

   Copy to Clipboard Toggle word wrap

1. OpenShift Container Platform 매니페스트를 만듭니다.

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   Copy to Clipboard Toggle word wrap

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

   Copy to Clipboard Toggle word wrap