11.2. OpenShift Container Platform 설치를 위한 환경 설정

프로세스

1. ssh를 통해 프로비저너 노드에 로그인합니다.

2. root가 아닌 사용자 (kni)를 만들고 해당 사용자에게 sudo 권한을 부여합니다.

   # useradd kni

   # passwd kni

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   # chmod 0440 /etc/sudoers.d/kni

3. 새 사용자에 대한 ssh 키를 만듭니다.

   # su - kni -c "ssh-keygen -f /home/kni/.ssh/id_rsa -N ''"

4. 프로비저너 노드에서 새 사용자로 로그인합니다.

   # su - kni

5. Red Hat Subscription Manager를 사용하여 프로비저닝 노드를 등록합니다.

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms \
                                     --enable=rhel-8-for-x86_64-baseos-rpms

   참고

   Red Hat Subscription Manager에 대한 자세한 내용은 Using and Configuring Red Hat Subscription Manager에서 참조하십시오.

6. 다음 패키지를 설치합니다.

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

7. 사용자를 변경하여 libvirt 그룹을 새로 만든 사용자에 추가합니다.

   $ sudo usermod --append --groups libvirt kni

8. firewalld 시작 :

   $ sudo systemctl start firewalld

9. firewalld 활성화 :

   $ sudo systemctl enable firewalld

10. http 서비스를 시작합니다.

    $ sudo firewall-cmd --zone=public --add-service=http --permanent

    $ sudo firewall-cmd --reload

11. libvirtd 서비스를 시작하고 활성화합니다.

    $ sudo systemctl enable libvirtd --now

12. 프로비저너 노드의 ID를 설정합니다.

    $ PRVN_HOST_ID=<ID>

    다음 ibmcloud 명령을 사용하여 ID를 볼 수 있습니다.

    $ ibmcloud sl hardware list

13. 공용 서브넷의 ID를 설정합니다.

    $ PUBLICSUBNETID=<ID>

    다음 ibmcloud 명령을 사용하여 ID를 볼 수 있습니다.

    $ ibmcloud sl subnet list

14. 사설 서브넷의 ID를 설정합니다.

    $ PRIVSUBNETID=<ID>

    다음 ibmcloud 명령을 사용하여 ID를 볼 수 있습니다.

    $ ibmcloud sl subnet list

15. 프로비저너 노드 공용 IP 주소를 설정합니다.

    $ PRVN_PUB_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | jq .primaryIpAddress -r)

16. 공용 네트워크의 CIDR을 설정합니다.

    $ PUBLICCIDR=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .cidr)

17. 공용 네트워크의 IP 주소 및 CIDR을 설정합니다.

    $ PUB_IP_CIDR=$PRVN_PUB_IP/$PUBLICCIDR

18. public 네트워크의 게이트웨이를 설정합니다.

    $ PUB_GATEWAY=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .gateway -r)

19. 프로비저너 노드의 개인 IP 주소를 설정합니다.

    $ PRVN_PRIV_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | \
                     jq .primaryBackendIpAddress -r)

20. 사설 네트워크의 CIDR을 설정합니다.

    $ PRIVCIDR=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .cidr)

21. 사설 네트워크의 IP 주소 및 CIDR을 설정합니다.

    $ PRIV_IP_CIDR=$PRVN_PRIV_IP/$PRIVCIDR

22. 사설 네트워크의 게이트웨이를 설정합니다.

    $ PRIV_GATEWAY=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .gateway -r)

23. baremetal 및 provisioning 네트워크의 브리지를 설정합니다.

    $ sudo nohup bash -c "
        nmcli --get-values UUID con show | xargs -n 1 nmcli con delete
        nmcli connection add ifname provisioning type bridge con-name provisioning
        nmcli con add type bridge-slave ifname eth1 master provisioning
        nmcli connection add ifname baremetal type bridge con-name baremetal
        nmcli con add type bridge-slave ifname eth2 master baremetal
        nmcli connection modify baremetal ipv4.addresses $PUB_IP_CIDR ipv4.method manual ipv4.gateway $PUB_GATEWAY
        nmcli connection modify provisioning ipv4.addresses 172.22.0.1/24,$PRIV_IP_CIDR ipv4.method manual
        nmcli connection modify provisioning +ipv4.routes \"10.0.0.0/8 $PRIV_GATEWAY\"
        nmcli con down baremetal
        nmcli con up baremetal
        nmcli con down provisioning
        nmcli con up provisioning
        init 6
    "

    참고

    필요에 따라 eth1 및 eth2 의 경우 적절한 인터페이스 이름을 대체합니다.

24. 필요한 경우 provisioner 노드로 다시 SSH 연결을 수행합니다.

    # ssh kni@provisioner.<cluster-name>.<domain>

25. 연결 브리지가 올바르게 생성되었는지 확인합니다.

    $ sudo nmcli con show

    출력 예

    NAME               UUID                                  TYPE      DEVICE
    baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
    provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
    virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
    bridge-slave-eth1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eth1
    bridge-slave-eth2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eth2

26. pull-secret.txt 파일을 생성합니다.

    $ vim pull-secret.txt

    웹 브라우저에서 Install on Bare Metal with user-provisioned infrastructure 로 이동합니다. 1단계에서 Download pull secret(pull secret 다운로드 )을 클릭합니다. pull-secret.txt 파일에 내용을 붙여 넣고 kni 사용자의 홈 디렉터리에 저장합니다.

프로세스

1. dnsmasq 를 설치하십시오 :

   $ sudo dnf install dnsmasq

2. dnsmasq 구성 파일을 엽니다.

   $ sudo vi /etc/dnsmasq.conf

3. dnsmasq 구성 파일에 다음 구성을 추가합니다.

   interface=baremetal
   except-interface=lo
   bind-dynamic
   log-dhcp
   
   dhcp-range=<ip_addr>,<ip_addr>,<pub_cidr> 1
   dhcp-option=baremetal,121,0.0.0.0/0,<pub_gateway>,<prvn_priv_ip>,<prvn_pub_ip> 2
   
   dhcp-hostsfile=/var/lib/dnsmasq/dnsmasq.hostsfile

   1

   DHCP 범위를 설정합니다. baremetal 네트워크의 dhcp-range 가 동일한 IP 주소로 시작되고 종료되도록 <ip_addr> 의 두 인스턴스를 공용 서브넷에서 사용하지 않는 IP 주소로 바꿉니다. <pub_cidr> 을 공용 서브넷의 CIDR로 바꿉니다.

   2

   DHCP 옵션을 설정합니다. <pub_gateway> 를 baremetal 네트워크의 게이트웨이 IP 주소로 바꿉니다. <prvn_priv_ip> 를 provisioning 네트워크의 프로비저너 노드 개인 IP 주소의 IP 주소로 바꿉니다 . <prvn_pub_ip> 를 baremetal 네트워크에 있는 프로비저너 노드의 공용 IP 주소의 IP 주소로 바꿉니다.

   <pub_cidr> 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .cidr

   <publicsubnetid> 를 공용 서브넷의 ID로 바꿉니다.

   <pub_gateway> 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .gateway -r

   <publicsubnetid> 를 공용 서브넷의 ID로 바꿉니다.

   <prvn_priv_ip> 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud  sl hardware detail <id> --output JSON | \
               jq .primaryBackendIpAddress -r

   <id> 를 프로비저너 노드의 ID로 바꿉니다.

   <prvn_pub_ip> 값을 검색하려면 다음을 실행합니다.

   $ ibmcloud sl hardware detail <id> --output JSON | jq .primaryIpAddress -r

   <id> 를 프로비저너 노드의 ID로 바꿉니다.

4. 클러스터의 하드웨어 목록을 가져옵니다.

   $ ibmcloud sl hardware list

5. 각 노드의 MAC 주소 및 IP 주소를 가져옵니다.

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '.networkComponents[] | \
     "\(.primaryIpAddress) \(.macAddress)"' | grep -v null

   <id> 를 노드 ID로 바꿉니다.

   출력 예

   "10.196.130.144 00:e0:ed:6a:ca:b4"
   "141.125.65.215 00:e0:ed:6a:ca:b5"

   공용 네트워크의 MAC 주소와 IP 주소를 기록합니다. 나중에 install-config.yaml 파일에서 사용할 사설 네트워크의 MAC 주소를 별도로 기록합니다. 공용 베어 메탈 네트워크의 모든 공용 MAC 및 IP 주소 및 개인 프로비저닝 네트워크의 MAC 주소가 있을 때까지 각 노드에 대해 이 절차를 반복합니다.

6. 각 노드의 공용 baremetal 네트워크의 MAC 및 IP 주소 쌍을 dnsmasq.hostsfile 파일에 추가합니다.

   $ sudo vim /var/lib/dnsmasq/dnsmasq.hostsfile

   입력 예

   00:e0:ed:6a:ca:b5,141.125.65.215,master-0
   <mac>,<ip>,master-1
   <mac>,<ip>,master-2
   <mac>,<ip>,worker-0
   <mac>,<ip>,worker-1
   ...

   <mac>,<ip> 를 해당 노드 이름의 공용 MAC 주소 및 공용 IP 주소로 바꿉니다.

7. dnsmasq 시작 :

   $ sudo systemctl start dnsmasq

8. 노드를 부팅할 때 시작되도록 dnsmasq 를 활성화합니다.

   $ sudo systemctl enable dnsmasq

9. dnsmasq 가 실행 중인지 확인합니다.

   $ sudo systemctl status dnsmasq

   출력 예

   ● dnsmasq.service - DNS caching server.
   Loaded: loaded (/usr/lib/systemd/system/dnsmasq.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-05 05:04:14 CDT; 49s ago
   Main PID: 3101 (dnsmasq)
   Tasks: 1 (limit: 204038)
   Memory: 732.0K
   CGroup: /system.slice/dnsmasq.service
   └─3101 /usr/sbin/dnsmasq -k

10. UDP 프로토콜로 포트 53 및 67 을 엽니다.

    $ sudo firewall-cmd --add-port 53/udp --permanent

    $ sudo firewall-cmd --add-port 67/udp --permanent

11. masquerade를 사용하여 외부 영역에 프로비저닝 을 추가합니다.

    $ sudo firewall-cmd --change-zone=provisioning --zone=external --permanent

    이 단계에서는 관리 서브넷에 대한 IPMI 호출에 대한 네트워크 주소 변환을 수행합니다.

12. firewalld 구성을 다시 로드합니다.

    $ sudo firewall-cmd --reload

절차

1. 환경 변수를 설정합니다.

   $ export cmd=openshift-baremetal-install
   $ export pullsecret_file=~/pull-secret.txt
   $ export extract_dir=$(pwd)

2. oc 바이너리를 가져옵니다.

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

3. 설치 프로그램 압축을 풉니다.

   $ sudo cp oc /usr/local/bin
   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}
   $ sudo cp openshift-baremetal-install /usr/local/bin

절차

1. install-config.yaml을 설정합니다. pullSecret 및 sshKey 등 환경에 맞게 적절한 변수를 변경합니다.

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api_ip>
       ingressVIP: <wildcard_ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://10.196.130.145?privilegelevel=OPERATOR 1
             username: root
             password: <password>
           bootMACAddress: 00:e0:ed:6a:ca:b4 2
           rootDeviceHints:
             deviceName: "/dev/sda"
         - name: openshift-worker-0
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>?privilegelevel=OPERATOR 3
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address> 4
           rootDeviceHints:
             deviceName: "/dev/sda"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1 3

   The bmc.address 는 OPERATOR 로 설정된 값이 있는 권한 수준 구성 설정을 제공합니다. 이는 IBM Cloud에 필요합니다.

   2 4

   해당 노드에 대한 개인 프로비저닝 네트워크 NIC의 MAC 주소를 추가합니다.

   참고

   ibmcloud 명령줄 유틸리티를 사용하여 암호를 검색할 수 있습니다.

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '"(.networkManagementIpAddress) (.remoteManagementAccounts[0].password)"'

   <id> 를 노드 ID로 바꿉니다.

2. 클러스터 구성을 저장할 디렉터리를 생성합니다.

   $ mkdir ~/clusterconfigs

3. install-config.yaml 파일을 디렉터리에 복사합니다.

   $ cp install-config.yaml ~/clusterconfig

4. OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원이 꺼져 있는지 확인합니다.

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

5. 이전 배포 시도에서 이전 부트스트랩 리소스가 남아 있는 경우 이전 부트스트랩 리소스를 제거합니다.

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. OpenShift Container Platform 매니페스트를 만듭니다.

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated