10.3. OpenShift 설치를 위한 환경 설정

1. install-config.yaml을 설정합니다. pullSecret 및 sshKey 등 환경에 맞게 적절한 변수를 변경합니다.

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster-name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 1
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api-ip>
       ingressVIP: <wildcard-ip>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 2
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 3
         - name: <openshift-master-1>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 4
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 5
         - name: <openshift-master-2>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 6
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 7
         - name: <openshift-worker-0>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip> 8
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
         - name: <openshift-worker-1>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "/dev/disk/by-id/<disk_id>" 9
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1

   OpenShift Container Platform 클러스터의 일부인 작업자 노드 수를 기준으로 작업자 머신을 스케일링합니다. replicas 값의 유효한 옵션은 0 과 2 보다 크거나 같은 정수입니다. 세 개의 컨트롤 플레인 시스템만 포함된 3 노드 클러스터를 배포하려면 복제본 수를 0 으로 설정합니다. 3-노드 클러스터는 테스트, 개발 및 프로덕션에 사용할 수 있는 더 작고 리소스 효율적인 클러스터입니다. 작업자가 하나만 있는 클러스터를 설치할 수 없습니다.

   2 4 6 8

   자세한 옵션은 BMC 주소 지정 섹션을 참조하십시오.

   3 5 7 9

   설치 디스크 드라이브의 경로를 설정합니다(예: /dev/disk/by-id/wwn-0x64cd98f04fde100024684cf3034da5c2 ).

2. 클러스터 설정을 저장할 디렉터리를 만듭니다.

   $ mkdir ~/clusterconfigs
   $ cp install-config.yaml ~/clusterconfigs

3. OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원이 꺼져 있는지 확인합니다.

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

4. 이전 배포 시도에서 이전 부트스트랩 리소스가 남아 있는 경우 이전 부트스트랩 리소스를 삭제합니다.

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. OpenShift Container Platform 매니페스트를 만듭니다.

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

절차

1. 컨트롤 플레인 노드에 대한 chrony.conf 파일의 콘텐츠를 포함하여 Butane 구성, 99-master-chrony-conf-override.bu를 만듭니다.

   참고

   Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

   Butane 구성의 예

   variant: openshift
   version: 4.9.0
   metadata:
     name: 99-master-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: master
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # Use public servers from the pool.ntp.org project.
             # Please consider joining the pool (https://www.pool.ntp.org/join.html).
   
             # The Machine Config Operator manages this file
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony
   
             # Configure the control plane nodes to serve as local NTP servers
             # for all worker nodes, even if they are not in sync with an
             # upstream NTP server.
   
             # Allow NTP client access from the local network.
             allow all
             # Serve time even if not synchronized to a time source.
             local stratum 3 orphan

   1

   <cluster-name>을 클러스터 이름으로 바꾸고 <domain>을 정규화된 도메인 이름으로 교체해야 합니다.

2. Butane을 사용하여 컨트롤 플레인 노드에 전달할 구성이 포함된 MachineConfig 파일 99-master-chrony-conf-override.yaml을 생성합니다.

   $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml

3. 컨트롤 플레인 노드의 NTP 서버를 참조하는 작업자 노드의 chrony.conf 파일의 내용을 포함하여 Butane 구성 99-worker-chrony-conf-override.bu를 만듭니다.

   Butane 구성의 예

   variant: openshift
   version: 4.9.0
   metadata:
     name: 99-worker-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: worker
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # The Machine Config Operator manages this file.
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony

   1

   <cluster-name>을 클러스터 이름으로 바꾸고 <domain>을 정규화된 도메인 이름으로 교체해야 합니다.

4. Butane을 사용하여 작업자 노드로 전달할 구성이 포함된 MachineConfig 개체 파일 99-worker-chrony-conf-override.yaml을 생성합니다.

   $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml

절차

1. install-config.yaml 파일을 저장하는 디렉터리로 변경합니다.

   $ cd ~/clusterconfigs

2. manifests 하위 디렉터리로 전환합니다.

   $ cd manifests

3. cluster-network-avoid-workers-99-config.yaml이라는 파일을 생성합니다.

   $ touch cluster-network-avoid-workers-99-config.yaml

4. 편집기에서 cluster-network-avoid-workers-99-config.yaml 파일을 열고 Operator 구성을 설명하는 CR(사용자 정의 리소스)을 입력합니다.

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     name: 50-worker-fix-ipi-rwn
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/kubernetes/manifests/keepalived.yaml
             mode: 0644
             contents:
               source: data:,

   이 매니페스트는 컨트롤 플레인 노드에 ingressVIP 가상 IP 주소를 배치합니다. 또한 이 매니페스트는 컨트롤 플레인 노드에 다음 프로세스를 배포합니다.

   • openshift-ingress-operator
   • keepalived
5. cluster-network-avoid-workers-99-config.yaml 파일을 저장합니다.

6. manifests/cluster-ingress-default-ingresscontroller.yaml 파일을 생성합니다.

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/master: ""

7. manifests 디렉터리를 백업하는 것이 좋습니다. 설치 프로그램은 클러스터를 생성할 때 manifests/ 디렉터리를 삭제합니다.

8. mastersSchedulable 필드를 true로 설정하여 컨트롤 플레인 노드를 예약할 수 있도록 cluster-scheduler-02-config.yml 매니페스트를 수정합니다. 기본적으로 컨트롤 플레인 노드는 예약할 수 없습니다. 예를 들면 다음과 같습니다.

   $ sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.yml

   참고

   이 절차를 완료한 후 컨트롤 플레인 노드를 예약할 수 없는 경우 클러스터 배포가 실패합니다.

절차

1. 매니페스트를 생성합니다.

2. 작업자에 해당하는 BMH 파일을 수정합니다.

   $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-3.yaml

3. BMH 파일의 spec 섹션에 BIOS 구성을 추가합니다.

   spec:
     firmware:
       simultaneousMultithreadingEnabled: true
       sriovEnabled: true
       virtualizationEnabled: true

   참고
   1. Red Hat은 다음 세 가지 BIOS 설정을 지원합니다. 자세한 내용은 BMH 설명서 를 참조하십시오. bmc 유형 irmc 가 있는 서버만 지원됩니다. 다른 유형의 서버는 현재 지원되지 않습니다.
4. 클러스터 생성.

절차

1. 레지스트리 노드에서 방화벽 포트를 엽니다.

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent
   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent
   $ sudo firewall-cmd --reload

2. 레지스트리 노드에 필요한 패키지를 설치합니다.

   $ sudo yum -y install python3 podman httpd httpd-tools jq

3. 저장소 정보가 보관될 디렉터리 구조를 만듭니다.

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

절차

1. 인증서 정보를 적절하게 조정합니다.

   $ host_fqdn=$( hostname --long )
   $ cert_c="<Country Name>"   # Country Name (C, 2 letter code)
   $ cert_s="<State>"          # Certificate State (S)
   $ cert_l="<Locality>"       # Certificate Locality (L)
   $ cert_o="<Organization>"   # Certificate Organization (O)
   $ cert_ou="<Org Unit>"      # Certificate Organizational Unit (OU)
   $ cert_cn="${host_fqdn}"    # Certificate Common Name (CN)
   
   $ openssl req \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -keyout /opt/registry/certs/domain.key \
       -x509 \
       -days 365 \
       -out /opt/registry/certs/domain.crt \
       -addext "subjectAltName = DNS:${host_fqdn}" \
       -subj "/C=${cert_c}/ST=${cert_s}/L=${cert_l}/O=${cert_o}/OU=${cert_ou}/CN=${cert_cn}"

   참고

   <Country Name>을 바꾸는 경우에는 두 문자 만 사용합니다. 예: US

2. 새 인증서로 레지스트리 노드의 ca-trust를 업데이트합니다.

   $ sudo cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
   $ sudo update-ca-trust extract

절차

1. 컨테이너에서 사용할 htpasswd 파일을 /opt/registry/auth에 만듭니다.

   $ htpasswd -bBc /opt/registry/auth/htpasswd <user> <passwd>

   <user>를 사용자 이름으로, <passwd>를 암호로 바꿉니다.

2. 레지스트리 컨테이너를 만들고 시작합니다.

   $ podman create \
     --name ocpdiscon-registry \
     -p 5000:5000 \
     -e "REGISTRY_AUTH=htpasswd" \
     -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry" \
     -e "REGISTRY_HTTP_SECRET=ALongRandomSecretForRegistry" \
     -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" \
     -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
     -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
     -e "REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true" \
     -v /opt/registry/data:/var/lib/registry:z \
     -v /opt/registry/auth:/auth:z \
     -v /opt/registry/certs:/certs:z \
     docker.io/library/registry:2

   $ podman start ocpdiscon-registry

절차

1. pull-secret.txt 파일을 복사합니다.

   $ scp kni@provisioner:/home/kni/pull-secret.txt pull-secret.txt

2. host_fqdn 환경 변수를 레지스트리 노드의 완전한 도메인 이름으로 업데이트합니다.

   $ host_fqdn=$( hostname --long )

3. htpasswd 파일을 만드는 데 사용되는 http 인증 정보의 base64 인코딩으로 b64auth 환경 변수를 업데이트합니다.

   $ b64auth=$( echo -n '<username>:<passwd>' | openssl base64 )

   <username>을 사용자 이름으로, <passwd>를 암호로 바꿉니다.

4. base64 승인 문자열을 사용하도록 AUTHSTRING 환경 변수를 설정합니다. $USER 변수는 현재 사용자의 이름을 포함하는 환경 변수입니다.

   $ AUTHSTRING="{\"$host_fqdn:5000\": {\"auth\": \"$b64auth\",\"email\": \"$USER@redhat.com\"}}"

5. pull-secret.txt 파일을 업데이트합니다.

   $ jq ".auths += $AUTHSTRING" < pull-secret.txt > pull-secret-update.txt

프로세스

1. 프로비저너 노드에서 레지스트리 노드에 oc 바이너리를 복사합니다.

   $ sudo scp kni@provisioner:/usr/local/bin/oc /usr/local/bin

2. 필요한 환경 변수를 설정합니다.

   1. 릴리스 버전을 설정합니다.

      $ VERSION=<release_version>

      <release_version> 에 대해 설치할 OpenShift Container Platform 버전에 해당하는 태그를 지정합니다 (예: 4.9 ).

   2. 로컬 레지스트리 이름 및 호스트 포트를 설정합니다.

      $ LOCAL_REG='<local_registry_host_name>:<local_registry_host_port>'

      <local_registry_host_name>의 경우 미러 저장소의 레지스트리 도메인 이름을 지정하고 <local_registry_host_port>의 경우 콘텐츠를 제공하는데 사용되는 포트를 지정합니다.

   3. 로컬 리포지터리 이름을 설정합니다.

      $ LOCAL_REPO='<local_repository_name>'

      <local_repository_name>의 경우 레지스트리에 작성할 저장소 이름 (예: ocp4/openshift4)을 지정합니다.

3. 원격 설치 이미지를 로컬 저장소에 미러링합니다.

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.txt \
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

프로세스

1. 비 연결 레지스트리 노드의 인증서를 install-config.yaml 파일에 추가합니다. 인증서는 "additionalTrustBundle:|" 뒤에 있어야 하며 보통 두 개의 공백으로 적절하게 들여 쓰기합니다.

   $ echo "additionalTrustBundle: |" >> install-config.yaml
   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

2. 레지스트리의 미러 정보를 install-config.yaml 파일에 추가합니다.

   $ echo "imageContentSources:" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml

   참고

   registry.example.com을 레지스트리의 정규화된 도메인 이름으로 바꿉니다.