15.8. 네트워크가 제한된 환경에서 OpenStack에 클러스터 설치

1. RHOSP CLI의 관리자로서 Swift에 액세스할 계정에 swiftoperator 역할을 추가하십시오.

   $ openstack role add --user <user> --project <project> swiftoperator

프로세스

1. clouds.yaml 파일을 만듭니다.

   • RHOSP 배포에 Horizon 웹 UI가 포함되어 있으면 그 안에 clouds.yaml 파일을 만듭니다.

     중요

     auth 필드에 암호를 추가해야 합니다. clouds.yaml과 별도의 파일에 비밀을 저장할 수도 있습니다.

   • RHOSP 배포에 Horizon 웹 UI가 포함되어 있지 않거나 Horizon을 사용하지 않으려면 파일을 직접 만듭니다. clouds.yaml에 대한 자세한 내용은 RHOSP 문서의 구성 파일을 참조하십시오.

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. RHOSP 설치에서 끝점 인증을 위해 자체 서명된 CA(인증 기관) 인증서를 사용하는 경우:

   1. 인증 기관 파일을 시스템에 복사합니다.

   2. cacerts 키를 clouds.yaml 파일에 추가합니다. 값은 CA 인증서에 대한 루트가 아닌 액세스 가능한 절대 경로여야 합니다.

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      작은 정보

      사용자 지정 CA 인증서로 설치 관리자를 실행한 후 cloud-provider-config 키맵에서 ca-cert.pem 키의 값을 편집하여 인증서를 업데이트할 수 있습니다. 명령줄에서 다음을 실행합니다.

      $ oc edit configmap -n openshift-config cloud-provider-config

3. clouds.yaml 파일을 다음 위치 중 하나에 배치합니다.

   1. OS_CLIENT_CONFIG_FILE 환경 변수의 값
   2. 현재 디렉터리
   3. Unix 전용 사용자 구성 디렉터리(예: ~/.config/openstack/clouds.yaml)

   4. Unix 전용 사이트 구성 디렉터리(예: /etc/openstack/clouds.yaml)

      설치 프로그램은 clouds.yaml을 이 순서대로 검색합니다.

프로세스

1. 클러스터에 대해 이미 생성된 매니페스트 파일이 없는 경우 다음 명령을 실행하여 생성합니다.

   $ openshift-install --dir <destination_directory> create manifests

2. 텍스트 편집기에서 cloud-provider 구성 매니페스트 파일을 엽니다. 예를 들면 다음과 같습니다.

   $ vi openshift/manifests/cloud-provider-config.yaml

3. 클라우드 구성 사양에 따라 옵션을 수정합니다.

   로드 밸런싱을 위해 Octavia를 구성하는 것은 Kuryr를 사용하지 않는 클러스터의 일반적인 사례입니다. 예를 들면 다음과 같습니다.

   #...
   [LoadBalancer]
   use-octavia=true 1
   lb-provider = "amphora" 2
   floating-network-id="d3deb660-4190-40a3-91f1-37326fe6ec4a"3
   #...

   1

   이 속성은 Octavia 통합을 활성화합니다.

   2

   이 속성은 로드 밸런서에서 사용하는 Octavia 공급자를 설정합니다. "ovn" 또는 "amphora" 를 값으로 허용합니다. OVN을 사용하도록 선택하는 경우 lb-method 도 SOURCE_IP_PORT 로 설정해야 합니다.

   3

   이 속성은 클러스터에서 여러 외부 네트워크를 사용하려는 경우 필요합니다. 클라우드 프로바이더는 여기에 지정된 네트워크에 유동 IP 주소를 생성합니다.

   중요

   변경 사항을 저장하기 전에 파일이 올바르게 구성되었는지 확인합니다. 속성을 적절한 섹션에 배치하지 않으면 클러스터가 실패할 수 있습니다.

   중요

   Kuryr를 사용하는 설치의 경우 Kuryr는 관련 서비스를 처리합니다. 클라우드 공급자에서 Octavia 로드 밸런싱을 구성할 필요가 없습니다.

4. 변경 사항을 파일에 저장하고 설치를 진행합니다.

   작은 정보

   설치 프로그램을 실행한 후 클라우드 공급자 구성을 업데이트할 수 있습니다. 명령줄에서 다음을 실행합니다.

   $ oc edit configmap -n openshift-config cloud-provider-config

   변경 사항을 저장한 후 클러스터를 재구성하는 데 다소 시간이 걸립니다. 노드가 SchedulingDisabled 상태가 없는 경우 프로세스가 완료됩니다.

프로세스

1. Red Hat Customer Portal의 제품 다운로드 페이지에 로그인합니다.

2. Version 에서 RHEL 8용 최신 OpenShift Container Platform 4.9 릴리스를 선택합니다.

   중요

   RHCOS 이미지는 OpenShift Container Platform 릴리스에 따라 변경되지 않을 수 있습니다. 설치하는 OpenShift Container Platform 버전과 같거나 그 이하의 버전 중 가장 최신 버전의 이미지를 다운로드해야 합니다. 사용 가능한 경우 OpenShift Container Platform 버전과 일치하는 이미지 버전을 사용합니다.

3. RHCOS(Red Hat Enterprise Linux CoreOS) - OpenStack Image (QCOW) 이미지를 다운로드합니다.

4. 이미지 압축을 풉니다.

   참고

   이미지 압축을 풀어야 클러스터에서 이미지를 사용할 수 있습니다. 다운로드한 파일의 이름에 .gz 또는 .tgz와 같은 압축 확장자가 포함되지 않을 수 있습니다. 파일 압축 여부를 확인하려면 명령줄에서 다음을 입력합니다.

   $ file <name_of_downloaded_file>

5. Glance와 같이 bastion 서버에서 액세스할 수 있는 위치에 압축을 푼 이미지를 업로드합니다. 예를 들면 다음과 같습니다.

   $ openstack image create --file rhcos-44.81.202003110027-0-openstack.x86_64.qcow2 --disk-format qcow2 rhcos-${RHCOS_VERSION}

   중요

   RHOSP 환경에 따라 이미지를 .raw 또는 .qcow2 형식으로 업로드할 수 있습니다. Ceph를 사용하는 경우 .raw 형식을 사용해야 합니다.

   주의

   설치 프로그램이 이름이 같은 여러 이미지를 발견하면 그 중 하나를 임의로 선택합니다. 이 동작을 방지하려면 RHOSP에서 리소스의 고유한 이름을 만듭니다.

절차

1. install-config.yaml 파일을 생성합니다.

   1. 설치 프로그램이 포함된 디렉터리로 변경하고 다음 명령을 실행합니다.

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      <installation_directory>는 설치 프로그램이 생성하는 파일을 저장할 디렉터리 이름을 지정합니다.

      중요

      비어 있는 디렉터리를 지정합니다. 부트스트랩 X.509 인증서와 같은 일부 설치 자산은 단기간에 만료되므로 설치 디렉터리를 재사용해서는 안 됩니다. 다른 클러스터 설치의 개별 파일을 재사용하려면 해당 파일을 사용자 디렉터리에 복사하면 됩니다. 그러나 설치 자산의 파일 이름은 릴리스간에 변경될 수 있습니다. 따라서 이전 OpenShift Container Platform 버전에서 설치 파일을 복사할 때는 주의하십시오.

   2. 화면에 나타나는 지시에 따라 클라우드에 대한 구성 세부 사항을 입력합니다.

      1. 선택사항: 클러스터 시스템에 액세스하는 데 사용할 SSH 키를 선택합니다.

         참고

         설치 디버깅 또는 재해 복구를 수행하려는 프로덕션 OpenShift Container Platform 클러스터의 경우 ssh-agent 프로세스가 사용하는 SSH 키를 지정합니다.

      2. 대상 플랫폼으로 openstack을 선택합니다.
      3. 클러스터 설치에 사용할 RHOSP(Red Hat OpenStack Platform) 외부 네트워크 이름을 지정합니다.
      4. OpenShift API에 대한 외부 액세스에 사용할 부동 IP 주소를 지정합니다.
      5. 컨트롤 플레인 노드에 사용할 최소 16GB의 RAM과 컴퓨팅 노드에 8GB RAM이 있는 RHOSP 플레이버를 지정합니다.
      6. 클러스터를 배포할 기본 도메인을 선택합니다. 모든 DNS 레코드는 이 기본 도메인의 하위 도메인이 되므로 클러스터 이름을 포함합니다.
      7. 클러스터 이름을 입력합니다. 이름은 14자 이하여야 합니다.
      8. Red Hat OpenShift Cluster Manager에서 풀 시크릿 을 붙여넣습니다.

2. install-config.yaml 파일에서 platform.openstack.clusterOSImage 값을 이미지 위치 또는 이름으로 설정합니다. 예를 들면 다음과 같습니다.

   platform:
     openstack:
         clusterOSImage: http://mirror.example.com/images/rhcos-43.81.201912131630.0-openstack.x86_64.qcow2.gz?sha256=ffebbd68e8a1f2a245ca19522c16c86f67f9ac8e4e0c1f0a812b068b16f7265d

3. 제한된 네트워크에서의 설치에 필요한 추가 정보를 제공하려면 install-config.yaml 파일을 편집합니다.

   1. 레지스트리의 인증 정보를 포함하도록 pullSecret 값을 업데이트합니다.

      pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "you@example.com"}}}'

      <mirror_host_name>의 경우 미러 레지스트리의 인증서에 지정한 레지스트리 도메인 이름을 지정하고 <credentials>의 경우 미러 레지스트리에 base64로 인코딩된 사용자 이름 및 암호를 지정합니다.

   2. additionalTrustBundle 매개변수와 값을 추가합니다.

      additionalTrustBundle: |
        -----BEGIN CERTIFICATE-----
        ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
        -----END CERTIFICATE-----

      값은 미러 레지스트리에 사용한 인증서 파일의 내용이어야 하며, 신뢰할 수 있는 기존 인증 기관 또는 미러 레지스트리에 대해 생성한 자체 서명 인증서일 수 있습니다.

   3. 다음과 같은 이미지 콘텐츠 리소스를 추가합니다.

      imageContentSources:
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: quay.io/openshift-release-dev/ocp-release
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: registry.redhat.io/ocp/release

      이러한 값을 완료하려면 미러 레지스트리 생성 중에 기록한 imageContentSources를 사용하십시오.

4. 필요한 install-config.yaml 파일을 수정합니다. 사용 가능한 매개변수에 대한 자세한 정보는 Installation configuration parameters 섹션에서 확인할 수 있습니다.

5. 여러 클러스터를 설치하는 데 사용할 수 있도록 install-config.yaml 파일을 백업합니다.

   중요

   install-config.yaml 파일은 설치 과정에서 사용됩니다. 이 파일을 재사용하려면 지금 백업해야 합니다.

절차

1. RHOSP 명령줄 인터페이스를 사용하여 컴퓨팅 시스템의 서버 그룹을 생성합니다. 예를 들면 다음과 같습니다.

   $ openstack \
       --os-compute-api-version=2.15 \
       server group create \
       --policy anti-affinity \
       my-openshift-worker-group

   자세한 내용은 서버 그룹 생성 명령 설명서를 참조하십시오.

2. 설치 프로그램이 포함된 디렉터리로 변경하고 매니페스트를 생성합니다.

   $ ./openshift-install create manifests --dir <installation_directory>

   다음과 같습니다.

   installation_directory

   클러스터의 install-config.yaml 파일이 포함된 디렉토리의 이름을 지정합니다.

3. MachineSet 정의 파일인 manifests/99_openshift-cluster-api_worker-machineset-0.yaml 을 엽니다.

4. spec.template.spec.providerSpec.value 속성 아래에 있는 정의에 속성 serverGroupID 를 추가합니다. 예를 들면 다음과 같습니다.

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   metadata:
     labels:
       machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
       machine.openshift.io/cluster-api-machine-role: <node_role>
       machine.openshift.io/cluster-api-machine-type: <node_role>
     name: <infrastructure_ID>-<node_role>
     namespace: openshift-machine-api
   spec:
     replicas: <number_of_replicas>
     selector:
       matchLabels:
         machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
         machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
     template:
       metadata:
         labels:
           machine.openshift.io/cluster-api-cluster: <infrastructure_ID>
           machine.openshift.io/cluster-api-machine-role: <node_role>
           machine.openshift.io/cluster-api-machine-type: <node_role>
           machine.openshift.io/cluster-api-machineset: <infrastructure_ID>-<node_role>
       spec:
         providerSpec:
           value:
             apiVersion: openstackproviderconfig.openshift.io/v1alpha1
             cloudName: openstack
             cloudsSecret:
               name: openstack-cloud-credentials
               namespace: openshift-machine-api
             flavor: <nova_flavor>
             image: <glance_image_name_or_location>
             serverGroupID: aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee 1
             kind: OpenstackProviderSpec
             networks:
             - filter: {}
               subnets:
               - filter:
                   name: <subnet_name>
                   tags: openshiftClusterID=<infrastructure_ID>
             securityGroups:
             - filter: {}
               name: <infrastructure_ID>-<node_role>
             serverMetadata:
               Name: <infrastructure_ID>-<node_role>
               openshiftClusterID: <infrastructure_ID>
             tags:
             - openshiftClusterID=<infrastructure_ID>
             trunk: true
             userDataSecret:
               name: <node_role>-user-data
             availabilityZone: <optional_openstack_availability_zone>

   1

   서버 그룹의 UUID를 여기에 추가합니다.

5. 선택 사항: manifests/99_openshift-cluster-api_worker-machineset-0.yaml 파일을 백업합니다. 설치 프로그램은 클러스터를 생성할 때 manifests/ 디렉터리를 삭제합니다.

절차

1. 로컬 시스템에 클러스터 노드의 인증에 사용할 기존 SSH 키 쌍이 없는 경우 새로 생성합니다. 예를 들어 Linux 운영 체제를 사용하는 컴퓨터에서 다음 명령을 실행합니다.

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   새 SSH 키의 경로 및 파일 이름(예: ~/.ssh/id_ed25519 )을 지정합니다. 기존 키 쌍이 있는 경우 공개 키가 '~/.ssh 디렉터리에 있는지 확인하십시오.

   참고

   x86_64 아키텍처에 FIPS 검증 / 진행중인 모듈 (Modules in Process) 암호화 라이브러리를 사용하는 OpenShift Container Platform 클러스터를 설치하려면 ed25519 알고리즘을 사용하는 키를 생성하지 마십시오. 대신 rsa 또는 ecdsa 알고리즘을 사용하는 키를 생성합니다.

2. 공개 SSH 키를 확인합니다.

   $ cat <path>/<file_name>.pub

   예를 들어 다음을 실행하여 ~/.ssh/id_ed25519.pub 공개 키를 확인합니다.

   $ cat ~/.ssh/id_ed25519.pub

3. 아직 추가되지 않은 경우 로컬 사용자의 SSH 에이전트에 SSH 개인 키 ID를 추가합니다. 키의 SSH 에이전트 관리는 클러스터 노드에 암호 없는 SSH 인증을 수행하거나 ./openshift-install gather 명령을 사용하려는 경우 필요합니다.

   참고

   일부 배포에서는 ~/.ssh/id_rsa 및 ~/.ssh/id_dsa와 같은 기본 SSH 개인 키 ID가 자동으로 관리됩니다.

   1. ssh-agent 프로세스가 로컬 사용자에 대해 실행되지 않은 경우 백그라운드 작업으로 시작합니다.

      $ eval "$(ssh-agent -s)"

      출력 예

      Agent pid 31874

      참고

      클러스터가 FIPS 모드인 경우 FIPS 호환 알고리즘만 사용하여 SSH 키를 생성합니다. 키는 RSA 또는 ECDSA여야 합니다.

4. ssh-agent에 SSH 개인 키를 추가합니다.

   $ ssh-add <path>/<file_name> 1

   1

   SSH 개인 키의 경로 및 파일 이름을 지정합니다(예: ~/.ssh/id_ed25519).

   출력 예

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

절차

1. 설치 프로그램이 포함된 디렉터리로 변경하고 클러스터 배포를 초기화합니다.

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   <installation_directory> 값으로 사용자 지정한 ./install-config.yaml 파일의 위치를 지정합니다.

   2

   다른 설치 세부 사항을 보려면 info 대신 warn, debug 또는 error를 지정합니다.

   참고

   호스트에 구성된 클라우드 공급자 계정에 클러스터를 배포하기에 충분한 권한이 없는 경우, 설치 프로세스가 중단되고 누락된 권한을 알리는 메시지가 표시됩니다.

   클러스터 배포가 완료되면 웹 콘솔로 연결되는 링크와 kubeadmin 사용자의 인증 정보가 포함된 클러스터 액세스 지침이 사용자 터미널에 표시됩니다.

   출력 예

   ...
   INFO Install complete!
   INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
   INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
   INFO Login to the console with user: "kubeadmin", and password: "4vYBz-Ee6gm-ymBZj-Wt5AL"
   INFO Time elapsed: 36m22s

   참고

   설치에 성공하면 클러스터 액세스 및 인증 정보도 <installation_directory>/.openshift_install.log로 출력됩니다.

   중요
   • 설치 프로그램에서 생성하는 Ignition 구성 파일에 24시간 후에 만료되는 인증서가 포함되어 있습니다. 이 인증서는 그 후에 갱신됩니다. 인증서를 갱신하기 전에 클러스터가 종료되고 24시간이 지난 후에 클러스터가 다시 시작되면 클러스터는 만료된 인증서를 자동으로 복구합니다. 예외적으로 kubelet 인증서를 복구하려면 대기 중인 node-bootstrapper 인증서 서명 요청(CSR)을 수동으로 승인해야 합니다. 자세한 내용은 Recovering from expired control plane certificates 문서를 참조하십시오.
   • 클러스터를 설치한 후 24시간에서 22시간까지의 인증서가 교체되기 때문에 생성된 후 12시간 이내에 Ignition 구성 파일을 사용하는 것이 좋습니다. 12시간 이내에 Ignition 구성 파일을 사용하면 설치 중에 인증서 업데이트가 실행되는 경우 설치 실패를 방지할 수 있습니다.
   중요

   설치 프로그램에서 생성되는 파일이나 설치 프로그램을 삭제해서는 안 됩니다. 클러스터를 삭제하려면 두 가지가 모두 필요합니다.

절차

1. 클러스터 환경에서 관리자의 kubeconfig 파일을 내보냅니다.

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory>는 설치 파일을 저장한 디렉터리의 경로를 지정합니다.

   kubeconfig 파일에는 CLI에서 올바른 클러스터 및 API 서버에 클라이언트를 연결하는 데 사용하는 클러스터에 대한 정보가 포함되어 있습니다.

2. 배포 후 생성된 컨트롤 플레인 및 컴퓨팅 시스템을 확인합니다.

   $ oc get nodes

3. 클러스터 버전을 확인합니다.

   $ oc get clusterversion

4. Operator 상태를 확인합니다.

   $ oc get clusteroperator

5. 클러스터에서 실행 중인 모든 Pod를 확인합니다.

   $ oc get pods -A

절차

1. kubeadmin 인증 정보를 내보냅니다.

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory>는 설치 파일을 저장한 디렉터리의 경로를 지정합니다.

2. 내보낸 구성을 사용하여 oc 명령을 성공적으로 실행할 수 있는지 확인합니다.

   $ oc whoami

   출력 예

   system:admin