4.2. ARM 템플릿을 사용하여 Azure Stack Hub에 클러스터 설치

프로세스

1. 환경을 등록합니다.

   $ az cloud register -n AzureStackCloud --endpoint-resource-manager <endpoint> 1

   1

   Azure Resource Manager 엔드포인트 'https://management.<region>.<fqdn>/'을 지정합니다.

   자세한 내용은 Microsoft 설명서 를 참조하십시오.

2. 활성 환경을 설정합니다.

   $ az cloud set -n AzureStackCloud

3. Azure Stack Hub의 특정 API 버전을 사용하도록 환경 구성을 업데이트합니다.

   $ az cloud update --profile 2019-03-01-hybrid

4. Azure CLI에 로그인합니다.

   $ az login

   다중 테넌트 환경에 있는 경우 테넌트 ID도 제공해야 합니다.

5. Azure 계정에서 서브스크립션을 사용하는 경우 올바른 서브스크립션을 사용하고 있는지 확인합니다.

   1. 사용 가능한 계정 목록을 보고 클러스터에 사용하려는 서브스크립션의 tenantId 값을 기록합니다.

      $ az account list --refresh

      출력 예

      [
        {
          "cloudName": AzureStackCloud",
          "id": "9bab1460-96d5-40b3-a78e-17b15e978a80",
          "isDefault": true,
          "name": "Subscription Name",
          "state": "Enabled",
          "tenantId": "6057c7e9-b3ae-489d-a54e-de3f6bf6a8ee",
          "user": {
            "name": "you@example.com",
            "type": "user"
          }
        }
      ]

   2. 활성 계정 세부 사항을 보고 tenantId 값이 사용하려는 서브스크립션과 일치하는지 확인합니다.

      $ az account show

      출력 예

      {
        "environmentName": AzureStackCloud",
        "id": "9bab1460-96d5-40b3-a78e-17b15e978a80",
        "isDefault": true,
        "name": "Subscription Name",
        "state": "Enabled",
        "tenantId": "6057c7e9-b3ae-489d-a54e-de3f6bf6a8ee", 1
        "user": {
          "name": "you@example.com",
          "type": "user"
        }
      }

      1

      tenantId 매개변수의 값이 올바른 서브스크립션 ID인지 확인합니다.

   3. 올바른 서브스크립션을 사용하지 않는 경우, 활성 서브스크립션을 변경합니다.

      $ az account set -s <subscription_id> 1

      1

      서브스크립션 ID를 지정합니다.

   4. 서브스크립션 ID 업데이트를 확인합니다.

      $ az account show

      출력 예

      {
        "environmentName": AzureStackCloud",
        "id": "33212d16-bdf6-45cb-b038-f6565b61edda",
        "isDefault": true,
        "name": "Subscription Name",
        "state": "Enabled",
        "tenantId": "8049c7e9-c3de-762d-a54e-dc3f6be6a7ee",
        "user": {
          "name": "you@example.com",
          "type": "user"
        }
      }

6. 출력에서 tenantId 및 id 매개변수 값을 기록합니다. OpenShift Container Platform 설치 중에 이러한 값이 필요합니다.

7. 계정에 대한 서비스 주체를 생성합니다.

   $ az ad sp create-for-rbac --role Contributor --name <service_principal> \ 1
     --scopes /subscriptions/<subscription_id> 2
     --years <years> 3

   1

   서비스 주체 이름을 지정합니다.

   2

   서브스크립션 ID를 지정합니다.

   3

   년 수를 지정합니다. 기본적으로 서비스 주체는 1년 후에 만료됩니다. years 옵션을 사용하면 서비스 주체의 유효성을 확장할 수 있습니다.

   출력 예

   Creating 'Contributor' role assignment under scope '/subscriptions/<subscription_id>'
   The output includes credentials that you must protect. Be sure that you do not
   include these credentials in your code or check the credentials into your source
   control. For more information, see https://aka.ms/azadsp-cli
   {
     "appId": "ac461d78-bf4b-4387-ad16-7e32e328aec6",
     "displayName": <service_principal>",
     "password": "00000000-0000-0000-0000-000000000000",
     "tenantId": "8049c7e9-c3de-762d-a54e-dc3f6be6a7ee"
   }

8. 이전 출력의 appId 및 password 매개변수 값을 기록합니다. OpenShift Container Platform 설치 중에 이러한 값이 필요합니다.

프로세스

1. 필요한 설치 자산을 저장할 설치 디렉터리를 만듭니다.

   $ mkdir <installation_directory>

   중요

   디렉터리를 만들어야 합니다. 부트스트랩 X.509 인증서와 같은 일부 설치 자산은 단기간에 만료되므로 설치 디렉터리를 재사용해서는 안 됩니다. 다른 클러스터 설치의 개별 파일을 재사용하려면 해당 파일을 사용자 디렉터리에 복사하면 됩니다. 그러나 설치 자산의 파일 이름은 릴리스간에 변경될 수 있습니다. 따라서 이전 OpenShift Container Platform 버전에서 설치 파일을 복사할 때는 주의하십시오.

2. 샘플 install-config.yaml 파일 템플릿을 사용자 지정하여 <installation_directory>에 저장합니다.

   참고

   이 설정 파일의 이름을 install-config.yaml로 지정해야 합니다.

   Azure Stack Hub에 대해 다음과 같이 수정합니다.

   1. compute 풀에 대해 replicas 매개변수를 0으로 설정합니다.

      compute:
      - hyperthreading: Enabled
        name: worker
        platform: {}
        replicas: 0 1

      1

      0으로 설정합니다.

      나중에 컴퓨팅 시스템이 수동으로 프로비저닝됩니다.

   2. install-config.yaml 파일의 platform.azure 섹션을 업데이트하여 Azure Stack Hub 설정을 구성합니다.

      platform:
        azure:
          armEndpoint: <azurestack_arm_endpoint> 1
          baseDomainResourceGroupName: <resource_group> 2
          cloudName: AzureStackCloud 3
          region: <azurestack_region> 4

      1

      https://management.local.azurestack.external 과 같이 Azure Stack Hub 환경의 Azure Resource Manager 엔드포인트를 지정합니다.

      2

      기본 도메인의 DNS 영역을 포함하는 리소스 그룹의 이름을 지정합니다.

      3

      적절한 Azure API 엔드포인트로 Azure SDK를 구성하는 데 사용되는 Azure Stack Hub 환경을 지정합니다.

      4

      Azure Stack Hub 리전의 이름을 지정합니다.

3. 여러 클러스터를 설치하는 데 사용할 수 있도록 install-config.yaml 파일을 백업합니다.

   중요

   install-config.yaml 파일은 설치 과정의 다음 단계에서 사용됩니다. 이 시점에서 이를 백업해야 합니다.

프로세스

1. install-config.yaml 파일을 편집하고 프록시 설정을 추가합니다. 예를 들면 다음과 같습니다.

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 1
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 2
     noProxy: example.com 3
   additionalTrustBundle: | 4
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 5

   1

   클러스터 외부에서 HTTP 연결을 구축하는 데 사용할 프록시 URL입니다. URL 스키마는 http여야 합니다.

   2

   클러스터 외부에서 HTTPS 연결을 구축하는 데 사용할 프록시 URL입니다.

   3

   대상 도메인 이름, IP 주소 또는 프록시에서 제외할 기타 네트워크 CIDR로 이루어진 쉼표로 구분된 목록입니다. 하위 도메인과 일치하려면 도메인 앞에 .을 입력합니다. 예를 들어, .y.com은 x.y.com과 일치하지만 y.com은 일치하지 않습니다. *를 사용하여 모든 대상에 대해 프록시를 바이패스합니다.

   4

   이 값을 제공하면 설치 프로그램에서 HTTPS 연결을 프록시하는 데 필요한 추가 CA 인증서가 하나 이상 포함된 openshift-config 네임스페이스에 user-ca-bundle이라는 이름으로 구성 맵을 생성합니다. 그러면 CNO(Cluster Network Operator)에서 이러한 콘텐츠를 RHCOS(Red Hat Enterprise Linux CoreOS) 신뢰 번들과 병합하는 trusted-ca-bundle 구성 맵을 생성합니다. 이 구성 맵은 Proxy 오브젝트의 trustedCA 필드에서 참조됩니다. 프록시의 ID 인증서를 RHCOS 트러스트 번들에 있는 기관에서 서명하지 않은 경우 additionalTrustBundle 필드가 있어야 합니다.

   5

   선택 사항: trustedCA 필드에서 user-ca-bundle 구성 맵을 참조할 프록시 오브젝트의 구성을 결정하는 정책입니다. 허용되는 값은 Proxyonly 및 Always 입니다. http/https 프록시가 구성된 경우에만 user-ca-bundle 구성 맵을 참조하려면 Proxyonly 를 사용합니다. Always 를 사용하여 user-ca-bundle 구성 맵을 항상 참조합니다. 기본값은 Proxyonly 입니다.

   참고

   설치 프로그램에서 프록시 adinessEndpoints 필드를 지원하지 않습니다.

   참고

   설치 프로그램이 시간 초과되면 설치 프로그램의 wait-for 명령을 사용하여 배포를 다시 시작한 다음 완료합니다. 예를 들면 다음과 같습니다.

   $ ./openshift-install wait-for install-complete --log-level debug

2. 파일을 저장해 놓고 OpenShift Container Platform을 설치할 때 참조하십시오.

프로세스

1. 제공된 ARM 템플릿이 사용할 install-config.yaml에 있는 공통 변수를 내보냅니다.

   $ export CLUSTER_NAME=<cluster_name>1
   $ export AZURE_REGION=<azure_region>2
   $ export SSH_KEY=<ssh_key>3
   $ export BASE_DOMAIN=<base_domain>4
   $ export BASE_DOMAIN_RESOURCE_GROUP=<base_domain_resource_group>5

   1

   install-config.yaml 파일의 .metadata.name 속성 값입니다.

   2

   클러스터를 배포할 리전입니다. install-config.yaml 파일의 .platform.azure.region 속성 값입니다.

   3

   문자열 형태의 SSH RSA 공개 키 파일입니다. 공백이 포함되어 있으므로 SSH 키를 따옴표로 묶어야 합니다. install-config.yaml 파일의 .sshKey 속성 값입니다.

   4

   클러스터를 배포할 기본 도메인. 기본 도메인은 클러스터에 대해 생성한 DNS 영역에 해당합니다. install-config.yaml 파일의 .baseDomain 속성 값입니다.

   5

   DNS 영역이 존재하는 리소스 그룹입니다. install-config.yaml 파일의 .platform.azure.baseDomainResourceGroupName 속성 값입니다.

   예를 들면 다음과 같습니다.

   $ export CLUSTER_NAME=test-cluster
   $ export AZURE_REGION=centralus
   $ export SSH_KEY="ssh-rsa xxx/xxx/xxx= user@email.com"
   $ export BASE_DOMAIN=example.com
   $ export BASE_DOMAIN_RESOURCE_GROUP=ocp-cluster

2. kubeadmin 인증 정보를 내보냅니다.

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   <installation_directory>는 설치 파일을 저장한 디렉터리의 경로를 지정합니다.

프로세스

1. OpenShift Container Platform 설치 프로그램이 포함된 디렉터리로 변경하고 클러스터에 대한 Kubernetes 매니페스트를 생성합니다.

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   <installation_directory>는 사용자가 만든 install-config.yaml 파일이 포함된 설치 디렉터리를 지정합니다.

2. 컨트롤 플레인 시스템을 정의하는 Kubernetes 매니페스트 파일을 제거합니다.

   $ rm -f <installation_directory>/openshift/99_openshift-cluster-api_master-machines-*.yaml

   이러한 파일을 제거하면 클러스터가 컨트롤 플레인 시스템을 자동으로 생성하지 못합니다.

3. 컨트롤 플레인 머신 세트를 정의하는 Kubernetes 매니페스트 파일을 제거합니다.

   $ rm -f <installation_directory>/openshift/99_openshift-machine-api_master-control-plane-machine-set.yaml

4. 작업자 시스템을 정의하는 Kubernetes 매니페스트 파일을 제거합니다.

   $ rm -f <installation_directory>/openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   중요

   사용자 프로비저닝 인프라에 클러스터를 설치할 때 MachineAPI 기능을 비활성화한 경우 작업자 시스템을 정의하는 Kubernetes 매니페스트 파일을 제거해야 합니다. 그렇지 않으면 클러스터를 설치하지 못합니다.

   작업자 시스템은 사용자가 직접 생성하고 관리하기 때문에 초기화할 필요가 없습니다.

5. <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 매니페스트 파일의 mastersSchedulable 매개변수가 false로 설정되어 있는지 확인합니다. 이 설정으로 인해 컨트롤 플레인 머신에서 포드가 예약되지 않습니다.

   1. <installation_directory>/manifests/cluster-scheduler-02-config.yml 파일을 엽니다.
   2. mastersSchedulable 매개변수를 찾아서 값을 False로 설정되어 있는지 확인합니다.
   3. 파일을 저장하고 종료합니다.

6. 선택사항: Ingress Operator가 사용자 대신 DNS 레코드를 생성하지 못하도록 하려면 <installation_directory>/manifests/cluster-dns-02-config.yml DNS 구성 파일에서 privateZone 및 publicZone 섹션을 제거합니다.

   apiVersion: config.openshift.io/v1
   kind: DNS
   metadata:
     creationTimestamp: null
     name: cluster
   spec:
     baseDomain: example.openshift.com
     privateZone: 1
       id: mycluster-100419-private-zone
     publicZone: 2
       id: example.openshift.com
   status: {}

   1 2

   이 섹션을 완전히 제거합니다.

   제거한 경우 나중에 인그레스 DNS 레코드를 수동으로 추가해야 합니다.

7. 선택 사항: Azure Stack Hub 환경에서 내부 인증 기관(CA)을 사용하는 경우 <installation_directory>/manifests/cluster-proxy-01-config.yaml 파일에서 .spec.trustedCA.name 필드를 업데이트하여 user-ca-bundle을 사용합니다.

   ...
   spec:
     trustedCA:
       name: user-ca-bundle
   ...

   나중에 CA를 포함하도록 부트스트랩 ignition을 업데이트해야 합니다.

8. 사용자 프로비저닝 인프라에서 Azure를 구성할 때, ARM(Azure Resource Manager) 템플릿에서 나중에 사용할 수 있도록 매니페스트 파일에 정의된 일부 공통 변수를 내보내야 합니다.

   1. 다음 명령을 사용하여 인프라 ID를 내보냅니다.

      $ export INFRA_ID=<infra_id> 1

      1

      OpenShift Container Platform 클러스터에 <cluster_name>-<random_string> 형식으로 식별자(INFRA_ID)가 할당되었습니다. 제공된 ARM 템플릿을 사용해서 생성된 대부분의 리소스에 대해 기본 이름으로 사용됩니다. manifests/cluster-infrastructure-02-config.yml 파일의 .status.infrastructureName 속성 값입니다.

   2. 다음 명령을 사용하여 리소스 그룹을 내보냅니다:

      $ export RESOURCE_GROUP=<resource_group> 1

      1

      이 Azure 배포에서 생성된 모든 리소스는 리소스 그룹의 일부로 존재합니다. 또한 리소스 그룹 이름은 <cluster_name>-<random_string>-rg 형식의 INFRA_ID를 기반으로 합니다. manifests/cluster-infrastructure-02-config.yml 파일의 .status.platformStatus.azure.resourceGroupName 속성 값입니다.

9. 클라우드 인증 정보를 수동으로 생성합니다.

   1. 설치 프로그램이 포함된 디렉터리에서 openshift-install 바이너리가 다음을 사용하도록 빌드된 OpenShift Container Platform 릴리스 이미지에 대한 세부 정보를 가져옵니다.

      $ openshift-install version

      출력 예

      release image quay.io/openshift-release-dev/ocp-release:4.y.z-x86_64

   2. 다음 명령을 실행하여 설치 파일의 릴리스 이미지로 $RELEASE_IMAGE 변수를 설정합니다.

      $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')

   3. 다음 명령을 실행하여 OpenShift Container Platform 릴리스 이미지에서 CredentialsRequest CR(사용자 정의 리소스) 목록을 추출합니다.

      $ oc adm release extract \
        --from=$RELEASE_IMAGE \
        --credentials-requests \
        --included \1
        --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \2
        --to=<path_to_directory_for_credentials_requests> 3

      1

      --included 매개변수에는 특정 클러스터 구성에 필요한 매니페스트만 포함됩니다.

      2

      install-config.yaml 파일의 위치를 지정합니다.

      3

      CredentialsRequest 오브젝트를 저장할 디렉터리의 경로를 지정합니다. 지정된 디렉터리가 없으면 이 명령이 이를 생성합니다.

      이 명령을 수행하면 각 CredentialsRequest 오브젝트에 대해 YAML 파일이 생성됩니다.

      샘플 CredentialsRequest 개체

      apiVersion: cloudcredential.openshift.io/v1
      kind: CredentialsRequest
      metadata:
        labels:
          controller-tools.k8s.io: "1.0"
        name: openshift-image-registry-azure
        namespace: openshift-cloud-credential-operator
      spec:
        secretRef:
          name: installer-cloud-credentials
          namespace: openshift-image-registry
        providerSpec:
          apiVersion: cloudcredential.openshift.io/v1
          kind: AzureProviderSpec
          roleBindings:
          - role: Contributor

   4. 이전에 생성한 openshift-install 매니페스트 디렉터리에 시크릿 YAML 파일을 만듭니다. 시크릿은 각 CredentialsRequest 오브젝트의 spec.secretRef에 정의된 네임 스페이스 및 시크릿 이름을 사용하여 저장해야 합니다. 시크릿 데이터의 형식은 클라우드 공급자마다 다릅니다.

      secret .yaml 파일 샘플

      apiVersion: v1
      kind: Secret
      metadata:
          name: ${secret_name}
          namespace: ${secret_namespace}
      stringData:
        azure_subscription_id: ${subscription_id}
        azure_client_id: ${app_id}
        azure_client_secret: ${client_secret}
        azure_tenant_id: ${tenant_id}
        azure_resource_prefix: ${cluster_name}
        azure_resourcegroup: ${resource_group}
        azure_region: ${azure_region}

   5. CCO(Cloud Credential Operator)가 비활성화된 매니페스트 디렉터리에 cco-configmap.yaml 파일을 생성합니다.

      샘플 ConfigMap 오브젝트

      apiVersion: v1
      kind: ConfigMap
      metadata:
      name: cloud-credential-operator-config
      namespace: openshift-cloud-credential-operator
        annotations:
          release.openshift.io/create-only: "true"
      data:
        disabled: "true"

10. Ignition 구성 파일을 생성하려면 설치 프로그램이 포함된 디렉터리에서 다음 명령을 실행합니다.

    $ ./openshift-install create ignition-configs --dir <installation_directory> 1

    1

    <installation_directory>는 동일한 설치 디렉터리를 지정합니다.

    설치 디렉터리의 부트스트랩, 컨트롤 플레인 및 컴퓨팅 노드에 대한 Ignition 구성 파일이 생성됩니다. kubeadmin-password 및 kubeconfig 파일은 ./<installation_directory>/auth 디렉터리에 생성됩니다.

    .
    ├── auth
    │   ├── kubeadmin-password
    │   └── kubeconfig
    ├── bootstrap.ign
    ├── master.ign
    ├── metadata.json
    └── worker.ign

프로세스

1. OpenShift Container Platform 설치 파일을 저장할 디렉터리를 만듭니다.

   $ mkdir $HOME/clusterconfig

2. openshift-install을 실행하여 manifest 및 openshift 하위 디렉터리에 파일 세트를 만듭니다. 프롬프트가 표시되면 시스템 질문에 대답합니다.

   $ openshift-install create manifests --dir $HOME/clusterconfig

   출력 예

   ? SSH Public Key ...
   INFO Credentials loaded from the "myprofile" profile in file "/home/myuser/.aws/credentials"
   INFO Consuming Install Config from target directory
   INFO Manifests created in: $HOME/clusterconfig/manifests and $HOME/clusterconfig/openshift

3. 선택 사항: 설치 프로그램이 clusterconfig/openshift 디렉터리에 매니페스트를 생성했는지 확인합니다.

   $ ls $HOME/clusterconfig/openshift/

   출력 예

   99_kubeadmin-password-secret.yaml
   99_openshift-cluster-api_master-machines-0.yaml
   99_openshift-cluster-api_master-machines-1.yaml
   99_openshift-cluster-api_master-machines-2.yaml
   ...

4. 추가 파티션을 구성하는 Butane 구성을 생성합니다. 예를 들어 $HOME/clusterconfig/98-var-partition.bu 파일의 이름을 지정하고, 디스크 장치 이름을 worker 시스템의 스토리지 장치 이름으로 변경하고 스토리지 크기를 적절하게 설정합니다. 이 예에서는 /var 디렉터리를 별도의 파티션에 배치합니다.

   variant: openshift
   version: 4.17.0
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 98-var-partition
   storage:
     disks:
     - device: /dev/disk/by-id/<device_name> 1
       partitions:
       - label: var
         start_mib: <partition_start_offset> 2
         size_mib: <partition_size> 3
         number: 5
     filesystems:
       - device: /dev/disk/by-partlabel/var
         path: /var
         format: xfs
         mount_options: [defaults, prjquota] 4
         with_mount_unit: true

   1

   파티션을 설정해야하는 디스크 저장 장치 이름입니다.

   2

   데이터 파티션을 부트 디스크에 추가할 때 최소 25000MiB(메비 바이트)가 권장됩니다. 루트 파일 시스템은 지정된 오프셋까지 사용 가능한 모든 공간을 채우기 위해 자동으로 크기가 조정됩니다. 값이 지정되지 않거나 지정된 값이 권장 최소값보다 작으면 생성되는 루트 파일 시스템의 크기가 너무 작아지고 RHCOS를 나중에 다시 설치할 때 데이터 파티션의 첫 번째 부분을 덮어 쓸 수 있습니다.

   3

   데이터 파티션의 크기(MB)입니다.

   4

   컨테이너 스토리지에 사용되는 파일 시스템에 대해 prjquota 마운트 옵션을 활성화해야 합니다.

   참고

   별도의 /var 파티션을 만들 때 다른 인스턴스 유형에 동일한 장치 이름이 없는 경우 작업자 노드에 다른 인스턴스 유형을 사용할 수 없습니다.

5. Butane 구성에서 매니페스트를 생성하여 clusterconfig/openshift 디렉터리에 저장합니다. 예를 들어 다음 명령을 실행합니다.

   $ butane $HOME/clusterconfig/98-var-partition.bu -o $HOME/clusterconfig/openshift/98-var-partition.yaml

6. openshift-install을 다시 실행하여 manifest 및 openshift 하위 디렉터리의 파일 세트에서 Ignition 구성을 만듭니다.

   $ openshift-install create ignition-configs --dir $HOME/clusterconfig
   $ ls $HOME/clusterconfig/
   auth  bootstrap.ign  master.ign  metadata.json  worker.ign