4장. 호스트된 컨트롤 플레인 배포


4.1. AWS에 호스팅된 컨트롤 플레인 배포

인프라 비용을 줄이고 클러스터 관리 효율성을 개선하려면 AWS에 호스팅된 컨트롤 플레인을 배포할 수 있습니다. 이 구성은 중앙 관리 서비스에서 여러 클러스터를 관리할 수 있도록 컨트롤 플레인을 데이터 플레인과 분리합니다.

호스팅 클러스터는 관리 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다. 온프레미스에서 호스팅되는 컨트롤 플레인을 구성하려면 관리 클러스터에 Kubernetes Operator용 다중 클러스터 엔진을 설치해야 합니다. hypershift-addon 관리 클러스터 애드온을 사용하여 기존 관리 클러스터에 HyperShift Operator를 배포하면 해당 클러스터를 관리 클러스터로 활성화하고 호스팅된 클러스터를 생성할 수 있습니다. 로컬 클러스터 관리 클러스터에 대해 하이퍼shift-addon 관리 클러스터 애드온은 기본적으로 활성화되어 있습니다.

다중 클러스터 엔진 Operator 콘솔 또는 호스팅된 컨트롤 플레인 CLI(명령줄 인터페이스), hcp 를 사용하여 호스팅된 클러스터를 생성할 수 있습니다. 호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 그러나 이 자동 가져오기 기능을 다중 클러스터 엔진 Operator로 비활성화할 수 있습니다. 자세한 내용은 "호스트 클러스터를 멀티 클러스터 엔진 Operator로 자동 가져오기 비활성화"를 참조하십시오.

4.1.1. AWS에 호스팅된 컨트롤 플레인 배포 준비

AWS(Amazon Web Services)에 호스팅되는 컨트롤 플레인 배포 준비에는 여러 사전 요구 사항을 충족하고 S3 버킷, OIDC 시크릿, 라우팅 가능한 퍼블릭 영역, IAM 역할 및 STS 인증 정보를 포함한 리소스를 생성해야 합니다.

AWS(Amazon Web Services)에서 호스팅되는 컨트롤 플레인을 성공적으로 배포하려면 다음 요구 사항을 충족해야 합니다.

  • OpenShift Container Platform 클러스터에 Kubernetes Operator 2.5 이상을 위한 다중 클러스터 엔진을 설치했습니다. RHACM(Red Hat Advanced Cluster Management)을 설치할 때 multicluster engine Operator가 자동으로 설치됩니다. 멀티 클러스터 엔진 Operator는 OpenShift Container Platform 소프트웨어 카탈로그의 Operator로 RHACM 없이 설치할 수도 있습니다.
  • 다중 클러스터 엔진 Operator에 대해 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다. local-cluster 는 다중 클러스터 엔진 Operator 버전 2.5 이상에서 자동으로 가져옵니다. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.

    $ oc get managedclusters local-cluster
  • "'aws' CLI(명령줄 인터페이스)가 설치되어 있습니다.
  • 호스팅된 컨트롤 플레인 CLI를 설치했습니다. hcp.
중요
  • 동일한 플랫폼에서 관리 클러스터 및 컴퓨팅 노드를 실행합니다.
  • 호스트된 각 클러스터에 대해 클러스터 전체 고유 이름을 제공합니다. 호스트된 클러스터 이름은 다중 클러스터 엔진 Operator가 이를 관리하기 위해 기존 관리 클러스터와 같을 수 없습니다.
  • 클러스터를 호스팅 클러스터 이름으로 사용하지 마십시오.
  • 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성하지 마십시오.

4.1.1.2. Amazon Web Services S3 버킷 및 S3 OIDC 시크릿 생성

AWS(Amazon Web Services)에서 호스팅 클러스터를 생성하고 관리하려면 S3 버킷 및 S3 OIDC 시크릿을 생성해야 합니다. 이러한 리소스는 클러스터에서 자체 정보를 저장할 수 있는 위치와 클러스터가 AWS에 대한 ID를 증명하는 방법을 제공합니다.

절차

  1. 클러스터의 호스트 OIDC 검색 문서에 대한 공용 액세스 권한이 있는 S3 버킷을 생성합니다.

    1. 다음 명령을 실행합니다.

      $ aws s3api create-bucket --bucket <bucket_name> \
        --create-bucket-configuration LocationConstraint=<region> \
        --region <region>

      다음과 같습니다.

      <bucket_name>
      생성 중인 S3 버킷의 이름을 지정합니다.
      <region>
      us-east-1 리전이 아닌 다른 리전에서 버킷을 생성하도록 지정합니다. 이 행을 포함하고 &lt ;region& gt;을 사용하려는 리전으로 바꿉니다. us-east-1 리전에 버킷을 생성하려면 이 행을 생략합니다.
    2. 다음 명령을 실행합니다.

      $ aws s3api delete-public-access-block --bucket <bucket_name>

      & lt;bucket_name >을 생성 중인 S3 버킷의 이름으로 바꿉니다.

    3. 다음 명령을 실행합니다.

      $ echo '{
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": "*",
                  "Action": "s3:GetObject",
                  "Resource": "arn:aws:s3:::<bucket_name>/*"
              }
          ]
      }' | envsubst > policy.json

      & lt;bucket_name >을 생성 중인 S3 버킷의 이름으로 바꿉니다.

    4. 다음 명령을 실행합니다.

      $ aws s3api put-bucket-policy --bucket <bucket_name> \
        --policy file://policy.json

      & lt;bucket_name >을 생성 중인 S3 버킷의 이름으로 바꿉니다.

      참고

      Mac 컴퓨터를 사용하는 경우 정책이 작동하려면 버킷 이름을 내보내야 합니다.

  2. 다음 명령을 실행하여 HyperShift Operator에 대해 hypershift-operator-oidc-provider-s3-credentials 라는 OIDC S3 시크릿을 생성합니다.

    $ oc create secret generic hypershift-operator-oidc-provider-s3-credentials \
      --from-file=credentials=<path>/.aws/credentials \
      --from-literal=bucket=<s3_bucket> \
      --from-literal=region=<region> \
      -n local-cluster
    • 로컬 클러스터 네임스페이스에 시크릿을 저장합니다.
    • bucket 필드는 호스팅된 클러스터에 대한 호스트 OIDC 검색 문서에 대한 공용 액세스 권한이 있는 S3 버킷을 지정합니다.
    • credentials 필드는 버킷에 액세스할 수 있는 기본 프로필의 인증 정보가 포함된 파일에 대한 참조를 지정합니다. 기본적으로 HyperShift Operator는 기본 프로필만 사용하여 버킷 을 작동합니다.
    • region 필드는 S3 버킷의 리전을 지정합니다.
    참고

    보안에 대한 재해 복구 백업은 자동으로 활성화되지 않습니다. 재해 복구를 위해 hypershift-operator-oidc-provider-s3-credentials 시크릿을 백업할 수 있는 레이블을 추가하려면 다음 명령을 실행합니다.

    $ oc label secret hypershift-operator-oidc-provider-s3-credentials \
      -n local-cluster cluster.open-cluster-management.io/backup=true

4.1.1.3. 호스팅된 클러스터에 대해 라우팅 가능한 퍼블릭 영역 생성

호스팅된 클러스터의 애플리케이션에 액세스하려면 라우팅 가능한 퍼블릭 영역을 구성해야 합니다.

퍼블릭 영역이 있는 경우 이 단계를 건너뜁니다. 그렇지 않으면 퍼블릭 영역이 기존 기능에 영향을 미칩니다.

프로세스

  • DNS 레코드에 대해 라우팅 가능한 퍼블릭 영역을 생성하려면 다음 명령을 입력합니다.

    $ aws route53 create-hosted-zone \
      --name <basedomain> \
      --caller-reference $(whoami)-$(date --rfc-3339=date)

    & lt;basedomain& gt;을 기본 도메인으로 바꿉니다(예: www.example.com ).

4.1.1.4. AWS IAM 역할 및 STS 인증 정보 생성

AWS(Amazon Web Services)에서 호스팅 클러스터를 생성하기 전에 AWS IAM 역할 및 STS 인증 정보를 생성해야 합니다.

절차

  1. 다음 명령을 실행하여 사용자의 Amazon 리소스 이름(ARN)을 가져옵니다.

    $ aws sts get-caller-identity --query "Arn" --output text

    출력 예

    arn:aws:iam::1234567890:user/<aws_username>

    다음 단계에서 이 출력을 < arn&gt; 값 값으로 사용합니다.

  2. 역할에 대한 신뢰 관계 구성이 포함된 JSON 파일을 생성합니다. 다음 예제를 참조하십시오.

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Principal": {
                    "AWS": "<arn>"
                },
                "Action": "sts:AssumeRole"
            }
        ]
    }

    & lt;arn >을 이전 단계에서 언급한 사용자의 ARN으로 바꿉니다.

  3. 다음 명령을 실행하여 IAM(Identity and Access Management) 역할을 생성합니다.

    $ aws iam create-role \
      --role-name <name> \
      --assume-role-policy-document file://<file_name>.json \
      --query "Role.Arn"

    다음과 같습니다.

    <name>
    역할 이름을 지정합니다(예: hcp-cli-role ).
    <file_name>
    이전 단계에서 생성한 JSON 파일의 이름을 지정합니다.

    출력 예

    arn:aws:iam::820196288204:role/myrole

  4. 역할에 대한 다음 권한 정책이 포함된 policy.json 이라는 JSON 파일을 생성합니다.

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Sid": "EC2",
                "Effect": "Allow",
                "Action": [
                    "ec2:CreateDhcpOptions",
                    "ec2:DeleteSubnet",
                    "ec2:ReplaceRouteTableAssociation",
                    "ec2:DescribeAddresses",
                    "ec2:DescribeInstances",
                    "ec2:DeleteVpcEndpoints",
                    "ec2:CreateNatGateway",
                    "ec2:CreateVpc",
                    "ec2:DescribeDhcpOptions",
                    "ec2:AttachInternetGateway",
                    "ec2:DeleteVpcEndpointServiceConfigurations",
                    "ec2:DeleteRouteTable",
                    "ec2:AssociateRouteTable",
                    "ec2:DescribeInternetGateways",
                    "ec2:DescribeAvailabilityZones",
                    "ec2:CreateRoute",
                    "ec2:CreateInternetGateway",
                    "ec2:RevokeSecurityGroupEgress",
                    "ec2:ModifyVpcAttribute",
                    "ec2:DeleteInternetGateway",
                    "ec2:DescribeVpcEndpointConnections",
                    "ec2:RejectVpcEndpointConnections",
                    "ec2:DescribeRouteTables",
                    "ec2:ReleaseAddress",
                    "ec2:AssociateDhcpOptions",
                    "ec2:TerminateInstances",
                    "ec2:CreateTags",
                    "ec2:DeleteRoute",
                    "ec2:CreateRouteTable",
                    "ec2:DetachInternetGateway",
                    "ec2:DescribeVpcEndpointServiceConfigurations",
                    "ec2:DescribeNatGateways",
                    "ec2:DisassociateRouteTable",
                    "ec2:AllocateAddress",
                    "ec2:DescribeSecurityGroups",
                    "ec2:RevokeSecurityGroupIngress",
                    "ec2:CreateVpcEndpoint",
                    "ec2:DescribeVpcs",
                    "ec2:DeleteSecurityGroup",
                    "ec2:DeleteDhcpOptions",
                    "ec2:DeleteNatGateway",
                    "ec2:DescribeVpcEndpoints",
                    "ec2:DeleteVpc",
                    "ec2:CreateSubnet",
                    "ec2:DescribeSubnets"
                ],
                "Resource": "*"
            },
            {
                "Sid": "ELB",
                "Effect": "Allow",
                "Action": [
                    "elasticloadbalancing:DeleteLoadBalancer",
                    "elasticloadbalancing:DescribeLoadBalancers",
                    "elasticloadbalancing:DescribeTargetGroups",
                    "elasticloadbalancing:DeleteTargetGroup"
                ],
                "Resource": "*"
            },
            {
                "Sid": "IAMPassRole",
                "Effect": "Allow",
                "Action": "iam:PassRole",
                "Resource": "arn:*:iam::*:role/*-worker-role",
                "Condition": {
                    "ForAnyValue:StringEqualsIfExists": {
                        "iam:PassedToService": "ec2.amazonaws.com"
                    }
                }
            },
            {
                "Sid": "IAM",
                "Effect": "Allow",
                "Action": [
                    "iam:CreateInstanceProfile",
                    "iam:DeleteInstanceProfile",
                    "iam:TagInstanceProfile",
                    "iam:GetRole",
                    "iam:UpdateAssumeRolePolicy",
                    "iam:GetInstanceProfile",
                    "iam:TagRole",
                    "iam:RemoveRoleFromInstanceProfile",
                    "iam:CreateRole",
                    "iam:DeleteRole",
                    "iam:PutRolePolicy",
                    "iam:AddRoleToInstanceProfile",
                    "iam:CreateOpenIDConnectProvider",
                    "iam:TagOpenIDConnectProvider",
                    "iam:ListOpenIDConnectProviders",
                    "iam:DeleteRolePolicy",
                    "iam:UpdateRole",
                    "iam:DeleteOpenIDConnectProvider",
                    "iam:GetRolePolicy",
                    "iam:ListAttachedRolePolicies",
                    "iam:ListRolePolicies",
                    "iam:DetachRolePolicy"
                ],
                "Resource": "*"
            },
            {
                "Sid": "Route53",
                "Effect": "Allow",
                "Action": [
                    "route53:ListHostedZonesByVPC",
                    "route53:CreateHostedZone",
                    "route53:ListHostedZones",
                    "route53:ChangeResourceRecordSets",
                    "route53:ListResourceRecordSets",
                    "route53:DeleteHostedZone",
                    "route53:AssociateVPCWithHostedZone",
                    "route53:ListHostedZonesByName"
                ],
                "Resource": "*"
            },
            {
                "Sid": "S3",
                "Effect": "Allow",
                "Action": [
                    "s3:ListAllMyBuckets",
                    "s3:ListBucket",
                    "s3:DeleteObject",
                    "s3:DeleteBucket"
                ],
                "Resource": "*"
            }
        ]
    }
  5. 다음 명령을 실행하여 역할에 대한 권한 정책이 포함된 policy.json 파일을 연결합니다.

    $ aws iam put-role-policy \
      --role-name <role_name> \
      --policy-name <policy_name> \
      --policy-document file://policy.json

    다음과 같습니다.

    <role_name>
    역할의 이름을 지정합니다.
    <policy_name>
    정책 이름을 지정합니다.
  6. 다음 명령을 실행하여 sts-creds.json 이라는 JSON 파일에서 STS 자격 증명을 검색합니다.

    $ aws sts get-session-token --output json > sts-creds.json

    sts-creds.json 파일의 예

    {
        "Credentials": {
            "AccessKeyId": "<access_key_id",
            "SecretAccessKey": "<secret_access_key>”,
            "SessionToken": "<session_token>",
            "Expiration": "<time_stamp>"
        }
    }

4.1.2. AWS에서 호스팅된 컨트롤 플레인의 외부 DNS 활성화

DNS 레코드 관리를 자동화하기 위해 외부 DNS를 활성화할 수 있습니다. 이 기능을 구성하면 서비스 및 수신을 생성하거나 삭제할 때 클러스터가 AWS Route 53 공용 호스팅 영역을 자동으로 업데이트할 수 있는 방법을 제공합니다.

컨트롤 플레인과 데이터 플레인은 호스팅된 컨트롤 플레인에서 분리되어 있습니다. 다음 두 개의 독립적인 영역에서 DNS를 구성할 수 있습니다.

  • 호스트 클러스터 내의 워크로드에 대한 수신(예: *.apps.service-consumer-domain.com ).
  • 서비스 공급자 도메인을 통한 API 또는 OAuth 끝점과 같은 관리 클러스터 내의 서비스 끝점에 대한 수신: *.service-provider-domain.com.

hostedCluster.spec.dns 의 입력은 호스팅 클러스터 내의 워크로드에 대한 수신을 관리합니다. hostedCluster.spec.services.servicePublishingStrategy.route.hostname 의 입력은 관리 클러스터 내의 서비스 끝점에 대한 수신을 관리합니다.

외부 DNS는 LoadBalancer 또는 Route 게시 유형을 지정하고 해당 게시 유형의 호스트 이름을 제공하는 호스팅 클러스터 서비스에 대한 이름 레코드를 생성합니다. Private 또는 PublicAndPrivate 엔드포인트 액세스 유형이 있는 호스팅 클러스터의 경우 APIServer 및 OAuth 서비스만 호스트 이름을 지원합니다. 프라이빗 호스트 클러스터의 경우 DNS 레코드는 VPC의 VPC(Virtual Private Cloud) 끝점의 프라이빗 IP 주소로 확인됩니다.

호스팅된 컨트롤 플레인은 다음 서비스를 노출합니다.

  • APIServer
  • OIDC
참고

AWS의 호스팅된 컨트롤 플레인에서는 NodePort 게시 유형이 지원되지 않습니다.

HostedCluster 사양에서 servicePublishingStrategy 필드를 사용하여 이러한 서비스를 노출할 수 있습니다. 기본적으로 LoadBalancer 및 Route 유형의 servicePublishingStrategy 에서는 다음 방법 중 하나로 서비스를 게시할 수 있습니다.

  • LoadBalancer 유형의 서비스 상태에 있는 로드 밸런서의 호스트 이름을 사용하여 다음을 수행합니다.
  • Route 리소스의 status.host 필드를 사용합니다.

그러나 관리 서비스 컨텍스트에 호스팅된 컨트롤 플레인을 배포할 때 이러한 방법은 기본 관리 클러스터의 ingress 하위 도메인과 관리 클러스터 라이프사이클 및 재해 복구에 대한 제한 옵션을 노출할 수 있습니다.

LoadBalancer 및 Route 게시 유형에 DNS indirection이 계층화된 경우 관리형 서비스 운영자는 서비스 수준 도메인을 사용하여 모든 공용 호스팅 클러스터 서비스를 게시할 수 있습니다. 이 아키텍처를 사용하면 DNS 이름을 새 LoadBalancer 또는 경로에 다시 매핑할 수 있으며 관리 클러스터의 인그레스 도메인을 노출하지 않습니다. 호스팅된 컨트롤 플레인은 외부 DNS를 사용하여 해당 간접 계층을 달성합니다.

관리 클러스터의 hypershift 네임스페이스에 HyperShift Operator와 함께 external-dns 를 배포할 수 있습니다. 외부 DNS는 external-dns.alpha.kubernetes.io/hostname 주석이 있는 서비스 또는 경로를 감시합니다. 해당 주석은 A 레코드 또는 경로 (예: CNAME 레코드)와 같은 서비스를 가리키는 DNS 레코드를 생성하는 데 사용됩니다.

클라우드 환경에서만 외부 DNS를 사용할 수 있습니다. 다른 환경의 경우 DNS 및 서비스를 수동으로 구성해야 합니다.

외부 DNS에 대한 자세한 내용은 "외부 DNS"를 참조하십시오.

4.1.2.1. 호스팅된 컨트롤 플레인의 외부 DNS 설정

DNS 레코드 관리를 자동화하기 위해 AWS에서 호스팅되는 컨트롤 플레인에 대한 외부 DNS를 설정할 수 있습니다. 서비스를 생성하거나 수정할 때 AWS Route 53 공용 호스팅 영역의 해당 DNS 레코드가 자동으로 업데이트되도록 이 구성이 필요합니다.

외부 DNS 또는 서비스 수준 DNS를 사용하여 호스팅되는 컨트롤 플레인을 프로비저닝할 수 있습니다.

사전 요구 사항

  • 외부 공용 도메인을 생성하셨습니다.
  • AWS Route53 관리 콘솔에 액세스할 수 있습니다.
  • 호스팅된 컨트롤 플레인에 대해 AWS PrivateLink를 활성화했습니다.

절차

  1. HyperShift Operator에 대한 AWS(Amazon Web Services) 인증 정보 시크릿을 생성하고 local-cluster 네임스페이스에 hypershift-operator-external-dns-credentials 이름을 지정합니다.
  2. 시크릿에 필수 필드가 있는지 확인합니다. 참조의 경우 필수 필드는 다음 표에 자세히 설명되어 있습니다.

    표 4.2. AWS 시크릿의 필수 필드
    필드 이름설명선택 사항 또는 필수

    provider

    서비스 수준 DNS 영역을 관리하는 DNS 공급자입니다.

    필수 항목

    domain-filter

    서비스 수준 도메인입니다.

    필수 항목

    credentials

    모든 외부 DNS 유형을 지원하는 자격 증명 파일입니다.

    AWS 키를 사용할 때 선택 사항

    aws-access-key-id

    인증 정보 액세스 키 ID입니다.

    AWS DNS 서비스를 사용할 때 선택 사항

    aws-secret-access-key

    인증 정보 액세스 키 시크릿입니다.

    AWS DNS 서비스를 사용할 때 선택 사항

  3. 다음 명령을 실행하여 AWS 시크릿을 생성합니다.

    $ oc create secret generic <secret_name> \
      --from-literal=provider=aws \
      --from-literal=domain-filter=<domain_name> \
      --from-file=credentials=<path_to_aws_credentials_file> -n local-cluster
    참고

    보안에 대한 재해 복구 백업은 자동으로 활성화되지 않습니다. 재해 복구를 위해 시크릿을 백업하려면 다음 명령을 입력하여 hypershift-operator-external-dns-credentials 를 추가합니다.

    $ oc label secret hypershift-operator-external-dns-credentials \
      -n local-cluster \
      cluster.open-cluster-management.io/backup=""

4.1.2.2. 퍼블릭 DNS 호스팅 영역 생성

퍼블릭 DNS 호스팅 영역을 생성하여 외부 DNS 도메인 필터로 사용할 수 있습니다. 외부 DNS Operator는 퍼블릭 DNS 호스팅 영역을 사용하여 퍼블릭 호스팅 클러스터를 생성합니다.

절차

  1. AWS Route 53 관리 콘솔에서 호스팅 영역 생성 을 클릭합니다.
  2. 호스팅 영역 구성 페이지에서 도메인 이름을 입력하고 공용 호스팅 영역이 유형으로 선택되어 있는지 확인하고 호스트 영역 생성 을 클릭합니다.
  3. 영역이 생성되면 레코드 탭에서 Value/Route 트래픽의 값을 열로 기록해 둡니다.
  4. 기본 도메인에서 NS 레코드를 생성하여 DNS 요청을 위임된 영역으로 리디렉션합니다. 값 필드에 이전 단계에서 기록한 값을 입력합니다.
  5. 레코드 생성을 클릭합니다.
  6. 새 하위 영역에 테스트 항목을 생성하고 다음 예와 같이 dig 명령을 사용하여 테스트하여 DNS 호스팅 영역이 작동하는지 확인합니다.

    $ dig +short test.user-dest-public.aws.kerberos.com

    출력 예

    192.168.1.1

  7. LoadBalancer 및 Route 서비스의 호스트 이름을 설정하는 호스팅 클러스터를 생성하려면 다음 명령을 입력합니다.

    $ hcp create cluster aws --name=<hosted_cluster_name> \
      --endpoint-access=PublicAndPrivate \
      --external-dns-domain=<public_hosted_zone> ...

    & lt;public_hosted_zone >을 생성한 공개 호스팅 영역으로 바꿉니다.

    호스트된 클러스터에 대한 services 블록의 예

      platform:
        aws:
          endpointAccess: PublicAndPrivate
    ...
      services:
      - service: APIServer
        servicePublishingStrategy:
          route:
            hostname: api-example.service-provider-domain.com
          type: Route
      - service: OAuthServer
        servicePublishingStrategy:
          route:
            hostname: oauth-example.service-provider-domain.com
          type: Route
      - service: Konnectivity
        servicePublishingStrategy:
          type: Route
      - service: Ignition
        servicePublishingStrategy:
          type: Route

    Control Plane Operator는 Services 및 Routes 리소스를 생성하고 external-dns.alpha.kubernetes.io/hostname 주석으로 주석을 추가합니다. 서비스 및 경로 의 경우 컨트롤 플레인 Operator는 서비스 끝점의 servicePublishingStrategy 필드에 있는 hostname 매개변수 값을 사용합니다. DNS 레코드를 만들려면 external-dns 배포와 같은 메커니즘을 사용할 수 있습니다.

    공용 서비스에 대해서만 서비스 수준 DNS를 간접으로 구성할 수 있습니다. hypershift.local 프라이빗 영역을 사용하므로 프라이빗 서비스의 호스트 이름을 설정할 수 없습니다.

    다음 표에서는 서비스 및 엔드포인트 조합에 대한 호스트 이름을 설정하는 것이 유효한 시기를 보여줍니다.

    표 4.3. 호스트 이름을설정하는 서비스 및 끝점 조합
    서비스퍼블릭PublicAndPrivate프라이빗

    APIServer

    Y

    Y

    N

    OAuthServer

    Y

    Y

    N

    Konnectivity

    Y

    N

    N

    Ignition

    Y

    N

    N

4.1.2.3. AWS에서 외부 DNS를 사용하여 호스트 클러스터 생성

AWS에서 호스팅 클러스터를 생성할 때 외부 DNS를 사용하면 표준 설치 방법에 비해 이점이 있습니다. 외부 DNS를 사용하면 클러스터의 서비스 끝점을 AWS Route 53과 자동으로 동기화할 수 있습니다.

외부 DNS가 없으면 모든 새 서비스 또는 수신에 대한 DNS 레코드를 수동으로 관리하여 구성 오류와 다운타임의 위험이 높아야 합니다.

사전 요구 사항

  • 관리 클러스터에 다음 아티팩트를 구성했습니다.

    • 퍼블릭 DNS 호스팅 영역
    • 외부 DNS Operator
    • HyperShift Operator

절차

  1. hcp CLI(명령줄 인터페이스)에서 다음 명령을 입력하여 관리 클러스터에 액세스합니다.

    $ export KUBECONFIG=<path_to_management_cluster_kubeconfig>
  2. 다음 명령을 입력하여 External DNS Operator가 실행 중인지 확인합니다.

    $ oc get pod -n hypershift -lapp=external-dns

    출력 예

    NAME                            READY   STATUS    RESTARTS   AGE
    external-dns-7c89788c69-rn8gp   1/1     Running   0          40s

  3. 외부 DNS를 사용하여 호스팅된 클러스터를 생성하려면 다음 명령을 입력합니다.

    $ hcp create cluster aws \
        --role-arn <arn_role> \
        --instance-type <instance_type> \
        --region <region> \
        --auto-repair \
        --generate-ssh \
        --name <hosted_cluster_name> \
        --namespace clusters \
        --base-domain <service_consumer_domain> \
        --node-pool-replicas <node_replica_count> \
        --pull-secret <path_to_your_pull_secret> \
        --release-image quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \
        --external-dns-domain=<service_provider_domain> \
        --endpoint-access=<endpoint_access_configuration> \
        --sts-creds <path_to_sts_credential_file>

    다음과 같습니다.

    <arn_role>
    Amazon 리소스 이름(ARN)을 지정합니다(예: arn:aws:iam::820196288204:role/myrole ).
    <instance_types>
    인스턴스 유형을 지정합니다(예: m6i.xlarge ).
    <region>
    AWS 리전을 지정합니다(예: us-east-1 ).
    <hosted_cluster_name>
    호스팅된 클러스터 이름을 지정합니다(예: my-external-aws ).
    <service_consumer_domain>
    서비스 소비자가 소유한 공개 호스팅 영역을 지정합니다(예: service-consumer-domain.com ).
    <node_replica_count>
    노드 복제본 수를 지정합니다(예: 2 ).
    <path_to_your_pull_secret>
    풀 시크릿 파일의 경로를 지정합니다.
    <ocp_release_image>
    사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예: 5.0.0-multi ).
    <service_provider_domain>
    서비스 공급자가 소유한 공개 호스팅 영역을 지정합니다(예: service-provider-domain.com ).
    <endpoint_access_configuraton>
    외부 DNS의 끝점 액세스 구성을 지정합니다. 을 PublicAndPrivate 로 설정합니다. 공용 또는 Public AndPrivate 구성으로만 외부 DNS를 사용할 수 있습니다.
    <path_to_sts_credential_file>
    AWS STS 자격 증명 파일의 경로를 지정합니다(예: /home/user/sts-creds/sts-creds.json ).

4.1.2.4. 사용자 정의 DNS 이름 정의

클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.

다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.

  • 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
  • 분할 수평 DNS 및 NAT 시나리오 지원
  • 올바른 kubeconfig 및 DNS 구성으로 Show Login Command 기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해

HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.

사전 요구 사항

  • kubeAPIServerDNSName 매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다.
  • 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.

프로세스

  • HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.

    #...
    spec:
      configuration:
        apiServer:
          servingCerts:
            namedCertificates:
            - names:
              - xxx.example.com
              - yyy.example.com
              servingCertificate:
                name: <my_serving_certificate>
      kubeAPIServerDNSName: <custom_address>

    kubeAPIServerDNSName 매개변수의 값은 유효한 도메인이어야 합니다.

    kubeAPIServerDNSName 매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서 custom-admin- kubeconfig 라는 kubeconfig 파일을 생성합니다. 여기서 파일이 HostedControlPlane 네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며 HostedControlPlane 네임스페이스는 만료 및 갱신을 관리합니다.

    Control Plane Operator는 HostedControlPlane 네임스페이스에서 CustomKubeconfig 라는 새 kubeconfig 파일을 보고합니다. 해당 파일은 kubeAPIServerDNSName 매개변수에서 정의된 새 서버를 사용합니다.

    사용자 정의 kubeconfig 파일에 대한 참조는 HostedCluster 오브젝트의 CustomKubeconfig 로 status 매개변수에 있습니다. CustomKubeConfig 매개변수는 선택 사항이며 kubeAPIServerDNSName 매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다. CustomKubeConfig 매개변수를 설정한 후 매개변수는 HostedCluster 네임스페이스에서 < hosted_cluster_name>-custom-admin-kubeconfig 라는 보안 생성을 트리거합니다. 시크릿을 사용하여 HostedCluster API 서버에 액세스할 수 있습니다. 설치 후 작업 중에 CustomKubeConfig 매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.

    참고

    사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다. HostedControlPlane 네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.

    HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수를 제거하면 새로 생성된 모든 보안 및 CustomKubeconfig 참조가 클러스터 및 status 매개변수에서 제거됩니다.

4.1.3. AWS에서 호스트 클러스터 생성

AWS에서 명령줄 인터페이스, hcp 를 사용하거나 AWS STS 인증 정보를 제공하여 호스팅 클러스터를 생성할 수 있습니다. AWS의 여러 영역에 호스팅 클러스터를 생성할 수도 있습니다.

호스팅된 클러스터 는 API 끝점 및 컨트롤 플레인이 관리 클러스터에서 호스팅되는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다.

호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.

AWS의 호스팅된 컨트롤 플레인의 경우 기본적으로 AMD64 호스팅 클러스터를 사용합니다. 그러나 호스팅된 컨트롤 플레인이 ARM64 호스팅 클러스터에서 실행되도록 할 수 있습니다. 자세한 내용은 " ARM64 아키텍처에서 호스팅된 클러스터 실행"을 참조하십시오.

노드 풀 및 호스팅 클러스터의 호환 가능한 조합은 다음 표를 참조하십시오.

표 4.4. 노드 풀 및 호스팅 클러스터에 호환되는 아키텍처
호스트된 클러스터노드 풀

AMD64

AMD64 또는 ARM64

ARM64

ARM64 또는 AMD64

4.1.3.1. CLI를 사용하여 AWS에서 호스트된 클러스터 생성

AWS(Amazon Web Services)에서 호스팅된 클러스터를 생성하려면 호스트된 컨트롤 플레인 명령줄 인터페이스(hcp)를 사용할 수 있습니다.

사전 요구 사항

  • 호스트된 컨트롤 플레인 CLI, hcp 를 설정했습니다.
  • 로컬 클러스터 관리 클러스터를 관리 클러스터로 활성화했습니다.
  • AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성하셨습니다.

프로세스

  1. AWS에서 호스팅된 클러스터를 생성하려면 다음 명령을 실행합니다.

    $ hcp create cluster aws \
        --name <hosted_cluster_name> \
        --infra-id <infra_id> \
        --base-domain <basedomain> \
        --sts-creds <path_to_sts_credential_file> \
        --pull-secret <path_to_pull_secret> \
        --region <region> \
        --generate-ssh \
        --node-pool-replicas <node_pool_replica_count> \
        --namespace <hosted_cluster_namespace> \
        --role-arn <role_name> \
        --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \
        --disable-cluster-capabilities=<capability> \
        --enable-cluster-capabilities=<capability> \
        --render-into <file_name>.yaml \
        --render-sensitive
    • --name 은 호스팅된 클러스터의 이름을 지정합니다.
    • --infra-id 는 인프라 이름을 지정합니다. < hosted_cluster_name> 및 < infra_ id>에 동일한 값을 제공해야 합니다. 그러지 않으면 Kubernetes Operator 콘솔의 다중 클러스터 엔진에 클러스터가 올바르게 표시되지 않을 수 있습니다.
    • --base-domain 은 기본 도메인을 지정합니다(예: example.com ).
    • --STS-creds 는 AWS STS 자격 증명 파일의 경로를 지정합니다(예: /home/user/sts-creds/sts-creds.json ).
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    • --region 은 AWS 리전 이름을 지정합니다(예: us-east-1 ).
    • --node-pool-replicas 는 노드 풀 복제본 수를 지정합니다(예: 3 ).
    • --namespace 는 특정 네임스페이스에서 HostedCluster 및 NodePool 사용자 정의 리소스를 생성하도록 지정합니다. 그렇지 않으면 기본적으로 모든 HostedCluster 및 NodePool 사용자 정의 리소스가 클러스터 네임스페이스에 생성됩니다.
    • --role-arn 은 arn:aws:iam::820196288204:role/myrole 과 같이 Amazon Resource Name(ARN)을 지정합니다.
    • --release-image 는 사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예: 5.0.0-multi ).
    • --disable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 는 호스팅된 클러스터의 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --render-into 는 EC2 인스턴스가 공유 또는 단일 테넌트 하드웨어에서 실행되는지 여부를 지정합니다. --render-into 플래그는 Kubernetes 리소스를 이 필드에 지정하는 YAML 파일에 렌더링합니다. 다음 단계로 이동하여 YAML 파일을 편집합니다.
    • --render-sensitive 는 중요한 보안을 --render-into 플래그로 지정한 파일로 렌더링하도록 지정합니다. hcp create cluster 명령에 --render-into 플래그를 포함하는 경우 --render-sensitive 플래그를 포함하거나 클러스터 생성에 실패합니다.
  2. hcp create cluster 명령에 --render-into 플래그를 포함하는 경우 지정된 YAML 파일을 편집합니다. YAML 파일에서 NodePool 사양을 편집하여 다음 예와 유사하게 EC2 인스턴스를 공유 또는 단일 테넌트 하드웨어에서 실행해야 하는지 여부를 나타냅니다.

    YAML 파일의 예

    apiVersion: hypershift.openshift.io/v1beta1
    kind: NodePool
    metadata:
      name: <nodepool_name>
    spec:
      platform:
        aws:
          placement:
            tenancy: "default"

    다음과 같습니다.

    metadata.name
    NodePool 리소스의 이름을 지정합니다.
    spec.platform.aws.placement.tenancy
    테넌시에 유효한 값인 "default", "dedicated" 또는 "host" 를 지정합니다. 노드 풀 인스턴스가 공유 하드웨어에서 실행되는 경우 "default" 를 사용합니다. 각 노드 풀 인스턴스가 단일 테넌트 하드웨어에서 실행되는 경우 "dedicated" 를 사용합니다. 노드 풀 인스턴스가 사전 할당된 전용 호스트에서 실행되면 "host" 를 사용합니다.
  3. 외부 로드 밸런서를 사용하는 경우 다음 예와 같이 HostedCluster 리소스를 편집하여 Ingress 끝점을 구성합니다. 끝점을 구성하지 않으면 기본 동작은 서비스에서 수신을 노출하는 노드 포트를 임의화하는 것입니다. Ingress 컨트롤러에서 기본 수신 경로를 게시하는 방법을 구성하려면 endpointPublishingStrategy 매개변수 및 기본 함수를 설정합니다.

    #...
    spec:
      operatorConfiguration:
        ingressOperator:
          endpointPublishingStrategy:
            type: LoadBalancerService
            loadBalancer:
              scope: Internal
    #...

    spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type 매개변수는 로드 밸런서의 끝점을 지정합니다. AWS의 경우 LoadBalancerService 유형을 사용합니다.

  4. 다음 명령을 실행합니다.

    $ oc create -f <file_name>.yaml

검증

  1. 호스팅 클러스터의 상태를 확인하여 AVAILABLE 의 값이 True 인지 확인합니다. 다음 명령을 실행합니다.

    $ oc get hostedclusters -n <hosted_cluster_namespace>
  2. 다음 명령을 실행하여 노드 풀 목록을 가져옵니다.

    $ oc get nodepools --namespace <hosted_cluster_namespace>

4.1.3.2. AWS STS 인증 정보를 제공하여 호스트 클러스터 생성

호스팅된 컨트롤 플레인 배포의 보안을 강화하기 위해 AWS STS(Security Token Service)를 사용하여 AWS에서 호스팅된 클러스터를 생성할 수 있습니다.

hcp create cluster aws 명령을 사용하여 호스팅된 클러스터를 생성하는 경우 호스팅된 클러스터에 대한 인프라 리소스를 생성할 수 있는 권한이 있는 AWS(Amazon Web Services) 계정 인증 정보를 제공해야 합니다.

인프라 리소스에는 다음 예가 포함됩니다.

  • Virtual Private Cloud (VPC)
  • 서브넷
  • NAT(네트워크 주소 변환) 게이트웨이

다음 방법 중 하나를 사용하여 AWS 인증 정보를 제공할 수 있습니다.

  • AWS STS(Security Token Service) 인증 정보
  • 다중 클러스터 엔진 Operator의 AWS 클라우드 공급자 시크릿

프로세스

  • AWS STS 인증 정보를 제공하여 AWS에서 호스팅된 클러스터를 생성하려면 다음 명령을 입력합니다.

    $ hcp create cluster aws \
      --name <hosted_cluster_name> \
      --node-pool-replicas <node_pool_replica_count> \
      --base-domain <base_domain> \
      --pull-secret <path_to_pull_secret> \
      --sts-creds <path_to_sts_credential_file> \
      --region <region> \
      --role-arn <arn_role>

    다음과 같습니다.

    <hosted_cluster_name>
    호스트 클러스터의 이름을 지정합니다(예: my-hosted-cluster-01 ).
    <node_pool_replica_count>
    노드 풀 복제본 수를 지정합니다(예: 2 ).
    <base_domain>
    기본 도메인을 지정합니다(예: example.com ).
    <path_to_pull_secret>
    풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    <path_to_sts_credentials>
    AWS STS 자격 증명 파일의 경로를 지정합니다(예: /home/user/sts-creds/sts-creds.json ).
    <region>
    AWS 리전 이름을 지정합니다(예: us-east-1 ).
    <arn_role>
    Amazon 리소스 이름(ARN)을 지정합니다(예: arn:aws:iam::820196288204:role/myrole ).

4.1.3.3. AWS의 여러 영역에서 호스팅 클러스터 생성

가용성 및 내결함성을 개선하기 위해 여러 AWS 가용성 영역에서 호스팅된 클러스터를 생성할 수 있습니다. 여러 영역에서 노드 풀 및 컴퓨팅 노드를 분산하면 단일 지역의 잠재적인 중단으로부터 워크로드를 보호합니다.

hcp CLI(명령줄 인터페이스)를 사용하여 AWS(Amazon Web Services)의 여러 영역에서 호스팅 클러스터를 생성할 수 있습니다.

사전 요구 사항

  • AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성하셨습니다.

프로세스

  • 다음 명령을 실행하여 AWS의 여러 영역에 호스팅 클러스터를 생성합니다.

    $ hcp create cluster aws \
      --name <hosted_cluster_name> \
      --node-pool-replicas=<node_pool_replica_count> \
      --base-domain <base_domain> \
      --pull-secret <path_to_pull_secret> \
      --role-arn <arn_role> \
      --region <region> \
      --zones <zones> \
      --sts-creds <path_to_sts_credential_file>

    다음과 같습니다.

    <hosted_cluster_name>
    my-hosted-cluster-01 과 같은 호스트 클러스터의 이름을 지정합니다.
    <node_pool_replica_count>
    노드 풀 복제본 수를 지정합니다(예: 2 ).
    <base_domain>
    기본 도메인을 지정합니다(예: example.com ).
    <path_to_pull_secret>
    풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    <arn_role>
    Amazon 리소스 이름(ARN)을 지정합니다(예: arn:aws:iam::820196288204:role/myrole ).
    <region>
    AWS 리전 이름을 지정합니다(예: us-east-1 ).
    <zones>
    AWS 리전 내의 가용성 영역을 지정합니다(예: us-east-1a, us-east-1b ). 지정된 각 영역에 대해 퍼블릭 서브넷, 프라이빗 서브넷, NAT 게이트웨이 및 프라이빗 경로 표와 같은 인프라가 생성됩니다. 공용 경로 테이블은 퍼블릭 서브넷에서 공유됩니다. 각 영역에 대해 하나의 NodePool 리소스가 생성됩니다. 노드 풀 이름은 영역 이름으로 접미사가 지정됩니다. 영역의 프라이빗 서브넷은 spec.platform.aws.subnet.id 매개변수에 설정됩니다.
    <path_to_sts_credential_file>
    AWS STS 자격 증명 파일의 경로를 지정합니다(예: /home/user/sts-creds/sts-creds.json ).

4.1.4. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.1.4.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

4.1.5. AWS에서 호스트된 클러스터에 액세스

AWS에서 호스팅된 클러스터를 생성한 후 kubeconfig 파일을 사용하여 액세스할 수 있으며 시크릿에 액세스, kubeadmin 자격 증명은 액세스할 수 있습니다.

호스팅 클러스터 네임스페이스에는 호스팅된 클러스터 리소스와 액세스 보안이 포함됩니다. 호스팅된 컨트롤 플레인은 호스팅된 컨트롤 플레인 네임스페이스에서 실행됩니다.

시크릿 이름 형식은 다음 표에 표시됩니다.

표 4.5. 액세스 보안
Secret형식예

kubeconfig 시크릿

<hosted_cluster_namespace>-<name>-admin-kubeconfig

clusters-hypershift-demo-admin-kubeconfig

kubeadmin 암호 시크릿

<hosted_cluster_namespace>-<name>-kubeadmin-password

clusters-hypershift-demo-kubeadmin-password

참고

kubeadmin 암호 시크릿은 Base64로 인코딩되며 kubeconfig 시크릿에는 Base64로 인코딩된 kubeconfig 구성이 포함되어 있습니다. Base64로 인코딩된 kubeconfig 구성을 디코딩하여 < hosted_cluster_name>.kubeconfig 파일에 저장해야 합니다.

절차

  1. 다음 명령을 입력하여 kubeconfig 파일을 생성합니다.

    $ hcp create kubeconfig --namespace <hosted_cluster_namespace> \
      --name <hosted_cluster_name> > <hosted_cluster_name>.kubeconfig
  2. 호스트된 클러스터에 액세스하려면 디코딩된 kubeconfig 구성이 포함된 <hosted_cluster_name>. kubeconfig 파일을 사용합니다. 다음 명령을 실행합니다.

    $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes

    API 서버 또는 호스팅된 클러스터의 콘솔에 로그인하려면 kubeadmin 암호 시크릿을 디코딩해야 합니다.

4.1.6. ARM64 아키텍처에서 호스트 클러스터 실행

AWS(Amazon Web Services)에서 호스팅되는 컨트롤 플레인의 경우 기본적으로 AMD64 호스팅 클러스터를 사용합니다. 그러나 호스팅된 컨트롤 플레인이 ARM64 호스팅 클러스터에서 실행되도록 할 수 있습니다.

노드 풀 및 호스팅 클러스터의 호환 가능한 조합은 다음 표를 참조하십시오.

표 4.6. 노드 풀 및 호스팅 클러스터에 호환되는 아키텍처
호스트된 클러스터노드 풀

AMD64

AMD64 또는 ARM64

ARM64

ARM64 또는 AMD64

기본 릴리스 이미지를 다중 아키텍처 릴리스 이미지로 재정의하여 ARM64 OpenShift Container Platform 클러스터에서 AWS(Amazon Web Services)의 호스트 클러스터를 실행할 수 있습니다.

다중 아키텍처 릴리스 이미지를 사용하지 않는 경우 노드 풀의 컴퓨팅 노드가 생성되지 않고 호스트 클러스터에서 다중 아키텍처 릴리스 이미지를 사용하거나 릴리스 이미지를 기반으로 NodePool 사용자 정의 리소스를 업데이트할 때까지 노드 풀의 조정이 중지됩니다.

사전 요구 사항

  • AWS에 설치된 64비트 ARM 인프라가 있는 OpenShift Container Platform 클러스터가 있어야 합니다. 자세한 내용은 "OpenShift Container Platform Cluster: AWS(ARM)"를 참조하십시오.
  • AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성해야 합니다. 자세한 내용은 "AWS IAM 역할 및 STS 인증 정보 생성"을 참조하십시오.

프로세스

  • 다음 명령을 입력하여 ARM64 OpenShift Container Platform 클러스터에 호스팅된 클러스터를 생성합니다.

    $ hcp create cluster aws \
      --name <hosted_cluster_name> \
      --node-pool-replicas <node_pool_replica_count> \
      --base-domain <base_domain> \
      --pull-secret <path_to_pull_secret> \
      --sts-creds <path_to_sts_credential_file> \
      --region <region> \
      --release-image quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \
      --role-arn <role_name>

    다음과 같습니다.

    <hosted_cluster_name>
    호스트 클러스터의 이름을 지정합니다(예: my-hosted-cluster-01 ).
    <node_pool_replica_count>
    노드 풀 복제본 수를 지정합니다(예: 3 ).
    <base_domain>
    기본 도메인을 지정합니다(예: example.com ).
    <path_to_pull_secret>
    풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    <path_to_sts_credential_file>
    AWS STS 자격 증명 파일의 경로를 지정합니다(예: /home/user/sts-creds/sts-creds.json ).
    <region>
    AWS 리전 이름을 지정합니다(예: us-east-1 ).
    <ocp_release_image>
    사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예: 5.0.0-multi ). 연결이 끊긴 환경을 사용하는 경우 < ocp_release_image >를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "OpenShift Container Platform 릴리스 이미지 다이제스트 추출"을 참조하십시오.
    <role_name>
    Amazon 리소스 이름(ARN)을 지정합니다(예: arn:aws:iam::820196288204:role/myrole ).

4.1.6.2. AWS 호스팅 클러스터에서 ARM 또는 AMD NodePool 오브젝트 생성

동일한 호스팅 컨트롤 플레인의 64비트 ARM 및 AMD에서 NodePool 오브젝트인 애플리케이션 워크로드를 예약할 수 있습니다. NodePool 오브젝트에 필요한 프로세서 아키텍처를 설정하려면 NodePool 사양에 arch 필드를 정의합니다.

arch 필드에 유효한 값은 다음과 같습니다.

  • arm64
  • amd64

사전 요구 사항

  • HostedCluster 사용자 정의 리소스를 사용하려면 다중 아키텍처 이미지가 있어야 합니다. 여러 아키텍처의 Nightly 이미지에 액세스할 수 있습니다. 자세한 내용은 "Multi-architecture Nightly images"를 참조하십시오.

절차

  • 다음 명령을 실행하여 ARM 또는 AMD NodePool 오브젝트를 AWS의 호스팅 클러스터에 추가합니다.

    $ hcp create nodepool aws \
      --cluster-name <hosted_cluster_name> \
      --name <node_pool_name> \
      --node-count <node_pool_replica_count> \
      --arch <architecture>

    다음과 같습니다.

    <hosted_cluster_name>
    호스트 클러스터의 이름을 지정합니다(예: my-hosted-cluster-01 ).
    <node_pool_name>
    노드 풀 이름을 지정합니다.
    <node_pool_replica_count>
    노드 풀 복제본 수를 지정합니다(예: 3 ).
    <architecture>
    arm64 또는 amd64 와 같은 아키텍처 유형을 지정합니다. --arch 플래그의 값을 지정하지 않으면 기본적으로 amd64 값이 사용됩니다.

4.1.7. AWS에서 개인 호스트 클러스터 생성

local-cluster 를 관리 클러스터로 활성화한 후 AWS(Amazon Web Services)에 호스팅 클러스터 또는 개인 호스팅 클러스터를 배포할 수 있습니다.

기본적으로 호스팅된 클러스터는 퍼블릭 DNS와 관리 클러스터의 기본 라우터를 통해 공개적으로 액세스할 수 있습니다.

AWS의 프라이빗 클러스터의 경우 호스팅 클러스터와의 모든 통신은 AWS PrivateLink를 통해 수행됩니다.

사전 요구 사항

  • AWS PrivateLink를 활성화했습니다. 자세한 내용은 "AWS PrivateLink 활성화"를 참조하십시오.
  • AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성하셨습니다. 자세한 내용은 "AWS IAM 역할 및 STS 인증 정보 생성" 및 "IAM(Identity and Access Management) 권한"을 참조하십시오.
  • AWS에 bastion 인스턴스를 구성했습니다. 자세한 내용은 "Tutorial: Configuring private network access using a Linux Bastion Host"를 참조하십시오.

절차

  • 다음 명령을 입력하여 AWS에 개인 호스팅 클러스터를 생성합니다.

    $ hcp create cluster aws \
      --name <hosted_cluster_name> \
      --node-pool-replicas=<node_pool_replica_count> \
      --base-domain <basedomain> \
      --pull-secret <path_to_pull_secret> \
      --sts-creds <path_to_sts_credential_file> \
      --region <region> \
      --endpoint-access Private \
      --role-arn <role_name>

    다음과 같습니다.

    <hosted_cluster_name>
    호스트된 클러스터의 이름( 예: )을 지정합니다.
    <node_pool_replica_count>
    노드 풀 복제본 수를 지정합니다(예: 3 ).
    <basedomain>
    기본 도메인을 지정합니다(예: example.com ).
    <path_to_pull_secret>
    풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    <path_to_sts_credential_file>
    AWS STS 자격 증명 파일의 경로를 지정합니다(예: /home/user/sts-creds/sts-creds.json ).
    <region>
    AWS 리전 이름을 지정합니다(예: us-east-1 ).
    프라이빗
    클러스터가 프라이빗임을 지정합니다.
    <role_name>
    Amazon 리소스 이름(ARN)을 지정합니다(예: arn:aws:iam::820196288204:role/myrole ). ARN 역할에 대한 자세한 내용은 "IAM(Identity and Access Management) 권한"을 참조하십시오.

    호스팅 클러스터의 다음 API 끝점은 프라이빗 DNS 영역을 통해 액세스할 수 있습니다.

  • api.<hosted_cluster_name>.hypershift.local
  • *.apps.<hosted_cluster_name>.hypershift.local

4.1.7.1. AWS에서 프라이빗 호스팅 클러스터에 액세스

개인 호스팅 클러스터를 생성한 후 CLI(명령줄 인터페이스)를 사용하여 액세스할 수 있습니다.

절차

  1. 다음 명령을 입력하여 노드의 개인 IP를 찾습니다.

    $ aws ec2 describe-instances \
      --filter="Name=tag:kubernetes.io/cluster/<infra_id>,Values=owned" \
      | jq '.Reservations[] | .Instances[] | select(.PublicDnsName=="") \
      | .PrivateIpAddress'
  2. 다음 명령을 입력하여 노드에 복사할 수 있는 호스팅된 클러스터에 대한 kubeconfig 파일을 생성합니다.

    $ hcp create kubeconfig > <hosted_cluster_kubeconfig>
  3. bastion을 통해 노드 중 하나에 SSH로 연결하려면 다음 명령을 입력합니다.

    $ ssh -o ProxyCommand="ssh ec2-user@<bastion_ip> \
      -W %h:%p" core@<node_ip>
  4. SSH 쉘에서 다음 명령을 입력하여 kubeconfig 파일 콘텐츠를 노드의 파일에 복사합니다.

    $ mv <path_to_kubeconfig_file> <new_file_name>
  5. 다음 명령을 입력하여 kubeconfig 파일을 내보냅니다.

    $ export KUBECONFIG=<path_to_kubeconfig_file>
  6. 다음 명령을 입력하여 호스팅된 클러스터 상태를 확인합니다.

    $ oc get clusteroperators clusterversion

4.2. Azure에 호스팅된 컨트롤 플레인 배포

Microsoft Azure에서 호스팅되는 컨트롤 플레인을 사용하면 각 클러스터의 전용 컨트롤 플레인 노드 VM과 관련된 비용을 줄일 수 있습니다. 동적 확장을 위해 컴퓨팅 노드를 Azure Virtual Machine Scale 세트로 프로비저닝하고 클러스터별 Azure 서비스 주체를 사용하여 인증 정보를 격리할 수 있습니다.

4.2.1. Azure의 호스트된 컨트롤 플레인 개요

Microsoft Azure에서 실행되는 OpenShift 관리 클러스터에서 호스팅 클러스터를 배포하고 관리할 수 있습니다. 자체 관리 배포 모델을 사용하면 자체 OpenShift 클러스터를 관리할 수 있습니다.

4.2.1.1. Azure에서 호스팅되는 컨트롤 플레인 아키텍처

Azure의 호스트된 컨트롤 플레인 아키텍처는 다음 세 가지 계층으로 구성됩니다.

관리 클러스터
호스팅된 클러스터의 HyperShift Operator 및 컨트롤 플레인을 호스팅하는 Azure OpenShift 클러스터입니다.
컨트롤 플레인
관리 클러스터에서 Pod로 실행되는 Kubernetes 컨트롤 플레인 구성 요소입니다.
데이터 플레인
Azure 서브스크립션에서 Azure VM(가상 머신)으로 실행되는 컴퓨팅 노드입니다.

아키텍처는 OpenShift Container Platform 구성 요소와 Azure 서비스 간에 인증 정보가 없는 보안 인증을 위해 Azure Workload Identity를 사용합니다. 결과적으로 장기 서비스 주체 자격 증명을 관리할 필요가 없으며 페더레이션 ID 자격 증명을 통해 더 나은 보안을 얻을 수 있습니다.

4.2.1.2. Azure에서 호스팅되는 컨트롤 플레인에 대한 배포 워크플로

Azure에 자체 관리 호스팅 컨트롤 플레인을 배포하려면 다음과 같은 순서로 3단계 프로세스가 필요합니다.

1 단계: Azure 워크로드 ID 설정

이 단계에서는 OpenShift Container Platform 구성 요소가 Azure 서비스에 액세스할 수 있도록 보안 인증 인프라를 설정합니다. 이 단계에서는 호스팅 클러스터에 필요한 보안 인프라가 생성됩니다.

  • 이미지 레지스트리, 수신, CSI 드라이버, 클라우드 공급자, 네트워크 Operator 등을 포함하여 각 OpenShift Container Platform 구성 요소에 대한 관리형 ID
  • 서비스 계정 토큰 검증을 위해 Azure Blob Storage의 OIDC 발행자
  • Azure Entra ID와 OpenShift Container Platform 서비스 계정 간의 신뢰 관계를 설정하는 페더레이션 인증 정보
2 단계 : 관리 클러스터 설정

이 단계에서는 Azure에서 호스팅된 클러스터를 호스팅하고 관리할 수 있도록 OpenShift Container Platform 관리 클러스터를 준비합니다. 이 단계에서는 다음 구성 요소를 설치합니다.

  • 프라이빗 및 퍼블릭 프라이빗 토폴로지를 위한 Azure DNS 영역
  • 프라이빗 및 퍼블릭 프라이빗 토폴로지를 위한 외부 DNS
  • HyperShift Operator
3 단계: 호스트 클러스터 생성

이 단계에서는 호스팅된 클러스터를 생성하고 구성합니다. 이 단계는 다음 단계를 포함합니다.

  1. 인프라 설정
  2. 호스트 클러스터 생성
  3. 워크로드 ID 통합
  4. 프라이빗 끝점 액세스 구성 (선택 사항)

4.2.1.3. Azure 인프라 및 인증 정보

Microsoft Azure에서 호스팅되는 컨트롤 플레인을 시작하기 전에 필요한 Azure 리소스 및 필요한 권한을 숙지하십시오.

4.2.1.3.1. 요구 사항 요약

Azure에서 호스팅되는 컨트롤 플레인을 설정하려면 다음 리소스, 툴, 액세스 및 권한이 필요합니다.

Azure 리소스
  • Azure의 OpenShift Container Platform 관리 클러스터입니다.
  • 기여자 및 사용자 액세스 관리자 권한이 있는 Azure 서브스크립션
  • (선택 사항) 클러스터 DNS 레코드를 위임하기 위한 Azure의 상위 DNS 영역입니다. 이 DNS 영역은 외부 DNS를 사용하려는 경우에만 필요합니다.
툴 및 액세스
  • 서브스크립션으로 구성된 Azure CLI(명령줄 인터페이스), az
  • OpenShift CLI(oc)
  • 호스트된 컨트롤 플레인 CLI, hcp
  • jq 명령줄 JSON 프로세서
  • Cloud Credential Operator 유틸리티 (ccoctl)
  • 유효한 OpenShift Container Platform 풀 시크릿
권한
  • 서브스크립션 수준 기여자 및 사용자 액세스 관리자 역할
  • 서비스 주체를 생성하기 위한 Microsoft Graph API 권한
4.2.1.3.2. DNS 관리 옵션

외부 DNS를 사용하거나 사용하지 않고 Azure에서 호스팅되는 컨트롤 플레인을 설정할 수 있습니다. 프라이빗 또는 퍼블릭-사설 토폴로지를 사용하려면 외부 DNS가 필요합니다. 자세한 내용은 다음 표를 참조하십시오.

표 4.7. Azure에서 호스팅되는 컨트롤 플레인에 대한 DNS 접근
 외부 DNS 사용외부 DNS 없음

가장 좋은 방법

프로덕션, 멀티 클러스터

개발, 테스트

API 서버 DNS

사용자 정의 (api-cluster.example.com)

Azure Load Balancer (abc123.region.cloudapp.azure.com)

설정 복잡성

낮음, DNS 영역 및 서비스 주체가 필요합니다.

없음

관리

완전 자동

수동 또는 Azure 제공

4.2.1.3.3. 리소스 그룹 전략

클러스터별 리소스 그룹은 호스트된 각 클러스터에서 생성 및 삭제됩니다. 이러한 리소스에는 클러스터 인프라의 관리 리소스 그룹이 포함됩니다. 사용자 지정 네트워킹을 사용하는 경우 이러한 리소스에는 VNet(Virtual Network) 리소스 그룹 및 NSSG(Network Security Group) 리소스 그룹도 포함됩니다.

4.2.1.3.4. Azure에서 호스팅되는 컨트롤 플레인에 대한 보안 고려 사항

Azure에서 호스팅되는 컨트롤 플레인은 다음과 같은 보안 모범 사례를 사용합니다.

  • OIDC 기반 인증을 사용하여 수명이 긴 인증 정보를 제거하는 워크로드 ID 페더레이션.
  • 최소 권한 액세스(각 구성 요소에 필요한 최소한의 권한이 있는 자체 관리 ID)가 있습니다.
  • 네트워크 격리: 사용자 지정 VNet 및 NSG를 사용하여 네트워크 분할 및 보안 정책을 구현할 수 있습니다.
  • 신뢰 관계가 특정 서비스 계정으로 범위가 지정되는 페더레이션 자격 증명으로, 무단 액세스를 방지합니다.
  • 프라이빗 API 서버 액세스를 제공하는 Azure Private Link를 통해 옵션으로 사용 가능한 프라이빗 연결을 통해 컨트롤 플레인 트래픽이 공용 인터넷을 통과하지 않도록 합니다. 개인 연결은 개인 및 공용 개인 토폴로지에서만 사용할 수 있습니다.

4.2.2. Azure 리소스 설정

Azure에서 호스트된 컨트롤 플레인 배포를 위해 관리 및 호스팅된 클러스터를 생성하려면 OIDC 발급자, 워크로드 ID 및 Azure 인프라를 설정해야 합니다.

4.2.2.1. OIDC 발행자 설정

Azure에 호스팅되는 컨트롤 플레인을 배포하려면 호스팅된 클러스터에 대해 OIDC 발행자를 설정해야 합니다.

사전 요구 사항

  • Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
  • jq 명령줄 JSON 프로세서가 설치되어 있습니다.
  • Cloud Credential Operator 유틸리티(ccoctl)가 설치되어 있습니다. 자세한 내용은 "OpenShift 4용 ccoctl 툴을 가져오는 방법"을 참조하십시오.
  • 적절한 Azure 권한이 설정됩니다.

절차

  1. 다음 예와 같이 환경 변수를 설정합니다.

    PERSISTENT_RG_NAME="os4-common"
    LOCATION="eastus"
    AZURE_CREDS="/path/to/azure-creds.json"
    SUBSCRIPTION_ID="my-subscription-id"
  2. 다음 명령을 입력하여 영구 리소스 그룹을 생성합니다.

    $ az group create --name $PERSISTENT_RG_NAME --location $LOCATION
  3. 다음 단계를 완료하기 위해 Cloud Credential Operator 툴을 사용하여 OIDC 발행자 URL을 구성합니다.

    1. 다음 예와 같이 OIDC 발행자 변수를 설정합니다.

      OIDC_STORAGE_ACCOUNT_NAME="yourstorageaccount"
      TENANT_ID="your-tenant-id"
    2. RSA 키 쌍을 생성하고 다음 명령을 입력하여 개인 및 공개 키를 저장합니다.

      $ ccoctl azure create-key-pair
    3. 다음 예와 같이 토큰 발행자 키 경로에 대한 변수를 설정합니다.

      SA_TOKEN_ISSUER_PRIVATE_KEY_PATH="/path/to/serviceaccount-signer.private"
      SA_TOKEN_ISSUER_PUBLIC_KEY_PATH="/path/to/serviceaccount-signer.public"
    4. 다음 명령을 입력하여 OIDC 발행자를 생성합니다.

      $ ccoctl azure create-oidc-issuer \
          --oidc-resource-group-name ${PERSISTENT_RG_NAME} \
          --tenant-id ${TENANT_ID} \
          --region ${LOCATION} \
          --name ${OIDC_STORAGE_ACCOUNT_NAME} \
          --subscription-id ${SUBSCRIPTION_ID} \
          --public-key-file ${SA_TOKEN_ISSUER_PUBLIC_KEY_PATH}
    5. 다음 예와 같이 OIDC 발행자 URL을 설정합니다.

      OIDC_ISSUER_URL="https://${OIDC_STORAGE_ACCOUNT_NAME}.blob.core.windows.net/${OIDC_STORAGE_ACCOUNT_NAME}"

검증

  • 다음 명령을 입력하여 OIDC 발행자에 액세스합니다.

    $ curl -s "${OIDC_ISSUER_URL}/.well-known/openid-configuration" | jq .

4.2.2.2. Azure 워크로드 ID 생성

Azure 배포에서 IAM(Identity and Access Management) 리소스를 제어하려면 인프라와 별도로 Workload Identities를 생성합니다.

워크로드 ID는 OIDC 페더레이션을 사용하여 Azure 서비스에 호스트된 클러스터 구성 요소를 인증합니다. ID를 별도로 생성한 다음 인프라 또는 클러스터 생성 중에 ID를 사용해야 합니다.

사전 요구 사항

  • 다음 형식의 Azure 인증 정보 파일이 있습니다.

    파일 예

    {
      "subscriptionId": "your-subscription-id",
      "tenantId": "your-tenant-id",
      "clientId": "your-client-id",
      "clientSecret": "your-client-secret"
    }

  • 관리 ID를 생성할 리소스 그룹이 있습니다.
  • Workload Identity Federation에 대한 OIDC 발행자 URL이 있습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.

절차

  1. 다음 예와 같이 환경 변수를 설정합니다.

    CLUSTER_NAME="my-self-managed-cluster"
    INFRA_ID="${CLUSTER_NAME}-$(openssl rand -hex 4)"
  2. 호스팅된 컨트롤 플레인 명령줄 인터페이스 hcp 에서는 다음 명령을 입력합니다.

    $ hcp create iam azure \
        --name <my_cluster_name> \
        --infra-id <infra_id> \
        --azure-creds <azure_credentials_file> \
        --resource-group-name <resource_group> \
        --oidc-issuer-url <oidc_issuer_url> \
        --output-file <workload_identities_file> \
        --location <my_region> \
        --cloud <my_cloud_environment>

    다음과 같습니다.

    <my_cluster_name>
    생성할 클러스터의 이름을 지정합니다.
    <infra_id>
    Azure 리소스의 이름을 지정하는 고유 식별자를 지정합니다. 일반적으로 이 식별자는 접미사가 있는 클러스터 이름입니다.
    <azure_credentials_file>
    관리되는 ID 및 페더레이션 자격 증명을 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
    <resource_group>
    ID를 생성하려는 리소스 그룹의 이름을 지정합니다.
    <oidc_issuer_url>
    Workload Identity 페더레이션의 OIDC ID 공급자의 URL을 지정합니다.
    <workload_identities_file>

    my-cluster-name-iam-output.json 과 같은 출력 파일 경로를 지정합니다.

    hcp create iam azure 명령에 이러한 선택적 플래그를 추가할 수도 있습니다.

    <my_region>
    관리 ID의 Azure 리전을 지정합니다. 기본값은 eastus 입니다.
    <my_cloud_environment>
    Azure 클라우드 환경을 지정합니다. 기본값은 AzurePublicCloud 입니다.

검증

  • 다음 예와 같은 출력 파일을 검토합니다.

    출력 예

    {
      "disk": {
        "tenantID": "...",
        "clientID": "...",
        "resourceID": "/subscriptions/.../providers/Microsoft.ManagedIdentity/userAssignedIdentities/my-cluster-abc123-disk"
      },
      "file": {
        "tenantID": "...",
        "clientID": "...",
        "resourceID": "..."
      },
      "imageRegistry": { ... },
      "ingress": { ... },
      "cloudProvider": { ... },
      "nodePoolManagement": { ... },
      "network": { ... },
      "controlPlaneOperator": { ... }
    }

    출력에는 클러스터 구성 요소당 하나씩 8개의 사용자가 할당한 ID와 각 ID에 대한 페더레이션 인증 정보가 포함됩니다.

    • 디스크 CSI 드라이버
    • 파일 CSI 드라이버
    • 이미지 레지스트리
    • Ingress Operator
    • 클라우드 공급자
    • 노드 풀 관리
    • Network Operator
    • Control Plane Operator

4.2.2.3. Azure 인프라 생성

Azure에서 호스팅된 클러스터를 생성할 때 기존 인프라를 사용할 수 있도록 Azure 인프라를 별도로 생성합니다.

사전 요구 사항

  • 다음 형식의 Azure 인증 정보 파일이 있습니다.

    {
      "subscriptionId": "<my_subscription_id>",
      "tenantId": "<my_tenant_id>",
      "clientId": "<my_client_id>",
      "clientSecret": "<my_client_secret>"
    }
  • 기본 도메인에 대한 Azure 서브스크립션에 기존 퍼블릭 DNS 영역이 있습니다.
  • Workload Identities가 생성되었습니다. 자세한 내용은 "Azure Workload Identities 생성"을 참조하십시오.

절차

  • 새 가상 네트워크, 서브넷 및 네트워크 보안 그룹을 사용하여 인프라를 생성하려면 다음 명령을 입력합니다.

    $ hcp create infra azure \
      --name <my_cluster_name> \
      --infra-id <infra_id> \
      --azure-creds <azure_credentials_file> \
      --base-domain <base_domain> \
      --location <location> \
      --workload-identities-file <workload_identities_file> \
      --assign-identity-roles \
      --dns-zone-rg-name <dns_zone_rg> \
      --output-file <output_infra_file>

    다음과 같습니다.

    • --name 은 생성할 호스팅 클러스터의 이름을 지정합니다.
    • --infra-id 는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다.
    • --Azure-creds 는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
    • --base-domain 은 호스팅된 클러스터 인그레스의 기본 도메인을 지정합니다. 기본 도메인은 Azure 서브스크립션의 기존 퍼블릭 DNS 영역에 해당해야 합니다.
    • --location 은 eastus 또는 westus2 와 같이 인프라를 생성할 Azure 리전을 지정합니다.
    • --workload-identities-file 은 워크로드 ID 구성이 포함된 JSON 파일의 경로를 지정합니다.
    • --assign-identity-roles 는 Workload IDdentities에 대해 자동 RBAC 역할 할당이 활성화되도록 지정합니다.
    • --dns-zone-rg-name 은 퍼블릭 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다.
    • --output-file 은 인프라의 세부 정보가 YAML 형식으로 저장되는 파일을 지정합니다.
  • 기존 가상 네트워크, 서브넷 및 네트워크 보안 그룹을 사용하여 인프라를 생성하려면 다음 명령을 입력합니다.

    $ hcp create infra azure \
      --name <my_cluster_name> \
      --infra-id <infra_id> \
      --azure-creds <azure_credentials_file> \
      --base-domain <base_domain> \
      --location <location> \
      --workload-identities-file <workload_identities_file> \
      --vnet-id /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Network/virtualNetworks/<vnet_name> \
      --subnet-id /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Network/virtualNetworks/<vnet_name>/subnets/<subnet_name> \
      --network-security-group-id /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Network/networkSecurityGroups/<network_security_group_name> \
      --assign-identity-roles \
      --dns-zone-rg-name <dns_zone_rg> \
      --output-file <output_infra_file>

    다음과 같습니다.

    • --name 은 생성할 호스팅 클러스터의 이름을 지정합니다.
    • --infra-id 는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다.
    • --Azure-creds 는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
    • --base-domain 은 호스팅된 클러스터 인그레스의 기본 도메인을 지정합니다. 기본 도메인은 Azure 서브스크립션의 기존 퍼블릭 DNS 영역에 해당해야 합니다.
    • --location 은 eastus 또는 westus2 와 같이 인프라를 생성할 Azure 리전을 지정합니다.
    • --workload-identities-file 은 워크로드 ID 구성이 포함된 JSON 파일의 경로를 지정합니다.
    • --vNet-id 는 서브스크립션 ID와 가상 네트워크 이름을 포함하는 기존 가상 네트워크 ID를 지정합니다.
    • --subnet-id 는 서브스크립션 ID, 가상 네트워크 이름 및 서브넷 이름을 포함하는 서브넷의 ARM 리소스 ID를 지정합니다.
    • --network-security-group-id 는 서브스크립션 ID와 네트워크 보안 그룹 이름을 포함하는 기존 네트워크 보안 그룹 ID를 지정합니다.
    • --assign-identity-roles 는 Workload IDdentities에 대해 자동 RBAC 역할 할당이 활성화되도록 지정합니다.
    • --dns-zone-rg-name 은 퍼블릭 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다.
    • --output-file 은 인프라의 세부 정보가 YAML 형식으로 저장되는 파일을 지정합니다.

4.2.3. 호스팅된 컨트롤 플레인을 위한 Azure 관리 클러스터 구성

Azure에서 호스팅되는 컨트롤 플레인에 대한 관리 클러스터를 구성하려면 외부 DNS 및 HyperShift Operator가 클러스터에 설정되어 있는지 확인해야 합니다.

구성 단계에는 DNS 영역 구성, 클러스터의 DNS 레코드 위임, 외부 DNS 전용 서비스 주체 생성이 포함됩니다.

사전 요구 사항

  • OpenShift Container Platform 클러스터에 다중 클러스터 엔진 Operator 2.5 이상을 설치했습니다. OpenShift Container Platform 소프트웨어 카탈로그에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다. 또는 Red Hat Advanced Cluster Management를 이미 사용하는 경우 Operator가 자동으로 설치됩니다. HyperShift Operator는 다중 클러스터 엔진 Operator의 operator 패키지에서 기본적으로 활성화됩니다.
  • Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
  • OpenShift CLI(oc)가 설치되어 있어야 합니다.
  • Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
  • 외부 DNS를 사용하는 경우 jq 명령줄 JSON 프로세서가 설치됩니다.

절차

  1. 다음 예와 같이 DNS 구성 변수를 설정합니다.

    PARENT_DNS_RG="<my_parent_dns_resource_group>"
    PARENT_DNS_ZONE="<my_parent.dns.zone.com>"
    DNS_RECORD_NAME="<my_subdomain>"
    RESOURCE_GROUP_NAME="<my_resource_group>"
    DNS_ZONE_NAME="<my_subdomain.my_parent.dns.zone.com>"
    LOCATION="<my_region>"
  2. 다음 명령을 입력하여 Azure 그룹을 생성합니다.

    $ az group create \
      --name $RESOURCE_GROUP_NAME \
      --location $LOCATION
  3. 다음 명령을 입력하여 Azure DNS 영역을 생성합니다.

    $ az network dns zone create \
      --resource-group $RESOURCE_GROUP_NAME \
      --name $DNS_ZONE_NAME
  4. 기존 이름 서버 레코드가 있는 경우 다음 명령을 입력하여 삭제합니다.

    $ az network dns record-set ns delete \
      --resource-group $PARENT_DNS_RG \
      --zone-name $PARENT_DNS_ZONE \
      --name $DNS_RECORD_NAME -y
  5. 다음 명령을 입력하여 DNS 영역에서 이름 서버를 가져옵니다.

    name_servers=$(az network dns zone show \
      --resource-group $RESOURCE_GROUP_NAME \
      --name $DNS_ZONE_NAME \
      --query nameServers \
      --output tsv)
  6. 다음 예와 같이 이름 서버 배열을 생성합니다.

    ns_array=()
    while IFS= read -r ns; do
        ns_array+=("$ns")
    done <<< "$name_servers"
  7. 다음 예와 같이 상위 영역에 이름 서버 레코드를 추가합니다.

    for ns in "${ns_array[@]}"; do
        az network dns record-set ns add-record \
            --resource-group $PARENT_DNS_RG \
            --zone-name $PARENT_DNS_ZONE \
            --record-set-name $DNS_RECORD_NAME \
            --nsdname "$ns"
    done
  8. 다음 예와 같이 외부 DNS 구성 변수를 설정합니다.

    EXTERNAL_DNS_NEW_SP_NAME="<external_dns_service_principal>"
    SERVICE_PRINCIPAL_FILEPATH="<path_to_azure_mgmt_json_file>"
    RESOURCE_GROUP_NAME="<my_resource_group>"
  9. 다음 명령을 입력하여 외부 DNS의 서비스 주체를 생성합니다.

    DNS_SP=$(az ad sp create-for-rbac --name ${EXTERNAL_DNS_NEW_SP_NAME})
    EXTERNAL_DNS_SP_APP_ID=$(echo "$DNS_SP" | jq -r '.appId')
    EXTERNAL_DNS_SP_PASSWORD=$(echo "$DNS_SP" | jq -r '.password')
  10. 다음 명령을 입력하여 DNS 영역 ID를 가져옵니다.

    DNS_ID=$(az network dns zone show \
      --name ${DNS_ZONE_NAME} \
      --resource-group ${RESOURCE_GROUP_NAME} \
      --query "id" \
      --output tsv)
  11. 다음 명령을 입력하여 서비스 주체에 리더 역할을 할당합니다.

    $ az role assignment create \
      --role "Reader" \
      --assignee "${EXTERNAL_DNS_SP_APP_ID}" \
      --scope "${DNS_ID}"
  12. 다음 명령을 입력하여 Contributor 역할을 서비스 주체에 할당합니다.

    $ az role assignment create \
      --role "Contributor" \
      --assignee "${EXTERNAL_DNS_SP_APP_ID}" \
      --scope "${DNS_ID}"
  13. 다음 명령을 입력하여 Azure 자격 증명을 로컬 파일에 저장합니다.

    $ cat > ${SERVICE_PRINCIPAL_FILEPATH} <<EOF
    {
      "tenantId": "$(az account show --query tenantId -o tsv)",
      "subscriptionId": "$(az account show --query id -o tsv)",
      "resourceGroup": "$RESOURCE_GROUP_NAME",
      "aadClientId": "$EXTERNAL_DNS_SP_APP_ID",
      "aadClientSecret": "$EXTERNAL_DNS_SP_PASSWORD"
    }
    EOF
  14. Azure 인증 정보에 대한 기존 Kubernetes 시크릿이 있는 경우 다음 명령을 입력하여 삭제합니다.

    $ oc delete secret/azure-config-file --namespace "hypershift" || true
  15. 다음 명령을 입력하여 Azure 인증 정보에 대한 Kubernetes 시크릿을 생성합니다.

    $ oc create secret generic azure-config-file \
      --namespace "hypershift" \
      --from-file=credentials=${SERVICE_PRINCIPAL_FILEPATH}

    보안은 외부 DNS 배포가 실행되는 hypershift 네임스페이스에서 생성해야 합니다. 외부 DNS Pod가 /etc/provider/ credentials 에 보안을 마운트하므로 인증 정보 키 이름이 필요합니다.

  16. 다음 ConfigMap 오브젝트를 생성하여 외부 DNS를 사용하도록 HyperShift Operator를 구성합니다.

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: hypershift-operator-install-flags
      namespace: local-cluster
    data:
      installFlagsToAdd: "--external-dns-provider=azure --external-dns-secret=azure-config-file --external-dns-domain-filter=<dns_zone>"
      installFlagsToRemove: ""

    --external-dns-secret 플래그는 Azure 인증 정보가 포함된 Kubernetes 시크릿의 이름을 지정합니다. data.installFlagsToAdd 매개변수는 DNS를 감지하도록 Operator에 전달할 플래그를 지정합니다.

  17. 다음 명령을 입력하여 구성 맵을 적용합니다.

    $ oc apply -f hypershift-operator-install-flags.yaml

검증

  • 다음 명령을 입력하여 HyperShift Operator 및 외부 DNS가 모두 실행 중인지 확인합니다.

    $ oc get pods -n hypershift

    출력 예

    NAME                           READY   STATUS    RESTARTS   AGE
    external-dns-xxxxx-xxxxx       1/1     Running   0          1m
    operator-xxxxx-xxxxx           1/1     Running   0          1m

4.2.4. Azure에서 호스트 클러스터 생성

호스팅된 클러스터는 애플리케이션이 실행되는 위치입니다. 각 호스팅 클러스터에는 관리 클러스터에서 실행되는 자체 컨트롤 플레인과 Azure의 컴퓨팅 노드 VM(가상 머신) 세트가 있습니다.

호스팅 클러스터는 자격 증명을 저장하지 않고 Workload Identities를 사용하여 Azure 서비스에 안전하게 액세스합니다.

사전 요구 사항

  • Azure CLI(명령줄 인터페이스)를 설치했습니다.
  • 호스팅된 컨트롤 플레인 CLI를 설치했습니다. hcp.
  • OpenShift CLI(oc)를 설치합니다.
  • jq 명령줄 JSON 프로세서가 설치되어 있습니다.
  • HyperShift Operator가 설치되고 외부 DNS가 구성된 관리 클러스터가 있어야 합니다.
  • 워크로드 ID, OIDC 발행자 및 인프라를 포함한 Azure 리소스를 설정합니다.
  • 적절한 Azure 권한이 있습니다.

    • 서브스크립션 수준에서 Contributor 역할과 User Access Administrator 역할이 있어야 합니다.
    • Microsoft Graph API의 경우 Application.ReadWrite.OwnedBy 권한이 있어야 합니다.

절차

  • 다음 명령을 입력하여 HostedCluster 사용자 정의 리소스를 생성합니다.

    $ hcp create cluster azure \
      --name "$CLUSTER_NAME" \
      --infra-id "$INFRA_ID" \
      --azure-creds $AZURE_CREDS \
      --location ${LOCATION} \
      --node-pool-replicas 2 \
      --base-domain $BASE_DOMAIN \
      --pull-secret $PULL_SECRET \
      --generate-ssh \
      --release-image ${RELEASE_IMAGE} \
      --sa-token-issuer-private-key-path "${SA_TOKEN_ISSUER_PRIVATE_KEY_PATH}" \
      --oidc-issuer-url "${OIDC_ISSUER_URL}" \
      --dns-zone-rg-name ${PERSISTENT_RG_NAME} \
      --assign-service-principal-roles \
      --infra-json <output_infra_file> \
      --diagnostics-storage-account-type Managed \
      --disable-cluster-capabilities=<capability> \
      --enable-cluster-capabilities=<capability> \
      --external-dns-domain "${DNS_ZONE_NAME}"
    • 프로덕션 환경 이외의 환경의 경우 --external-dns-domain 및 --assign-service-principal-roles 플래그를 생략하여 외부 DNS 없이 호스팅 클러스터를 생성할 수 있습니다. 이 경우 사용자 정의 DNS 이름 대신 Azure 로드 밸런서 호스트 이름을 통해 API 서버에 액세스할 수 있습니다.
    • --disable-cluster-capabilities 플래그는 선택 사항입니다. 호스트 클러스터에서 선택적 기능을 비활성화하려는 경우 이를 포함합니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 플래그는 선택 사항입니다. 호스트 클러스터에서 선택적 기능을 활성화하려는 경우 이를 포함합니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.

검증

  1. 다음 명령을 입력하여 클러스터 상태를 확인합니다.

    $ oc get hostedcluster $CLUSTER_NAME -n clusters
  2. 다음 명령을 입력하여 클러스터가 완료될 때까지 기다립니다.

    $ oc wait \
      --for=jsonpath='{.status.version.history[0].state}'=Completed \
      hostedcluster/$CLUSTER_NAME \
      -n clusters --timeout=20m
  3. 다음 명령을 입력하여 클러스터의 kubeconfig 파일을 생성합니다.

    $ hcp create kubeconfig \
      --name $CLUSTER_NAME > $CLUSTER_NAME-kubeconfig
  4. 다음 명령을 입력하여 kubeconfig 파일을 가져옵니다.

    $ export KUBECONFIG=$CLUSTER_NAME-kubeconfig
  5. 다음 명령을 입력하여 클러스터 노드에 액세스합니다.

    $ oc get nodes
  6. 다음 명령을 입력하여 클러스터에 액세스합니다.

    $ oc get clusterversion

4.2.5. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.2.5.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

4.2.6. Azure의 프라이빗 호스트 클러스터

기본적으로 호스팅 클러스터는 퍼블릭 DNS 및 관리 클러스터의 기본 라우터를 통해 액세스할 수 있습니다. 컴퓨팅 노드와 호스팅된 컨트롤 플레인 간의 통신을 프라이빗으로 전환하려면 통신에 Azure Private Link를 사용하는 호스팅 클러스터를 생성할 수 있습니다.

프라이빗 끝점 액세스는 Azure Private Link를 사용하여 호스팅된 컨트롤 플레인의 내부 로드 밸런서를 호스팅된 클러스터의 Azure Virtual Network(VNet)에 노출합니다. 컴퓨팅 노드는 프라이빗 엔드포인트 IP 주소를 가리키는 프라이빗 DNS 영역을 사용하여 API 서버 호스트 이름을 확인합니다.

4.2.6.1. Azure에서 프라이빗 호스팅 클러스터의 서브넷 준비

Azure Private Link는 NAT(네트워크 주소 변환) IP 주소 할당을 위한 전용 서브넷이 필요합니다. 서브넷을 수동으로 생성하거나 클러스터 생성 중에 자동으로 생성할 수 있습니다.

서브넷을 수동으로 생성하면 CIDR(Classless inter-domain routing) 할당 및 이름을 제어할 수 있습니다. 다음 단계는 서브넷을 수동으로 생성하는 데 적용됩니다. 서브넷을 자동으로 생성하려면 다음 절차를 건너뜁니다.

참고

Azure Private Link, NAT 서브넷 및 관리 클러스터의 내부 로드 밸런서는 모두 동일한 Azure 리전에 있어야 합니다. Private Link는 호스팅된 클러스터가 생성된 위치에 자동으로 생성됩니다. NAT 서브넷이 다른 지역에 있는 경우 Azure는 Private Link 생성을 거부합니다.

사전 요구 사항

  • Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다. 자세한 내용은 "호스트된 컨트롤 플레인을 위한 Azure 관리 클러스터 구성"을 참조하십시오.
  • Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
  • OpenShift CLI(oc)가 설치되어 있어야 합니다.
  • 외부 DNS를 사용하는 경우 jq 명령줄 JSON 프로세서가 설치됩니다.
  • OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.

절차

  1. 관리 클러스터의 Azure Virtual Network(VNet)를 식별합니다.

    1. 다음 예와 같이 관리 클러스터의 인프라 리소스 그룹을 가져옵니다.

      $ MGMT_INFRA_RG=$(oc get infrastructure cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}')
    2. 다음 예와 같이 infrastructure 리소스 그룹에서 VNet을 찾습니다.

      $ MGMT_VNET_NAME=$(az network vnet list --resource-group "${MGMT_INFRA_RG}" --query "[0].name" -o tsv)
    3. 다음 명령을 입력하여 VNet의 환경 변수를 설정합니다.

      $ MGMT_VNET_RG="${MGMT_INFRA_RG}"
  2. NAT 서브넷을 생성합니다.

    1. 기존 주소 공간 및 서브넷을 확인하여 CIDR(Classless inter-domain routing) 범위를 겹치지 않도록 합니다. 다음 명령을 실행합니다.

      $ az network vnet show \
        --resource-group "${MGMT_VNET_RG}" \
        --name "${MGMT_VNET_NAME}" \
        --query '{addressSpace: addressSpace.addressPrefixes, subnets: subnets[].{name: name, prefix: addressPrefix}}' \
        -o json
    2. 다음 예와 같이 서브넷을 생성합니다.

      $ az network vnet subnet create \
        --resource-group "${MGMT_VNET_RG}" \
        --vnet-name "${MGMT_VNET_NAME}" \
        --name "${NAT_SUBNET_NAME}" \
        --address-prefixes 10.1.64.0/24 \
        --disable-private-link-service-network-policies true
      • Private Link는 관리 클러스터의 내부 로드 밸런서와 함께 생성되므로 NAT 서브넷은 관리 클러스터의 VNet에 있어야 합니다.
      • 10.1.64.0/24 주소 접두사는 예제 전용입니다. 관리 클러스터의 VNet에 있는 다른 서브넷과 겹치지 않는 CIDR 범위로 바꿉니다. VNet에서 10.0.0.0/16 을 사용하는 경우 NAT 서브넷이 해당 범위 내에 있거나 VNet의 주소 공간을 확장해야 합니다.
      • --disable-private-link-service-network-policies 플래그가 필요하며 true 로 설정해야 합니다. 그렇지 않으면 Azure가 서브넷에 프라이빗 링크 생성을 거부합니다.
  3. 다음 예와 같이 나중에 사용할 NAT 서브넷 리소스 ID를 가져옵니다.

    $ NAT_SUBNET_ID=$(az network vnet subnet show \
      --resource-group "${MGMT_VNET_RG}" \
      --vnet-name "${MGMT_VNET_NAME}" \
      --name "${NAT_SUBNET_NAME}" \
      --query id -o tsv)

4.2.6.2. 프라이빗 플랫폼 지원을 통해 HyperShift Operator 설치

프라이빗 클러스터를 지원하는 환경을 설정하려면 Azure Private Link 관리를 구성하는 플래그를 사용하여 HyperShift Operator를 설치해야 합니다.

참고

HyperShift Operator를 이미 설치했지만 --private-platform Azure 설정을 포함하지 않은 경우 프라이빗 클러스터를 생성하기 전에 프라이빗 플랫폼 플래그를 사용하여 hcp install 명령을 다시 실행해야 합니다.

사전 요구 사항

  • Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
  • Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
  • OpenShift CLI(oc)가 설치되어 있어야 합니다.
  • 외부 DNS를 사용하는 경우 jq 명령줄 JSON 프로세서가 설치됩니다.
  • OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.

절차

  1. Operator에서 Private Link 리소스를 관리할 수 있도록 인증 정보를 가져옵니다.

    1. 다음 예와 같이 Private Link 관리의 인증 정보 파일을 가져옵니다.

      $ AZURE_PRIVATE_CREDS="<path_to_azure_private_credentials_json>"
    2. 다음 예와 같이 관리 클러스터의 인프라 리소스 그룹을 가져옵니다.

      $ MGMT_INFRA_RG=$(oc get infrastructure cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}')
  2. 다음 예와 같이 외부 DNS 구성 변수를 설정합니다.

    $ SERVICE_PRINCIPAL_FILEPATH="<path_to_azure_mgmt_json_file>"
    $ DNS_ZONE_NAME="<my_subdomain_my_parent_dns_zone_com>"
  3. 다음 예와 같이 프라이빗 플랫폼 지원을 사용하여 HyperShift Operator를 설치합니다.

    $ hcp install \
      --pull-secret ${PULL_SECRET} \
      --private-platform Azure \
      --azure-private-creds ${AZURE_PRIVATE_CREDS} \
      --azure-pls-resource-group ${MGMT_INFRA_RG} \
      --external-dns-provider=azure \
      --external-dns-credentials ${SERVICE_PRINCIPAL_FILEPATH} \
      --external-dns-domain-filter ${DNS_ZONE_NAME}
    • --private-platform Azure 는 Operator에서 Azure 프라이빗 링크 관리를 사용하도록 지정합니다.
    • --Azure-private-creds 는 프라이빗 링크 작업에 사용되는 Azure 자격 증명 파일의 경로를 지정합니다.

      참고

      --azure-private-creds 플래그를 사용하는 것 외에도 다음 인증 방법 중 하나를 사용할 수 있습니다. 하나의 인증 방법만 사용해야 합니다.

      • --Azure-private-secret 은 Azure 인증 정보가 있는 기존 Kubernetes 시크릿을 지정합니다. 이 플래그에는 함께 플래그인 --azure-private-secret-key 가 있습니다. 기본값은 credentials 이지만 비표준 키 이름이 있는 보안에 맞게 사용자 지정할 수 있습니다.
      • --Azure-pls-managed-identity-client-id-id- load Identity 페더레이션을 통해 Private Link 작업에 대한 관리형 ID의 클라이언트 ID를 지정합니다. 이 플래그를 지정하는 경우 Private Link 작업에 대한 Azure 서브스크립션 ID를 지정하는 --azure-pls-subscription-id 플래그도 포함해야 합니다.
    • --Azure-pls-resource-group 은 Private Link 리소스를 생성할 리소스 그룹을 지정합니다. 이 리소스 그룹은 관리 클러스터에 대한 인프라의 리소스 그룹과 동일합니다.
    • --external-dns-credentials 는 DNS 자격 증명이 포함된 파일의 경로를 지정합니다. 선호하는 경우 대신 --external-dns-secret 플래그를 사용하여 DNS 인증 정보가 있는 Kubernetes 시크릿을 지정할 수 있습니다.

4.2.6.3. 개인 호스트 클러스터에 대한 IAM 리소스 구성

프라이빗 클러스터가 프라이빗 엔드포인트 및 프라이빗 DNS 영역을 관리할 수 있도록 Workload Identities를 생성합니다.

사전 요구 사항

  • HyperShift Operator가 설치된 Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
  • Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
  • OpenShift CLI(oc)가 설치되어 있어야 합니다.
  • 외부 DNS를 사용하는 경우 jq 명령줄 JSON 프로세서가 설치됩니다.
  • OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.

절차

  1. 환경 변수를 설정합니다.

    1. 다음 명령을 입력하여 접두사를 설정합니다.

      $ PREFIX="<my_prefix>"
    2. 다음 명령을 입력하여 클러스터 이름을 설정합니다.

      $ CLUSTER_NAME="${PREFIX}-hc"
    3. 다음 명령을 입력하여 리소스 그룹 이름을 설정합니다.

      $ RESOURCE_GROUP_NAME="${CLUSTER_NAME}-${PREFIX}"
    4. 다음 명령을 입력하여 위치를 설정합니다.

      $ LOCATION="<my_region>"
    5. 다음 명령을 입력하여 Azure 인증 정보 파일의 경로 변수를 설정합니다.

      $ AZURE_CREDS="<path_to_azure_credentials_json>"
    6. 다음 명령을 입력하여 OIDC 발행자 URL의 변수를 설정합니다.

      $ OIDC_ISSUER_URL="<my_oidc_url_com>"
    7. 다음 명령을 입력하여 워크로드 ID 파일의 경로를 설정합니다.

      $ WORKLOAD_IDENTITIES_FILE="<path_to_workload_identities_file_json>"
  2. 다음 명령을 입력하여 워크로드 ID를 생성합니다.

    $ hcp create iam azure \
      --name "${CLUSTER_NAME}" \
      --infra-id "${PREFIX}" \
      --azure-creds "${AZURE_CREDS}" \
      --location "${LOCATION}" \
      --resource-group-name "${RESOURCE_GROUP_NAME}" \
      --oidc-issuer-url "${OIDC_ISSUER_URL}" \
      --output-file "${WORKLOAD_IDENTITIES_FILE}"

    이 명령은 8개의 워크로드 ID를 생성합니다. 프라이빗 및 PublicAndPrivate 클러스터의 경우 컨트롤 플레인 Operator ID는 프라이빗 엔드포인트, 프라이빗 DNS 영역, Azure Virtual Network(VNet) 링크 및 DNS A 레코드를 생성하고 관리하는 데 사용됩니다. 컨트롤 플레인 ID에는 기본적으로 Contributor 역할이 할당됩니다. 보다 제한적인 역할을 사용하려면 --assign-custom-hcp-roles 플래그를 사용합니다.

4.2.6.4. 프라이빗 호스팅 클러스터를 위한 인프라 생성

개인 호스팅 클러스터를 생성할 수 있도록 인프라를 설정합니다.

사전 요구 사항

  • HyperShift Operator가 설치된 Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
  • Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
  • OpenShift CLI(oc)가 설치되어 있어야 합니다.
  • 외부 DNS를 사용하는 경우 yq 명령줄 YAML 프로세서가 설치됩니다.
  • OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.

절차

  1. 환경 변수를 설정합니다.

    1. 다음 명령을 입력하여 DNS 영역 리소스 그룹의 변수를 설정합니다.

      $ DNS_ZONE_RG_NAME="os4-common"
    2. 다음 명령을 입력하여 DNS 영역의 기본 도메인에 대한 변수를 설정합니다.

      $ PARENT_DNS_ZONE="<your_base_domain_com>"
    3. 다음 명령을 입력하여 인프라 출력 파일을 가리키는 변수를 설정합니다.

      $ INFRA_OUTPUT_FILE="${PREFIX}-infra-output.json"
  2. 다음 명령을 입력하여 인프라를 생성합니다.

    $ hcp create infra azure \
      --azure-creds "${AZURE_CREDS}" \
      --infra-id "${PREFIX}" \
      --name "${CLUSTER_NAME}" \
      --location "${LOCATION}" \
      --base-domain "${PARENT_DNS_ZONE}" \
      --dns-zone-rg-name "${DNS_ZONE_RG_NAME}" \
      --workload-identities-file "${WORKLOAD_IDENTITIES_FILE}" \
      --assign-identity-roles \
      --output-file "${INFRA_OUTPUT_FILE}"
  3. 다음 예와 같이 생성한 리소스 ID를 가져오려면 인프라 출력을 읽습니다.

    1. 다음 명령을 입력하여 리소스 그룹 이름을 읽습니다.

      $ MANAGED_RG_NAME=$(yq -r -p yaml '.resourceGroupName' "${INFRA_OUTPUT_FILE}")
    2. 다음 명령을 입력하여 VNet ID를 읽습니다.

      $ VNET_ID=$(yq -r -p yaml '.vnetID' "${INFRA_OUTPUT_FILE}")
    3. 다음 명령을 입력하여 서브넷 ID를 읽습니다.

      $ SUBNET_ID=$(yq -r -p yaml '.subnetID' "${INFRA_OUTPUT_FILE}")
    4. 다음 명령을 입력하여 네트워크 보안 그룹 ID를 읽습니다.

      $ NSG_ID=$(yq -r -p yaml '.securityGroupID' "${INFRA_OUTPUT_FILE}")

      개인 호스팅 클러스터를 생성하는 데 필요하므로 리소스 ID를 기록해 둡니다.

4.2.6.5. 프라이빗 Azure 호스팅 클러스터 생성

프라이빗 호스팅 클러스터를 생성하여 컴퓨팅 노드와 호스팅된 컨트롤 플레인 간의 통신이 Azure Private Link를 통해 수행되는지 확인합니다.

사전 요구 사항

  • "Azure에서 프라이빗 호스팅 클러스터의 서브넷 준비"에 설명된 대로 서브넷을 구성했습니다.
  • "사설 플랫폼 지원을 사용하여 HyperShift Operator 설치"에 설명된 대로 Azure의 OpenShift Container Platform 관리 클러스터에 HyperShift Operator를 설치했습니다.
  • "개인 호스팅 클러스터의 IAM 리소스 구성"에 설명된 대로 IAM(Identity and Access Management) 리소스를 생성했습니다.
  • "개인 호스팅 클러스터의 인프라 생성"에 설명된 대로 인프라를 생성했습니다.
  • 이 절차에서는 사전 요구 사항 절차에서 생성한 환경 변수를 사용합니다. 이미 환경 변수를 정의한 것과 동일한 터미널에서 이 절차를 완료해야 합니다.

절차

  1. 다음 명령을 입력하여 개인 호스팅 클러스터를 생성합니다.

    $ hcp create cluster azure \
      --name "$CLUSTER_NAME" \
      --namespace "clusters" \
      --azure-creds ${AZURE_CREDS} \
      --location ${LOCATION} \
      --node-pool-replicas 2 \
      --base-domain ${PARENT_DNS_ZONE} \
      --pull-secret ${PULL_SECRET} \
      --generate-ssh \
      --release-image ${RELEASE_IMAGE} \
      --resource-group-name "${MANAGED_RG_NAME}" \
      --vnet-id "${VNET_ID}" \
      --subnet-id "${SUBNET_ID}" \
      --network-security-group-id "${NSG_ID}" \
      --sa-token-issuer-private-key-path "${SA_TOKEN_ISSUER_PRIVATE_KEY_PATH}" \
      --oidc-issuer-url "${OIDC_ISSUER_URL}" \
      --dns-zone-rg-name ${DNS_ZONE_RG_NAME} \
      --assign-service-principal-roles \
      --workload-identities-file ${WORKLOAD_IDENTITIES_FILE} \
      --external-dns-domain ${DNS_ZONE_NAME} \
      --endpoint-access Private \
      --endpoint-access-private-nat-subnet-id "${NAT_SUBNET_ID}"
    • --external-dns-domain 플래그의 값을 선택하는 경우 값이 {cluster-name}.{base-domain} 과 일치하지 않는지 확인합니다. 값으로 {cluster-name}.{base-domain} 을 사용하는 경우 Control Plane Operator는 *.apps 도메인을 섀도우할 수 있는 프라이빗 DNS 영역을 생성하여 콘솔과 수신에 연결할 수 없게 됩니다.
    • --endpoint-access 에는 다음 세 가지 값을 사용할 수 있습니다.

      • 기본값은 public 입니다. Public 을 지정하면 공용 엔드포인트만 통해 API 서버에 액세스할 수 있습니다.
      • 공용 및 개인 엔드포인트를 통해 API 서버에 액세스할 수 있는 PublicAndPrivate.
      • Private Link를 통해서만 API 서버에 액세스할 수 있는 프라이빗 .

        클러스터를 생성한 후에는 공용 엔드포인트와 공용이 아닌( Public And Private 또는 프라이빗 ) 끝점 액세스 간에 변경할 수 없습니다.

        호스팅된 클러스터 구독 이외의 Azure 서브스크립션의 프라이빗 끝점 연결을 허용해야 하는 경우 --endpoint-access-private-additional-allowed-subscriptions "sub-id-1, sub-id-2" 플래그를 사용하십시오.

검증

  1. 다음 명령을 입력하여 Private Link 리소스를 확인합니다.

    $ oc get azureprivatelinkservices -n clusters-${CLUSTER_NAME}
  2. 다음 명령을 입력하여 상태 및 연결을 확인합니다.

    $ oc get azureprivatelinkservices -n clusters-${CLUSTER_NAME} -o yaml
    표 4.8. 진행 상황 조건 설정
    상태설명

    AzureInternalLoadBalancerAvailable

    내부 로드 밸런서에는 프런트 엔드 IP 주소가 있습니다.

    AzurePLSCreated

    Private Link는 관리 클러스터에서 생성됩니다.

    AzurePrivateEndpointAvailable

    프라이빗 끝점은 호스팅된 클러스터 VNet에 생성됩니다.

    AzurePrivateDNSAvailable

    프라이빗 DNS 영역과 A 레코드가 생성됩니다.

    AzurePrivateLinkServiceAvailable

    모든 구성 요소가 준비되고 개인 연결을 사용할 수 있습니다.

  3. 다음 명령을 입력하여 전체 클러스터 상태를 확인합니다.

    $ oc get hostedcluster ${CLUSTER_NAME} -n clusters
  4. 다음 명령을 입력하여 상태를 기다립니다.

    $ oc wait --for=condition=Available hostedcluster/${CLUSTER_NAME} -n clusters --timeout=30m

4.2.6.6. 프라이빗 Azure 호스팅 클러스터에 액세스

개인 호스트 클러스터를 생성한 후 추가 단계를 수행하여 액세스해야 합니다.

사전 요구 사항

  • "개인 Azure 호스팅 클러스터 생성"의 단계를 완료했습니다.

절차

  • kubeconfig 파일을 생성하여 프라이빗 호스팅 클러스터에 액세스하려면 다음 명령을 입력합니다.

    $ hcp create kubeconfig \
      --name ${CLUSTER_NAME} \
      --port-forward > ${CLUSTER_NAME}-kubeconfig
  • 관리 클러스터에 액세스할 수 있는 경우 API 서버로 전송하여 개인 호스팅 클러스터에 액세스할 수 있습니다.

    1. 다음 명령을 입력하여 kube-apiserver 서비스로 포트 전달을 실행합니다.

      $ kubectl port-forward svc/kube-apiserver \
        -n clusters-${CLUSTER_NAME} 6443:6443 &
    2. kubeconfig 파일을 사용하여 호스팅된 클러스터에 액세스합니다.

      $ KUBECONFIG=${CLUSTER_NAME}-kubeconfig oc get nodes
  • 호스트 클러스터 VNet과 피어링된 Azure Virtual Network(VNet)에 VM(가상 머신)이 있는 경우 API 서버에 액세스할 수 있지만 먼저 프라이빗 DNS 영역을 피어링 VNet에 연결해야 합니다.

    참고

    컨트롤 플레인 Operator는 프라이빗 DNS 영역을 호스팅 클러스터의 VNet에만 연결합니다. 피어 지정된 VNet에서 API 서버 호스트 이름을 확인하려면 다음 단계에 표시된 대로 프라이빗 DNS 영역을 해당 VNet에 수동으로 연결해야 합니다. 그렇지 않으면 피어링 VNet에서 DNS 확인이 실패합니다.

    1. 다음 예와 같이 프라이빗 DNS 영역을 피어링 VNet에 연결합니다.

      $ PEERED_VNET_ID="/subscriptions/<sub>/resourceGroups/<rg>/providers/Microsoft.Network/virtualNetworks/<vnet>"
    2. 다음 명령을 실행합니다.

      $ az network private-dns link vnet create \
        --resource-group "${MANAGED_RG_NAME}" \
        --zone-name "${CLUSTER_NAME}.hypershift.local" \
        --name "peered-vnet-link" \
        --virtual-network "${PEERED_VNET_ID}" \
        --registration-enabled false
    3. base-domain 확인도 필요한 경우 다음 명령을 입력합니다.

      $ az network private-dns link vnet create \
        --resource-group "${MANAGED_RG_NAME}" \
        --zone-name "${PARENT_DNS_ZONE}" \
        --name "peered-vnet-basedomain-link" \
        --virtual-network "${PEERED_VNET_ID}" \
        --registration-enabled false
    4. 다음 예에 표시된 대로 클러스터에 액세스합니다.

      $ KUBECONFIG=${CLUSTER_NAME}-kubeconfig oc get nodes

4.2.6.7. Azure에서 프라이빗 호스트 클러스터 문제 해결

개인 호스팅 클러스터가 중단되면 AzurePrivateLinkService 사용자 정의 리소스 조건을 확인합니다.

절차

  1. 다음 명령을 입력하여 개인 링크 조건을 확인합니다.

    $ oc get azureprivatelinkservices \
      -n clusters-${CLUSTER_NAME} \
      -o jsonpath='{.items[0].status.conditions}' | jq .
  2. 출력을 검토하고 다음 조건 테이블과 비교합니다.

    표 4.9. 프라이빗 클러스터 중단 상태
    상태가능한 원인

    AzureInternalLoadBalancerAvailable = False

    private-router 서비스는 아직 내부 로드 밸런서 IP 주소를 수신하지 못했습니다. 서비스 상태 및 Azure 네트워킹을 확인합니다.

    AzurePLSCreated = False

    개인 링크 생성에 실패했습니다. NAT 서브넷 정책, 인증 정보 및 HyperShift Operator 로그를 확인합니다.

    AzurePrivateEndpointAvailable = False

    프라이빗 엔드포인트 생성이 실패했거나 연결이 승인되지 않았습니다. Private Link auto-approval 목록과 Control Plane Operator 로그를 확인합니다.

    AzurePrivateDNSAvailable = False

    DNS 영역 또는 레코드 생성에 실패했습니다. 호스팅된 클러스터에 대한 인프라 리소스를 저장하는 Azure 서브스크립션에서 Control Plane Operator ID 권한을 확인합니다.

4.2.7. Azure에서 호스팅된 클러스터의 PublicAndPrivate 토폴로지

PublicAndPrivate 토폴로지를 사용하면 외부 자동화 및 프라이빗 워크로드가 Kubernetes API Server 끝점에 동시에 도달할 수 있도록 이중 경로 라우팅을 활성화합니다. 따라서 CI/CD 파이프라인 액세스를 저해하지 않고 규정 준수 요구 사항을 충족할 수 있습니다.

클러스터 생성 시 선택한 토폴로지는 프로비저닝되는 Azure 리소스 및 퍼블릭 인터넷, 프라이빗 Azure VNet 또는 둘 다에서 Kubernetes API 서버 끝점에 연결할 수 있는지 여부를 결정합니다.

Azure의 호스팅 클러스터는 3개의 Kubernetes API 서버 끝점 액세스 토폴로지를 지원합니다. 공용,프라이빗 및 PublicAndPrivate.

공용 (기본값)
Kubernetes API Server 끝점은 공용 인터넷에서만 액세스할 수 있습니다. 프라이빗 Azure 네트워킹 리소스가 생성되지 않습니다. 프라이빗 컨트롤 플레인 액세스가 필요하지 않은 규제 환경 또는 CI/CD 워크로드에 이 토폴로지를 사용합니다.
PublicAndPrivate
Kubernetes API Server 끝점은 공용 인터넷과 프라이빗 Azure VNet에서 동시에 액세스할 수 있습니다. Azure는 공용 및 프라이빗 네트워킹 리소스를 모두 생성합니다. 외부 자동화에 공용 API 액세스 권한이 필요하고 내부 워크로드에 사설 네트워크 격리가 필요한 경우 이 토폴로지를 사용합니다.
프라이빗
Kubernetes API Server 끝점은 프라이빗 Azure VNet에서만 액세스할 수 있습니다. Kubernetes API Server 엔드포인트에 대한 공용 Azure Load Balancer가 생성되지 않습니다. 공용 인터넷에서 컨트롤 플레인에 연결할 수 없어야 하는 규제 환경에 이 토폴로지를 사용합니다.

4.2.7.1. 토폴로지를 통해 프로비저닝한 Azure 리소스

표 4.10. 토폴로지별 Azure 리소스
리소스퍼블릭PublicAndPrivate프라이빗

Azure Public Load Balancer

제공됨

제공됨

없음

Azure Internal Load Balancer

없음

제공됨

제공됨

Azure Private Link Service

없음

제공됨

제공됨

Azure 프라이빗 끝점

없음

제공됨

제공됨

프라이빗 DNS 영역

없음

제공됨

제공됨

참고

Azure Private Link Service, Azure Private Endpoint 및 Private DNS Zones 행은 PrivateLink 프라이빗 유형을 사용하는 자체 관리 호스팅 컨트롤 플레인 클러스터에만 적용됩니다.

자체 관리 호스트 클러스터(Azure Private Link)에서 토폴로지는 IngressController LoadBalancer 범위를 직접 구동합니다. 전용 Azure Private Link Service 인프라는 프라이빗 액세스를 위해 클러스터당 생성됩니다. PrivateLink 프라이빗 유형은 각 클러스터의 내부 로드 밸런서, 프라이빗 링크 서비스, 프라이빗 엔드포인트 및 프라이빗 DNS 영역을 독립적으로 프로비저닝합니다.

PublicAndPrivate Kubernetes API 서버 토폴로지를 사용하여 호스팅 클러스터를 생성하여 동시에 공용 인터넷 액세스 및 프라이빗 Azure VNet 액세스를 활성화할 수 있습니다.

PublicAndPrivate 토폴로지는 공용 인터넷의 CI/CD 파이프라인 액세스를 유지하면서 프라이빗 컨트롤 플레인 네트워킹이 필요한 규제 환경에 적합합니다.

중요

토폴로지 필드는 공용 토폴로지와 관련된 전환에 대해 변경할 수 없습니다. 클러스터 생성 후에는 PublicAndPrivate 와 Private 간에 변경할 수 있지만 새 클러스터를 생성하지 않으면 공용 으로 변경할 수 없습니다. 프로비저닝하기 전에 토폴로지 선택을 신중하게 계획합니다.

사전 요구 사항

  • 호스팅된 클러스터를 생성할 수 있는 권한이 있는 Azure 계정 및 컨트롤 플레인 Operator 워크로드 ID를 포함하여 필요한 워크로드 ID가 있습니다.
  • 대상 리전에 Azure VNet이 있습니다.
  • 외부에서 게시된 클러스터의 DNS 레코드에 대한 퍼블릭 Azure DNS 영역이 있습니다.
  • privateLinkServiceNetworkPolicies 가 비활성화된 관리 클러스터의 VNet에 전용 NAT 서브넷이 있습니다.
  • HyperShift Operator는 --private-platform Azure 플래그를 사용하여 설치됩니다.
  • --private-platform 플래그가 Azure 로 설정된 경우 HyperShift Operator에는 --azure-private-creds,--azure-private-secret 또는 --azure-pls-managed-identity-client- idid 라는 플래그 중 하나가 필요합니다. Operator는 해당 인증 정보를 사용하여 내부 로드 밸런서를 조회하고 관리 클러스터 리소스 그룹에 Private Link Service를 생성합니다.
  • 외부 DNS는 Azure 인증 정보 및 DNS가 해당 영역의 레코드를 관리할 수 있는 도메인 필터를 사용하여 관리 클러스터에 구성됩니다.
중요

프라이빗 Azure 호스팅 클러스터의 경우 OAuth 경로 호스트 이름의 도메인을 < cluster_name>.<base_domain> 또는 < cluster_ name>.<base_domain >의 상위 도메인으로 설정하지 마십시오. 생성된 프라이빗 DNS 영역은 섀도우 *.apps 레코드 및 중단 콘솔 및 경로 확인을 중단할 수 있습니다.

예를 들어 hcp-two 클러스터 이름과 example.com 기본 도메인이 있는 경우 hcp-two.example.com 을 사용하지 마십시오. external-dns.example.com 과 같은 겹치지 않는 도메인을 사용합니다. 클러스터 생성 후에는 이 구성을 수정할 수 없습니다. 다른 도메인으로 클러스터를 다시 생성해야 합니다.

절차

  1. 다음 예와 같이 HostedCluster 매니페스트를 생성합니다.

    참고

    이 예에서는 토폴로지별 필드만 보여줍니다.

    apiVersion: hypershift.openshift.io/v1beta1
    kind: HostedCluster
    metadata:
      name: <cluster_name>
      namespace: clusters
    spec:
      platform:
        type: Azure
        azure:
          topology: PublicAndPrivate
          private:
            type: PrivateLink
            privateLink:
              natSubnetID: <nat_subnet_resource_id>

    다음과 같습니다.

    <cluster_name>
    호스팅된 클러스터의 이름을 지정합니다.
    <nat_subnet_resource_id>
    NAT 서브넷의 Azure 리소스 ID를 지정합니다. 이 서브넷에는 privateLinkServiceNetworkPolicies 가 비활성화되어야 하며 관리 클러스터의 VNet에 있어야 합니다. 이 서브넷은 선택 사항입니다. 생략하면 컨트롤러는 관리 클러스터의 내부 로드 밸런서의 VNet에 NAT 서브넷을 생성합니다. 자세한 내용은 "Azure에서 프라이빗 호스팅 클러스터의 서브넷 준비"를 참조하십시오.
  2. 다음 명령을 입력하여 클러스터에 매니페스트를 적용합니다.

    $ oc apply -f <manifest_file>.yaml
  3. 다음 명령을 입력하여 클러스터 프로비저닝 상태를 모니터링합니다.

    $ oc get hostedcluster <cluster_name> -n clusters -w

검증

  • 다음 명령을 입력하여 사용 가능 조건을 확인하여 컨트롤 플레인이 작동하는지 확인합니다.

    $ oc get hostedcluster <cluster_name> -n clusters \
      -o jsonpath='{.status.conditions[?(@.type=="Available")]}'

    전체 연결 확인 절차는 "Azure에서 공용AndPrivate 호스팅 클러스터의 끝점 접근성 확인"을 참조하십시오.

PublicAndPrivate 토폴로지를 사용하여 Azure에 호스팅된 클러스터를 생성한 후 Kubernetes API Server 엔드포인트가 공용 인터넷과 프라이빗 Azure VNet 모두에서 연결할 수 있는지 확인해야 합니다.

성공적으로 확인되면 컨트롤 플레인이 정상이고 프라이빗 연결 리소스가 프로비저닝되었으며 DNS가 올바르게 확인되고 있습니다. 토폴로지 구성 오류는 부분적으로 되돌릴 수 없기 때문에 확인하는 것이 중요합니다.

사전 요구 사항

  • PublicAndPrivate 토폴로지를 사용하는 Azure에 실행 중인 호스트 클러스터가 있어야 합니다.
  • oc CLI가 클러스터 관리 플레인에 설치되어 인증됩니다.
  • 프라이빗 VNet 확인을 위해 호스트 클러스터의 VNet 내에 있는 점프 서버 VM 또는 기타 호스트에 액세스하거나 VNet 내부에서 포트 전달을 사용할 수 있습니다.

절차

  1. 다음 명령을 입력하여 컨트롤 플레인이 실행 중인지 확인하려면 HostedCluster Available 조건을 확인합니다.

    $ oc get hostedcluster <cluster_name> -n clusters \
      -o jsonpath='{.status.conditions[?(@.type=="Available")]}'

    & lt;cluster_name& gt;을 호스트된 클러스터 이름으로 바꿉니다.

    출력에 "status":"True" 가 표시되는지 확인합니다.

  2. AzurePrivateLinkService CR 조건을 검색하여 다음 명령을 입력하여 개인 링크 체인이 완전히 프로비저닝되었는지 확인합니다.

    $ oc get azureprivatelinkservices -n clusters-<cluster_name> -o yaml

    5개의 조건이 모두 True 인지 확인합니다.

    • AzureInternalLoadBalancerAvailable
    • AzurePLSCreated
    • AzurePrivateEndpointAvailable
    • AzurePrivateDNSAvailable
    • AzurePrivateLinkServiceAvailable

      상태가 False 인 경우 진단 지침은 "AzurePrivateLinkService 조건 참조"를 참조하십시오.

  3. 호스트 클러스터의 VNet 내부에서 프라이빗 API 호스트 이름의 DNS 확인을 확인합니다.

    VNet 내부의 호스트에서 다음 명령을 입력하여 프라이빗 API 호스트 이름을 확인합니다.

    $ nslookup <api_hostname_from_kubeconfig>

    https:// 접두사 또는 포트 없이 server 의 호스트 이름만 포함합니다. kubeconfig 의 URL은 https:// 접두사 또는 포트 없이 < base_domain >을 추가하지 않습니다. API 호스트 이름은 VNet 내부에서 프라이빗 끝점 IP 주소로 확인되어야 합니다. 호스트 이름이 공용 IP로 확인되면 프라이빗 DNS 영역이 호스팅된 클러스터의 VNet에 올바르게 연결되어 있는지 확인합니다.

  4. 다음 명령을 입력하여 호스팅된 클러스터 kubeconfig 를 사용하여 공용 인터넷의 API 도달 가능성을 확인합니다.

    $ oc get nodes --kubeconfig <path_to_hosted_cluster_kubeconfig>

    & lt;path_to_hosted_cluster_kubeconfig >를 호스팅된 클러스터 kubeconfig 파일의 경로로 바꿉니다.

    노드 목록에 성공하면 공용 Kubernetes API 서버 엔드포인트에 연결할 수 있는지 확인합니다.

  5. 프라이빗 Azure VNet 내부에서 API 도달 가능성을 확인합니다.

    프라이빗 Azure VNet 내의 건너뛰기 서버 VM 또는 기타 호스트에서 다음 명령을 실행합니다.

    $ oc get nodes --kubeconfig <path_to_hosted_cluster_kubeconfig>

    노드 목록에 성공하면 VNet 내에서 프라이빗 Kubernetes API 서버 엔드포인트에 연결할 수 있는지 확인합니다.

    중요

    기본적으로 프라이빗 DNS 영역은 호스팅된 클러스터의 VNet에만 연결됩니다. 피어링 VNet에서 DNS 확인이 필요한 경우 클러스터 생성 후 프라이빗 DNS 영역을 각 피어링 VNet에 수동으로 연결합니다. 피어링 VNet을 연결하지 못하면 해당 네트워크에서 DNS 확인 오류가 발생합니다.

4.2.7.5. 토폴로지 전환 규칙 및 제약 조건

HostedCluster 리소스의 topology 필드는 공용 토폴로지와 관련된 전환에 대해 변경할 수 없습니다.

클러스터 생성 후 PublicAnd Private 와 Private 간 전환이 허용됩니다. Public 으로 또는 를 변경하려면 새 클러스터를 생성해야 합니다.

되돌릴 수 없는 잘못된 구성을 방지하려면 토폴로지를 선택하기 전에 이러한 제약 조건을 주의 깊게 검토하십시오.

표 4.11. 토폴로지 전환 규칙
토폴로지에서토폴로지로 이동생성 후 허용작업 필요

퍼블릭

프라이빗

없음

새 클러스터를 생성합니다.

퍼블릭

PublicAndPrivate

없음

새 클러스터를 생성합니다.

프라이빗

퍼블릭

없음

새 클러스터를 생성합니다.

PublicAndPrivate

퍼블릭

없음

새 클러스터를 생성합니다.

PublicAndPrivate

프라이빗

제공됨

HostedCluster 리소스를 업데이트합니다.

프라이빗

PublicAndPrivate

제공됨

HostedCluster 리소스를 업데이트합니다.

표 4.12. Azure 호스팅 컨트롤 플레인 토폴로지 비교
차원퍼블릭PublicAndPrivate프라이빗

Kubernetes API Server 액세스

인터넷만 해당

공용 인터넷 + 개인 Azure VNet

프라이빗 Azure VNet만 해당

외부 DNS 필요

없음

제공됨

제공됨

개인 필드 필요

없음

제공됨

제공됨

IngressController 범위

ExternalLoadBalancer

InternalLoadBalancer

InternalLoadBalancer

중요

토폴로지 선택은 퍼블릭 토폴로지로 시작하거나 퍼블릭 토폴로지로 전환하는 모든 클러스터에 대해 일회용할 수 없는 결정입니다. 클러스터를 생성하기 전에 규정 준수 요구 사항을 충족하는 토폴로지를 선택합니다. 공용에서 프라이빗 토폴로지 로 또는 프라이빗 토폴로지에서 공용 으로 이동해야 하는 경우 새 클러스터를 생성해야 합니다.

4.2.8. 예: Azure에서 호스트 클러스터 자동 확장

Azure 호스트 클러스터에서 노드 풀을 균형 있게 조정하려면 클러스터에 대한 자동 스케일링을 구성할 수 있습니다.

NodePool 오브젝트를 확장하면 Azure의 Cluster API Provider가 개별 Azure 가상 머신을 프로비저닝합니다.

Azure에서 호스트된 클러스터에 대한 자동 스케일링을 구성하려면 HostedCluster 리소스에서 spec.autoscaling 매개변수를 편집합니다. 다음 예제에서는 Azure 노드 풀 2개가 있는 HostedCluster 리소스를 보여줍니다.

참고

이 예에서는 autoscaling 관련 필드만 보여줍니다.

apiVersion: hypershift.openshift.io/v1beta1
kind: HostedCluster
metadata:
  name: my-cluster
  namespace: my-cluster-namespace
spec:
  autoscaling:
    scaling: ScaleUpAndScaleDown
    maxNodesTotal: 12
    expanders:
      - Random
    scaleDown:
      delayAfterAddSeconds: 300
      unneededDurationSeconds: 600
      utilizationThresholdPercent: 40
    balancingIgnoredLabels:
      - "custom.label/environment"
    maxFreeDifferenceRatioPercent: 70
---
apiVersion: hypershift.openshift.io/v1beta1
kind: NodePool
metadata:
  name: my-cluster-nodepool-1
  namespace: my-cluster-namespace
spec:
  clusterName: my-cluster
  autoScaling:
    min: 1
    max: 6
  platform:
    azure:
      vmSize: Standard_D4s_v3
      # ...
---
apiVersion: hypershift.openshift.io/v1beta1
kind: NodePool
metadata:
  name: my-cluster-nodepool-2
  namespace: my-cluster-namespace
spec:
  clusterName: my-cluster
  autoScaling:
    min: 1
    max: 6
  platform:
    azure:
      vmSize: Standard_D4s_v3
      # ...
  • spec.autoScaling.min 은 scale-from-zero를 지원하지 않는 플랫폼에서 1 보다 크거나 같아야 합니다.

    OpenShift Container Platform 4.18 이상을 실행하는 AWS(Amazon Web Services) 및 Azure 호스팅 클러스터에서는 적합한 테인트된 워크로드 풀에 대해 spec.autoScaling.min 을 0 으로 설정할 수 있습니다. 자세한 내용은 "호스트된 컨트롤 플레인 노드 풀에서 0으로 자동 스케일링 구성"을 참조하십시오.

    참고

    이 예제의 이전 버전에서는 0(autoScaling.min: 0)의 스케일링은 Azure에서 지원되지 않습니다. OpenShift Container Platform 4.18 이상에서는 HyperShift Operator 백포트를 사용할 수 있는 경우 AWS(Amazon Web Services) 및 Azure에서 min: 0 을 지원합니다.

4.2.9. Azure에서 호스팅되는 컨트롤 플레인 백업 및 복원

OADP(OpenShift API for Data Protection) 1.6을 사용하여 Microsoft Azure에서 자체 관리 호스팅 컨트롤 플레인을 백업하고 복원할 수 있습니다.

자동화된 백업은 etcd 상태 및 관련 Azure 인프라 리소스를 캡처합니다. etcd 데이터 손실 또는 손상이 발생하면 동일한 관리 클러스터의 스냅샷에서 클러스터를 복원할 수 있습니다.

4.2.9.1. Azure의 호스트된 컨트롤 플레인에서 재해 복구 제한

Azure에서 호스팅되는 컨트롤 플레인에 대한 재해 복구(DR) 전략을 설계하기 전에 다음 제한 사항을 검토하십시오. 동일한 클러스터 전용 제한 및 필수 컴퓨팅 노드 재프로비저닝은 DR 아키텍처 및 사이트 선택에 가장 큰 영향을 미칩니다.

제한세부 정보

same-cluster 복원만 지원

교차 관리 클러스터 복원은 현재 지원되지 않습니다. Azure에 대해 백업이 수행된 관리 클러스터로 복원하는 동일한 클러스터 복원만 검증됩니다.

OADP 필요

자동 복원에는 기본 제공 하이퍼shift 플러그인과 함께 OADP 1.6이 필요합니다. 자체 관리 Azure 호스팅 컨트롤 플레인에 대한 수동 복원 경로는 지원되지 않습니다.

restoreSnapshotURL immutability

spec.etcd.managed.storage.restoreSnapshotURL 필드는 검증(MaxItems=1)을 통해 변경할 수 없음으로 적용됩니다. OADP 플러그인은 복원 중 HostedCluster 생성 시 이 필드를 자동으로 설정합니다. HostedCluster 리소스가 생성된 후에는 필드를 업데이트할 수 없으며 수동으로 설정할 필요가 없습니다.

인플레이스 복원 없음

복원 전에 기존 HostedCluster 리소스를 삭제해야 합니다. 실행 중인 클러스터로 복원하는 것은 지원되지 않습니다. restore 명령을 실행하기 전에 모든 etcd PVC(영구 볼륨 클레임)를 제거해야 합니다.

컴퓨팅 노드 재프로비저닝

복원 후 컴퓨팅 노드를 다시 프로비저닝합니다. 복구 중에 워크로드 중단에 대한 계획 노드가 다시 프로비저닝되고 클러스터에 다시 참여하는 동안 컴퓨팅 노드에서 실행되는 애플리케이션은 다운타임이 발생합니다.

기술 프리뷰(HCPEtcdBackup 기능 게이트)

etcd 스냅샷 복원에는 HyperShift Operator의 HCPEtcdBackup 기능 게이트가 필요합니다. 이 기능은 기술 프리뷰 기능이며 프로덕션용이 아닙니다.

복원당 단일 스냅샷

복원당 하나의 스냅샷 URL만 허용됩니다(MaxItems=1). 첫 번째 실패하는 경우 보조 스냅샷을 사용하여 복원을 자동으로 재시도하는 대체 스냅샷은 사용할 수 없습니다. restore 명령을 실행하기 전에 적절한 백업을 선택합니다.

4.2.9.2. Azure에서 호스팅되는 컨트롤 플레인의 백업 및 복원 설정

자동 백업을 실행하도록 Azure 환경에서 호스팅되는 컨트롤 플레인을 설정합니다.

기본 제공 하이퍼shift 플러그인이 있는 OADP(OpenShift API for Data Protection) 1.6은 Azure에서 호스팅되는 컨트롤 플레인에 지원되는 백업 및 복원 솔루션입니다. 하이퍼shift 플러그인은 기본적으로 OADP 1.6에 포함되어 있으며 사용자 정의 플러그인 이미지가 필요하지 않습니다.

플러그인은 두 가지 백업 모드를 지원합니다.

볼륨 스냅샷 백업
CSI 스냅샷을 사용하여 영구 볼륨 데이터를 캡처합니다. 이 모드는 etcd 스토리지 볼륨을 백업하고 HCPEtcdBackup 기능 게이트가 필요하지 않습니다. 볼륨 스냅샷 백업 절차는 "Azure에서 호스팅되는 컨트롤 플레인에 대한 자동 재해 복구"를 참조하십시오.
etcd 스냅샷 백업
지정 시간 etcd 스냅샷을 캡처하고 스냅샷 URL을 HostedCluster.status.lastSucfulEtcdBackupURL 사양에 저장합니다. OADP 플러그인은 복원 시 이 URL을 자동으로 삽입합니다. 이 모드에서는 HCPEtcdBackup 기능 게이트가 필요하며 기술 프리뷰 기능으로 사용할 수 있습니다.

사전 요구 사항

절차

  • 자동 백업을 구성하려면 hcp create oadp-schedule 명령을 입력합니다. 다음 예제에서는 일별 백업을 예약하는 방법을 보여줍니다.

    $ hcp create oadp-schedule \
      --hc-name <hosted_cluster_name> \
      --hc-namespace <hosted_cluster_namespace> \
      --storage-location azure-blob \
      --schedule "0 2 * * *"
      --use-etcd-snapshot

    다음과 같습니다.

    --hc-name
    백업할 HostedCluster 리소스의 이름을 지정합니다.
    --hc-namespace
    HostedCluster 리소스의 네임스페이스를 지정합니다.
    --use-etcd-snapshot
    etcd 스냅샷 방법을 사용하도록 지정합니다. CSI 스냅샷을 사용하는 경우 이 플래그를 포함하지 마십시오.

검증

  1. 다음 명령을 입력하여 최신 Velero 백업의 상태를 확인합니다.

    $ oc get backups.velero.io -n openshift-adp -o wide
  2. 다음 명령을 입력하여 Velero 로그에서 오류를 검사합니다.

    $ oc logs -n openshift-adp deployment/velero
  3. 다음 명령을 입력하여 HostedCluster 리소스 상태가 성공적인 etcd 백업 URL을 보고하는지 확인합니다.

    $ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \
      -o jsonpath='{.status.lastSuccessfulEtcdBackupURL}'

    비어 있지 않은 URL은 etcd 스냅샷을 캡처하여 성공적으로 저장했는지 확인합니다.

4.2.9.3. etcd 스냅샷에서 Azure에서 호스팅된 클러스터 복원

HyperShift OADP 플러그인을 사용하여 etcd 스냅샷에서 자체 관리 Azure 호스팅 컨트롤 플레인을 복원할 수 있습니다. 플러그인은 Control Plane Operator 및 etcd-init init 컨테이너를 통해 복원 순서를 자동화합니다.

중요

etcd 스냅샷 방법은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

etcd 스냅샷 복원 순서는 다음 순서를 따릅니다.

  1. OADP 플러그인은 HostedCluster 리소스를 생성하고 etcd 스냅샷 URL을 spec.etcd.managed.storage.restoreSnapshotURL 필드에 삽입합니다. 플러그인은 백업에서 이 필드를 자동으로 설정합니다. 수동으로 설정하지 않습니다. 유효성 검사에 의해 적용되는 생성 후에는 필드가 변경할 수 없으며 MaxItems=1.
  2. Control Plane Operator는 스냅샷 URL을 감지하고 etcd StatefulSet 에 etcd-init init 컨테이너를 추가합니다.
  3. etcd-init 컨테이너는 Azure Blob Storage에서 스냅샷을 다운로드합니다. 복원 중에 OADP 플러그인은 저장된 스냅샷 URL에서 SAS 인증 URL을 생성하여 etcd-init 컨테이너가 자격 증명에 직접 액세스하지 않고 스냅샷을 다운로드할 수 있도록 합니다.
  4. 복원에 성공한 후 Control Plane Operator에서 HostedControlPlane 리소스에서 EtcdSnapshotRestored 조건을 True 로 설정하고 etcd-init init 컨테이너를 제거합니다. EtcdSnapshotRestored=True 에서는 컨테이너를 다시 시작할 때 컨테이너가 다시 실행되지 않습니다.
중요

교차 관리 클러스터 복원은 현재 지원되지 않습니다. 백업을 수행한 동일한 관리 클러스터로만 복원할 수 있습니다.

사전 요구 사항

  • 기본 제공 hypershift 플러그인을 사용하여 관리 클러스터에 OADP 1.6을 설치했습니다.
  • HyperShift Operator에서 HCPEtcdBackup 기능 게이트를 활성화했습니다.
  • HostedCluster.status.lastSuccessfulEtcdBackupURL 필드에 유효한 etcd 스냅샷 URL을 포함하여 완료된 백업이 있습니다.
  • Azure Blob Storage용 Velero BackupStorageLocation 이 구성되고 액세스할 수 있습니다.

절차

  1. 다음 명령을 입력하여 기존 HostedCluster 및 해당 NodePool 리소스를 삭제합니다.

    $ hcp destroy cluster azure \
      --name <hosted_cluster_name> \
      --namespace <hosted_cluster_namespace>

    &lt ;hosted_cluster_name > 및 < hosted_cluster_namespace >를 삭제할 클러스터로 바꿉니다.

  2. 다음 명령을 입력하여 진행하기 전에 HostedCluster 리소스 삭제가 완료될 때까지 기다립니다.

    $ oc wait --for=delete hostedcluster/<hosted_cluster_name> \
      -n <hosted_cluster_namespace> --timeout=10m
  3. 다음 명령을 입력하여 모든 etcd PVC(영구 볼륨 클레임)가 제거되었는지 확인합니다.

    $ oc get pvc -n <hosted_cluster_namespace>-<hosted_cluster_name>

    명령에서 리소스를 반환하지 않아야 합니다. PVC가 남아 있으면 다음 명령을 입력하여 진행하기 전에 해당 PVC를 삭제합니다.

    $ oc delete pvc --all -n <hosted_cluster_namespace>-<hosted_cluster_name>
  4. OADP restore 명령을 입력하여 백업에서 호스팅된 클러스터를 다시 생성합니다.

    $ hcp create oadp-restore \
      --hc-name <hosted_cluster_name> \
      --hc-namespace <hosted_cluster_namespace> \
      --from-backup <backup_name> \
      --use-etcd-snapshot

    다음과 같습니다.

    <hosted_cluster_name>
    복원할 HostedCluster 리소스의 이름을 지정합니다.
    <hosted_cluster_namespace>
    HostedCluster 리소스의 네임스페이스를 지정합니다.
    <backup_name>
    복원할 Velero Backup 사용자 정의 리소스의 이름을 지정합니다.

검증

  1. 다음 명령을 입력하여 HostedControlPlane 리소스에서 EtcdSnapshotRestored 조건을 확인합니다.

    $ oc get hostedcontrolplane <hosted_cluster_name> -n <hosted_cluster_namespace>-<hosted_cluster_name> \
      -o jsonpath='{.status.conditions[?(@.type=="EtcdSnapshotRestored")].status}'

    출력은 True 여야 합니다.

  2. 다음 명령을 입력하여 HostedCluster 리소스에서 Available 상태를 보고하는지 확인합니다.

    $ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \
      -o jsonpath='{.status.conditions[?(@.type=="Available")].status}'

    출력은 True 여야 합니다.

  3. etcd pod init 컨테이너 로그를 검사하여 다음 명령을 입력하여 스냅샷 다운로드에 성공했는지 확인합니다.

    $ oc logs -n <hosted_cluster_namespace>-<hosted_cluster_name> \
      statefulset/etcd -c etcd-init

    복원에 성공하면 복원된 스냅샷 의 출력 메시지가 생성됩니다.

    참고

    EtcdSnapshotRestored=True 후 Control Plane Operator에서 etcd-init init 컨테이너를 자동으로 제거합니다. 이 로그 검사는 복원이 아직 진행 중인 경우에만 가능합니다. 복원이 이미 완료되었기 때문에 etcd pod에 없는 컨테이너가 있는 경우 init 컨테이너 로그 대신 이전 단계에서 EtcdSnapshotRestored 조건을 확인합니다.

4.2.9.4. Azure에서 호스팅되는 컨트롤 플레인의 백업 및 복원 문제 해결

Azure에서 호스팅된 컨트롤 플레인에 대한 백업 및 복원 프로세스 중에 문제가 발생하는 경우 해결 가능성을 검토하십시오.

증상원인해결

etcd-init 로그의 XML 오류

스냅샷 URL의 SAS(Azure 공유 액세스 서명) 토큰이 만료되었습니다.

SAS 토큰을 다시 생성하고 새 백업을 실행합니다. 새 백업 이름을 hcp create oadp-restore 명령과 함께 사용합니다.

etcd-init 로그의 curl 404 오류

스냅샷의 Blob URL이 잘못되었거나 Blob이 삭제되었습니다.

다음 명령을 입력하여 백업 스냅샷 URL을 확인합니다. oc get hostedcluster <name> -n <namespace> -o jsonpath='{.status.lastSuccessfulEtcdBackupURL}'. Azure Storage 컨테이너에 Blob이 있는지 확인합니다.

빈 오류가 없습니다. etcd 복원이 시작되지 않음

이전 클러스터에는 기존 etcd PVC(영구 볼륨 클레임) 데이터가 있습니다.

HostedCluster 리소스를 삭제하고 restore 명령을 실행하기 전에 호스팅 클러스터 네임스페이스의 모든 PVC가 제거되었는지 확인합니다.

Velero 복원 정지; Restore custom resource (CR) does not progress

Velero 컨트롤러는 Restore CR을 처리하지 않습니다.

다음 명령을 입력하여 Velero 포드 로그를 확인합니다. oc logs -n openshift-adp deployment/velero. DPA( DataProtectionApplication ) 구성이 올바르고 BackupStorageLocation 을 사용할 수 있는지 확인합니다.

OADP(OpenShift API for Data Protection) 1.6을 사용하여 Microsoft Azure에서 호스트된 컨트롤 플레인에 대한 재해 복구(DR)를 자동화할 수 있습니다. OADP hypershift 플러그인은 플랫폼을 자동으로 감지하고 백업 및 복원 작업에 필요한 플랫폼별 리소스를 포함합니다.

Azure의 호스팅된 컨트롤 플레인의 OADP 기반 복원 작업에 다음 제한 사항이 적용됩니다.

same-management-cluster-only restore
현재 Azure에서 교차 관리 클러스터 복원은 지원되지 않습니다. 백업을 수행한 관리 클러스터로 복원하는 클러스터 복원만 지원됩니다.
컴퓨팅 노드 재프로비저닝
복원 후 컴퓨팅 노드를 다시 프로비저닝합니다. 노드가 다시 프로비저닝되고 클러스터에 다시 참여하는 동안 컴퓨팅 노드에서 실행되는 애플리케이션은 다운타임이 발생합니다. 복구 작업을 예약할 때 이러한 중단에 대한 계획

OADP(OpenShift API for Data Protection) 1.6을 사용하여 Microsoft Azure에서 호스트된 컨트롤 플레인에 대한 재해 복구(DR)를 자동화할 수 있습니다.

OADP 하이퍼shift 플러그인은 플랫폼을 자동으로 감지하며 백업 및 복원 작업에 필요한 플랫폼별 리소스를 포함합니다.

사전 요구 사항

절차

  1. OADP에 백업이 저장되는 Azure Blob Storage 계정에 액세스할 수 있는 Kubernetes 시크릿을 생성합니다.

    1. 다음 콘텐츠를 사용하여 인증 정보 파일을 생성합니다.

      AZURE_SUBSCRIPTION_ID=<azure_subscription_id>
      AZURE_TENANT_ID=<azure_tenant_id>
      AZURE_CLIENT_ID=<azure_client_id>
      AZURE_CLIENT_SECRET=<azure_client_secret>
      AZURE_RESOURCE_GROUP=<azure_resource_group>
      AZURE_CLOUD_NAME=<azure_cloud_name>

      다음과 같습니다.

      <azure_subscription_id>
      Azure 서브스크립션 ID를 지정합니다.
      <azure_tenant_id>
      Azure Active Directory 테넌트 ID를 지정합니다.
      <azure_client_id>
      Azure 서비스 주체의 클라이언트 ID를 지정합니다.
      <azure_client_secret>
      Azure 서비스 주체의 클라이언트 시크릿을 지정합니다.
      <azure_resource_group>
      스토리지 계정이 포함된 Azure 리소스 그룹을 지정합니다.
      <azure_cloud_name>
      Azure 클라우드 환경을 지정합니다. Azure Government의 경우 표준 Azure 또는 AzureUSGovernmentCloud 를 사용합니다.
    2. 다음 명령을 입력하여 openshift-adp 네임스페이스에 보안을 생성합니다.

      $ oc create secret generic azure-credentials \
        --namespace openshift-adp \
        --from-file cloud=<path_to_credentials_file>

      & lt;path_to_credentials_file >을 이전 단계에서 생성한 인증 정보 파일의 경로로 바꿉니다.

  2. DPA( DataProtectionApplication ) 사용자 지정 리소스를 생성하여 Azure 공급자 및 hypershift 플러그인으로 OADP를 구성합니다.

    1. 다음 예와 같이 DataProtectionApplication 매니페스트를 만듭니다.

      apiVersion: oadp.openshift.io/v1alpha1
      kind: DataProtectionApplication
      metadata:
        name: dpa-azure
        namespace: openshift-adp
      spec:
        configuration:
          velero:
            defaultPlugins:
              - openshift
              - azure
              - csi
              - hypershift
        backupLocations:
          - velero:
              provider: azure
              default: true
              credential:
                name: azure-credentials
                key: cloud
              objectStorage:
                bucket: <blob_container_name>
                prefix: velero
                config:
                  resourceGroup: <azure_resource_group>
                  storageAccount: <azure_storage_account_name>

      다음과 같습니다.

      <blob_container_name>
      Azure Blob Storage 컨테이너의 이름을 지정합니다.
      <azure_resource_group>
      스토리지 계정을 포함하는 Azure 리소스 그룹을 지정합니다.
      <azure_storage_account_name>
      Azure 스토리지 계정 이름을 지정합니다.
    2. 다음 명령을 입력하여 매니페스트를 적용합니다.

      $ oc apply -f dpa-azure.yaml
    3. 다음 명령을 입력하여 BackupStorageLocation 을 사용할 수 있는지 확인합니다.

      $ oc get backupstoragelocation -n openshift-adp

      출력에 사용 가능한 단계가 표시되어야 합니다.

  3. Velero Backup CR을 생성하여 호스팅된 컨트롤 플레인 및 관련 Azure 인프라 리소스를 백업합니다.

    참고

    hcp create oadp-backup 명령은 Azure를 자동 감지하며 백업에 필요한 세 가지 Azure Cluster API 리소스( azureclusters, azuremachinetemplates ,azuremachinetemplates )를 자동으로 포함합니다. CLI 명령을 사용하는 것이 좋습니다.

    • backup 명령을 실행합니다.

      $ hcp create oadp-backup \
        --hc-name <hosted_cluster_name> \
        --hc-namespace <hosted_cluster_namespace> \
        --storage-location azure-blob
    • 또는 백업 매니페스트를 직접 적용합니다. 매니페스트에는 세 개의 Azure Cluster API 리소스가 includedResources 에 포함되어야 합니다. 아래 includedResources 목록은 예시적입니다. CLI 명령은 여기에 나열되지 않은 추가 리소스를 자동으로 감지할 수 있습니다. CLI 출력과 정확히 일치하는 기준 매니페스트를 생성하려면 hcp create oadp-backup --render 를 사용하고 필요에 따라 조정합니다.

      Backup 매니페스트의 예

      apiVersion: velero.io/v1
      kind: Backup
      metadata:
        name: <backup_name>
        namespace: openshift-adp
      spec:
        storageLocation: azure-blob
        includedNamespaces:
          - <hosted_cluster_namespace>
          - <hosted_cluster_namespace>-<hosted_cluster_name>
        includedResources:
          - hostedclusters
          - nodepools
          - secrets
          - hostedcontrolplanes
          - azureclusters
          - azuremachinetemplates
          - azuremachines
        ttl: 720h0m0s

      < backup_name > , < hosted_cluster_namespace > , < hosted_cluster_name >을 백업 이름과 백업 클러스터 이름으로 바꿉니다.

검증

  • 다음 명령을 입력하여 백업이 성공적으로 완료되었는지 확인합니다.

    $ oc get backup <backup_name> -n openshift-adp -o jsonpath='{.status.phase}'

    출력은 완료되어야 합니다.

4.2.10.2. Azure에서 호스트된 클러스터 복원

OADP 백업에서 호스팅된 컨트롤 플레인을 복원합니다. hcp create oadp-restore 명령을 사용하거나 Velero Restore CR(사용자 정의 리소스)을 직접 적용할 수 있습니다.

사전 요구 사항

  • 기존 HostedCluster 리소스가 삭제되고 모든 etcd PVC(영구 볼륨 클레임)가 제거됩니다. etcd 스냅샷 복원에 대한 자세한 내용은 etcd 스냅샷 방법을 사용하여 etcd 데이터 복원을 참조하십시오.
  • 복원할 백업의 상태가 Completed 상태입니다.

절차

  • CLI를 사용하여 호스트 클러스터를 복원하려면 다음 명령을 입력합니다.

    $ hcp create oadp-restore \
      --hc-name <hosted_cluster_name> \
      --hc-namespace <hosted_cluster_namespace> \
      --from-backup <backup_name>

    etcd 스냅샷에서 복원하려면 다음 명령을 입력하여 --use-etcd-snapshot 플래그를 추가합니다.

    $ hcp create oadp-restore \
      --hc-name <hosted_cluster_name> \
      --hc-namespace <hosted_cluster_namespace> \
      --from-backup <backup_name> \
      --use-etcd-snapshot
  • Restore CR을 직접 적용하려면 다음 명령을 입력합니다.

    apiVersion: velero.io/v1
    kind: Restore
    metadata:
      name: <restore_name>
      namespace: openshift-adp
    spec:
      backupName: <backup_name>
      restorePVs: true
      existingResourcePolicy: none
    • 이 Restore CR은 includedNamespaces 를 지정하지 않습니다. Velero는 기본적으로 백업에서 모든 네임스페이스를 복원합니다. 호스팅 클러스터 네임스페이스(<hosted_cluster_namespace > 및 < hosted_cluster_namespace>-<hosted_cluster_name> )에 대한 백업 범위 리소스가 백업에서 해당 범위를 상속합니다.
    • existingResourcePolicy: none is correct for a disaster recovery restore where the HostedCluster resource and all etcd PVCs have been deleted before the restore. 리소스 remnants가 존재하는 경우 예를 들어 오래된 종료자가 리소스를 보유하고 있는 경우 Velero는 자동으로 리소스를 덮어쓰지 않고 건너뜁니다. 나머지 리소스로 인해 복원이 실패하면 복원을 중지하고 네임스페이스를 수동으로 정리한 후 다시 시도합니다.

검증

  • 다음 명령을 입력하여 복원이 완료되었는지 확인합니다.

    $ oc get restore <restore_name> -n openshift-adp -o jsonpath='{.status.phase}'

    출력은 완료되어야 합니다. 출력이 부분적으로Failed 인 경우 다음 명령을 입력하여 복원 경고를 검사합니다.

    $ oc describe restore <restore_name> -n openshift-adp

4.2.11. Azure 호스팅 클러스터 및 해당 리소스 삭제

더 이상 호스트 클러스터가 필요하지 않은 경우 해당 클러스터와 해당 인프라를 제거할 수 있습니다. 설정 중에 생성된 관련 Workload Identities 및 OIDC 발행자는 다른 클러스터에 재사용하거나 더 이상 필요하지 않은 경우 별도로 삭제할 수 있습니다.

4.2.11.1. Azure에서 호스트 클러스터 삭제

Azure에서 호스팅된 클러스터를 더 이상 사용하지 않는 경우 삭제할 수 있습니다.

절차

  • 호스트된 클러스터를 삭제하려면 다음 명령을 입력합니다.

    $ hcp destroy cluster azure \
      --name $CLUSTER_NAME \
      --azure-creds $AZURE_CREDS \
      --dns-zone-rg-name $PERSISTENT_RG_NAME \
      --preserve-resource-group
    • --name 은 호스팅된 클러스터 이름을 지정합니다.
    • --Azure-creds 는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
    • --dns-zone-rg-name 은 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다.
    • --preserve-resource-group 은 인프라가 유지되도록 지정합니다. 인프라를 보존하지 않으려면 이 플래그를 포함하지 마십시오.

4.2.11.2. Azure 인프라 삭제

호스트 클러스터가 없는 Azure 인프라가 있는 경우 이를 사용하지 않는 경우 인프라를 제거할 수 있습니다.

예를 들어, 이 시나리오는 인프라를 독립 실행형으로 생성했지만 호스팅 클러스터를 생성하지 않은 경우 발생할 수 있습니다. 또는 호스팅된 클러스터 또는 관리 클러스터를 수동으로 삭제했지만 인프라 리소스가 여전히 존재할 수 있습니다.

전체 인프라를 삭제하거나 클러스터별 리소스를 삭제하지만 기본 리소스 그룹을 유지할 수 있습니다. 기본 리소스 그룹을 유지하는 것은 유지하려는 동일한 리소스 그룹에 다른 리소스가 있는 경우 유용합니다.

호스트 클러스터가 있고 호스트 클러스터를 삭제하는 동안 인프라를 삭제하려면 "Azure에서 호스팅된 클러스터 삭제"의 단계를 수행하지만 --preserve-resource-group 플래그를 생략합니다.

절차

  • 인프라를 삭제하려면 다음 명령 중 하나를 입력합니다.

    • 리소스 그룹을 포함한 인프라를 삭제하려면 다음 명령을 입력합니다.

      $ hcp destroy infra azure \
        --name <my_cluster_name> \
        --infra-id <infra_id> \
        --azure-creds <azure_credentials_file>
      • --name 은 호스팅된 클러스터 이름을 지정합니다.
      • --infra-id 는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다.
      • --Azure-creds 는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
    • 리소스 그룹을 보존하지만 클러스터별 리소스만 삭제하려면 다음 명령을 입력합니다.

      $ hcp destroy infra azure \
        --name <my_cluster_name> \
        --infra-id <infra_id> \
        --azure-creds <azure_credentials_file> \
        --preserve-resource-group
      • --name 은 호스팅된 클러스터 이름을 지정합니다.
      • --infra-id 는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다.
      • --Azure-creds 는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
      • --preserve-resource-group 은 리소스 그룹을 보존할 것을 지정합니다.

4.2.11.3. Azure 워크로드 ID 삭제

Azure에서 호스팅된 클러스터를 삭제하는 프로세스의 일부로 워크로드 ID를 삭제해야 합니다.

워크로드 ID를 삭제하려면 호스트된 컨트롤 플레인 명령줄 인터페이스인 hcp 에 명령을 입력합니다. 명령은 Workload ID를 만들 때 생성된 파일을 사용하여 삭제할 ID를 식별합니다. 관리되는 ID와 페더레이션 자격 증명이 모두 제거됩니다.

사전 요구 사항

  • 워크로드 ID를 사용하여 인프라를 생성한 경우 ID를 삭제하기 전에 인프라를 삭제합니다.

절차

  • 다음 명령을 실행합니다.

    $ hcp destroy iam azure \
        --azure-creds <azure_credentials_file> \
        --workload-identities-file <workload_identities_file> \
        --resource-group-name <resource_group> \
        --name <my_cluster_name> \
        --infra-id <infra_id> \
        --dns-zone-rg-name <dns_zone_rg> \
        --cloud <my_cloud_environment>
    • <azure_credentials_file >은 관리되는 ID 및 페더레이션 자격 증명을 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
    • <workload_identities_file >은 my-cluster-name-iam-output.json 과 같은 워크로드 ID JSON 파일의 경로를 지정합니다.
    • <resource_group >은 ID를 생성한 리소스 그룹의 이름을 지정합니다.
    • <my_cluster_name& gt;은 호스팅된 클러스터의 이름을 지정합니다.
    • <INFRA_ID& gt;는 Azure 리소스의 이름을 지정하는 고유 식별자를 지정합니다. 일반적으로 이 식별자는 접미사가 있는 클러스터 이름입니다.
    • <dns_zone_rg& gt;는 DNS 영역 리소스 그룹을 지정합니다.
    • <my_cloud_environment& gt;는 Azure 클라우드 환경을 지정합니다. --cloud 플래그 설정은 선택 사항입니다. 기본값은 AzurePublicCloud 입니다.

4.2.11.4. Azure에서 개인 호스트 클러스터 삭제

Azure에서 개인 호스팅 클러스터를 더 이상 사용하지 않는 경우 삭제할 수 있습니다.

삭제 프로세스는 다음 순서로 Private Link 리소스를 자동으로 정리합니다.

  1. Control Plane Operator는 프라이빗 엔드포인트, 프라이빗 DNS 영역, VNet 링크 및 A 레코드를 제거합니다.
  2. hcp destroy 명령은 역할 기반 액세스 제어(RBAC) 역할 할당을 제거합니다.
  3. HyperShift Operator는 Private Link를 제거합니다.

절차

  • 개인 호스팅 클러스터를 삭제하려면 다음 명령을 입력합니다.

    $ hcp destroy cluster azure \
      --name ${CLUSTER_NAME} \
      --azure-creds ${AZURE_CREDS} \
      --resource-group-name ${MANAGED_RG_NAME} \
      --dns-zone-rg-name ${DNS_ZONE_RG_NAME}
    • --name 은 호스팅된 클러스터 이름을 지정합니다.
    • --Azure-creds 는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다. hcp destroy cluster azure 명령은 인프라를 삭제하기 전에 RBAC 역할 할당을 정리하므로 이 플래그가 필요합니다.
    • --resource-group-name 은 ID를 생성한 리소스 그룹의 이름을 지정합니다.
    • --dns-zone-rg-name 은 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다.

하드웨어 성능을 극대화하고 물리적 인프라에 대한 제어를 유지하기 위해 에이전트 플랫폼을 사용하여 호스팅되는 컨트롤 플레인을 베어 메탈에 배포할 수 있습니다. 이 배포 방법은 가상화 오버헤드를 줄이고 성능 집약적인 워크로드에 대해 대기 시간이 짧은 네트워킹을 제공합니다.

관리 클러스터로 작동하도록 OpenShift Container Platform 클러스터를 구성하여 에이전트 플랫폼을 사용하여 베어 메탈 인프라에 호스팅되는 컨트롤 플레인을 배포할 수 있습니다.

관리 클러스터는 컨트롤 플레인이 호스팅되는 OpenShift Container Platform 클러스터입니다. 경우에 따라 관리 클러스터를 호스팅 클러스터라고도 합니다. 관리 클러스터는 관리 클러스터와 동일하지 않습니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다.

호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다.

다중 클러스터 엔진 Operator는 관리하는 허브 클러스터인 기본 로컬 클러스터 및 hub 클러스터만 관리 클러스터로 지원합니다. Red Hat Advanced Cluster Management를 설치한 경우 local-cluster 라고도 하는 관리 허브 클러스터를 관리 클러스터로 사용할 수 있습니다.

호스팅 클러스터는 관리 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다. 다중 클러스터 엔진 Operator 콘솔 또는 호스트된 컨트롤 플레인 명령줄 인터페이스(hcp)를 사용하여 호스트된 클러스터를 생성할 수 있습니다.

호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.

4.3.2. 베어 메탈에 호스팅된 컨트롤 플레인 배포 준비

베어 메탈에 호스팅된 컨트롤 플레인을 배포하기 전에 배포 요구 사항을 이해해야 합니다.

  • 동일한 플랫폼에서 관리 클러스터 및 컴퓨팅 노드를 실행합니다.
  • 모든 베어 메탈 호스트에는 중앙 인프라 관리에서 제공하는 Discovery Image ISO를 수동으로 시작해야 합니다. 수동으로 또는 Cluster Baremetal Operator를 사용하여 자동화를 통해 호스트를 시작할 수 있습니다. 각 호스트가 시작되면 에이전트 프로세스를 실행하여 호스트 세부 정보를 검색하고 설치를 완료합니다. 에이전트 사용자 정의 리소스는 각 호스트를 나타냅니다.
  • 호스트된 컨트롤 플레인에 대한 스토리지를 구성할 때 권장 etcd 사례를 고려하십시오. 대기 시간 요구 사항을 충족하는지 확인하려면 각 컨트롤 플레인 노드에서 실행되는 모든 호스팅 컨트롤 플레인 etcd 인스턴스에 빠른 스토리지 장치를 전용으로 지정합니다. LVM 스토리지를 사용하여 호스팅된 etcd pod의 로컬 스토리지 클래스를 구성할 수 있습니다. 자세한 내용은 "Recommended etcd practices" 및 "Persistent storage using logical volume manager storage"를 참조하십시오.

4.3.2.1. 베어 메탈 방화벽, 포트 및 서비스 요구 사항

포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽, 포트 및 서비스 요구 사항을 충족해야 합니다.

참고

서비스는 기본 포트에서 실행됩니다. 그러나 NodePort 게시 전략을 사용하는 경우 서비스는 NodePort 서비스에서 할당한 포트에서 실행됩니다.

방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오. 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.

허브 클러스터에 프록시 구성이 있는 경우 모든 호스팅 클러스터 API 끝점을 프록시 오브젝트의 no Proxy 필드에 추가하여 호스팅된 클러스터 API 엔드포인트에 연결할 수 있는지 확인합니다. 자세한 내용은 "클러스터 전체 프록시 구성"을 참조하십시오.

호스팅된 컨트롤 플레인은 베어 메탈에 다음 서비스를 노출합니다.

  • APIServer

    • APIServer 서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간 통신을 위해 수신 액세스가 필요합니다.
    • MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
  • OAuthServer

    • OAuthServer 서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다.
    • NodePort 게시 전략을 사용하는 경우 OAuthServer 서비스에 방화벽 규칙을 사용합니다.
  • Konnectivity

    • Konnectivity 서비스는 경로 및 Ingress를 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다.
    • Konnectivity 에이전트는 컨트롤 플레인이 호스팅된 클러스터의 네트워크에 액세스할 수 있도록 역방향 터널을 설정합니다. 에이전트는 egress를 사용하여 Konnectivity 서버에 연결합니다. 서버는 포트 443의 경로를 사용하거나 수동으로 할당된 NodePort 를 사용하여 노출됩니다.
    • 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
    • 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
  • Ignition

    • Ignition 서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다.
    • NodePort 게시 전략을 사용하는 경우 Ignition 서비스에 방화벽 규칙을 사용합니다.

베어 메탈에는 다음 서비스가 필요하지 않습니다.

  • OVNSbDb
  • OIDC

4.3.2.2. 베어 메탈 인프라 요구 사항

에이전트 플랫폼은 인프라를 생성하지 않지만 에이전트 플랫폼에는 인프라에 대한 요구 사항이 있습니다.

  • 에이전트: 에이전트 는 검색 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다.
  • DNS: API 및 수신 끝점은 라우팅할 수 있어야 합니다.

4.3.3. 베어 메탈의 관리 클러스터 구성

에이전트 플랫폼을 사용하여 베어 메탈에 호스팅 클러스터를 생성하기 전에 올바르게 구성된 OpenShift Container Platform 관리 클러스터가 필요합니다.

사전 요구 사항

  • 관리 클러스터 및 컴퓨팅 노드는 동일한 플랫폼에 있어야 합니다.
  • Kubernetes Operator 2.2 이상용 멀티 클러스터 엔진이 OpenShift Container Platform 클러스터에 설치되어 있어야 합니다. OpenShift Container Platform 소프트웨어 카탈로그에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다.

절차

  1. 다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다. local-cluster 는 멀티 클러스터 엔진 Operator 2.2 이상에서 자동으로 가져옵니다. 로컬 클러스터에 대한 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 "고급 구성"을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.

    $ oc get managedclusters local-cluster
  2. 관리 클러스터의 베어 메탈 호스트에 topology.kubernetes.io/zone 레이블을 추가합니다. 각 호스트에 topology.kubernetes.io/zone 의 고유 값이 있는지 확인합니다. 그렇지 않으면 모든 컨트롤 플레인 Pod가 단일 노드에 예약되므로 단일 장애 지점이 발생합니다.
  3. 에이전트 플랫폼을 사용하여 베어 메탈에서 호스팅된 컨트롤 플레인을 프로비저닝합니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스를 사용하여 호스팅된 클러스터에 컴퓨팅 노드를 추가합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
  4. 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치합니다. 자세한 내용은 "호스팅된 컨트롤 플레인 명령줄 인터페이스 설치"를 참조하십시오.

4.3.4. 베어 메탈의 DNS 구성

호스팅된 클러스터의 API 서버는 NodePort 서비스로 노출됩니다. 프로덕션 환경에서는 API 앞에 있는 로드 밸런서를 사용합니다. 예를 들어 MetalLB와 함께 외부 로드 밸런서 또는 Kubernetes 서비스 유형 로드 밸런서를 사용할 수 있습니다.

DNS 항목은 들어오는 트래픽을 API 및 인그레스로 전달하려면 로드 밸런서를 가리켜야 합니다.

IPv4 네트워크에서 연결된 환경의 DNS 구성 예

api.cluster.company.example     IN A <ipv4_of_api_load_balancer>
api-int.cluster.company.example IN A <ipv4_of_api_load_balancer>
*.apps.cluster.company.example  IN A <ipv4_of_ingress_load_balancer>

IPv6 네트워크에서 연결이 끊긴 환경의 DNS 구성 예

api.cluster.company.example     IN AAAA <ipv6_of_api_load_balancer>
api-int.cluster.company.example IN AAAA <ipv6_of_api_load_balancer>
*.apps.cluster.company.example  IN AAAA <ipv6_of_ingress_load_balancer>

듀얼 스택 설정이 있는 경우 IPv4 및 IPv6 모두에 대한 DNS 항목을 포함해야 합니다.

4.3.4.1. 사용자 정의 DNS 이름 정의

클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.

다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.

  • 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
  • 분할 수평 DNS 및 NAT 시나리오 지원
  • 올바른 kubeconfig 및 DNS 구성으로 Show Login Command 기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해

HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.

사전 요구 사항

  • kubeAPIServerDNSName 매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다.
  • 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.

프로세스

  • HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.

    #...
    spec:
      configuration:
        apiServer:
          servingCerts:
            namedCertificates:
            - names:
              - xxx.example.com
              - yyy.example.com
              servingCertificate:
                name: <my_serving_certificate>
      kubeAPIServerDNSName: <custom_address>

    kubeAPIServerDNSName 매개변수의 값은 유효한 도메인이어야 합니다.

    kubeAPIServerDNSName 매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서 custom-admin- kubeconfig 라는 kubeconfig 파일을 생성합니다. 여기서 파일이 HostedControlPlane 네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며 HostedControlPlane 네임스페이스는 만료 및 갱신을 관리합니다.

    Control Plane Operator는 HostedControlPlane 네임스페이스에서 CustomKubeconfig 라는 새 kubeconfig 파일을 보고합니다. 해당 파일은 kubeAPIServerDNSName 매개변수에서 정의된 새 서버를 사용합니다.

    사용자 정의 kubeconfig 파일에 대한 참조는 HostedCluster 오브젝트의 CustomKubeconfig 로 status 매개변수에 있습니다. CustomKubeConfig 매개변수는 선택 사항이며 kubeAPIServerDNSName 매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다. CustomKubeConfig 매개변수를 설정한 후 매개변수는 HostedCluster 네임스페이스에서 < hosted_cluster_name>-custom-admin-kubeconfig 라는 보안 생성을 트리거합니다. 시크릿을 사용하여 HostedCluster API 서버에 액세스할 수 있습니다. 설치 후 작업 중에 CustomKubeConfig 매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.

    참고

    사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다. HostedControlPlane 네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.

    HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수를 제거하면 새로 생성된 모든 보안 및 CustomKubeconfig 참조가 클러스터 및 status 매개변수에서 제거됩니다.

4.3.5. InfraEnv 리소스 생성

베어 메탈에 호스팅 클러스터를 생성하려면 먼저 InfraEnv 리소스가 필요합니다.

호스팅된 컨트롤 플레인에서 컨트롤 플레인 구성 요소는 데이터 플레인이 전용 노드에서 실행되는 동안 관리 클러스터에서 Pod로 실행됩니다. 지원 서비스를 사용하여 하드웨어를 하드웨어 인벤토리에 추가하는 검색 ISO로 하드웨어를 부팅할 수 있습니다.

나중에 호스트 클러스터를 생성할 때 인벤토리의 하드웨어가 데이터 플레인 노드를 프로비저닝하는 데 사용됩니다. 검색 ISO를 가져오는 데 사용되는 오브젝트는 InfraEnv 리소스입니다. 검색 ISO에서 베어 메탈 노드를 부팅하도록 클러스터를 구성하는 BareMetalHost 오브젝트를 생성해야 합니다.

4.3.5.1. InfraEnv 리소스 생성 및 노드 추가

베어 메탈에서 호스팅 클러스터를 생성하기 전에 하드웨어가 올바르게 프로비저닝되도록 하려면 InfraEnv 리소스를 생성합니다. CLI(명령줄 인터페이스)를 사용하여 리소스를 생성하고 노드를 추가할 수 있습니다.

절차

  1. 다음 명령을 입력하여 하드웨어 인벤토리를 저장할 네임스페이스를 생성합니다.

    $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig create \
      namespace <namespace_example>

    다음과 같습니다.

    <directory_example>
    은 관리 클러스터의 kubeconfig 파일이 저장된 디렉터리의 이름입니다.
    <namespace_example>

    생성 중인 네임스페이스의 이름입니다(예: hardware-inventory ).

    출력 예

    namespace/hardware-inventory created

  2. 다음 명령을 입력하여 관리 클러스터의 풀 시크릿을 복사합니다.

    $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \
      -n openshift-config get secret pull-secret -o yaml \
      | grep -vE "uid|resourceVersion|creationTimestamp|namespace" \
      | sed "s/openshift-config/<namespace_example>/g" \
      | oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \
      -n <namespace> apply -f -

    다음과 같습니다.

    <directory_example>
    은 관리 클러스터의 kubeconfig 파일이 저장된 디렉터리의 이름입니다.
    <namespace_example>

    생성 중인 네임스페이스의 이름입니다(예: hardware-inventory ).

    출력 예

    secret/pull-secret created

  3. YAML 파일에 다음 콘텐츠를 추가하여 InfraEnv 리소스를 생성합니다.

    apiVersion: agent-install.openshift.io/v1beta1
    kind: InfraEnv
    metadata:
      name: hosted
      namespace: <namespace_example>
    spec:
      additionalNTPSources:
      - <ip_address>
      pullSecretRef:
        name: pull-secret
      sshAuthorizedKey: <ssh_public_key>
    # ...
  4. 다음 명령을 입력하여 YAML 파일에 변경 사항을 적용합니다.

    $ oc apply -f <infraenv_config>.yaml

    & lt;infraenv_config >를 파일 이름으로 바꿉니다.

  5. 다음 명령을 입력하여 InfraEnv 리소스가 생성되었는지 확인합니다.

    $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \
      -n <namespace_example> get infraenv hosted
  6. 다음 두 가지 방법 중 하나를 수행하여 베어 메탈 호스트를 추가합니다.

    • Metal3 Operator를 사용하지 않는 경우 InfraEnv 리소스에서 검색 ISO를 가져오고 다음 단계를 완료하여 호스트를 수동으로 부팅합니다.

      1. 다음 명령을 입력하여 라이브 ISO를 다운로드합니다.

        $ oc get infraenv -A
        $ oc get infraenv <namespace_example> -o jsonpath='{.status.isoDownloadURL}' -n <namespace_example> <iso_url>
      2. ISO를 부팅합니다. 노드는 지원 서비스와 통신하고 InfraEnv 리소스와 동일한 네임스페이스에 에이전트로 등록합니다.
      3. 각 에이전트에 대해 설치 디스크 ID와 호스트 이름을 설정하고 에이전트를 사용할 준비가 되었음을 나타내기 위해 승인합니다.

        1. 다음 명령을 입력하여 호스팅된 컨트롤 플레인 네임스페이스의 에이전트를 가져옵니다.

          $ oc -n <hosted_control_plane_namespace> get agents

          이 예에서는 두 개의 에이전트가 나열됩니다.

          출력 예

          NAME                                   CLUSTER   APPROVED   ROLE          STAGE
          example-agent-1                        auto-assign
          example-agent-2                        auto-assign

        2. 다음 명령을 입력하여 첫 번째 에이전트의 설치 디스크 ID 및 호스트 이름을 설정합니다.

          $ oc -n <hosted_control_plane_namespace> \
            patch agent example-agent-1 \
            -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-0.example.krnl.es"}}' \
            --type merge
        3. 다음 명령을 입력하여 두 번째 에이전트의 설치 디스크 ID 및 호스트 이름을 설정합니다.

          $ oc -n <hosted_control_plane_namespace> \
            patch agent example-agent-2 -p \
            '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-1.example.krnl.es"}}' \
            --type merge
    • Metal3 Operator를 사용하는 경우 다음 오브젝트를 생성하여 베어 메탈 호스트 등록을 자동화할 수 있습니다.

      1. YAML 파일을 생성하고 다음 콘텐츠를 추가합니다.

        apiVersion: v1
        kind: Secret
        metadata:
          name: hosted-worker0-bmc-secret
          namespace: <namespace_example>
        data:
          password: <password>
          username: <username>
        type: Opaque
        ---
        apiVersion: v1
        kind: Secret
        metadata:
          name: hosted-worker1-bmc-secret
          namespace: <namespace_example>
        data:
          password: <password>
          username: <username>
        type: Opaque
        ---
        apiVersion: v1
        kind: Secret
        metadata:
          name: hosted-worker2-bmc-secret
          namespace: <namespace_example>
        data:
          password: <password>
          username: <username>
        type: Opaque
        ---
        apiVersion: metal3.io/v1alpha1
        kind: BareMetalHost
        metadata:
          name: hosted-worker0
          namespace: <namespace_example>
          labels:
            infraenvs.agent-install.openshift.io: hosted
          annotations:
            inspect.metal3.io: disabled
            bmac.agent-install.openshift.io/hostname: hosted-worker0
        spec:
          automatedCleaningMode: disabled
          bmc:
            disableCertificateVerification: True
            address: <bmc_address>
            credentialsName: hosted-worker0-bmc-secret
          bootMACAddress: aa:aa:aa:aa:02:01
          online: true
        ---
        apiVersion: metal3.io/v1alpha1
        kind: BareMetalHost
        metadata:
          name: hosted-worker1
          namespace: <namespace_example>
          labels:
            infraenvs.agent-install.openshift.io: hosted
          annotations:
            inspect.metal3.io: disabled
            bmac.agent-install.openshift.io/hostname: hosted-worker1
        spec:
          automatedCleaningMode: disabled
          bmc:
            disableCertificateVerification: True
            address: <bmc_address>
            credentialsName: hosted-worker1-bmc-secret
          bootMACAddress: aa:aa:aa:aa:02:02
          online: true
        ---
        apiVersion: metal3.io/v1alpha1
        kind: BareMetalHost
        metadata:
          name: hosted-worker2
          namespace: <namespace_example>
          labels:
            infraenvs.agent-install.openshift.io: hosted
          annotations:
            inspect.metal3.io: disabled
            bmac.agent-install.openshift.io/hostname: hosted-worker2
        spec:
          automatedCleaningMode: disabled
          bmc:
            disableCertificateVerification: True
            address: <bmc_address>
            credentialsName: hosted-worker2-bmc-secret
          bootMACAddress: aa:aa:aa:aa:02:03
          online: true
        ---
        apiVersion: rbac.authorization.k8s.io/v1
        kind: Role
        metadata:
          name: capi-provider-role
          namespace: <namespace_example>
        rules:
        - apiGroups:
          - agent-install.openshift.io
          resources:
          - agents
          verbs:
          - '*'

        다음과 같습니다.

        <namespace_example>
        해당 네임스페이스입니다.
        <password>
        은 시크릿의 암호입니다.
        <username>
        시크릿의 사용자 이름입니다.
        <bmc_address>

        BareMetalHost 오브젝트의 BMC 주소입니다.

        참고

        이 YAML 파일을 적용하면 다음 오브젝트가 생성됩니다.

        • BMC(Baseboard Management Controller)에 대한 인증 정보가 있는 시크릿
        • BareMetalHost 오브젝트
        • HyperShift Operator가 에이전트를 관리할 수 있는 역할

        infraenvs.agent-install.openshift.io: 호스팅 사용자 정의 레이블을 사용하여 BareMetalHost 오브젝트에서 InfraEnv 리소스를 참조하는 방법을 확인합니다. 이렇게 하면 노드가 ISO가 생성된 상태로 부팅됩니다.

      2. 다음 명령을 입력하여 YAML 파일에 변경 사항을 적용합니다.

        $ oc apply -f <bare_metal_host_config>.yaml

        & lt;bare_metal_host_config& gt;를 파일 이름으로 바꿉니다.

  7. 다음 명령을 입력한 다음 BareMetalHost 오브젝트가 프로비저닝 상태로 이동할 때까지 몇 분 정도 기다립니다.

    $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig -n <namespace_example> get bmh

    출력 예

    NAME             STATE          CONSUMER   ONLINE   ERROR   AGE
    hosted-worker0   provisioning              true             106s
    hosted-worker1   provisioning              true             106s
    hosted-worker2   provisioning              true             106s

  8. 다음 명령을 입력하여 노드가 부팅되고 에이전트로 표시되는지 확인합니다. 이 프로세스에는 몇 분이 걸릴 수 있으며, 명령을 두 번 이상 입력해야 할 수 있습니다.

    $ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig -n <namespace_example> get agent

    출력 예

    NAME                                   CLUSTER   APPROVED   ROLE          STAGE
    aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0201             true       auto-assign
    aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0202             true       auto-assign
    aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0203             true       auto-assign

4.3.5.2. 콘솔을 사용하여 InfraEnv 리소스 생성

OpenShift Container Platform 웹 콘솔을 사용하려면 베어 메탈에서 호스팅된 클러스터에 대한 InfraEnv 리소스를 생성하는 데 사용할 수 있습니다.

절차

  1. OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다. 콘솔을 여는 지침은 "웹 콘솔 액세스"를 참조하십시오.
  2. 콘솔 헤더에서 모든 클러스터 가 선택되어 있는지 확인합니다.
  3. 인프라 호스트 인벤토리 인프라 환경 생성 을 클릭합니다.
  4. InfraEnv 리소스를 생성한 후 Add hosts 를 클릭하고 사용 가능한 옵션에서 선택하여 InfraEnv 보기 내에서 베어 메탈 호스트를 추가합니다.

4.3.6. 베어 메탈에서 호스트 클러스터 생성

CLI(명령줄 인터페이스), 콘솔을 사용하거나 미러 레지스트리를 사용하여 에이전트 플랫폼으로 베어 메탈에 호스팅된 클러스터를 생성할 수 있습니다.

4.3.6.1. CLI를 사용하여 호스트된 클러스터 생성

베어 메탈 인프라에서는 CLI(명령줄 인터페이스)를 사용하여 호스팅된 클러스터를 가져오거나 생성할 수 있습니다.

지원 설치 관리자를 다중 클러스터 엔진 Operator에 대한 애드온으로 활성화하고 에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성한 후 HyperShift Operator는 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다. 에이전트 클러스터 API 공급자는 컨트롤 플레인과 컴퓨팅 노드로 구성된 호스팅 클러스터를 호스팅하는 관리 클러스터를 연결합니다.

사전 요구 사항

  • 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스팅된 클러스터 이름은 기존 관리 클러스터와 같을 수 없습니다. 그러지 않으면 다중 클러스터 엔진 Operator가 호스팅된 클러스터를 관리할 수 없습니다.
  • 클러스터를 호스팅 클러스터 이름으로 사용하지 마십시오.
  • 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성할 수 없습니다.
  • 최상의 보안 및 관리 관행을 위해 다른 호스팅 클러스터와 별도로 호스팅 클러스터를 생성합니다.
  • 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC(영구 볼륨 클레임)가 표시될 수 있습니다.
  • 기본적으로 hcp create cluster agent 명령을 사용하면 명령이 구성된 노드 포트로 호스팅된 클러스터를 생성합니다. 베어 메탈의 호스트 클러스터의 기본 게시 전략은 로드 밸런서를 통해 서비스를 노출합니다. 웹 콘솔을 사용하거나 Red Hat Advanced Cluster Management를 사용하여 호스팅 클러스터를 생성하는 경우 Kubernetes API 서버 이외의 서비스에 게시 전략을 설정하려면 HostedCluster 사용자 정의 리소스에서 servicePublishingStrategy 정보를 수동으로 지정해야 합니다.
  • 인프라, 방화벽, 포트 및 서비스와 관련된 요구 사항이 포함된 "하위 메탈의 호스팅 컨트롤 플레인에 대한 요구 사항 필요"에 설명된 요구 사항을 충족해야 합니다. 예를 들어, 이러한 요구 사항은 다음 예제 명령과 같이 관리 클러스터의 베어 메탈 호스트에 적절한 영역 레이블을 추가하는 방법을 설명합니다.

    $ oc label node [compute-node-1] topology.kubernetes.io/zone=zone1
    $ oc label node [compute-node-2] topology.kubernetes.io/zone=zone2
    $ oc label node [compute-node-3] topology.kubernetes.io/zone=zone3
  • 하드웨어 인벤토리에 베어 메탈 노드를 추가해야 합니다.

프로세스

  1. 다음 명령을 입력하여 네임스페이스를 생성합니다.

    $ oc create ns <hosted_cluster_namespace>

    & lt;hosted_cluster_namespace&gt;를 호스팅된 클러스터 네임스페이스의 식별자로 바꿉니다. HyperShift Operator는 네임스페이스를 생성합니다. 베어 메탈 인프라에서 호스팅된 클러스터 생성 프로세스 중에 생성된 Cluster API 공급자 역할에 네임스페이스가 이미 있어야 합니다.

  2. 다음 명령을 입력하여 호스팅된 클러스터에 대한 구성 파일을 생성합니다.

    $ hcp create cluster agent \
      --name=<hosted_cluster_name> \
      --pull-secret=<path_to_pull_secret> \
      --agent-namespace=<hosted_control_plane_namespace> \
      --base-domain=<base_domain> \
      --api-server-address=api.<hosted_cluster_name>.<base_domain> \
      --etcd-storage-class=<etcd_storage_class> \
      --ssh-key=<path_to_ssh_key> \
      --namespace=<hosted_cluster_namespace> \
      --control-plane-availability-policy=HighlyAvailable \
      --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \
      --node-pool-replicas=<node_pool_replica_count> \
      --disable-cluster-capabilities=<capability> \
      --enable-cluster-capabilities=<capability> \
      --render \
      --render-sensitive > hosted-cluster-config.yaml

    다음과 같습니다.

    • --name 은 호스트된 클러스터의 이름을 지정합니다( 예: ).
    • --pull-secret 은 /user/name/pullsecret 과 같은 풀 시크릿의 경로를 지정합니다.
    • --agent-namespace 는 호스트된 컨트롤 플레인 네임스페이스(예: cluster -example )를 지정합니다. oc get agent -n <hosted_control_plane_namespace> 명령을 사용하여 이 네임스페이스 에서 에이전트를 사용할 수 있는지 확인합니다.
    • --base-domain 은 krnl.es 와 같은 기본 도메인을 지정합니다.
    • --API-server-address 는 호스팅된 클러스터의 Kubernetes API 통신에 사용할 IP 주소를 지정합니다. --api-server-address 플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다.
    • --etcd-storage-class 는 lvm-storageclass 와 같은 etcd 스토리지 클래스 이름을 지정합니다.
    • --SSH-key 는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는 ~/.ssh/id_rsa.pub 입니다.
    • --namespace 는 호스팅된 클러스터 네임스페이스를 지정합니다.
    • --control-plane-availability-policy 는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은 SingleReplica 및 HighlyAvailable 입니다. 기본값은 HighlyAvailable 입니다.
    • --release-image 는 사용하려는 지원되는 OpenShift Container Platform 버전 (예: 5.0.0-multi )을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 < ocp_release_image >를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "릴리스 이미지 다이제스트 추출"을 참조하십시오.
    • --node-pool-replicas 는 3 과 같은 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를 0 이상으로 지정해야 합니다. 그렇지 않으면 노드 풀을 생성하지 않습니다.
    • --disable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --render 는 클러스터에 리소스를 적용하는 대신 출력을 stdout에 YAML로 렌더링합니다. 기본적으로 보안은 렌더링된 출력에 포함되지 않습니다.
    • --render-sensitive 에는 --render 플래그와 함께 사용할 때 렌더링된 출력에 시크릿이 포함됩니다.
  3. 서비스 게시 전략을 구성합니다. 노드 포트는 추가 인프라 없이 항상 사용할 수 있으므로 호스트된 클러스터는 NodePort 서비스 게시 전략을 사용합니다. 그러나 로드 밸런서를 사용하도록 서비스 게시 전략을 구성할 수 있습니다.

    • 기본 NodePort 전략을 사용하는 경우 관리 클러스터 노드가 아닌 호스팅 클러스터 컴퓨팅 노드를 가리키도록 DNS를 구성합니다. 자세한 내용은 " bare metal의 DNS 구성"을 참조하십시오.
    • 프로덕션 환경의 경우 이 전략이 인증서 처리 및 자동 DNS 확인을 제공하므로 LoadBalancer 전략을 사용합니다. 다음 예제에서는 호스팅된 클러스터 구성 파일에서 LoadBalancer 전략을 변경하는 방법을 보여줍니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
      # ...
      spec:
        services:
        - service: APIServer
          servicePublishingStrategy:
            type: LoadBalancer
        - service: Ignition
          servicePublishingStrategy:
            type: Route
        - service: Konnectivity
          servicePublishingStrategy:
            type: Route
        - service: OAuthServer
          servicePublishingStrategy:
            type: Route
        - service: OIDC
          servicePublishingStrategy:
            type: Route
        sshKey:
          name: <ssh_key>
      # ...

      LoadBalancer 를 API 서버 유형으로 지정합니다. 기타 모든 서비스에 대해 Route 를 유형으로 지정합니다.

  4. 외부 로드 밸런서를 사용하는 경우 다음 예에 표시된 대로 Ingress 끝점을 구성합니다. 끝점을 구성하지 않으면 기본 동작은 서비스에서 수신을 노출하는 노드 포트를 임의화하는 것입니다. Ingress 컨트롤러에서 기본 수신 경로를 게시하는 방법을 구성하려면 HostedCluster 리소스를 편집하여 endpointPublishingStrategy 매개변수 및 기본 기능을 설정합니다.

    apiVersion: hypershift.openshift.io/v1beta1
    kind: HostedCluster
    metadata:
    #...
    spec:
      operatorConfiguration:
        ingressOperator:
          endpointPublishingStrategy:
            hostNetwork:
              httpPort: 80
              httpsPort: 443
              protocol: TCP
              statsPort: 1936
            type: HostNetwork
    #...

    spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type 매개변수는 로드 밸런서의 끝점을 지정합니다. 베어 메탈 설치의 경우 HostNetwork 유형을 사용합니다.

  5. 다음 명령을 입력하여 호스팅 클러스터 구성 파일에 변경 사항을 적용합니다.

    $ oc apply -f hosted_cluster_config.yaml
  6. 다음 명령을 입력하여 호스팅된 클러스터, 노드 풀 및 Pod 생성을 확인합니다.

    $ oc get hostedcluster \
      <hosted_cluster_namespace> -n \
      <hosted_cluster_namespace> -o \
      jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .
    $ oc get nodepool \
      <hosted_cluster_namespace> -n \
      <hosted_cluster_namespace> -o \
      jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .
    $ oc get pods -n <hosted_cluster_namespace>
  7. 호스트 클러스터가 준비되었는지 확인합니다. Available: True 는 클러스터의 준비 상태를 나타내며 노드 풀 상태에 AllMachinesReady: True 가 표시됩니다. 이러한 상태는 모든 클러스터 Operator의 상태를 나타냅니다.
  8. 호스팅된 클러스터에 MetalLB를 설치합니다.

    1. 호스트 클러스터에서 kubeconfig 파일을 추출하고 다음 명령을 입력하여 호스팅된 클러스터 액세스의 환경 변수를 설정합니다.

      $ oc get secret \
        <hosted_cluster_namespace>-admin-kubeconfig \
        -n <hosted_cluster_namespace> \
        -o jsonpath='{.data.kubeconfig}' \
        | base64 -d > \
        kubeconfig-<hosted_cluster_namespace>.yaml
      $ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"
    2. install-metallb-operator.yaml 파일을 생성하여 MetalLB Operator를 설치합니다.

      apiVersion: v1
      kind: Namespace
      metadata:
        name: metallb-system
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: metallb-operator
        namespace: metallb-system
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator
        namespace: metallb-system
      spec:
        channel: "stable"
        name: metallb-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace
        installPlanApproval: Automatic
      # ...
    3. 다음 명령을 입력하여 파일을 적용합니다.

      $ oc apply -f install-metallb-operator.yaml
    4. deploy-metallb-ipaddresspool.yaml 파일을 생성하여 MetalLB IP 주소 풀을 구성합니다.

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: metallb
        namespace: metallb-system
      spec:
        autoAssign: true
        addresses:
        - 10.11.176.71-10.11.176.75
      ---
      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: l2advertisement
        namespace: metallb-system
      spec:
        ipAddressPools:
        - metallb
      # ...
    5. 다음 명령을 입력하여 구성을 적용합니다.

      $ oc apply -f deploy-metallb-ipaddresspool.yaml
    6. 다음 명령을 입력하여 Operator 상태, IP 주소 풀, L2Advertisement 리소스를 확인하여 MetalLB의 설치를 확인합니다.

      $ oc get pods -n metallb-system
      $ oc get ipaddresspool -n metallb-system
      $ oc get l2advertisement -n metallb-system
  9. Ingress에 대한 로드 밸런서를 구성합니다.

    1. ingress-loadbalancer.yaml 파일을 생성합니다.

      apiVersion: v1
      kind: Service
      metadata:
        annotations:
          metallb.universe.tf/address-pool: metallb
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer
      # ...
    2. 다음 명령을 입력하여 구성을 적용합니다.

      $ oc apply -f ingress-loadbalancer.yaml
    3. 다음 명령을 입력하여 로드 밸런서 서비스가 예상대로 작동하는지 확인합니다.

      $ oc get svc metallb-ingress -n openshift-ingress

      출력 예

      NAME              TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
      metallb-ingress   LoadBalancer   172.31.127.129   10.11.176.71   80:30961/TCP,443:32090/TCP   16h

  10. 로드 밸런서에서 작동하도록 DNS를 구성합니다.

    1. 로드 밸런서 IP 주소에 *. apps.<hosted_cluster_namespace>.<base_domain > 와일드카드 DNS 레코드를 가리켜 apps 도메인의 DNS를 구성합니다.
    2. 다음 명령을 입력하여 DNS 확인을 확인합니다.

      $ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>

      출력 예

      Server:         10.11.176.1
      Address:        10.11.176.1#53
      
      Name:   console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com
      Address: 10.11.176.71

검증

  1. 다음 명령을 입력하여 클러스터 Operator를 확인합니다.

    $ oc get clusteroperators

    모든 Operator에 AVAILABLE: True,PROGRESSING: False, DEGRADED: False 가 표시되는지 확인합니다.

  2. 다음 명령을 입력하여 노드를 확인합니다.

    $ oc get nodes

    각 노드에 READY 상태가 있는지 확인합니다.

  3. 웹 브라우저에 다음 URL을 입력하여 콘솔에 대한 액세스를 테스트합니다.

    https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>

4.3.6.2. 콘솔을 사용하여 베어 메탈에서 호스트 클러스터 생성

명령줄 인터페이스를 사용하여 베어 메탈에서 호스팅된 클러스터를 생성하는 대신 OpenShift Container Platform 웹 콘솔을 사용할 수도 있습니다.

절차

  1. OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다. 콘솔을 여는 지침은 "웹 콘솔 액세스"를 참조하십시오.
  2. 콘솔 헤더에서 모든 클러스터 가 선택되어 있는지 확인합니다.
  3. 인프라 클러스터를 클릭합니다.
  4. 클러스터 호스트 인벤토리 호스팅 컨트롤 플레인 생성 을 클릭합니다.

    클러스터 생성 페이지가 표시됩니다.

  5. 클러스터 생성 페이지에서 프롬프트에 따라 클러스터, 노드 풀, 네트워킹 및 자동화에 대한 세부 정보를 입력합니다.

    참고

    클러스터에 대한 세부 정보를 입력하면 다음 팁이 유용할 수 있습니다.

    • 사전 정의된 값을 사용하여 콘솔에서 필드를 자동으로 채우려면 호스트 인벤토리 인증 정보를 생성할 수 있습니다. 자세한 내용은 "온-프레미스 환경에 대한 인증 정보 생성"을 참조하십시오.
    • 클러스터 세부 정보 페이지에서 풀 시크릿은 OpenShift Container Platform 리소스에 액세스하는 데 사용하는 OpenShift Container Platform 풀 시크릿입니다. 호스트 인벤토리 인증 정보를 선택한 경우 가져오기 보안이 자동으로 채워집니다.
    • 노드 풀 페이지에서 네임스페이스에는 노드 풀의 호스트가 포함되어 있습니다. 콘솔을 사용하여 호스트 인벤토리를 생성한 경우 콘솔은 전용 네임스페이스를 생성합니다.
    • 네트워킹 페이지에서 API 서버 게시 전략을 선택합니다. 호스팅된 클러스터의 API 서버는 기존 로드 밸런서를 사용하거나 NodePort 유형의 서비스로 노출될 수 있습니다. API 서버에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<base_domain > 설정에 대한 DNS 항목이 있어야 합니다. 이 항목은 관리 클러스터의 노드 중 하나를 가리키는 레코드이거나 수신 트래픽을 Ingress pod로 리디렉션하는 로드 밸런서를 가리키는 레코드일 수 있습니다.
  6. 항목을 검토하고 생성 을 클릭합니다.

    호스팅된 클러스터 보기가 표시됩니다.

  7. Hosted 클러스터 보기에서 호스팅된 클러스터의 배포를 모니터링합니다.
  8. 호스팅된 클러스터에 대한 정보가 표시되지 않는 경우 모든 클러스터가 선택되어 있는지 확인한 다음 클러스터 이름을 클릭합니다.
  9. 컨트롤 플레인 구성 요소가 준비될 때까지 기다립니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다.
  10. 노드 풀 상태를 보려면 NodePool 섹션으로 스크롤합니다. 노드를 설치하는 프로세스에는 약 10분이 걸립니다. 노드를 클릭하여 노드가 호스팅된 클러스터에 참여하고 있는지 확인할 수도 있습니다.

미러 레지스트리를 사용하여 hcp create cluster 명령에 --image-content-sources 플래그를 지정하여 베어 메탈에 호스팅 클러스터를 생성할 수 있습니다.

프로세스

  1. YAML 파일을 생성하여 ICSP(Image Content Source Policies)를 정의합니다. 다음 예제를 참조하십시오.

    - mirrors:
      - brew.registry.redhat.io
      source: registry.redhat.io
    - mirrors:
      - brew.registry.redhat.io
      source: registry.stage.redhat.io
    - mirrors:
      - brew.registry.redhat.io
      source: registry-proxy.engineering.redhat.com
  2. 파일을 icsp.yaml 로 저장합니다. 이 파일에는 미러 레지스트리가 포함되어 있습니다.
  3. 미러 레지스트리를 사용하여 호스팅된 클러스터를 생성하려면 다음 명령을 실행합니다.

    $ hcp create cluster agent \
        --name=<hosted_cluster_name> \
        --pull-secret=<path_to_pull_secret> \
        --agent-namespace=<hosted_control_plane_namespace> \
        --base-domain=<base_domain> \
        --api-server-address=api.<hosted_cluster_name>.<base_domain> \
        --image-content-sources <icsp.yaml>  \
        --ssh-key  <path_to_ssh_key> \
        --namespace <hosted_cluster_namespace> \
        --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>

    다음과 같습니다.

    <hosted_cluster_name>
    호스트 클러스터의 이름을 지정합니다(예: my-hosted-cluster ).
    <path_to_pull_secret>
    풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    <hosted_control_plane_namespace>
    호스팅된 컨트롤 플레인 네임스페이스를 지정합니다(예: cluster -example ). oc get agent -n <hosted-control-plane-namespace> 명령을 사용하여 이 네임스페이스 에서 에이전트를 사용할 수 있는지 확인합니다.
    <base_domain>
    기본 도메인을 지정합니다(예: krnl.es ).
    <hosted_cluster_name>.<base_domain>
    호스팅된 클러스터에서 Kubernetes API 통신에 사용되는 IP 주소를 지정합니다. --api-server-address 플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다.
    <icsp.yaml>
    ICSP 및 미러 레지스트리를 정의하는 icsp.yaml 파일을 지정합니다.
    <path_to_ssh_key>
    SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는 ~/.ssh/id_rsa.pub 입니다.
    <hosted_cluster_namespace>
    호스팅된 클러스터 네임스페이스를 지정합니다.
    <ocp_release_image>
    사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예: 5.0.0-multi ). 연결이 끊긴 환경을 사용하는 경우 < ocp_release_image >를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "OpenShift Container Platform 릴리스 이미지 다이제스트 추출"을 참조하십시오.

4.3.7. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.3.7.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

4.3.8. 호스트된 클러스터 생성 확인

배포 프로세스가 완료되면 호스트 클러스터가 성공적으로 생성되었는지 확인할 수 있습니다.

호스트 클러스터를 생성한 후 절차의 단계를 시작하기 전에 몇 분 정도 기다립니다.

절차

  1. extract 명령을 입력하여 새 호스팅 클러스터에 대한 kubeconfig를 가져옵니다.

    $ oc extract -n <hosted-control-plane-namespace> secret/admin-kubeconfig \
      --to=- > kubeconfig-<hosted-cluster-name>
  2. kubeconfig를 사용하여 호스팅된 클러스터의 클러스터 Operator를 확인합니다. 다음 명령을 실행합니다.

    $ oc get co --kubeconfig=kubeconfig-<hosted-cluster-name>

    출력 예

    NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
    console                                    4.10.26   True        False         False      2m38s
    dns                                        4.10.26   True        False         False      2m52s
    image-registry                             4.10.26   True        False         False      2m8s
    ingress                                    4.10.26   True        False         False      22m

  3. 다음 명령을 입력하여 호스팅 클러스터에서 실행 중인 Pod를 볼 수도 있습니다.

    $ oc get pods -A --kubeconfig=kubeconfig-<hosted-cluster-name>

    출력 예

    NAMESPACE                                          NAME                                                      READY   STATUS             RESTARTS        AGE
    kube-system                                        konnectivity-agent-khlqv                                  0/1     Running            0               3m52s
    openshift-cluster-node-tuning-operator             tuned-dhw5p                                               1/1     Running            0               109s
    openshift-cluster-storage-operator                 cluster-storage-operator-5f784969f5-vwzgz                 1/1     Running            1 (113s ago)    20m
    openshift-cluster-storage-operator                 csi-snapshot-controller-6b7687b7d9-7nrfw                  1/1     Running            0               3m8s
    openshift-console                                  console-5cbf6c7969-6gk6z                                  1/1     Running            0               119s
    openshift-console                                  downloads-7bcd756565-6wj5j                                1/1     Running            0               4m3s
    openshift-dns-operator                             dns-operator-77d755cd8c-xjfbn                             2/2     Running            0               21m
    openshift-dns                                      dns-default-kfqnh                                         2/2     Running            0               113s

4.4. OpenShift Virtualization에 호스팅된 컨트롤 플레인 배포

호스팅된 컨트롤 플레인 및 OpenShift Virtualization을 사용하면 KubeVirt 가상 머신에서 호스팅하는 작업자 노드로 OpenShift Container Platform 클러스터를 생성할 수 있습니다.

OpenShift Virtualization에서 호스팅되는 컨트롤 플레인은 다음과 같은 몇 가지 이점을 제공합니다.

  • 동일한 기본 베어 메탈 인프라에서 호스트된 컨트롤 플레인 및 호스팅된 클러스터를 패키징하여 리소스 사용량 개선
  • 강력한 격리를 제공하기 위해 호스팅되는 컨트롤 플레인과 호스팅 클러스터를 분리
  • 베어 메탈 노드 부트스트랩 프로세스를 제거하여 클러스터 프로비저닝 시간 단축
  • 동일한 기본 OpenShift Container Platform 클러스터에서 많은 릴리스 관리

호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다.

호스팅된 컨트롤 플레인 명령줄 인터페이스 hcp 를 사용하여 OpenShift Container Platform 호스팅 클러스터를 생성할 수 있습니다. 호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.

OpenShift Virtualization에서 OpenShift Container Platform 클러스터를 생성하려면 여러 사전 요구 사항을 충족해야 합니다.

  • KUBECONFIG 환경 변수에 지정된 OpenShift Container Platform 클러스터 버전 4.14 이상에 대한 관리자 액세스 권한이 있어야 합니다. IBM Z(s390x)의 경우 클러스터 버전은 4.22 이상이어야 합니다.
  • OpenShift Container Platform 관리 클러스터에는 다음 명령에 표시된 대로 와일드카드 DNS 경로가 활성화되어 있어야 합니다.

    $ oc patch ingresscontroller -n openshift-ingress-operator default \
      --type=json \
      -p '[{ "op": "add", "path": "/spec/routeAdmission", "value": {wildcardPolicy: "WildcardsAllowed"}}]'
  • OpenShift Container Platform 관리 클러스터에는 OpenShift Virtualization, 버전 4.14 이상이 설치되어 있습니다. IBM Z(s390x)의 경우 OpenShift Virtualization 버전 4.22 이상이 필요합니다. 자세한 내용은 "웹 콘솔을 사용하여 OpenShift Virtualization 설치"를 참조하십시오.
  • OpenShift Container Platform 관리 클러스터는 온프레미스 베어 메탈입니다.
  • IBM Z(s390x)의 경우 OpenShift Container Platform 관리 클러스터가 논리 파티션(LPAR)에 설치되어 있어야 합니다.
  • OpenShift Container Platform 관리 클러스터는 OVNKubernetes 를 기본 Pod 네트워크 CNI(Container Network Interface)로 사용하여 구성해야 합니다. CNI가 OVN-Kubernetes인 경우에만 노드에서 실시간 마이그레이션이 지원됩니다.
  • OpenShift Container Platform 관리 클러스터에는 기본 스토리지 클래스가 있습니다. 자세한 내용은 "Postinstallation storage configuration"을 참조하십시오. 다음 예제에서는 기본 스토리지 클래스를 설정하는 방법을 보여줍니다.

    $ oc patch storageclass ocs-storagecluster-ceph-rbd \
      -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
  • 호스트된 컨트롤 플레인에 대한 스토리지를 구성할 때 권장 etcd 사례를 고려하십시오. 대기 시간 요구 사항을 충족하는지 확인하려면 각 컨트롤 플레인 노드에서 실행되는 모든 호스팅 컨트롤 플레인 etcd 인스턴스에 빠른 스토리지 장치를 전용으로 지정합니다. LVM 스토리지를 사용하여 호스팅된 etcd pod의 로컬 스토리지 클래스를 구성할 수 있습니다. 자세한 내용은 "Recommended etcd practices" 및 "Persistent storage using Logical Volume Manager storage"를 참조하십시오.
  • OpenShift Virtualization 가상 머신을 호스팅하는 OpenShift Container Platform 클러스터에서 실시간 마이그레이션을 활성화하려면 RWX( ReadWriteMany ) 스토리지 클래스를 사용해야 합니다.
  • quay.io/openshift-release-dev 리포지토리에 유효한 풀 시크릿 파일이 있습니다. 자세한 내용은 "사용자 프로비저닝 인프라가 있는 x86_64 플랫폼에 OpenShift 설치"를 참조하십시오.
  • 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치했습니다.
  • 로드 밸런서를 구성했습니다. 자세한 내용은 " MetalLB 구성"을 참조하십시오.
  • 최적의 네트워크 성능을 위해 KubeVirt 가상 머신을 호스팅하는 OpenShift Container Platform 클러스터에서 네트워크 최대 전송 단위(MTU)를 사용하고 있습니다. 더 낮은 MTU 설정을 사용하는 경우 호스트된 Pod의 네트워크 대기 시간과 처리량이 영향을 받습니다. MTU가 9000 이상인 경우에만 노드 풀에서 멀티 큐를 활성화합니다.

    중요

    클러스터의 MTU 값은 설치 후 작업으로 변경할 수 없습니다.

  • 다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있습니다. local-cluster 가 자동으로 가져옵니다. local-cluster 에 대한 자세한 내용은 다중 클러스터 엔진 Operator 설명서의 "고급 구성"을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.

    $ oc get managedclusters local-cluster
  • 각 호스팅 클러스터에 클러스터 전체 이름이 있는지 확인합니다.
  • 클러스터를 호스팅 클러스터 이름으로 사용하지 마십시오.
  • 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성하지 마십시오.

4.4.1.1. OpenShift Virtualization 방화벽 및 포트 요구 사항

포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽 및 포트 요구 사항을 충족하는지 확인합니다.

  • kube-apiserver 서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간의 통신을 위해 수신 액세스가 필요합니다.

    • NodePort 게시 전략을 사용하는 경우 kube-apiserver 서비스에 할당된 노드 포트가 노출되어 있는지 확인합니다.
    • MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
  • NodePort 게시 전략을 사용하는 경우 ignition-server 및 Oauth-server 설정에 방화벽 규칙을 사용합니다.
  • 호스팅된 클러스터에서 양방향 통신을 허용하도록 역방향 터널을 설정하는 konnectivity 에이전트에는 포트 6443의 클러스터 API 서버 주소에 대한 송신 액세스가 필요합니다. 이 송신 액세스를 사용하면 에이전트가 kube-apiserver 서비스에 도달할 수 있습니다.

    • 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
    • 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
  • 기본 6443 포트를 변경하는 경우 해당 변경 사항을 반영하도록 규칙을 조정합니다.
  • 클러스터에서 실행되는 워크로드에 필요한 모든 포트를 열어야 합니다.
  • 방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오.
  • 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.

4.4.2. 컴퓨팅 노드를 위한 실시간 마이그레이션

호스트된 클러스터 가상 머신(VM)의 관리 클러스터는 업데이트 또는 유지 관리 수행 중이지만 호스트된 클러스터 VM은 호스트된 클러스터 워크로드 중단을 방지하기 위해 자동으로 실시간 마이그레이션될 수 있습니다.

결과적으로 KubeVirt 플랫폼 호스팅 클러스터의 가용성 및 작동에 영향을 미치지 않고 관리 클러스터를 업데이트할 수 있습니다.

중요

VM이 root 볼륨 및 kubevirt-csi CSI 공급자에 매핑되는 스토리지 클래스에 대해 RWX( ReadWriteMany ) 스토리지를 사용하는 경우 KubeVirt VM의 실시간 마이그레이션이 기본적으로 활성화됩니다.

NodePool 오브젝트의 status 섹션에서 KubeVirtNodesLiveMigratable 조건을 확인하여 노드 풀의 VM을 실시간 마이그레이션할 수 있는지 확인할 수 있습니다.

다음 예제에서는 RWX 스토리지가 사용되지 않기 때문에 VM을 실시간 마이그레이션할 수 없습니다.

VM을 실시간 마이그레이션할 수 없는 구성의 예

    - lastTransitionTime: "2024-10-08T15:38:19Z"
      message: |
        3 of 3 machines are not live migratable
        Machine user-np-ngst4-gw2hz: DisksNotLiveMigratable: user-np-ngst4-gw2hz is not a live migratable machine: cannot migrate VMI: PVC user-np-ngst4-gw2hz-rhcos is not shared, live migration requires that all PVCs must be shared (using ReadWriteMany access mode)
        Machine user-np-ngst4-npq7x: DisksNotLiveMigratable: user-np-ngst4-npq7x is not a live migratable machine: cannot migrate VMI: PVC user-np-ngst4-npq7x-rhcos is not shared, live migration requires that all PVCs must be shared (using ReadWriteMany access mode)
        Machine user-np-ngst4-q5nkb: DisksNotLiveMigratable: user-np-ngst4-q5nkb is not a live migratable machine: cannot migrate VMI: PVC user-np-ngst4-q5nkb-rhcos is not shared, live migration requires that all PVCs must be shared (using ReadWriteMany access mode)
      observedGeneration: 1
      reason: DisksNotLiveMigratable
      status: "False"
      type: KubeVirtNodesLiveMigratable

다음 예에서 VM은 실시간 마이그레이션 요구 사항을 충족합니다.

VM을 실시간으로 마이그레이션할 수 있는 구성 예

    - lastTransitionTime: "2024-10-08T15:38:19Z"
      message: "All is well"
      observedGeneration: 1
      reason: AsExpected
      status: "True"
      type: KubeVirtNodesLiveMigratable

실시간 마이그레이션은 정상적인 상황에서 VM을 중단하지 않도록 보호할 수 있지만 인프라 노드 장애와 같은 이벤트는 실패한 노드에서 호스팅되는 모든 VM을 다시 시작할 수 있습니다. 실시간 마이그레이션이 성공하려면 VM이 호스팅되는 소스 노드가 올바르게 작동해야 합니다.

노드 풀의 VM을 실시간 마이그레이션할 수 없는 경우 관리 클러스터에서 유지 관리하는 동안 호스트된 클러스터에서 워크로드 중단이 발생할 수 있습니다. 기본적으로 호스팅되는 컨트롤 플레인 컨트롤러는 VM을 중지하기 전에 실시간 마이그레이션할 수 없는 KubeVirt VM에서 호스팅되는 워크로드를 드레이닝하려고 합니다. VM을 중지하기 전에 호스팅된 클러스터 노드를 드레이닝하면 Pod 중단 예산으로 인해 호스팅된 클러스터 내에서 워크로드 가용성을 보호할 수 있습니다.

4.4.3. Configuring MetalLB

KubeVirt 플랫폼에서 호스팅된 클러스터를 생성하려면 MetalLB 로드 밸런서가 구성되어 있어야 합니다.

사전 요구 사항

  • MetalLB Operator가 설치되어 있습니다. 자세한 내용은 " MetalLB Operator 설치"를 참조하십시오.

절차

  1. 다음 샘플 YAML 콘텐츠를 configure-metallb.yaml 파일에 저장하여 MetalLB 리소스를 생성합니다.

    apiVersion: metallb.io/v1beta1
    kind: MetalLB
    metadata:
      name: metallb
      namespace: metallb-system
  2. 다음 명령을 입력하여 YAML 콘텐츠를 적용합니다.

    $ oc apply -f configure-metallb.yaml

    출력 예

    metallb.metallb.io/metallb created

  3. create-ip-address-pool.yaml 파일에 다음 샘플 YAML 콘텐츠를 저장하여 IPAddressPool 리소스를 만듭니다.

    apiVersion: metallb.io/v1beta1
    kind: IPAddressPool
    metadata:
      name: metallb
      namespace: metallb-system
    spec:
      addresses:
      - 192.168.216.32-192.168.216.122

    노드 네트워크 내에서 사용 가능한 IP 주소 범위를 사용하여 주소 풀을 생성합니다. IP 주소 범위를 네트워크에서 사용 가능한 IP 주소의 사용되지 않는 풀로 바꿉니다.

  4. 다음 명령을 입력하여 YAML 콘텐츠를 적용합니다.

    $ oc apply -f create-ip-address-pool.yaml

    출력 예

    ipaddresspool.metallb.io/metallb created

  5. l2advertisement.yaml 파일에 다음 샘플 YAML 콘텐츠를 저장하여 L2Advertisement 리소스를 생성합니다.

    apiVersion: metallb.io/v1beta1
    kind: L2Advertisement
    metadata:
      name: l2advertisement
      namespace: metallb-system
    spec:
      ipAddressPools:
       - metallb
  6. 다음 명령을 입력하여 YAML 콘텐츠를 적용합니다.

    $ oc apply -f l2advertisement.yaml

    출력 예

    l2advertisement.metallb.io/metallb created

4.4.4. KubeVirt 플랫폼이 있는 호스트 클러스터

OpenShift Container Platform 4.14 이상에서는 CLI(명령줄 인터페이스), 콘솔을 사용하거나 외부 인프라를 사용하여 KubeVirt로 호스팅 클러스터를 생성할 수 있습니다.

4.4.4.1. CLI를 사용하여 KubeVirt 플랫폼에서 호스트 클러스터 생성

OpenShift Virtualization에서 호스팅된 클러스터를 생성하려면 호스트된 컨트롤 플레인 CLI(명령줄 인터페이스) hcp 를 사용할 수 있습니다.

중요

공유 네임스페이스에 호스팅된 모든 클러스터 정보를 저장하지 마십시오. 공유 네임스페이스에서 호스팅 클러스터를 생성한 다음 호스팅된 클러스터를 백업하고 복원하는 경우 다른 호스팅 클러스터를 의도치 않게 변경할 수 있습니다. 호스팅된 클러스터 정보를 별도의 네임스페이스에 저장하거나 레이블을 기반으로 리소스를 백업 및 복원하도록 호스팅 클러스터를 설정합니다.

절차

  1. 다음 명령을 입력하여 KubeVirt 플랫폼을 사용하여 호스팅된 클러스터를 생성합니다.

    $ hcp create cluster kubevirt \
      --name <hosted_cluster_name> \
      --node-pool-replicas <node_pool_replica_count> \
      --pull-secret <path_to_pull_secret> \
      --memory <value_for_memory> \
      --cores <value_for_cpu> \
      --etcd-storage-class=<etcd_storage_class> \
      --arch <architecture_of_the_nodepool> \
      --release-image <ocp_release_image_for_the_cluster> \
      --image-content-sources <path_to_image_content_sources_file> \
      --disable-cluster-capabilities=<capability> \
      --enable-cluster-capabilities=<capability> \
      --additional-trust-bundle <path_to_ca_bundle_file>
    • --name 은 호스트된 클러스터의 이름을 정의합니다(예: my-hosted-cluster ).
    • --node-pool-replicas 는 노드 풀 복제본 수를 정의합니다(예: 3 ). 동일한 수의 복제본을 생성하려면 복제본 수를 0 이상으로 지정해야 합니다. 그렇지 않으면 노드 풀이 생성되지 않습니다.
    • --pull-secret 은 풀 시크릿의 경로를 정의합니다(예: /user/name/pullsecret ).
    • --memory 는 메모리 값을 정의합니다(예: 6Gi ).
    • --cores 는 CPU 값을 정의합니다(예: 2 ).
    • --etcd-storage-class 는 etcd 스토리지 클래스 이름을 정의합니다(예: lvm-storageclass ).
    • --Arch 는 노드 풀의 아키텍처를 정의합니다(예: s390x ). 기본값은 amd64 입니다.
    • --release-image 는 클러스터의 OpenShift Container Platform 릴리스 이미지를 정의합니다(예: quay.io/openshift-release-dev/ocp-release:4.20.14-multi ). --release-image 플래그를 사용하여 특정 OpenShift Container Platform 릴리스로 호스팅 클러스터를 설정할 수 있습니다.
    • --image-content-sources 는 이미지 콘텐츠 소스가 있는 파일의 경로를 지정합니다.
    • --disable-cluster-capabilities 는 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --additional-trust-bundle 은 사용자 CA 번들이 있는 파일의 경로를 지정합니다.

    --node-pool-replicas 플래그에 따라 특정 수의 가상 머신 작업자 복제본이 있는 클러스터에 대한 기본 노드 풀이 생성됩니다.

  2. 잠시 후 다음 명령을 입력하여 호스팅된 컨트롤 플레인 포드가 실행 중인지 확인합니다.

    $ oc -n clusters-<hosted-cluster-name> get pods

    출력 예

    NAME                                                  READY   STATUS    RESTARTS   AGE
    capi-provider-5cc7b74f47-n5gkr                        1/1     Running   0          3m
    catalog-operator-5f799567b7-fd6jw                     2/2     Running   0          69s
    certified-operators-catalog-784b9899f9-mrp6p          1/1     Running   0          66s
    cluster-api-6bbc867966-l4dwl                          1/1     Running   0          66s
    .
    .
    .
    redhat-operators-catalog-9d5fd4d44-z8qqk              1/1     Running   0          66s

    KubeVirt 가상 머신에서 지원하는 작업자 노드가 있는 호스팅된 클러스터는 일반적으로 완전히 프로비저닝되는 데 10-15분이 걸립니다.

검증

  • 호스트 클러스터의 상태를 확인하려면 다음 명령을 입력하여 해당 HostedCluster 리소스를 참조하십시오.

    $ oc get --namespace clusters hostedclusters

    완전히 프로비저닝된 HostedCluster 오브젝트를 설명하는 다음 예제 출력을 참조하십시오.

    NAMESPACE   NAME                VERSION     KUBECONFIG                 PROGRESS    AVAILABLE   PROGRESSING   MESSAGE
    clusters    my-hosted-cluster   <4.x.0>     example-admin-kubeconfig   Completed   True        False         The hosted control plane is available

    & lt;4.x.0 >을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.

기본적으로 HyperShift Operator는 동일한 클러스터 내에서 호스팅되는 클러스터의 컨트롤 플레인 Pod와 KubeVirt 작업자 VM을 모두 호스팅합니다. 외부 인프라 기능을 사용하면 작업자 노드 VM을 컨트롤 플레인 Pod와 별도의 클러스터에 배치할 수 있습니다.

  • 관리 클러스터 는 HyperShift Operator를 실행하고 호스팅된 클러스터의 컨트롤 플레인 Pod를 호스팅하는 OpenShift Container Platform 클러스터입니다.
  • 인프라 클러스터 는 호스팅된 클러스터의 KubeVirt 작업자 VM을 실행하는 OpenShift Container Platform 클러스터입니다.
  • 기본적으로 관리 클러스터는 VM을 호스팅하는 인프라 클러스터 역할을 합니다. 그러나 외부 인프라의 경우 관리 및 인프라 클러스터는 다릅니다.
중요

공유 네임스페이스에 호스팅된 모든 클러스터 정보를 저장하지 마십시오. 공유 네임스페이스에서 호스팅 클러스터를 생성한 다음 호스팅된 클러스터를 백업하고 복원하는 경우 다른 호스팅 클러스터를 의도치 않게 변경할 수 있습니다. 호스팅된 클러스터 정보를 별도의 네임스페이스에 저장하거나 레이블을 기반으로 리소스를 백업 및 복원하도록 호스팅 클러스터를 설정합니다.

사전 요구 사항

  • KubeVirt 노드를 호스팅하려면 외부 인프라 클러스터에 네임스페이스가 있어야 합니다.
  • 외부 인프라 클러스터에 대한 kubeconfig 파일이 있어야 합니다.

절차

  • hcp 명령줄 인터페이스에서 다음 예와 같이 인프라 클러스터에 KubeVirt 작업자 VM을 배치하고 --infra-kubeconfig-file 및 --infra-namespace 인수를 사용합니다.

    $ hcp create cluster kubevirt \
      --name <hosted-cluster-name> \
      --node-pool-replicas <worker-count> \
      --pull-secret <path-to-pull-secret> \
      --memory <value-for-memory> \
      --cores <value-for-cpu> \
      --infra-namespace=<hosted-cluster-namespace>-<hosted-cluster-name> \
      --infra-kubeconfig-file=<path-to-external-infra-kubeconfig>
    • --name 은 호스트된 클러스터의 이름을 정의합니다(예: my-hosted-cluster ).
    • --node-pool-replicas 는 작업자 수를 정의합니다(예: 2 ).
    • --pull-secret 은 풀 시크릿의 경로를 정의합니다(예: /user/name/pullsecret ).
    • --memory 는 메모리 값을 정의합니다(예: 6Gi ).
    • --cores 는 CPU 값을 정의합니다(예: 2 ).
    • --infra-namespace 는 인프라 네임스페이스를 정의합니다(예: cluster -example ).
    • --infra-kubeconfig-file 은 인프라 클러스터의 kubeconfig 파일의 경로를 정의합니다(예: /user/name/external-infra-kubeconfig ).

    명령을 입력하면 컨트롤 플레인 pod는 HyperShift Operator가 실행되는 관리 클러스터에서 호스팅되며 KubeVirt VM은 별도의 인프라 클러스터에서 호스팅됩니다.

4.4.4.3. 콘솔을 사용하여 호스트 클러스터 생성

CLI 대신 OpenShift Container Platform 콘솔에서 작업하는 것을 선호하는 경우 콘솔을 사용하여 KubeVirt 플랫폼에서 호스팅된 클러스터를 생성할 수 있습니다.

참고

사전 정의된 값을 사용하여 콘솔에서 필드를 자동으로 채우려면 OpenShift Virtualization 인증 정보를 생성할 수 있습니다. 자세한 내용은 "온-프레미스 환경에 대한 인증 정보 생성"을 참조하십시오.

절차

  1. OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다.
  2. 콘솔 헤더에서 모든 클러스터 가 선택되어 있는지 확인합니다.
  3. Infrastructure > Clusters를 클릭합니다.
  4. Create cluster > Red Hat OpenShift Virtualization > Hosted를 클릭합니다.
  5. 클러스터 생성 페이지에서 프롬프트에 따라 클러스터 및 노드 풀에 대한 세부 정보를 입력합니다.

    클러스터 세부 정보 페이지에서 풀 시크릿은 OpenShift Container Platform 리소스에 액세스하는 데 사용하는 OpenShift Container Platform 풀 시크릿입니다. OpenShift Virtualization 인증 정보를 선택한 경우 풀 시크릿이 자동으로 채워집니다.

    중요

    공유 네임스페이스에 호스팅된 모든 클러스터 정보를 저장하지 마십시오. 공유 네임스페이스에서 호스팅 클러스터를 생성한 다음 호스팅된 클러스터를 백업하고 복원하는 경우 다른 호스팅 클러스터를 의도치 않게 변경할 수 있습니다. 호스팅된 클러스터 정보를 별도의 네임스페이스에 저장하거나 레이블을 기반으로 리소스를 백업 및 복원하도록 호스팅 클러스터를 설정합니다.

  6. 노드 풀 페이지에서 네트워킹 옵션 섹션을 확장하고 노드 풀에 대한 네트워킹 옵션을 구성합니다.

    1. 추가 네트워크 필드에 < namespace>/<name> 형식으로 네트워크 이름을 입력합니다(예: my-namespace/network1 ). 네임스페이스와 이름은 유효한 DNS 레이블이어야 합니다. 여러 네트워크가 지원됩니다.
    2. 기본적으로 Attach default pod network 확인란이 선택됩니다. 추가 네트워크가 있는 경우에만 이 확인란을 지울 수 있습니다.
  7. 항목을 검토하고 생성 을 클릭합니다.

    호스팅된 클러스터 보기가 표시됩니다.

검증

  1. Hosted 클러스터 보기에서 호스팅된 클러스터의 배포를 모니터링합니다. 호스팅된 클러스터에 대한 정보가 표시되지 않는 경우 모든 클러스터가 선택되어 있는지 확인하고 클러스터 이름을 클릭합니다.
  2. 컨트롤 플레인 구성 요소가 준비될 때까지 기다립니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다.
  3. 노드 풀 상태를 보려면 NodePool 섹션으로 스크롤합니다. 노드를 설치하는 프로세스에는 약 10분이 걸립니다. 노드를 클릭하여 노드가 호스팅된 클러스터에 참여하고 있는지 확인할 수도 있습니다.

4.4.5. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.4.5.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

모든 OpenShift Container Platform 클러스터에는 기본 애플리케이션 Ingress 컨트롤러가 포함되어 있으며, 이와 연결된 와일드카드 DNS 레코드가 있어야 합니다.

기본적으로 OpenShift Virtualization을 사용하여 생성된 호스팅 클러스터는 가상 머신이 실행되는 OpenShift Container Platform 클러스터의 하위 도메인이 자동으로 됩니다.

예를 들어 OpenShift Container Platform 클러스터에 다음과 같은 기본 인그레스 DNS 항목이 있을 수 있습니다.

*.apps.mgmt-cluster.example.com

결과적으로 guest 라는 호스팅 클러스터와 해당 기본 OpenShift Container Platform 클러스터에서 실행되는 호스팅 클러스터에는 다음과 같은 기본 수신이 있습니다.

*.apps.guest.apps.mgmt-cluster.example.com

절차

  • 기본 인그레스 DNS가 제대로 작동하려면 가상 머신을 호스팅하는 클러스터에서 와일드카드 DNS 경로를 허용해야 합니다. 다음 명령을 입력하여 이 동작을 구성할 수 있습니다.

    $ oc patch ingresscontroller -n openshift-ingress-operator default \
      --type=json \
      -p '[{ "op": "add", "path": "/spec/routeAdmission", "value": {wildcardPolicy: "WildcardsAllowed"}}]'
    참고

    기본 호스팅 클러스터 수신을 사용하는 경우 포트 443을 통한 HTTPS 트래픽으로 제한됩니다. 포트 80을 통한 일반 HTTP 트래픽이 거부됩니다. 이 제한은 기본 수신 동작에만 적용됩니다.

4.4.6.1. 사용자 정의 DNS 이름 정의

클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.

다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.

  • 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
  • 분할 수평 DNS 및 NAT 시나리오 지원
  • 올바른 kubeconfig 및 DNS 구성으로 Show Login Command 기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해

HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.

사전 요구 사항

  • kubeAPIServerDNSName 매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다.
  • 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.

프로세스

  • HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.

    #...
    spec:
      configuration:
        apiServer:
          servingCerts:
            namedCertificates:
            - names:
              - xxx.example.com
              - yyy.example.com
              servingCertificate:
                name: <my_serving_certificate>
      kubeAPIServerDNSName: <custom_address>

    kubeAPIServerDNSName 매개변수의 값은 유효한 도메인이어야 합니다.

    kubeAPIServerDNSName 매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서 custom-admin- kubeconfig 라는 kubeconfig 파일을 생성합니다. 여기서 파일이 HostedControlPlane 네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며 HostedControlPlane 네임스페이스는 만료 및 갱신을 관리합니다.

    Control Plane Operator는 HostedControlPlane 네임스페이스에서 CustomKubeconfig 라는 새 kubeconfig 파일을 보고합니다. 해당 파일은 kubeAPIServerDNSName 매개변수에서 정의된 새 서버를 사용합니다.

    사용자 정의 kubeconfig 파일에 대한 참조는 HostedCluster 오브젝트의 CustomKubeconfig 로 status 매개변수에 있습니다. CustomKubeConfig 매개변수는 선택 사항이며 kubeAPIServerDNSName 매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다. CustomKubeConfig 매개변수를 설정한 후 매개변수는 HostedCluster 네임스페이스에서 < hosted_cluster_name>-custom-admin-kubeconfig 라는 보안 생성을 트리거합니다. 시크릿을 사용하여 HostedCluster API 서버에 액세스할 수 있습니다. 설치 후 작업 중에 CustomKubeConfig 매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.

    참고

    사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다. HostedControlPlane 네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.

    HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수를 제거하면 새로 생성된 모든 보안 및 CustomKubeconfig 참조가 클러스터 및 status 매개변수에서 제거됩니다.

4.4.7. 사용자 정의 수신 및 DNS 동작

기본 수신 및 DNS 동작을 사용하지 않으려면 생성 시 KubeVirt 호스팅 클러스터를 고유 기본 도메인으로 구성할 수 있습니다.

이 옵션을 사용하려면 생성 중에 수동 구성 단계가 필요하며 클러스터 생성, 로드 밸런서 생성 및 와일드카드 DNS 구성의 세 가지 주요 단계가 포함됩니다.

4.4.7.1. 기본 도메인을 지정하는 호스팅 클러스터 생성

기본 수신 및 DNS 동작을 사용하지 않으려면 생성 시 KubeVirt 호스팅 클러스터를 고유 기본 도메인으로 구성할 수 있습니다.

절차

  1. 다음 명령을 입력하여 클러스터를 생성합니다.

    $ hcp create cluster kubevirt \
      --name <hosted_cluster_name> \
      --node-pool-replicas <worker_count> \
      --pull-secret <path_to_pull_secret> \
      --memory <value_for_memory> \
      --cores <value_for_cpu> \
      --base-domain <basedomain> \
      --arch <architecture_of_the_nodepool> \
      --release-image <ocp_release_image_for_the_cluster> \
      --image-content-sources <path_to_image_content_sources_file> \
      --additional-trust-bundle <path_to_ca_bundle_file>
    • --name 은 호스팅된 클러스터의 이름을 지정합니다.
    • --node-pool-replicas 는 작업자 수를 지정합니다(예: 2 ).
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    • --memory 는 메모리 값을 지정합니다(예: 6Gi ).
    • --cores 는 CPU 값을 지정합니다(예: 2 ).
    • --base-domain 은 기본 도메인(예: hypershift.lab )을 지정합니다.
    • --Arch 는 노드 풀의 아키텍처를 지정합니다(예: s390x ). 기본값은 amd64 입니다.
    • --release-image 는 클러스터의 ocp 릴리스 이미지를 지정합니다(예: quay.io/openshift-release-dev/ocp-release:4.20.14-multi ).
    • --image-content-sources 는 이미지 콘텐츠 소스가 있는 파일의 경로를 지정합니다.
    • --additional-trust-bundle 은 사용자 CA 번들이 있는 파일의 경로를 지정합니다.

      결과적으로 호스팅된 클러스터에는 클러스터 이름과 기본 도메인(예: .apps.example.hypershift.lab )에 대해 구성된 수신 와일드카드가 있습니다. 호스트 클러스터는 고유한 기본 도메인을 사용하여 호스팅 클러스터를 생성한 후 필요한 DNS 레코드 및 로드 밸런서를 구성해야 하므로 부분적 상태로 유지됩니다.

검증

  1. 다음 명령을 입력하여 호스팅 클러스터의 상태를 확인합니다.

    $ oc get --namespace clusters hostedclusters

    출력 예

    NAME            VERSION   KUBECONFIG                       PROGRESS   AVAILABLE   PROGRESSING   MESSAGE
    example                   example-admin-kubeconfig         Partial    True        False         The hosted control plane is available

  2. 다음 명령을 입력하여 클러스터에 액세스합니다.

    $ hcp create kubeconfig --name <hosted_cluster_name> \
      > <hosted_cluster_name>-kubeconfig
    $ oc --kubeconfig <hosted_cluster_name>-kubeconfig get co

    출력 예

    NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
    console                                    <4.x.0>     False       False         False      30m     RouteHealthAvailable: failed to GET route (https://console-openshift-console.apps.example.hypershift.lab): Get "https://console-openshift-console.apps.example.hypershift.lab": dial tcp: lookup console-openshift-console.apps.example.hypershift.lab on 172.31.0.10:53: no such host
    ingress                                    <4.x.0>     True        False         True       28m     The "default" ingress controller reports Degraded=True: DegradedConditions: One or more other status conditions indicate a degraded state: CanaryChecksSucceeding=False (CanaryChecksRepetitiveFailures: Canary route checks for the default ingress controller are failing)

    & lt;4.x.0 >을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.

  3. 출력의 오류를 수정하려면 "로드 밸런서 설정" 및 " 와일드카드 DNS 설정"의 단계를 완료합니다.

    참고

    호스팅 클러스터가 베어 메탈에 있는 경우 로드 밸런서 서비스를 설정하려면 MetalLB가 필요할 수 있습니다. 자세한 내용은 " MetalLB 구성"을 참조하십시오.

4.4.7.2. 로드 밸런서 설정

Ingress 트래픽을 KubeVirt VM으로 라우팅하고 로드 밸런서 IP 주소에 와일드카드 DNS 항목을 할당하는 로드 밸런서 서비스를 설정합니다.

OpenShift Virtualization 호스트 클러스터에서 LoadBalancer 서비스를 생성하면 서비스를 노출하도록 관리 클러스터에 미러 LoadBalancer 서비스가 자동으로 생성되고 구성됩니다. 결과적으로 호스팅된 클러스터 LoadBalancer 서비스는 관리 클러스터가 MetalLB와 같은 자체 LoadBalancer 서비스에 대해 구성한 것과 동일한 기술을 통해 노출됩니다.

절차

  1. 호스팅된 클러스터 인그레스를 노출하는 NodePort 서비스가 이미 존재합니다. 노드 포트를 내보내고 해당 포트를 대상으로 하는 로드 밸런서 서비스를 생성할 수 있습니다.

    1. 다음 명령을 입력하여 HTTP 노드 포트를 가져옵니다.

      $ oc --kubeconfig <hosted_cluster_name>-kubeconfig get services \
        -n openshift-ingress router-nodeport-default \
        -o jsonpath='{.spec.ports[?(@.name=="http")].nodePort}'

      다음 단계에서 사용할 HTTP 노드 포트 값을 확인합니다.

    2. 다음 명령을 입력하여 HTTPS 노드 포트를 가져옵니다.

      $ oc --kubeconfig <hosted_cluster_name>-kubeconfig get services \
        -n openshift-ingress router-nodeport-default \
        -o jsonpath='{.spec.ports[?(@.name=="https")].nodePort}'

      다음 단계에서 사용할 HTTPS 노드 포트 값을 확인합니다.

  2. YAML 파일에 다음 정보를 입력합니다.

    apiVersion: v1
    kind: Service
    metadata:
      labels:
        app: <hosted_cluster_name>
      name: <hosted_cluster_name>-apps
      namespace: clusters-<hosted_cluster_name>
    spec:
      ports:
      - name: https-443
        port: 443
        protocol: TCP
        targetPort: <https_node_port>
      - name: http-80
        port: 80
        protocol: TCP
        targetPort: <http_node_port>
      selector:
        kubevirt.io: virt-launcher
      type: LoadBalancer

    다음과 같습니다.

    • <https_node_port >는 이전 단계에서 기록한 HTTPS 노드 포트 값을 지정합니다.
    • <http_node_port >는 이전 단계에서 기록한 HTTP 노드 포트 값을 지정합니다.
  3. 다음 명령을 실행하여 로드 밸런서 서비스를 생성합니다.

    $ oc create -f <file_name>.yaml

4.4.7.3. 와일드카드 DNS 설정

호스팅된 클러스터에 대한 인그레스 및 DNS를 사용자 지정하는 경우 로드 밸런서 서비스의 외부 IP를 참조하는 와일드카드 DNS 레코드 또는 CNAME을 설정해야 합니다.

절차

  1. 다음 명령을 입력하여 외부 IP 주소를 가져옵니다.

    $ oc -n clusters-<hosted_cluster_name> get service <hosted-cluster-name>-apps \
      -o jsonpath='{.status.loadBalancer.ingress[0].ip}'

    출력 예

    192.168.20.30

  2. 외부 IP 주소를 참조하는 와일드카드 DNS 항목을 구성합니다. 다음 예제 DNS 항목을 확인합니다.

    *.apps.<hosted_cluster_name\>.<base_domain\>.

    DNS 항목은 클러스터 내부 및 외부에서 라우팅할 수 있어야 합니다.

    DNS 확인 예

    dig +short test.apps.example.hypershift.lab
    
    192.168.20.30

검증

  • 다음 명령을 입력하여 호스팅 클러스터 상태가 Partial 에서 Completed 로 이동했는지 확인합니다.

    $ oc get --namespace clusters hostedclusters

    출력 예

    NAME            VERSION   KUBECONFIG                       PROGRESS    AVAILABLE   PROGRESSING   MESSAGE
    example         <4.x.0>     example-admin-kubeconfig         Completed   True        False         The hosted control plane is available

    & lt;4.x.0 >을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.

4.4.8. 노드 풀에 대한 추가 네트워크, 보장된 CPU 및 VM 스케줄링

노드 풀에 대한 추가 네트워크를 구성하거나 VM(가상 머신)에 대한 보장된 CPU 액세스를 요청하거나 KubeVirt VM의 스케줄링을 관리할 수 있습니다.

4.4.8.1. 노드 풀에 여러 네트워크 추가

기본적으로 노드 풀에서 생성한 노드는 Pod 네트워크에 연결됩니다. NetworkAttachmentDefinitions 를 사용하여 노드에 추가 네트워크를 연결할 수 있습니다.

중요

컴퓨팅 노드는 Linux 브리지 또는 localnet 토폴로지를 사용하는 UDN(사용자 정의 네트워크)이 있는 여러 네트워크에 연결할 수 있습니다. Red Hat은 계층 2 또는 계층 3 오버레이 토폴로지를 사용하는 여러 UDN에 컴퓨팅 노드 연결을 지원하지 않습니다.

절차

  • 노드에 여러 네트워크를 추가하려면 다음 명령을 실행하여 --additional-network 인수를 사용합니다.

    $ hcp create cluster kubevirt \
      --name <hosted_cluster_name> \
      --node-pool-replicas <worker_node_count> \
      --pull-secret <path_to_pull_secret> \
      --memory <memory> \
      --cores <cpu> \
      --additional-network name:<namespace/name> \
      –-additional-network name:<namespace/name>

    다음과 같습니다.

    hosted_cluster_name
    호스트 클러스터의 이름을 지정합니다(예: my-hosted-cluster ).
    worker_node_count
    컴퓨팅 노드 수를 지정합니다(예: 2 ).
    path_to_pull_secret
    풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    메모리
    메모리 값을 지정합니다(예: 8Gi ).
    cpu
    CPU 값을 지정합니다(예: 2 ).
    namespace/name
    name:<namespace/name>에 대한 --additional-network 인수의 값을 지정합니다. & lt;namespace/name& gt;을 NetworkAttachmentDefinitions 의 네임스페이스 및 이름으로 바꿉니다.
4.4.8.1.1. 추가 네트워크를 기본값으로 사용

기본 Pod 네트워크를 비활성화하여 추가 네트워크를 노드의 기본 네트워크로 추가할 수 있습니다.

프로세스

  • 노드에 기본 네트워크를 추가하려면 다음 명령을 실행합니다.

    $ hcp create cluster kubevirt \
      --name <hosted_cluster_name> \
      --node-pool-replicas <worker_node_count> \
      --pull-secret <path_to_pull_secret> \
      --memory <memory> \
      --cores <cpu> \
      --attach-default-network false \
      --additional-network name:<namespace>/<network_name>
    • --name 은 호스트된 클러스터의 이름을 지정합니다(예: my-hosted-cluster ).
    • --node-pool-replicas 는 작업자 노드 수를 지정합니다(예: 2 ).
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    • --memory 는 메모리 값을 지정합니다(예: 8Gi ).
    • --cores 는 CPU 값을 지정합니다(예: 2 ).
    • --attach-default-network false 는 기본 Pod 네트워크를 비활성화합니다.
    • --additional-network 는 노드에 추가할 추가 네트워크를 지정합니다(예: name:my-namespace/my-network ).

4.4.8.2. 보장된 CPU 리소스 요청

기본적으로 KubeVirt VM은 노드의 다른 워크로드와 CPU를 공유할 수 있습니다. 이는 VM의 성능에 영향을 미칠 수 있습니다. 성능에 미치는 영향을 방지하기 위해 VM에 대해 보장된 CPU 액세스를 요청할 수 있습니다.

프로세스

  • 보장된 CPU 리소스를 요청하려면 다음 명령을 실행하여 --qos-class 인수를 Guaranteed 로 설정합니다.

    $ hcp create cluster kubevirt \
      --name <hosted_cluster_name> \
      --node-pool-replicas <worker_node_count> \
      --pull-secret <path_to_pull_secret> \
      --memory <memory> \
      --cores <cpu> \
      --qos-class Guaranteed
    • --name 은 호스트된 클러스터의 이름을 지정합니다(예: my-hosted-cluster ).
    • --node-pool-replicas 는 작업자 노드 수를 지정합니다(예: 2 ).
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    • --memory 는 메모리 값을 지정합니다(예: 8Gi ).
    • --cores 는 CPU 값을 지정합니다(예: 2 ).
    • --QoS-class Guaranteed 는 지정된 수의 CPU 리소스가 VM에 할당되도록 합니다.

4.4.8.3. 노드 세트에서 KubeVirt VM 예약

기본적으로 노드 풀에서 생성한 KubeVirt VM(가상 머신)은 사용 가능한 모든 노드에 예약됩니다. VM을 실행하는 데 충분한 용량이 있는 특정 노드 세트에서 KubeVirt VM을 예약할 수 있습니다.

프로세스

  • 특정 노드 세트의 노드 풀 내에서 KubeVirt VM을 예약하려면 다음 명령을 실행하여 --vm-node-selector 인수를 사용합니다.

    $ hcp create cluster kubevirt \
      --name <hosted_cluster_name> \
      --node-pool-replicas <worker_node_count> \
      --pull-secret <path_to_pull_secret> \
      --memory <memory> \
      --cores <cpu> \
      --vm-node-selector <label_key>=<label_value>,<label_key>=<label_value>
    • --name 은 호스트된 클러스터의 이름을 지정합니다(예: my-hosted-cluster ).
    • --node-pool-replicas 는 작업자 노드 수를 지정합니다(예: 2 ).
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다(예: /user/name/pullsecret ).
    • --memory 는 메모리 값을 지정합니다(예: 8Gi ).
    • --cores 는 CPU 값을 지정합니다(예: 2 ).
    • --VM-node-selector 는 키-값 쌍을 포함하는 특정 노드 세트를 정의합니다. & lt;label_key >를 레이블 키로 바꾸고 < label_value >를 레이블 값으로 바꿉니다.

4.4.9. 노드 풀 확장

oc scale 명령을 사용하여 OpenShift Virtualization에서 호스팅된 클러스터의 노드 풀을 수동으로 확장할 수 있습니다.

절차

  1. 다음 명령을 실행합니다.

    NODEPOOL_NAME=${CLUSTER_NAME}-work
    NODEPOOL_REPLICAS=5
    
    $ oc scale nodepool/$NODEPOOL_NAME --namespace clusters \
      --replicas=$NODEPOOL_REPLICAS
  2. 잠시 후 다음 명령을 입력하여 노드 풀의 상태를 확인합니다.

    $ oc --kubeconfig $CLUSTER_NAME-kubeconfig get nodes

    출력 예

    NAME                  STATUS   ROLES    AGE     VERSION
    example-9jvnf         Ready    worker   97s     v1.27.4+18eadca
    example-n6prw         Ready    worker   116m    v1.27.4+18eadca
    example-nc6g4         Ready    worker   117m    v1.27.4+18eadca
    example-thp29         Ready    worker   4m17s   v1.27.4+18eadca
    example-twxns         Ready    worker   88s     v1.27.4+18eadca

4.4.9.1. 노드 풀 추가

이름, 복제본 수 및 메모리 및 CPU 요구 사항과 같은 추가 정보를 지정하여 호스팅된 클러스터에 대한 노드 풀을 생성할 수 있습니다.

절차

  1. 관리 클러스터에 클러스터 전체 프록시가 구성된 경우 다음 단계를 완료하여 HostedCluster 리소스에서 프록시 설정을 구성해야 합니다.

    1. 다음 명령을 입력하여 HostedCluster 리소스를 편집합니다.

      $ oc edit hc <hosted_cluster_name> -n <hosted_cluster_namespace>
    2. HostedCluster 리소스에서 다음 예와 같이 프록시 구성을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        annotations:
      # ...
          hypershift.openshift.io/HasBeenAvailable: "true"
          hypershift.openshift.io/management-platform: VSphere
      # ...
        name: <hosted_cluster_name>
        namespace: <hosted_cluster_namespace>
      # ...
      spec:
      # ...
        clusterID: fa45babd-40f3-4085-9b30-8bc3b7df1557
        configuration:
          proxy:
            httpProxy: http://web-proxy.example.com:3128
            httpsProxy: http://web-proxy.example.com:3128
            noProxy: .example.com,192.168.10.0/24

      spec.configuration.proxy 필드에서 프록시 구성의 세부 정보를 지정합니다.

    3. 다음 명령을 입력하여 관리 클러스터의 상태를 확인합니다.

      $ oc get nodepool -n <hosted_cluster_namespace>
    4. 다음 명령을 입력하여 호스팅 클러스터의 상태를 확인합니다.

      $ oc --kubeconfig <hosted_cluster_name>-kubeconfig get nodes
  2. 노드 풀을 생성하려면 다음 정보를 입력합니다. 이 예에서 노드 풀에는 VM에 더 많은 CPU가 할당됩니다.

    export NODEPOOL_NAME=${CLUSTER_NAME}-extra-cpu
    export WORKER_COUNT="2"
    export MEM="6Gi"
    export CPU="4"
    export DISK="16"
    
    $ hcp create nodepool kubevirt \
      --cluster-name $CLUSTER_NAME \
      --name $NODEPOOL_NAME \
      --node-count $WORKER_COUNT \
      --memory $MEM \
      --cores $CPU \
      --root-volume-size $DISK
  3. 네임스페이스에 nodepool 리소스를 나열하여 노드 풀의 상태를 확인합니다.

    $ oc get nodepools --namespace <hosted_cluster_namespace>

    출력 예

    NAME                      CLUSTER         DESIRED NODES   CURRENT NODES   AUTOSCALING   AUTOREPAIR   VERSION   UPDATINGVERSION   UPDATINGCONFIG   MESSAGE
    example                   example         5               5               False         False        <4.x.0>
    example-extra-cpu         example         2                               False         False                  True              True             Minimum availability requires 2 replicas, current 0 available

    & lt;4.x.0 >을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.

검증

  1. 잠시 후 다음 명령을 입력하여 노드 풀의 상태를 확인할 수 있습니다.

    $ oc --kubeconfig $CLUSTER_NAME-kubeconfig get nodes

    출력 예

    NAME                      STATUS   ROLES    AGE     VERSION
    example-9jvnf             Ready    worker   97s     v1.27.4+18eadca
    example-n6prw             Ready    worker   116m    v1.27.4+18eadca
    example-nc6g4             Ready    worker   117m    v1.27.4+18eadca
    example-thp29             Ready    worker   4m17s   v1.27.4+18eadca
    example-twxns             Ready    worker   88s     v1.27.4+18eadca
    example-extra-cpu-zh9l5   Ready    worker   2m6s    v1.27.4+18eadca
    example-extra-cpu-zr8mj   Ready    worker   102s    v1.27.4+18eadca

  2. 다음 명령을 입력하여 노드 풀이 예상되는 상태에 있는지 확인합니다.

    $ oc get nodepools --namespace <hosted_cluster_namespace>

    출력 예

    NAME                      CLUSTER         DESIRED NODES   CURRENT NODES   AUTOSCALING   AUTOREPAIR   VERSION   UPDATINGVERSION   UPDATINGCONFIG   MESSAGE
    example                   example         5               5               False         False        <4.x.0>
    example-extra-cpu         example         2               2               False         False        <4.x.0>

    & lt;4.x.0 >을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.

4.4.10. OpenShift Virtualization에서 호스트된 클러스터 생성 확인

OpenShift Virtualization에서 호스팅된 클러스터를 생성한 후 성공적으로 생성되었는지 확인합니다.

절차

  1. 다음 명령을 입력하여 HostedCluster 리소스가 완료된 상태로 전환되었는지 확인합니다.

    $ oc get --namespace clusters hostedclusters <hosted_cluster_name>

    출력 예

    NAMESPACE   NAME      VERSION   KUBECONFIG                 PROGRESS    AVAILABLE   PROGRESSING   MESSAGE
    clusters    example   4.12.2    example-admin-kubeconfig   Completed   True        False         The hosted control plane is available

  2. 다음 명령을 입력하여 호스팅 클러스터의 모든 클러스터 운영자가 온라인 상태인지 확인합니다.

    $ hcp create kubeconfig --name <hosted_cluster_name> \
      > <hosted_cluster_name>-kubeconfig
    $ oc get co --kubeconfig=<hosted_cluster_name>-kubeconfig

    출력 예

    NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
    console                                    4.12.2   True        False         False      2m38s
    csi-snapshot-controller                    4.12.2   True        False         False      4m3s
    dns                                        4.12.2   True        False         False      2m52s
    image-registry                             4.12.2   True        False         False      2m8s
    ingress                                    4.12.2   True        False         False      22m
    kube-apiserver                             4.12.2   True        False         False      23m
    kube-controller-manager                    4.12.2   True        False         False      23m
    kube-scheduler                             4.12.2   True        False         False      23m
    kube-storage-version-migrator              4.12.2   True        False         False      4m52s
    monitoring                                 4.12.2   True        False         False      69s
    network                                    4.12.2   True        False         False      4m3s
    node-tuning                                4.12.2   True        False         False      2m22s
    openshift-apiserver                        4.12.2   True        False         False      23m
    openshift-controller-manager               4.12.2   True        False         False      23m
    openshift-samples                          4.12.2   True        False         False      2m15s
    operator-lifecycle-manager                 4.12.2   True        False         False      22m
    operator-lifecycle-manager-catalog         4.12.2   True        False         False      23m
    operator-lifecycle-manager-packageserver   4.12.2   True        False         False      23m
    service-ca                                 4.12.2   True        False         False      4m41s
    storage                                    4.12.2   True        False         False      4m43s

기존 가상화 계층을 사용하는 동안 인프라 유연성을 유지하기 위해 베어 메탈이 아닌 에이전트 시스템에 호스트된 컨트롤 플레인을 배포할 수 있습니다. 가상화된 환경 또는 기타 클라우드 기반 가상 머신에서 실행할 때 에이전트 플랫폼의 관리 이점을 사용할 수 있습니다.

중요

베어 메탈이 아닌 에이전트 시스템의 호스팅된 컨트롤 플레인은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

호스팅 클러스터로 작동하도록 클러스터를 구성하여 호스팅 컨트롤 플레인을 배포할 수 있습니다. 호스팅 클러스터는 컨트롤 플레인이 호스팅되는 OpenShift Container Platform 클러스터입니다. 호스팅 클러스터를 관리 클러스터라고도 합니다.

참고

관리 클러스터는 관리 클러스터와 동일하지 않습니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다.

호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다.

다중 클러스터 엔진 Operator는 기본 로컬 클러스터 관리 허브 클러스터 만 지원합니다. RHACM(Red Hat Advanced Cluster Management) 2.10에서 local-cluster 관리 허브 클러스터를 호스팅 클러스터로 사용할 수 있습니다.

호스팅 클러스터는 호스팅 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다. 다중 클러스터 엔진 Operator 콘솔 또는 hcp CLI(명령줄 인터페이스)를 사용하여 호스팅된 클러스터를 생성할 수 있습니다.

호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.

비 바이어 메탈 에이전트 시스템에 호스팅된 컨트롤 플레인을 배포하기 전에 배포에 대한 요구 사항을 이해해야 합니다.

  • 에이전트 플랫폼을 사용하여 에이전트 시스템을 호스트된 클러스터에 작업자 노드로 추가할 수 있습니다. 에이전트 머신은 Discovery Image로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스의 일부입니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
  • 베어 메탈이 아닌 모든 호스트는 중앙 인프라 관리에서 제공하는 Discovery Image ISO로 수동 부팅이 필요합니다.
  • 노드 풀을 확장하면 모든 복제본에 대해 머신이 생성됩니다. 모든 머신에 대해 Cluster API 공급자는 승인된 에이전트를 찾아 설치하며, 검증을 통과하고, 현재 사용되지 않으며, 노드 풀 사양에 지정된 요구 사항을 충족합니다. 에이전트의 상태 및 조건을 확인하여 에이전트 설치를 모니터링할 수 있습니다.
  • 노드 풀을 축소하면 에이전트가 해당 클러스터에서 바인딩되지 않습니다. 에이전트를 재사용하려면 먼저 Discovery 이미지를 사용하여 다시 시작해야 합니다.
  • 호스트된 컨트롤 플레인에 대한 스토리지를 구성할 때 권장 etcd 사례를 고려하십시오. 대기 시간 요구 사항을 충족하는지 확인하려면 각 컨트롤 플레인 노드에서 실행되는 모든 호스팅 컨트롤 플레인 etcd 인스턴스에 빠른 스토리지 장치를 전용으로 지정합니다. LVM 스토리지를 사용하여 호스팅된 etcd pod의 로컬 스토리지 클래스를 구성할 수 있습니다. 자세한 내용은 OpenShift Container Platform 설명서의 "Red Hat etcd 권장" 및 "논리 볼륨 관리자 스토리지를 사용하여 영구 스토리지"를 참조하십시오.

비bare-metal 에이전트 시스템에 호스팅되는 컨트롤 플레인을 배포하기 전에 사전 요구 사항을 충족해야 합니다.

  • Kubernetes Operator 2.5 이상을 위한 멀티 클러스터 엔진이 OpenShift Container Platform 클러스터에 설치되어 있어야 합니다. OpenShift Container Platform 소프트웨어 카탈로그에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다.
  • 다중 클러스터 엔진 Operator에 대해 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다. local-cluster 관리 클러스터를 자동으로 가져옵니다. 로컬 클러스터에 대한 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 "고급 구성"을 참조하십시오. 다음 명령을 실행하여 관리 클러스터의 상태를 확인할 수 있습니다.

    $ oc get managedclusters local-cluster
  • 중앙 인프라 관리를 활성화했습니다. 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
  • hcp 명령줄 인터페이스를 설치했습니다.
  • 호스팅된 클러스터에는 클러스터 전체 이름이 있습니다.
  • 동일한 인프라에서 관리 클러스터 및 작업자를 실행하고 있습니다.

포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽 및 포트 요구 사항을 충족해야 합니다.

참고

서비스는 기본 포트에서 실행됩니다. 그러나 NodePort 게시 전략을 사용하는 경우 서비스는 NodePort 서비스에서 할당한 포트에서 실행됩니다.

방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오. 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.

호스팅된 컨트롤 플레인은 베어 메탈이 아닌 에이전트 시스템에 다음 서비스를 노출합니다.

  • APIServer

    • APIServer 서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간 통신을 위해 수신 액세스가 필요합니다.
    • MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
  • OAuthServer

    • OAuthServer 서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다.
    • NodePort 게시 전략을 사용하는 경우 OAuthServer 서비스에 방화벽 규칙을 사용합니다.
  • Konnectivity

    • Konnectivity 서비스는 경로 및 Ingress를 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다.
    • Konnectivity 에이전트는 컨트롤 플레인이 호스팅된 클러스터의 네트워크에 액세스할 수 있도록 역방향 터널을 설정합니다. 에이전트는 egress를 사용하여 Konnectivity 서버에 연결합니다. 서버는 포트 443의 경로를 사용하거나 수동으로 할당된 NodePort 를 사용하여 노출됩니다.
    • 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
    • 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
  • Ignition

    • Ignition 서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다.
    • NodePort 게시 전략을 사용하는 경우 Ignition 서비스에 방화벽 규칙을 사용합니다.

베어 메탈이 아닌 에이전트 머신에는 다음 서비스가 필요하지 않습니다.

  • OVNSbDb
  • OIDC

4.5.1.3. 베어 메탈이 아닌 에이전트 시스템에 대한 인프라 요구 사항

에이전트 플랫폼은 인프라를 생성하지 않지만 몇 가지 요구 사항이 있습니다.

  • 에이전트: 에이전트 는 검색 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다.
  • DNS: API 및 수신 끝점은 라우팅할 수 있어야 합니다.

4.5.2. 베어 메탈이 아닌 에이전트 시스템의 DNS 구성

호스팅된 클러스터의 API 서버는 NodePort 서비스로 노출됩니다. API Server에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<basedomain >에 대한 DNS 항목이 있어야 합니다.

DNS 항목은 호스팅된 컨트롤 플레인을 실행하는 관리형 클러스터의 노드 중 하나를 가리키는 레코드만큼 단순할 수 있습니다. 이 항목은 들어오는 트래픽을 인그레스 포드로 리디렉션하기 위해 배포된 로드 밸런서를 가리킬 수도 있습니다.

다음 예제에서는 특정 환경에 대해 DNS를 구성하는 방법을 보여줍니다.

IPv4 네트워크에서 연결된 환경의 DNS 구성 예

api.example.krnl.es.        IN A 192.168.122.20
api.example.krnl.es.        IN A 192.168.122.21
api.example.krnl.es.        IN A 192.168.122.22
api-int.example.krnl.es.    IN A 192.168.122.20
api-int.example.krnl.es.    IN A 192.168.122.21
api-int.example.krnl.es.    IN A 192.168.122.22
`*`.apps.example.krnl.es.   IN A 192.168.122.23

IPv6 네트워크에서 연결이 끊긴 환경의 DNS 구성 예

api.example.krnl.es.        IN A 2620:52:0:1306::5
api.example.krnl.es.        IN A 2620:52:0:1306::6
api.example.krnl.es.        IN A 2620:52:0:1306::7
api-int.example.krnl.es.    IN A 2620:52:0:1306::5
api-int.example.krnl.es.    IN A 2620:52:0:1306::6
api-int.example.krnl.es.    IN A 2620:52:0:1306::7
`*`.apps.example.krnl.es.   IN A 2620:52:0:1306::10

듀얼 스택 네트워크에서 연결이 끊긴 환경의 DNS 구성 예

host-record=api-int.hub-dual.dns.base.domain.name,192.168.126.10
host-record=api.hub-dual.dns.base.domain.name,192.168.126.10
address=/apps.hub-dual.dns.base.domain.name/192.168.126.11
dhcp-host=aa:aa:aa:aa:10:01,ocp-master-0,192.168.126.20
dhcp-host=aa:aa:aa:aa:10:02,ocp-master-1,192.168.126.21
dhcp-host=aa:aa:aa:aa:10:03,ocp-master-2,192.168.126.22
dhcp-host=aa:aa:aa:aa:10:06,ocp-installer,192.168.126.25
dhcp-host=aa:aa:aa:aa:10:07,ocp-bootstrap,192.168.126.26

host-record=api-int.hub-dual.dns.base.domain.name,2620:52:0:1306::2
host-record=api.hub-dual.dns.base.domain.name,2620:52:0:1306::2
address=/apps.hub-dual.dns.base.domain.name/2620:52:0:1306::3
dhcp-host=aa:aa:aa:aa:10:01,ocp-master-0,[2620:52:0:1306::5]
dhcp-host=aa:aa:aa:aa:10:02,ocp-master-1,[2620:52:0:1306::6]
dhcp-host=aa:aa:aa:aa:10:03,ocp-master-2,[2620:52:0:1306::7]
dhcp-host=aa:aa:aa:aa:10:06,ocp-installer,[2620:52:0:1306::8]
dhcp-host=aa:aa:aa:aa:10:07,ocp-bootstrap,[2620:52:0:1306::9]

이 구성의 경우 IPv4 및 IPv6 모두에 대한 DNS 항목을 포함해야 합니다.

4.5.3. 사용자 정의 DNS 이름 정의

클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.

다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.

  • 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
  • 분할 수평 DNS 및 NAT 시나리오 지원
  • 올바른 kubeconfig 및 DNS 구성으로 Show Login Command 기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해

HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.

사전 요구 사항

  • kubeAPIServerDNSName 매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다.
  • 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.

프로세스

  • HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.

    #...
    spec:
      configuration:
        apiServer:
          servingCerts:
            namedCertificates:
            - names:
              - xxx.example.com
              - yyy.example.com
              servingCertificate:
                name: <my_serving_certificate>
      kubeAPIServerDNSName: <custom_address>

    kubeAPIServerDNSName 매개변수의 값은 유효한 도메인이어야 합니다.

    kubeAPIServerDNSName 매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서 custom-admin- kubeconfig 라는 kubeconfig 파일을 생성합니다. 여기서 파일이 HostedControlPlane 네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며 HostedControlPlane 네임스페이스는 만료 및 갱신을 관리합니다.

    Control Plane Operator는 HostedControlPlane 네임스페이스에서 CustomKubeconfig 라는 새 kubeconfig 파일을 보고합니다. 해당 파일은 kubeAPIServerDNSName 매개변수에서 정의된 새 서버를 사용합니다.

    사용자 정의 kubeconfig 파일에 대한 참조는 HostedCluster 오브젝트의 CustomKubeconfig 로 status 매개변수에 있습니다. CustomKubeConfig 매개변수는 선택 사항이며 kubeAPIServerDNSName 매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다. CustomKubeConfig 매개변수를 설정한 후 매개변수는 HostedCluster 네임스페이스에서 < hosted_cluster_name>-custom-admin-kubeconfig 라는 보안 생성을 트리거합니다. 시크릿을 사용하여 HostedCluster API 서버에 액세스할 수 있습니다. 설치 후 작업 중에 CustomKubeConfig 매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.

    참고

    사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다. HostedControlPlane 네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.

    HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수를 제거하면 새로 생성된 모든 보안 및 CustomKubeconfig 참조가 클러스터 및 status 매개변수에서 제거됩니다.

에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성하면 HyperShift Operator가 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다. 베어 메탈에서 호스팅 클러스터를 생성하거나 가져올 수 있습니다.

참고
  • 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스트된 클러스터 이름은 다중 클러스터 엔진 Operator가 이를 관리하기 위해 기존 관리 클러스터와 같을 수 없습니다.
  • 클러스터를 호스팅 클러스터 이름으로 사용하지 마십시오.
  • 호스트된 클러스터는 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에서 생성할 수 없습니다.

프로세스

  1. 다음 명령을 입력하여 호스팅된 컨트롤 플레인 네임스페이스를 생성합니다.

    $ oc create ns <hosted_cluster_namespace>-<hosted_cluster_name>

    < hosted_cluster_namespace >를 호스트된 클러스터 네임스페이스 이름(예: my-hosted-cluster-namespace )으로 바꿉니다. &lt ;hosted_cluster_name> 을 호스트된 클러스터 이름으로 교체합니다.

  2. 다음 명령을 입력하여 호스팅 클러스터를 생성합니다.

    $ hcp create cluster agent \
      --name=my-hosted-cluster \
      --pull-secret=/user/name/pullsecret \
      --agent-namespace=clusters-example \
      --base-domain=krnl.es \
      --api-server-address=api.my-hosted-cluster.krnl.es \
      --etcd-storage-class=lvm-storageclass \
      --ssh-key ~/.ssh/id_rsa.pub \
      --namespace my-hosted-cluster-namespace \
      --control-plane-availability-policy HighlyAvailable \
      --release-image=quay.io/openshift-release-dev/ocp-release:5.0.0-multi \
      --disable-cluster-capabilities=<capability> \
      --enable-cluster-capabilities=<capability> \
      --node-pool-replicas 3
    • --name 은 호스팅된 클러스터의 이름을 지정합니다.
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다.
    • --agent-namespace 는 호스팅된 컨트롤 플레인 네임스페이스를 지정합니다. oc get agent -n <hosted-control-plane-namespace> 명령을 사용하여 이 네임스페이스 에서 에이전트를 사용할 수 있는지 확인합니다.
    • --base-domain 은 기본 도메인을 지정합니다.
    • --api-server-address --api-server-address 플래그는 호스팅 클러스터의 Kubernetes API 통신에 사용되는 IP 주소를 정의합니다. --api-server-address 플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다.
    • --etcd-storage-class 는 etcd 스토리지 클래스 이름을 지정합니다. 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC로 종료될 수 있습니다.
    • --ssh_key 는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는 ~/.ssh/id_rsa.pub 입니다.
    • --namespace 는 호스팅된 클러스터 네임스페이스를 지정합니다.
    • --control-plane-availability-policy 는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은 SingleReplica 및 HighlyAvailable 입니다. 기본값은 HighlyAvailable 입니다.
    • --release-image 는 사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다.
    • --disable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --node-pool-replicas 는 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를 0 이상으로 지정해야 합니다. 그렇지 않으면 노드 풀이 생성되지 않습니다.

검증

  • 잠시 후 다음 명령을 입력하여 호스팅된 컨트롤 플레인 pod가 실행 중인지 확인합니다.

    $ oc -n <hosted_cluster_namespace>-<hosted_cluster_name> get pods

    출력 예

    NAME                                             READY   STATUS    RESTARTS   AGE
    catalog-operator-6cd867cc7-phb2q                 2/2     Running   0          2m50s
    control-plane-operator-f6b4c8465-4k5dh           1/1     Running   0          4m32s

OpenShift Container Platform 웹 콘솔을 사용하여 베어 메탈이 아닌 에이전트 시스템에서 호스트 클러스터를 생성할 수 있습니다.

사전 요구 사항

  • cluster-admin 권한이 있는 클러스터에 액세스할 수 있습니다.
  • OpenShift Container Platform 웹 콘솔에 액세스할 수 있습니다.

프로세스

  1. OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다.
  2. 콘솔 헤더에서 모든 클러스터를 선택합니다.
  3. 인프라 클러스터를 클릭합니다.
  4. 클러스터 호스트 인벤토리 호스팅 컨트롤 플레인 생성 을 클릭합니다.

    클러스터 생성 페이지가 표시됩니다.

  5. 클러스터 생성 페이지에서 프롬프트에 따라 클러스터, 노드 풀, 네트워킹 및 자동화에 대한 세부 정보를 입력합니다.

    클러스터에 대한 세부 정보를 입력하면 다음 팁이 유용할 수 있습니다.

    • 사전 정의된 값을 사용하여 콘솔에서 필드를 자동으로 채우려면 호스트 인벤토리 인증 정보를 생성할 수 있습니다. 자세한 내용은 온-프레미스 환경에 대한 인증 정보 만들기 를 참조하십시오.
    • 클러스터 세부 정보 페이지에서 풀 시크릿은 OpenShift Container Platform 리소스에 액세스하는 데 사용하는 OpenShift Container Platform 풀 시크릿입니다. 호스트 인벤토리 인증 정보를 선택한 경우 가져오기 보안이 자동으로 채워집니다.
    • 노드 풀 페이지에서 네임스페이스에는 노드 풀의 호스트가 포함되어 있습니다. 콘솔을 사용하여 호스트 인벤토리를 생성한 경우 콘솔은 전용 네임스페이스를 생성합니다.
    • 네트워킹 페이지에서 API 서버 게시 전략을 선택합니다. 호스팅된 클러스터의 API 서버는 기존 로드 밸런서를 사용하거나 NodePort 유형의 서비스로 노출될 수 있습니다. API 서버에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<basedomain > 설정에 대한 DNS 항목이 있어야 합니다. 이 항목은 관리 클러스터의 노드 중 하나를 가리키는 레코드이거나 수신 트래픽을 Ingress pod로 리디렉션하는 로드 밸런서를 가리키는 레코드일 수 있습니다.
  6. 항목을 검토하고 생성 을 클릭합니다.

    호스팅된 클러스터 보기가 표시됩니다.

  7. Hosted 클러스터 보기에서 호스팅된 클러스터의 배포를 모니터링합니다. 호스팅된 클러스터에 대한 정보가 표시되지 않는 경우 모든 클러스터가 선택되어 있는지 확인하고 클러스터 이름을 클릭합니다. 컨트롤 플레인 구성 요소가 준비될 때까지 기다립니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다.
  8. 노드 풀 상태를 보려면 NodePool 섹션으로 스크롤합니다. 노드를 설치하는 프로세스에는 약 10분이 걸립니다. 노드를 클릭하여 노드가 호스팅된 클러스터에 참여하고 있는지 확인할 수도 있습니다.

미러 레지스트리를 사용하여 hcp create cluster 명령에 --image-content-sources 플래그를 지정하여 베어 메탈이 아닌 에이전트 시스템에서 호스팅된 클러스터를 생성할 수 있습니다.

프로세스

  1. YAML 파일을 생성하여 ICSP(Image Content Source Policies)를 정의합니다. 다음 예제를 참조하십시오.

    - mirrors:
      - brew.registry.redhat.io
      source: registry.redhat.io
    - mirrors:
      - brew.registry.redhat.io
      source: registry.stage.redhat.io
    - mirrors:
      - brew.registry.redhat.io
      source: registry-proxy.engineering.redhat.com
  2. 파일을 icsp.yaml 로 저장합니다. 이 파일에는 미러 레지스트리가 포함되어 있습니다.
  3. 미러 레지스트리를 사용하여 호스팅된 클러스터를 생성하려면 다음 명령을 실행합니다.

    $ hcp create cluster agent \
        --name=my-hosted-cluster \
        --pull-secret=/user/name/pullsecret\
        --agent-namespace=clusters-example \
        --base-domain=krnl.es \
        --api-server-address=api.my-hosted-cluster.krnl.es \
        --image-content-sources icsp.yaml  \
        --ssh-key  ~/.ssh/id_rsa.pub \
        --namespace my-hosted-cluster-namespace \
        --release-image=quay.io/openshift-release-dev/ocp-release:5.0.0-multi
    • --name 은 호스팅된 클러스터의 이름을 지정합니다.
    • --pull-secret 은 풀 시크릿의 경로를 지정합니다.
    • --agent-namespace 는 호스팅된 컨트롤 플레인 네임스페이스를 지정합니다. oc get agent -n <hosted-control-plane-namespace> 명령을 사용하여 이 네임스페이스 에서 에이전트를 사용할 수 있는지 확인합니다.
    • --base-domain 은 기본 도메인을 지정합니다.
    • --API-server-address 는 호스팅된 클러스터에서 Kubernetes API 통신에 사용되는 IP 주소를 정의합니다. --api-server-address 플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다.
    • --image-content-sources 는 ICSP 및 미러 레지스트리를 정의하는 icsp.yaml 파일을 지정합니다.
    • --SSH-key 는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는 ~/.ssh/id_rsa.pub 입니다.
    • --namespace 는 호스팅된 클러스터 네임스페이스를 지정합니다.
    • --release-image 는 사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 버전을 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "OpenShift Container Platform 릴리스 이미지 다이제스트 추출"을 참조하십시오.

4.5.7. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.5.7.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

배포 프로세스가 완료되면 호스트 클러스터가 성공적으로 생성되었는지 확인할 수 있습니다.

호스팅된 클러스터를 생성한 후 몇 분 후에 다음 단계를 수행합니다.

프로세스

  1. 다음 명령을 입력하여 새 호스팅 클러스터의 kubeconfig 파일을 가져옵니다.

    $ oc extract -n <hosted_cluster_namespace> \
      secret/<hosted_cluster_name>-admin-kubeconfig --to=- \
      > kubeconfig-<hosted_cluster_name>
  2. kubeconfig 파일을 사용하여 호스팅된 클러스터의 클러스터 Operator를 확인합니다. 다음 명령을 실행합니다.

    $ oc get co --kubeconfig=kubeconfig-<hosted_cluster_name>

    출력 예

    NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
    console                                    4.10.26   True        False         False      2m38s
    csi-snapshot-controller                    4.10.26   True        False         False      4m3s
    dns                                        4.10.26   True        False         False      2m52s

  3. 다음 명령을 입력하여 호스팅 클러스터에서 실행 중인 Pod를 확인합니다.

    $ oc get pods -A --kubeconfig=kubeconfig-<hosted_cluster_name>

    출력 예

    NAMESPACE                                          NAME                                                      READY   STATUS             RESTARTS        AGE
    kube-system                                        konnectivity-agent-khlqv                                  0/1     Running            0               3m52s
    openshift-cluster-samples-operator                 cluster-samples-operator-6b5bcb9dff-kpnbc                 2/2     Running            0               20m
    openshift-monitoring                               alertmanager-main-0                                       6/6     Running            0               100s
    openshift-monitoring                               openshift-state-metrics-677b9fb74f-qqp6g                  3/3     Running            0               104s

4.6. IBM Z에 호스팅된 컨트롤 플레인 배포

관리 클러스터로 작동하도록 클러스터를 구성하여 IBM Z에 호스팅되는 컨트롤 플레인을 배포할 수 있습니다. 관리 클러스터는 컨트롤 플레인이 호스팅되는 OpenShift Container Platform 클러스터입니다. 관리 클러스터를 호스팅 클러스터라고도 합니다.

참고

관리 클러스터는 관리 클러스터가 아닙니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다. 관리 클러스터는 Kubernetes Operator 2.7에 대해 OpenShift Container Platform 4.17 및 다중 클러스터 엔진부터 지원되는 x86_64 아키텍처 또는 Kubernetes Operator 2.10용 OpenShift Container Platform 4.20 및 멀티 클러스터 엔진부터 지원되는 s390x 아키텍처에서 실행할 수 있습니다.

hypershift 애드온을 사용하여 해당 클러스터에 HyperShift Operator를 배포하여 관리형 클러스터를 관리 클러스터로 변환할 수 있습니다. 그런 다음 호스팅된 클러스터를 생성할 수 있습니다.

다중 클러스터 엔진 Operator는 관리하는 허브 클러스터인 기본 로컬 클러스터 및 hub 클러스터만 관리 클러스터로 지원합니다.

베어 메탈에서 호스팅되는 컨트롤 플레인을 프로비저닝하려면 에이전트 플랫폼을 사용할 수 있습니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스를 사용하여 호스트된 클러스터에 작업자 노드를 추가합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.

각 IBM Z 시스템 호스트는 중앙 인프라 관리에서 제공하는 PXE 또는 ISO 이미지로 시작해야 합니다. 각 호스트가 시작되면 에이전트 프로세스를 실행하여 호스트의 세부 정보를 검색하고 설치를 완료합니다. 에이전트 사용자 정의 리소스는 각 호스트를 나타냅니다.

에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성하면 HyperShift Operator가 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다.

IBM Z에서 호스팅된 컨트롤 플레인을 구성하려면 사전 요구 사항을 충족해야 합니다.

  • Kubernetes Operator 버전 2.7 이상용 멀티 클러스터 엔진은 OpenShift Container Platform 클러스터에 설치해야 합니다. OpenShift Container Platform OperatorHub에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다.
  • 다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다. local-cluster 는 multicluster engine Operator 2.7 이상에서 자동으로 가져옵니다. local-cluster 에 대한 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 고급 구성 을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.

    $ oc get managedclusters local-cluster
  • HyperShift Operator를 실행하려면 작업자 노드가 3개 이상 있는 호스팅 클러스터가 필요합니다.
  • 중앙 인프라 관리 서비스를 활성화해야 합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
  • 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치해야 합니다. 자세한 내용은 "호스트된 컨트롤 플레인 명령줄 인터페이스 설치"를 참조하십시오.
참고

관리 클러스터는 Kubernetes Operator 2.7에 대해 OpenShift Container Platform 4.17 및 다중 클러스터 엔진부터 지원되는 x86_64 아키텍처 또는 Kubernetes Operator 2.10용 OpenShift Container Platform 4.20 및 멀티 클러스터 엔진부터 지원되는 s390x 아키텍처에서 실행할 수 있습니다.

4.6.2. IBM Z 인프라 요구사항

에이전트 플랫폼은 인프라를 생성하지 않지만 인프라에 여러 리소스가 필요합니다.

  • 에이전트: 에이전트 는 검색 이미지 또는 PXE 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다.
  • DNS: API 및 Ingress 끝점은 라우팅할 수 있어야 합니다.

호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다. 기능을 비활성화하고 수동으로 활성화하거나 기능을 비활성화해야 하는 경우 "호스트된 컨트롤 플레인 기능 활성화 또는 비활성화"를 참조하십시오.

4.6.3. IBM Z에서 호스팅된 컨트롤 플레인의 DNS 구성

호스팅된 클러스터의 API 서버는 NodePort 서비스로 노출됩니다. API 서버에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<base_domain >에 대한 DNS 항목이 있어야 합니다.

DNS 항목은 호스팅된 컨트롤 플레인을 실행하는 관리형 클러스터의 노드 중 하나를 가리키는 레코드만큼 단순할 수 있습니다.

이 항목은 들어오는 트래픽을 Ingress Pod로 리디렉션하기 위해 배포된 로드 밸런서를 가리킬 수도 있습니다.

DNS 구성의 다음 예제를 참조하십시오.

$ cat /var/named/<example.krnl.es.zone>

출력 예

$ TTL 900
@ IN  SOA bastion.example.krnl.es.com. hostmaster.example.krnl.es.com. (
      2019062002
      1D 1H 1W 3H )
  IN NS bastion.example.krnl.es.com.
;
;
api                   IN A 1xx.2x.2xx.1xx
api-int               IN A 1xx.2x.2xx.1xx
;
;
*.apps        IN A 1xx.2x.2xx.1xx
;
;EOF

api 레코드는 호스팅된 컨트롤 플레인의 수신 및 송신 트래픽을 처리하는 API 로드 밸런서의 IP 주소를 나타냅니다.

IBM z/VM의 경우 에이전트의 IP 주소에 해당하는 IP 주소를 추가합니다.

compute-0              IN A 1xx.2x.2xx.1yy
compute-1              IN A 1xx.2x.2xx.1yy

4.6.3.1. 사용자 정의 DNS 이름 정의

클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.

다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.

  • 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
  • 분할 수평 DNS 및 NAT 시나리오 지원
  • 올바른 kubeconfig 및 DNS 구성으로 Show Login Command 기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해

HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.

사전 요구 사항

  • kubeAPIServerDNSName 매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다.
  • 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.

프로세스

  • HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.

    #...
    spec:
      configuration:
        apiServer:
          servingCerts:
            namedCertificates:
            - names:
              - xxx.example.com
              - yyy.example.com
              servingCertificate:
                name: <my_serving_certificate>
      kubeAPIServerDNSName: <custom_address>

    kubeAPIServerDNSName 매개변수의 값은 유효한 도메인이어야 합니다.

    kubeAPIServerDNSName 매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서 custom-admin- kubeconfig 라는 kubeconfig 파일을 생성합니다. 여기서 파일이 HostedControlPlane 네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며 HostedControlPlane 네임스페이스는 만료 및 갱신을 관리합니다.

    Control Plane Operator는 HostedControlPlane 네임스페이스에서 CustomKubeconfig 라는 새 kubeconfig 파일을 보고합니다. 해당 파일은 kubeAPIServerDNSName 매개변수에서 정의된 새 서버를 사용합니다.

    사용자 정의 kubeconfig 파일에 대한 참조는 HostedCluster 오브젝트의 CustomKubeconfig 로 status 매개변수에 있습니다. CustomKubeConfig 매개변수는 선택 사항이며 kubeAPIServerDNSName 매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다. CustomKubeConfig 매개변수를 설정한 후 매개변수는 HostedCluster 네임스페이스에서 < hosted_cluster_name>-custom-admin-kubeconfig 라는 보안 생성을 트리거합니다. 시크릿을 사용하여 HostedCluster API 서버에 액세스할 수 있습니다. 설치 후 작업 중에 CustomKubeConfig 매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.

    참고

    사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다. HostedControlPlane 네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.

    HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수를 제거하면 새로 생성된 모든 보안 및 CustomKubeconfig 참조가 클러스터 및 status 매개변수에서 제거됩니다.

4.6.4. IBM Z용 베어 메탈에 호스팅 클러스터 생성

베어 메탈 인프라에서 지원 설치 관리자를 다중 클러스터 엔진 Operator에 대한 애드온으로 활성화하고 에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성한 후 HyperShift Operator는 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다.

에이전트 클러스터 API 공급자는 컨트롤 플레인과 컴퓨팅 노드로 구성된 호스팅 클러스터를 호스팅하는 관리 클러스터를 연결합니다.

사전 요구 사항

  • 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스팅된 클러스터 이름은 기존 관리 클러스터와 같을 수 없습니다. 그러지 않으면 다중 클러스터 엔진 Operator가 호스팅된 클러스터를 관리할 수 없습니다.
  • 클러스터를 호스팅 클러스터 이름으로 사용하지 마십시오.
  • 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성할 수 없습니다.
  • 최상의 보안 및 관리 관행을 위해 다른 호스팅 클러스터와 별도로 호스팅 클러스터를 생성합니다.
  • 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC(영구 볼륨 클레임)가 표시될 수 있습니다.

절차

  1. 다음 명령을 입력하여 네임스페이스를 생성합니다.

    $ oc create ns <hosted_cluster_namespace>

    & lt;hosted_cluster_namespace&gt;를 호스팅된 클러스터 네임스페이스의 식별자로 바꿉니다. HyperShift Operator는 네임스페이스를 생성합니다. 베어 메탈 인프라에서 호스팅된 클러스터 생성 프로세스 중에 생성된 Cluster API 공급자 역할에 네임스페이스가 이미 있어야 합니다.

  2. 다음 명령을 입력하여 호스팅된 클러스터에 대한 구성 파일을 생성합니다.

    $ hcp create cluster agent \
      --name=<hosted_cluster_name> \
      --pull-secret=<path_to_pull_secret> \
      --agent-namespace=<hosted_control_plane_namespace> \
      --base-domain=<base_domain> \
      --api-server-address=api.<hosted_cluster_name>.<base_domain> \
      --etcd-storage-class=<etcd_storage_class> \
      --ssh-key=<path_to_ssh_key> \
      --namespace=<hosted_cluster_namespace> \
      --control-plane-availability-policy=HighlyAvailable \
      --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \
      --node-pool-replicas=<node_pool_replica_count> \
      --disable-cluster-capabilities=<capability> \
      --enable-cluster-capabilities=<capability> \
      --render \
      --render-sensitive  > hosted-cluster-config.yaml

    다음과 같습니다.

    • --name 은 호스트된 클러스터의 이름을 지정합니다( 예: ).
    • --pull-secret 은 /user/name/pullsecret 과 같은 풀 시크릿의 경로를 지정합니다.
    • --agent-namespace 는 호스트된 컨트롤 플레인 네임스페이스(예: cluster -example )를 지정합니다. oc get agent -n <hosted_control_plane_namespace> 명령을 사용하여 이 네임스페이스 에서 에이전트를 사용할 수 있는지 확인합니다.
    • --base-domain 은 krnl.es 와 같은 기본 도메인을 지정합니다.
    • --API-server-address 는 호스팅된 클러스터의 Kubernetes API 통신에 사용할 IP 주소를 지정합니다. --api-server-address 플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다.
    • --etcd-storage-class 는 lvm-storageclass 와 같은 etcd 스토리지 클래스 이름을 지정합니다.
    • --SSH-key 는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는 ~/.ssh/id_rsa.pub 입니다.
    • --namespace 는 호스팅된 클러스터 네임스페이스를 지정합니다.
    • --control-plane-availability-policy 는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은 SingleReplica 및 HighlyAvailable 입니다. 기본값은 HighlyAvailable 입니다.
    • --release-image 는 사용하려는 지원되는 OpenShift Container Platform 버전 (예: 5.0.0-multi )을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 < ocp_release_image >를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "릴리스 이미지 다이제스트 추출"을 참조하십시오.
    • --node-pool-replicas 는 3 과 같은 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를 0 이상으로 지정해야 합니다. 그렇지 않으면 노드 풀을 생성하지 않습니다.
    • --disable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
  3. 다음 명령을 입력하여 호스팅 클러스터 구성 파일에 변경 사항을 적용합니다.

    $ oc apply -f hosted_cluster_config.yaml
  4. 다음 명령을 입력하여 호스팅된 클러스터, 노드 풀 및 Pod 생성을 확인합니다.

    $ oc get hostedcluster \
      <hosted_cluster_name> -n \
      <hosted_cluster_namespace> -o \
      jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .
    $ oc get hostedcluster \
      <nodepool_name> -n \
      <hosted_cluster_namespace> -o \
      jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .
    $ oc get pods -n <hosted_control_plane_namespace>
  5. 호스트 클러스터가 준비되었는지 확인합니다. Available: True 는 컨트롤 플레인의 준비 상태를 나타냅니다.

4.6.5. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.6.5.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

4.6.6. IBM Z에서 호스팅된 컨트롤 플레인에 대한 InfraEnv 리소스 생성

호스트 클러스터를 생성하려면 PXE 이미지로 부팅되는 호스트가 에이전트로 참여할 수 있는 환경인 InfraEnv 리소스가 필요합니다. 이 경우 에이전트는 호스팅된 컨트롤 플레인과 동일한 네임스페이스에 생성됩니다.

프로세스

  1. 구성을 포함할 YAML 파일을 생성합니다. 다음 예제를 참조하십시오.

    apiVersion: agent-install.openshift.io/v1beta1
    kind: InfraEnv
    metadata:
      name: <hosted_cluster_name>
      namespace: <hosted_control_plane_namespace>
    spec:
      cpuArchitecture: s390x
      pullSecretRef:
        name: pull-secret
      sshAuthorizedKey: <ssh_public_key>
  2. 파일을 infraenv-config.yaml 로 저장합니다.
  3. 다음 명령을 입력하여 구성을 적용합니다.

    $ oc apply -f infraenv-config.yaml
  4. IBM Z 시스템이 에이전트로 참여할 수 있는 PXE 또는 ISO 이미지(예: initrd.img,kernel.img 또는 rootfs.img )를 다운로드하는 URL을 가져오려면 다음 명령을 입력합니다.

    $ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name> -o json

4.6.7. IBM Z KVM을 에이전트로 추가

호스팅된 컨트롤 플레인에 컴퓨팅 노드를 연결하려면 노드 풀을 확장하는 데 도움이 되는 에이전트를 생성합니다.

IBM Z 환경에 에이전트를 추가하려면 이 섹션에 자세히 설명된 추가 단계가 필요합니다.

달리 명시하지 않는 한 이 절차는 IBM Z 및 IBM LinuxONE의 z/VM 및 RHEL KVM 설치에 모두 적용됩니다.

IBM Z with KVM의 경우 다음 명령을 실행하여 InfraEnv 리소스에서 다운로드한 PXE 이미지로 IBM Z 환경을 시작합니다. 에이전트가 생성되면 호스트는 지원 서비스와 통신하고 관리 클러스터의 InfraEnv 리소스와 동일한 네임스페이스에 등록합니다.

프로세스

  1. 다음 명령을 실행합니다.

    virt-install \
       --name "<vm_name>" \
       --autostart \
       --ram=16384 \
       --cpu host \
       --vcpus=4 \
       --location "<path_to_kernel_initrd_image>,kernel=kernel.img,initrd=initrd.img" \
       --disk <qcow_image_path> \
       --network network:macvtap-net,mac=<mac_address> \
       --graphics none \
       --noautoconsole \
       --wait=-1
       --extra-args "rd.neednet=1 nameserver=<nameserver>   coreos.live.rootfs_url=http://<http_server>/rootfs.img random.trust_cpu=on rd.luks.options=discard ignition.firstboot ignition.platform.id=metal console=tty1 console=ttyS1,115200n8 coreos.inst.persistent-kargs=console=tty1 console=ttyS1,115200n8"
    • --name 은 가상 머신의 이름을 지정합니다.
    • --location 은 kernel_initrd_image 파일의 위치를 지정합니다.
    • --disk 는 디스크 이미지 경로를 지정합니다.
    • --network 는 Mac 주소를 지정합니다.
    • --extra-args 는 에이전트의 서버 이름을 지정합니다.
  2. ISO 부팅의 경우 InfraEnv 리소스에서 ISO를 다운로드하고 다음 명령을 실행하여 노드를 부팅합니다.

    virt-install \
      --name "<vm_name>" \
      --autostart \
      --memory=16384 \
      --cpu host \
      --vcpus=4 \
      --network network:macvtap-net,mac=<mac_address> \
      --cdrom "<path_to_image.iso>" \
      --disk <qcow_image_path> \
      --graphics none \
      --noautoconsole \
      --os-variant <os_version> \
      --wait=-1
    • --name 은 가상 머신의 이름을 지정합니다.
    • --network 는 Mac 주소를 지정합니다.
    • --CD ROM은 image.iso 파일의 위치를 지정합니다.
    • --os-variant 은 사용 중인 운영 체제 버전을 지정합니다.

4.6.8. IBM Z LPAR을 에이전트로 추가

호스팅된 컨트롤 플레인에 컴퓨팅 노드를 연결하려면 노드 풀을 확장하는 데 도움이 되는 에이전트를 생성합니다.

IBM Z 환경에 에이전트를 추가하려면 이 섹션에 자세히 설명된 추가 단계가 필요합니다.

달리 명시하지 않는 한 이 절차는 IBM Z 및 IBM LinuxONE의 z/VM 및 RHEL KVM 설치에 모두 적용됩니다.

IBM Z 또는 IBM LinuxONE의 Logical Partition (LPAR)을 호스팅된 컨트롤 플레인에 컴퓨팅 노드로 추가할 수 있습니다.

프로세스

  1. 에이전트를 위한 부팅 매개변수 파일을 생성합니다.

    매개변수 파일 예

    rd.neednet=1 cio_ignore=all,!condev \
    console=ttysclp0 \
    ignition.firstboot ignition.platform.id=metal
    coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \
    coreos.inst.persistent-kargs=console=ttysclp0
    ip=<ip>::<gateway>:<netmask>::<interface>:none nameserver=<dns> \
    rd.znet=qeth,<network_adaptor_range>,layer2=1
    rd.<disk_type>=<adapter> \
    zfcp.allow_lun_scan=0
    ai.ip_cfg_override=1 \
    random.trust_cpu=on rd.luks.options=discard

    다음과 같습니다.

    coreos.live.rootfs_url
    coreos.live.rootfs_url 아티팩트의 경우 시작 중인 커널 및 initramfs 와 일치하는 rootfs 아티팩트를 지정합니다. HTTP 및 HTTPS 프로토콜만 지원됩니다.
    ip
    ip 매개변수의 경우 "IBM Z 및 IBM LinuxONE에 z/VM으로 클러스터 설치"에 설명된 대로 IP 주소를 수동으로 할당합니다.
    rd
    DASD 유형 디스크에 설치하는 경우 rd.dasd 를 사용하여 RHCOS(Red Hat Enterprise Linux CoreOS)를 설치할 DASD를 지정합니다. FCP 유형 디스크에 설치하려면 rd.zfcp=<adapter>,<wwpn>,<lun >을 사용하여 RHCOS를 설치할 FCP 디스크를 지정합니다.
    ai.ip_cfg_override
    OSA(Open Systems Adapter) 또는 HiperSockets를 사용할 때 이 매개변수를 지정합니다.
  2. InfraEnv 리소스에서 .ins 및 initrd.img.addrsize 파일을 다운로드합니다.

    기본적으로 .ins 및 initrd.img.addrsize 파일의 URL은 InfraEnv 리소스에서 사용할 수 없습니다. 해당 아티팩트를 가져오려면 URL을 편집해야 합니다.

    1. followign 명령을 실행하여 ins-file 을 포함하도록 커널 URL 끝점을 업데이트합니다.

      $ curl -k -L -o generic.ins "< url for ins-file >"

      예제 URL

      https://…/boot-artifacts/ins-file?arch=s390x&version=4.17.0

    2. s390x- initrd -addrsize:을 포함하도록 initrd URL 끝점을 업데이트합니다.

      예제 URL

      https://…./s390x-initrd-addrsize?api_key=<api-key>&arch=s390x&version=4.17.0

  3. initrd,kernel,generic.ins 및 initrd.img.addrsize 매개변수 파일을 파일 서버로 전송합니다. FTP를 사용하여 파일을 전송하고 부팅하는 방법에 대한 자세한 내용은 "LPAR에 설치"를 참조하십시오.
  4. 머신을 시작합니다.
  5. 클러스터의 다른 모든 시스템에 대해 절차를 반복합니다.

4.6.8.1. IBM z/VM을 에이전트로 추가

z/VM 게스트에 고정 IP를 사용하려면 IP 매개변수가 두 번째 시작 시 지속되도록 z/VM 에이전트에 대한 NMStateConfig 속성을 구성해야 합니다.

InfraEnv 리소스에서 다운로드한 PXE 이미지로 IBM Z 환경을 시작하려면 다음 단계를 완료합니다. 에이전트가 생성되면 호스트는 지원 서비스와 통신하고 관리 클러스터의 InfraEnv 리소스와 동일한 네임스페이스에 등록합니다.

프로세스

  1. 매개 변수 파일을 업데이트하여 rootfs_url,network_adaptor 및 disk_type 값을 추가합니다.

    매개변수 파일 예

    rd.neednet=1 cio_ignore=all,!condev \
    console=ttysclp0  \
    ignition.firstboot ignition.platform.id=metal \
    coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \
    coreos.inst.persistent-kargs=console=ttysclp0
    ip=<ip>::<gateway>:<netmask>::<interface>:none nameserver=<dns> \
    rd.znet=qeth,<network_adaptor_range>,layer2=1
    rd.<disk_type>=<adapter> \
    zfcp.allow_lun_scan=0
    ai.ip_cfg_override=1 \

    다음과 같습니다.

    coreos.live.rootfs_url
    coreos.live.rootfs_url 아티팩트의 경우 시작 중인 커널 및 initramfs 와 일치하는 rootfs 아티팩트를 지정합니다. HTTP 및 HTTPS 프로토콜만 지원됩니다.
    ip
    ip 매개변수의 경우 "IBM Z 및 IBM LinuxONE에 z/VM으로 클러스터 설치"에 설명된 대로 IP 주소를 수동으로 할당합니다.
    rd

    DASD 유형 디스크에 설치하는 경우 rd.dasd 를 사용하여 RHCOS(Red Hat Enterprise Linux CoreOS)를 설치할 DASD를 지정합니다. FCP 유형 디스크에 설치하려면 rd.zfcp=<adapter>,<wwpn>,<lun >을 사용하여 RHCOS를 설치할 FCP 디스크를 지정합니다.

    참고

    FCP 다중 경로 구성의 경우 대신 두 개의 디스크를 제공합니다.

    예

    rd.zfcp=<adapter1>,<wwpn1>,<lun1> \
    rd.zfcp=<adapter2>,<wwpn2>,<lun2>

    ai.ip_cfg_override
    OSA(Open Systems Adapter) 또는 HiperSockets를 사용할 때 이 매개변수를 지정합니다.
  2. 다음 명령을 실행하여 initrd, 커널 이미지 및 매개변수 파일을 게스트 VM으로 이동합니다.

    vmur pun -r -u -N kernel.img $INSTALLERKERNELLOCATION/<image name>
    vmur pun -r -u -N generic.parm $PARMFILELOCATION/paramfilename
    vmur pun -r -u -N initrd.img $INSTALLERINITRAMFSLOCATION/<image name>
  3. 게스트 VM 콘솔에서 다음 명령을 실행합니다.

    cp ipl c
  4. 에이전트 및 해당 속성을 나열하려면 다음 명령을 입력합니다.

    $ oc -n <hosted_control_plane_namespace> get agents

    출력 예

    NAME    CLUSTER APPROVED    ROLE    STAGE
    50c23cda-cedc-9bbd-bcf1-9b3a5c75804d    auto-assign
    5e498cd3-542c-e54f-0c58-ed43e28b568a    auto-assign

  5. 다음 명령을 실행하여 에이전트를 승인합니다.

    $ oc -n <hosted_control_plane_namespace> patch agent \
      50c23cda-cedc-9bbd-bcf1-9b3a5c75804d -p \
      '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-zvm-0.hostedn.example.com"}}' \
      --type merge

    선택적으로 사양에 에이전트 ID < installation_disk_id > 및 < hostname >을 설정할 수 있습니다.

  6. 다음 명령을 실행하여 에이전트가 승인되었는지 확인합니다.

    $ oc -n <hosted_control_plane_namespace> get agents

    출력 예

    NAME                                            CLUSTER     APPROVED   ROLE          STAGE
    50c23cda-cedc-9bbd-bcf1-9b3a5c75804d             true       auto-assign
    5e498cd3-542c-e54f-0c58-ed43e28b568a             true       auto-assign

4.6.9. IBM Z에서 호스팅된 클러스터의 NodePool 오브젝트 확장

NodePool 오브젝트는 호스팅된 클러스터를 생성할 때 생성됩니다. NodePool 오브젝트를 스케일링하면 호스팅된 컨트롤 플레인에 더 많은 컴퓨팅 노드를 추가할 수 있습니다.

노드 풀을 확장하면 머신이 생성됩니다. Cluster API 공급자는 승인된 에이전트를 찾고 현재 검증이 사용되지 않으며, 노드 풀 사양에 지정된 요구 사항을 충족합니다. 에이전트의 상태 및 조건을 확인하여 에이전트 설치를 모니터링할 수 있습니다.

프로세스

  1. 다음 명령을 실행하여 NodePool 오브젝트를 두 개의 노드로 확장합니다.

    $ oc -n <clusters_namespace> scale nodepool <nodepool_name> --replicas 2

    Cluster API 에이전트 공급자는 호스트 클러스터에 할당된 두 개의 에이전트를 임의로 선택합니다. 이러한 에이전트는 다른 상태를 통과하고 마지막으로 호스팅된 클러스터에 OpenShift Container Platform 노드로 참여합니다. 에이전트는 다음 순서로 전환 단계를 통과합니다.

    • binding
    • 검색
    • insufficient
    • 설치
    • installing-in-progress
    • added-to-existing-cluster
  2. 다음 명령을 실행하여 특정 확장 에이전트의 상태를 확인합니다.

    $ oc -n <hosted_control_plane_namespace> get agent -o \
      jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} \
      Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'

    출력 예

    BMH: Agent: 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d State: known-unbound
    BMH: Agent: 5e498cd3-542c-e54f-0c58-ed43e28b568a State: insufficient

  3. 다음 명령을 실행하여 전환 단계를 확인합니다.

    $ oc -n <hosted_control_plane_namespace> get agent

    출력 예

    NAME                                   CLUSTER           APPROVED       ROLE        STAGE
    50c23cda-cedc-9bbd-bcf1-9b3a5c75804d   hosted-forwarder   true          auto-assign
    5e498cd3-542c-e54f-0c58-ed43e28b568a                      true          auto-assign
    da503cf1-a347-44f2-875c-4960ddb04091   hosted-forwarder   true          auto-assign

  4. 다음 명령을 실행하여 호스팅된 클러스터에 액세스할 kubeconfig 파일을 생성합니다.

    $ hcp create kubeconfig \
      --namespace <clusters_namespace> \
      --name <hosted_cluster_namespace> > <hosted_cluster_name>.kubeconfig
  5. 에이전트가 add-to-existing-cluster 상태에 도달한 후 다음 명령을 입력하여 OpenShift Container Platform 노드를 볼 수 있는지 확인합니다.

    $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes

    출력 예

    NAME                             STATUS   ROLES    AGE      VERSION
    worker-zvm-0.hostedn.example.com Ready    worker   5m41s    v1.24.0+3882f8f
    worker-zvm-1.hostedn.example.com Ready    worker   6m3s     v1.24.0+3882f8f

    클러스터 Operator는 노드에 워크로드를 추가하여 조정하기 시작합니다.

  6. 다음 명령을 입력하여 NodePool 오브젝트를 확장할 때 두 개의 머신이 생성되었는지 확인합니다.

    $ oc -n <hosted_control_plane_namespace> get machine.cluster.x-k8s.io

    출력 예

    NAME                                CLUSTER  NODENAME PROVIDERID     PHASE     AGE   VERSION
    hosted-forwarder-79558597ff-5tbqp   hosted-forwarder-crqq5   worker-zvm-0.hostedn.example.com   agent://50c23cda-cedc-9bbd-bcf1-9b3a5c75804d   Running   41h   4.15.0
    hosted-forwarder-79558597ff-lfjfk   hosted-forwarder-crqq5   worker-zvm-1.hostedn.example.com   agent://5e498cd3-542c-e54f-0c58-ed43e28b568a   Running   41h   4.15.0

  7. 다음 명령을 실행하여 클러스터 버전을 확인합니다.

    $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusterversion,co

    출력 예

    NAME                                         VERSION       AVAILABLE   PROGRESSING   SINCE   STATUS
    clusterversion.config.openshift.io/version   4.15.0-ec.2   True        False         40h     Cluster version is 4.15.0-ec.2

  8. 다음 명령을 실행하여 클러스터 Operator 상태를 확인합니다.

    $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusteroperators

    클러스터의 각 구성 요소에 대해 출력에는 NAME,VERSION,AVAILABLE,PROGRESSING,DEGRADED,SINCE, MESSAGE.

    출력 예제는 "Initial Operator 구성"을 참조하십시오.

4.7. IBM Power에 호스팅된 컨트롤 플레인 배포

호스팅 클러스터로 작동하도록 클러스터를 구성하여 IBM Power에 호스팅 컨트롤 플레인을 배포할 수 있습니다. 이 구성은 많은 클러스터를 관리하기 위한 효율적이고 확장 가능한 솔루션을 제공합니다. 호스팅 클러스터는 컨트롤 플레인을 호스팅하는 OpenShift Container Platform 클러스터입니다. 호스팅 클러스터를 관리 클러스터라고도 합니다.

참고

관리 클러스터는 관리 클러스터가 아닙니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다.

다중 클러스터 엔진 Operator는 관리 허브 클러스터인 기본 로컬 클러스터와 허브 클러스터를 호스팅 클러스터로만 지원합니다.

베어 메탈 인프라에서 호스팅되는 컨트롤 플레인을 프로비저닝하려면 에이전트 플랫폼을 사용할 수 있습니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스를 사용하여 호스팅된 클러스터에 컴퓨팅 노드를 추가합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.

중앙 인프라 관리에서 제공하는 검색 이미지를 사용하여 각 IBM Power 호스트를 시작해야 합니다. 각 호스트가 시작되면 에이전트 프로세스를 실행하여 호스트의 세부 정보를 검색하고 설치를 완료합니다. 에이전트 사용자 정의 리소스는 각 호스트를 나타냅니다.

에이전트 플랫폼으로 호스팅된 클러스터를 생성하면 HyperShift가 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다.

IBM Power에서 호스팅된 컨트롤 플레인을 구성하려면 사전 요구 사항을 충족해야 합니다.

  • Kubernetes Operator 버전 2.7 이상용 멀티 클러스터 엔진은 OpenShift Container Platform 클러스터에 설치됩니다. RHACM(Red Hat Advanced Cluster Management)을 설치할 때 multicluster engine Operator가 자동으로 설치됩니다. OpenShift Container Platform 소프트웨어 카탈로그에서 RHACM 없이 다중 클러스터 엔진 Operator를 Operator로 설치할 수도 있습니다.
  • 다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다. 로컬 클러스터 관리 허브 클러스터는 다중 클러스터 엔진 Operator 버전 2.7 이상에서 자동으로 가져옵니다. local-cluster 에 대한 자세한 내용은 RHACM 설명서의 고급 구성 을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.

    $ oc get managedclusters local-cluster
  • HyperShift Operator를 실행하려면 컴퓨팅 노드가 3개 이상 있는 호스팅 클러스터가 필요합니다.
  • 중앙 인프라 관리 서비스를 활성화해야 합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
  • 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치해야 합니다. 자세한 내용은 "호스트된 컨트롤 플레인 명령줄 인터페이스 설치"를 참조하십시오.

호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다. 기능을 비활성화하고 수동으로 기능을 활성화하려면 "호스트된 컨트롤 플레인 기능 수동 활성화"를 참조하십시오. 기능을 비활성화해야 하는 경우 "호스트된 컨트롤 플레인 기능 비활성화"를 참조하십시오.

4.7.2. IBM Power 인프라 요구사항

에이전트 플랫폼은 인프라를 생성하지 않지만 인프라에 대한 리소스가 필요합니다.

  • 에이전트: 에이전트 는 검색 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 수 있는 호스트를 나타냅니다.
  • DNS: API 및 Ingress 끝점은 라우팅할 수 있어야 합니다.

4.7.3. IBM Power에서 호스팅된 컨트롤 플레인에 대한 DNS 구성

네트워크 외부의 클라이언트는 호스팅된 클러스터의 API 서버에 액세스할 수 있습니다. API 서버에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<basedomain > 항목에 대한 DNS 항목이 있어야 합니다.

DNS 항목은 호스팅된 컨트롤 플레인을 실행하는 관리 클러스터의 노드 중 하나를 가리키는 레코드만큼 단순할 수 있습니다.

이 항목은 배포된 로드 밸런서를 가리키며 들어오는 트래픽을 인그레스 포드로 리디렉션할 수도 있습니다.

DNS 구성의 다음 예제를 참조하십시오.

$ cat /var/named/<example.krnl.es.zone>

출력 예

$ TTL 900
@ IN  SOA bastion.example.krnl.es.com. hostmaster.example.krnl.es.com. (
      2019062002
      1D 1H 1W 3H )
  IN NS bastion.example.krnl.es.com.
;
;
api                   IN A 1xx.2x.2xx.1xx
api-int               IN A 1xx.2x.2xx.1xx
;
;
*.apps.<hosted_cluster_name>.<basedomain>           IN A 1xx.2x.2xx.1xx
;
;EOF

api 레코드는 호스팅된 컨트롤 플레인의 수신 및 송신 트래픽을 처리하는 API 로드 밸런서의 IP 주소를 나타냅니다.

IBM Power의 경우 에이전트의 IP 주소에 해당하는 IP 주소를 추가합니다.

설정 예

compute-0              IN A 1xx.2x.2xx.1yy
compute-1              IN A 1xx.2x.2xx.1yy

4.7.3.1. 사용자 정의 DNS 이름 정의

클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.

다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.

  • 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
  • 분할 수평 DNS 및 NAT 시나리오 지원
  • 올바른 kubeconfig 및 DNS 구성으로 Show Login Command 기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해

HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.

사전 요구 사항

  • kubeAPIServerDNSName 매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다.
  • 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.

프로세스

  • HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.

    #...
    spec:
      configuration:
        apiServer:
          servingCerts:
            namedCertificates:
            - names:
              - xxx.example.com
              - yyy.example.com
              servingCertificate:
                name: <my_serving_certificate>
      kubeAPIServerDNSName: <custom_address>

    kubeAPIServerDNSName 매개변수의 값은 유효한 도메인이어야 합니다.

    kubeAPIServerDNSName 매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서 custom-admin- kubeconfig 라는 kubeconfig 파일을 생성합니다. 여기서 파일이 HostedControlPlane 네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며 HostedControlPlane 네임스페이스는 만료 및 갱신을 관리합니다.

    Control Plane Operator는 HostedControlPlane 네임스페이스에서 CustomKubeconfig 라는 새 kubeconfig 파일을 보고합니다. 해당 파일은 kubeAPIServerDNSName 매개변수에서 정의된 새 서버를 사용합니다.

    사용자 정의 kubeconfig 파일에 대한 참조는 HostedCluster 오브젝트의 CustomKubeconfig 로 status 매개변수에 있습니다. CustomKubeConfig 매개변수는 선택 사항이며 kubeAPIServerDNSName 매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다. CustomKubeConfig 매개변수를 설정한 후 매개변수는 HostedCluster 네임스페이스에서 < hosted_cluster_name>-custom-admin-kubeconfig 라는 보안 생성을 트리거합니다. 시크릿을 사용하여 HostedCluster API 서버에 액세스할 수 있습니다. 설치 후 작업 중에 CustomKubeConfig 매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.

    참고

    사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다. HostedControlPlane 네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.

    HostedCluster 오브젝트의 사양에서 kubeAPIServerDNSName 매개변수를 제거하면 새로 생성된 모든 보안 및 CustomKubeconfig 참조가 클러스터 및 status 매개변수에서 제거됩니다.

4.7.4. CLI를 사용하여 호스트된 클러스터 생성

베어 메탈 인프라에서는 CLI(명령줄 인터페이스)를 사용하여 호스팅된 클러스터를 가져오거나 생성할 수 있습니다.

지원 설치 관리자를 다중 클러스터 엔진 Operator에 대한 애드온으로 활성화하고 에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성한 후 HyperShift Operator는 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다. 에이전트 클러스터 API 공급자는 컨트롤 플레인과 컴퓨팅 노드로 구성된 호스팅 클러스터를 호스팅하는 관리 클러스터를 연결합니다.

사전 요구 사항

  • 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스팅된 클러스터 이름은 기존 관리 클러스터와 같을 수 없습니다. 그러지 않으면 다중 클러스터 엔진 Operator가 호스팅된 클러스터를 관리할 수 없습니다.
  • 클러스터를 호스팅 클러스터 이름으로 사용하지 마십시오.
  • 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성할 수 없습니다.
  • 최상의 보안 및 관리 관행을 위해 다른 호스팅 클러스터와 별도로 호스팅 클러스터를 생성합니다.
  • 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC(영구 볼륨 클레임)가 표시될 수 있습니다.
  • 기본적으로 hcp create cluster agent 명령을 사용하면 명령이 구성된 노드 포트로 호스팅된 클러스터를 생성합니다. 베어 메탈의 호스트 클러스터의 기본 게시 전략은 로드 밸런서를 통해 서비스를 노출합니다. 웹 콘솔을 사용하거나 Red Hat Advanced Cluster Management를 사용하여 호스팅 클러스터를 생성하는 경우 Kubernetes API 서버 이외의 서비스에 게시 전략을 설정하려면 HostedCluster 사용자 정의 리소스에서 servicePublishingStrategy 정보를 수동으로 지정해야 합니다.
  • 인프라, 방화벽, 포트 및 서비스와 관련된 요구 사항이 포함된 "하위 메탈의 호스팅 컨트롤 플레인에 대한 요구 사항 필요"에 설명된 요구 사항을 충족해야 합니다. 예를 들어, 이러한 요구 사항은 다음 예제 명령과 같이 관리 클러스터의 베어 메탈 호스트에 적절한 영역 레이블을 추가하는 방법을 설명합니다.

    $ oc label node [compute-node-1] topology.kubernetes.io/zone=zone1
    $ oc label node [compute-node-2] topology.kubernetes.io/zone=zone2
    $ oc label node [compute-node-3] topology.kubernetes.io/zone=zone3
  • 하드웨어 인벤토리에 베어 메탈 노드를 추가해야 합니다.

프로세스

  1. 다음 명령을 입력하여 네임스페이스를 생성합니다.

    $ oc create ns <hosted_cluster_namespace>

    & lt;hosted_cluster_namespace&gt;를 호스팅된 클러스터 네임스페이스의 식별자로 바꿉니다. HyperShift Operator는 네임스페이스를 생성합니다. 베어 메탈 인프라에서 호스팅된 클러스터 생성 프로세스 중에 생성된 Cluster API 공급자 역할에 네임스페이스가 이미 있어야 합니다.

  2. 다음 명령을 입력하여 호스팅된 클러스터에 대한 구성 파일을 생성합니다.

    $ hcp create cluster agent \
      --name=<hosted_cluster_name> \
      --pull-secret=<path_to_pull_secret> \
      --agent-namespace=<hosted_control_plane_namespace> \
      --base-domain=<base_domain> \
      --api-server-address=api.<hosted_cluster_name>.<base_domain> \
      --etcd-storage-class=<etcd_storage_class> \
      --ssh-key=<path_to_ssh_key> \
      --namespace=<hosted_cluster_namespace> \
      --control-plane-availability-policy=HighlyAvailable \
      --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \
      --node-pool-replicas=<node_pool_replica_count> \
      --disable-cluster-capabilities=<capability> \
      --enable-cluster-capabilities=<capability> \
      --render \
      --render-sensitive > hosted-cluster-config.yaml

    다음과 같습니다.

    • --name 은 호스트된 클러스터의 이름을 지정합니다( 예: ).
    • --pull-secret 은 /user/name/pullsecret 과 같은 풀 시크릿의 경로를 지정합니다.
    • --agent-namespace 는 호스트된 컨트롤 플레인 네임스페이스(예: cluster -example )를 지정합니다. oc get agent -n <hosted_control_plane_namespace> 명령을 사용하여 이 네임스페이스 에서 에이전트를 사용할 수 있는지 확인합니다.
    • --base-domain 은 krnl.es 와 같은 기본 도메인을 지정합니다.
    • --API-server-address 는 호스팅된 클러스터의 Kubernetes API 통신에 사용할 IP 주소를 지정합니다. --api-server-address 플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다.
    • --etcd-storage-class 는 lvm-storageclass 와 같은 etcd 스토리지 클래스 이름을 지정합니다.
    • --SSH-key 는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는 ~/.ssh/id_rsa.pub 입니다.
    • --namespace 는 호스팅된 클러스터 네임스페이스를 지정합니다.
    • --control-plane-availability-policy 는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은 SingleReplica 및 HighlyAvailable 입니다. 기본값은 HighlyAvailable 입니다.
    • --release-image 는 사용하려는 지원되는 OpenShift Container Platform 버전 (예: 5.0.0-multi )을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 < ocp_release_image >를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "릴리스 이미지 다이제스트 추출"을 참조하십시오.
    • --node-pool-replicas 는 3 과 같은 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를 0 이상으로 지정해야 합니다. 그렇지 않으면 노드 풀을 생성하지 않습니다.
    • --disable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --enable-cluster-capabilities 는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
    • --render 는 클러스터에 리소스를 적용하는 대신 출력을 stdout에 YAML로 렌더링합니다. 기본적으로 보안은 렌더링된 출력에 포함되지 않습니다.
    • --render-sensitive 에는 --render 플래그와 함께 사용할 때 렌더링된 출력에 시크릿이 포함됩니다.
  3. 서비스 게시 전략을 구성합니다. 노드 포트는 추가 인프라 없이 항상 사용할 수 있으므로 호스트된 클러스터는 NodePort 서비스 게시 전략을 사용합니다. 그러나 로드 밸런서를 사용하도록 서비스 게시 전략을 구성할 수 있습니다.

    • 기본 NodePort 전략을 사용하는 경우 관리 클러스터 노드가 아닌 호스팅 클러스터 컴퓨팅 노드를 가리키도록 DNS를 구성합니다. 자세한 내용은 " bare metal의 DNS 구성"을 참조하십시오.
    • 프로덕션 환경의 경우 이 전략이 인증서 처리 및 자동 DNS 확인을 제공하므로 LoadBalancer 전략을 사용합니다. 다음 예제에서는 호스팅된 클러스터 구성 파일에서 LoadBalancer 전략을 변경하는 방법을 보여줍니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
      # ...
      spec:
        services:
        - service: APIServer
          servicePublishingStrategy:
            type: LoadBalancer
        - service: Ignition
          servicePublishingStrategy:
            type: Route
        - service: Konnectivity
          servicePublishingStrategy:
            type: Route
        - service: OAuthServer
          servicePublishingStrategy:
            type: Route
        - service: OIDC
          servicePublishingStrategy:
            type: Route
        sshKey:
          name: <ssh_key>
      # ...

      LoadBalancer 를 API 서버 유형으로 지정합니다. 기타 모든 서비스에 대해 Route 를 유형으로 지정합니다.

  4. 외부 로드 밸런서를 사용하는 경우 다음 예에 표시된 대로 Ingress 끝점을 구성합니다. 끝점을 구성하지 않으면 기본 동작은 서비스에서 수신을 노출하는 노드 포트를 임의화하는 것입니다. Ingress 컨트롤러에서 기본 수신 경로를 게시하는 방법을 구성하려면 HostedCluster 리소스를 편집하여 endpointPublishingStrategy 매개변수 및 기본 기능을 설정합니다.

    apiVersion: hypershift.openshift.io/v1beta1
    kind: HostedCluster
    metadata:
    #...
    spec:
      operatorConfiguration:
        ingressOperator:
          endpointPublishingStrategy:
            hostNetwork:
              httpPort: 80
              httpsPort: 443
              protocol: TCP
              statsPort: 1936
            type: HostNetwork
    #...

    spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type 매개변수는 로드 밸런서의 끝점을 지정합니다. 베어 메탈 설치의 경우 HostNetwork 유형을 사용합니다.

  5. 다음 명령을 입력하여 호스팅 클러스터 구성 파일에 변경 사항을 적용합니다.

    $ oc apply -f hosted_cluster_config.yaml
  6. 다음 명령을 입력하여 호스팅된 클러스터, 노드 풀 및 Pod 생성을 확인합니다.

    $ oc get hostedcluster \
      <hosted_cluster_namespace> -n \
      <hosted_cluster_namespace> -o \
      jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .
    $ oc get nodepool \
      <hosted_cluster_namespace> -n \
      <hosted_cluster_namespace> -o \
      jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .
    $ oc get pods -n <hosted_cluster_namespace>
  7. 호스트 클러스터가 준비되었는지 확인합니다. Available: True 는 클러스터의 준비 상태를 나타내며 노드 풀 상태에 AllMachinesReady: True 가 표시됩니다. 이러한 상태는 모든 클러스터 Operator의 상태를 나타냅니다.
  8. 호스팅된 클러스터에 MetalLB를 설치합니다.

    1. 호스트 클러스터에서 kubeconfig 파일을 추출하고 다음 명령을 입력하여 호스팅된 클러스터 액세스의 환경 변수를 설정합니다.

      $ oc get secret \
        <hosted_cluster_namespace>-admin-kubeconfig \
        -n <hosted_cluster_namespace> \
        -o jsonpath='{.data.kubeconfig}' \
        | base64 -d > \
        kubeconfig-<hosted_cluster_namespace>.yaml
      $ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"
    2. install-metallb-operator.yaml 파일을 생성하여 MetalLB Operator를 설치합니다.

      apiVersion: v1
      kind: Namespace
      metadata:
        name: metallb-system
      ---
      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: metallb-operator
        namespace: metallb-system
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator
        namespace: metallb-system
      spec:
        channel: "stable"
        name: metallb-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace
        installPlanApproval: Automatic
      # ...
    3. 다음 명령을 입력하여 파일을 적용합니다.

      $ oc apply -f install-metallb-operator.yaml
    4. deploy-metallb-ipaddresspool.yaml 파일을 생성하여 MetalLB IP 주소 풀을 구성합니다.

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: metallb
        namespace: metallb-system
      spec:
        autoAssign: true
        addresses:
        - 10.11.176.71-10.11.176.75
      ---
      apiVersion: metallb.io/v1beta1
      kind: L2Advertisement
      metadata:
        name: l2advertisement
        namespace: metallb-system
      spec:
        ipAddressPools:
        - metallb
      # ...
    5. 다음 명령을 입력하여 구성을 적용합니다.

      $ oc apply -f deploy-metallb-ipaddresspool.yaml
    6. 다음 명령을 입력하여 Operator 상태, IP 주소 풀, L2Advertisement 리소스를 확인하여 MetalLB의 설치를 확인합니다.

      $ oc get pods -n metallb-system
      $ oc get ipaddresspool -n metallb-system
      $ oc get l2advertisement -n metallb-system
  9. Ingress에 대한 로드 밸런서를 구성합니다.

    1. ingress-loadbalancer.yaml 파일을 생성합니다.

      apiVersion: v1
      kind: Service
      metadata:
        annotations:
          metallb.universe.tf/address-pool: metallb
        name: metallb-ingress
        namespace: openshift-ingress
      spec:
        ports:
          - name: http
            protocol: TCP
            port: 80
            targetPort: 80
          - name: https
            protocol: TCP
            port: 443
            targetPort: 443
        selector:
          ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
        type: LoadBalancer
      # ...
    2. 다음 명령을 입력하여 구성을 적용합니다.

      $ oc apply -f ingress-loadbalancer.yaml
    3. 다음 명령을 입력하여 로드 밸런서 서비스가 예상대로 작동하는지 확인합니다.

      $ oc get svc metallb-ingress -n openshift-ingress

      출력 예

      NAME              TYPE           CLUSTER-IP       EXTERNAL-IP    PORT(S)                      AGE
      metallb-ingress   LoadBalancer   172.31.127.129   10.11.176.71   80:30961/TCP,443:32090/TCP   16h

  10. 로드 밸런서에서 작동하도록 DNS를 구성합니다.

    1. 로드 밸런서 IP 주소에 *. apps.<hosted_cluster_namespace>.<base_domain > 와일드카드 DNS 레코드를 가리켜 apps 도메인의 DNS를 구성합니다.
    2. 다음 명령을 입력하여 DNS 확인을 확인합니다.

      $ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>

      출력 예

      Server:         10.11.176.1
      Address:        10.11.176.1#53
      
      Name:   console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com
      Address: 10.11.176.71

검증

  1. 다음 명령을 입력하여 클러스터 Operator를 확인합니다.

    $ oc get clusteroperators

    모든 Operator에 AVAILABLE: True,PROGRESSING: False, DEGRADED: False 가 표시되는지 확인합니다.

  2. 다음 명령을 입력하여 노드를 확인합니다.

    $ oc get nodes

    각 노드에 READY 상태가 있는지 확인합니다.

  3. 웹 브라우저에 다음 URL을 입력하여 콘솔에 대한 액세스를 테스트합니다.

    https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>

4.7.5. 호스트된 클러스터의 기능

리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.

HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.

기능은 다음 표에 설명되어 있습니다.

기능설명

imageregistry

S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다.

openshift-samples

이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator 입니다.

Insights

Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다.

baremetal

Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다.

콘솔

OpenShift Web Console Operator 및 해당 피연산자.

NodeTuning

TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다.

Ingress

클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다.

기능 설정을 결합할 때 다음 규칙이 적용됩니다.

겹치지 않음
기능은 enabled 및 disabled 목록에 동시에 있을 수 없습니다.
콘솔에는 인그레스가 필요합니다.
콘솔 기능이 Ingress 에 따라 다르기 때문에 콘솔 기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다.
버전 요구 사항
OpenShift Container Platform 4.20 이상을 사용하여 openshift-samples,Insights,Console,NodeTuning 등의 기능을 비활성화해야 합니다. 4.20 이전 버전에서 ImageRegistry 및 baremetal 을 비활성화할 수 있습니다.
베어 메탈 기본 제외
baremetal 기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.

4.7.5.2. 호스트 클러스터의 기능 설정

불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.

중요

기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.

hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.

절차

  • CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면 --disable-cluster-capabilities 플래그, --enable-cluster-capabilities 플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는 hcp 명령줄 인터페이스를 사용하여 ImageRegistry,Console, Ingress 기능을 비활성화하고 baremetal 기능을 활성화하는 방법을 보여줍니다.

    $ hcp create cluster aws \
        --name my-hosted-cluster \
        --disable-cluster-capabilities=ImageRegistry,Console,Ingress \
        --enable-cluster-capabilities=baremetal

    여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.

    • imageregistry
    • openshift-samples
    • Insights
    • baremetal
    • 콘솔
    • NodeTuning
    • Ingress
  • 클러스터 생성 시 HostedCluster 매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.

    • 호스트 클러스터에서 기능을 직접 비활성화하려면 HostedCluster 리소스에서 spec.capabilities.disabled 섹션을 추가합니다.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          disabled:
            - ImageRegistry
            - Console
            - Ingress
        # ...
    • baremetal 기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
        # ...
    • 두 목록에 기능이 없는 경우 enabled 및 disabled 를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.

      apiVersion: hypershift.openshift.io/v1beta1
      kind: HostedCluster
      metadata:
        name: my-hosted-cluster
        namespace: my-cluster-namespace
      spec:
        capabilities:
          enabled:
            - baremetal
          disabled:
            - ImageRegistry
            - openshift-samples
        # ...

4.7.6. 에이전트 호스트 클러스터에서 이기종 노드 풀 생성 정보

노드 풀은 동일한 구성을 공유하는 클러스터 내의 노드 그룹입니다. 이기종 노드 풀은 다양한 워크로드에 대해 풀을 생성하고 최적화할 수 있도록 다양한 구성을 제공합니다.

에이전트 플랫폼에서 이기종 노드 풀을 생성할 수 있습니다. 이 플랫폼을 사용하면 클러스터에서 단일 호스트 클러스터 내에서 x86_64 또는 ppc64le 과 같은 다양한 머신 유형을 실행할 수 있습니다.

이기종 노드 풀을 생성하려면 다음 일반 단계를 완료해야 합니다.

  • AgentServiceConfig CR(사용자 정의 리소스)을 생성하여 Operator에 데이터베이스 및 파일 시스템과 같은 구성 요소에 필요한 스토리지 양을 알려줍니다. CR은 지원할 OpenShift Container Platform 버전도 정의합니다.
  • 에이전트 클러스터를 생성합니다.
  • 이기종 노드 풀을 생성합니다.
  • 호스팅된 컨트롤 플레인의 DNS 구성
  • 각 아키텍처에 대한 InfraEnv CR(사용자 정의 리소스)을 생성합니다.
  • 이기종 클러스터에 에이전트를 추가합니다.

4.7.6.1. AgentServiceConfig 사용자 지정 리소스 생성

에이전트 호스트 클러스터에서 이기종 노드 풀을 생성하려면 두 가지 이기종 아키텍처 운영 체제(OS) 이미지로 AgentServiceConfig CR을 생성해야 합니다.

프로세스

  • 다음 명령을 실행합니다.

    $ envsubst <<"EOF" | oc apply -f -
    apiVersion: agent-install.openshift.io/v1beta1
    kind: AgentServiceConfig
    metadata:
     name: agent
    spec:
      databaseStorage:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: <db_volume_name>
      filesystemStorage:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: <fs_volume_name>
      osImages:
        - openshiftVersion: <ocp_version>
          version: <ocp_release_version_x86>
          url: <iso_url_x86>
          rootFSUrl: <root_fs_url_x86>
          cpuArchitecture: <arch_x86>
        - openshiftVersion: <ocp_version>
          version: <ocp_release_version_ppc64le>
          url: <iso_url_ppc64le>
          rootFSUrl: <root_fs_url_ppc64le>
          cpuArchitecture: <arch_ppc64le>
    EOF

    다음과 같습니다.

    <db_volume_name>
    Kubernetes Operator agentserviceconfig 구성의 다중 클러스터 엔진, 데이터베이스 볼륨 이름을 지정합니다.
    <fs_volume_name>
    다중 클러스터 엔진 Operator agentserviceconfig 구성, 파일 시스템 볼륨 이름을 지정합니다.
    <ocp_version>
    OpenShift Container Platform의 현재 버전을 지정합니다.
    <ocp_release_version_x86>
    x86의 현재 OpenShift Container Platform 릴리스 버전을 지정합니다.
    <iso_url_x86>
    x86의 ISO URL을 지정합니다.
    <root_fs_url_x86>
    x86의 루트 파일 시스템 URL을 지정합니다.
    <arch_x86>
    x86의 CPU 아키텍처를 지정합니다.
    <ocp_release_version_ppc64le>
    ppc64le 의 OpenShift Container Platform 릴리스 버전을 지정합니다.
    <iso_url_ppc64le>
    ppc64le 의 ISO URL을 지정합니다.
    <root_fs_url_ppc64le>
    ppc64le 의 루트 파일 시스템 URL을 지정합니다.
    <arch_ppc64le>
    ppc64le 의 CPU 아키텍처를 지정합니다.

4.7.6.2. 에이전트 클러스터 생성

에이전트 기반 접근 방식은 에이전트 클러스터를 관리하고 프로비저닝합니다. 에이전트 클러스터는 이기종 노드 풀을 사용하여 동일한 클러스터 내에서 다양한 유형의 컴퓨팅 노드를 사용할 수 있습니다.

사전 요구 사항

  • 호스트된 클러스터를 생성할 때 이기종 노드 풀을 지원할 수 있도록 다중 아키텍처 릴리스 이미지를 사용했습니다. "Multi-arch 릴리스 이미지" 페이지에서 최신 다중 아키텍처 이미지를 찾습니다.

절차

  1. 다음 명령을 실행하여 클러스터 네임스페이스의 환경 변수를 생성합니다.

    $ export CLUSTERS_NAMESPACE=<hosted_cluster_namespace>
  2. 다음 명령을 실행하여 시스템 클래스리스 도메인 간 라우팅(CIDR) 표기법에 대한 환경 변수를 생성합니다.

    $ export MACHINE_CIDR=192.168.122.0/24
  3. 다음 명령을 실행하여 호스팅된 제어 네임스페이스를 생성합니다.

    $ oc create ns <hosted_control_plane_namespace>
  4. 다음 명령을 실행하여 클러스터를 생성합니다.

    $ hcp create cluster agent \
        --name=<hosted_cluster_name> \
        --pull-secret=<pull_secret_file> \
        --agent-namespace=<hosted_control_plane_namespace> \
        --base-domain=<base_domain> \
        --api-server-address=api.<hosted_cluster_name>.<basedomain> \
        --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release>

    다음과 같습니다.

    <hosted_cluster_name>
    호스팅된 클러스터 이름을 지정합니다.
    <pull_secret_file>
    풀 시크릿 파일 경로를 지정합니다.
    <hosted_control_plane_namespace>
    호스팅된 컨트롤 플레인의 네임스페이스를 지정합니다.
    <base_domain>
    호스팅된 클러스터의 기본 도메인을 지정합니다.
    <ocp_release>
    현재 OpenShift Container Platform 릴리스 버전을 지정합니다.

4.7.6.3. 이기종 노드 풀 생성

NodePool CR(사용자 정의 리소스)을 사용하여 이기종 노드 풀을 생성하여 다른 워크로드를 특정 하드웨어와 연결하여 비용 및 성능을 최적화할 수 있습니다.

프로세스

  • NodePool CR을 정의하려면 다음 예와 유사한 YAML 파일을 생성합니다.

    envsubst <<"EOF" | oc apply -f -
    apiVersion:apiVersion: hypershift.openshift.io/v1beta1
    kind: NodePool
    metadata:
      name: <hosted_cluster_name>
      namespace: <clusters_namespace>
    spec:
      arch: <arch_ppc64le>
      clusterName: <hosted_cluster_name>
      management:
        autoRepair: false
        upgradeType: InPlace
      nodeDrainTimeout: 0s
      nodeVolumeDetachTimeout: 0s
      platform:
        agent:
          agentLabelSelector:
            matchLabels:
              inventory.agent-install.openshift.io/cpu-architecture: <arch_ppc64le>
        type: Agent
      release:
        image: quay.io/openshift-release-dev/ocp-release:<ocp_release>
      replicas: 0
    EOF

    <arch_ppc64le >: selector 블록은 지정된 라벨과 일치하는 에이전트를 선택합니다. 복제본이 0인 아키텍처 ppc64le 의 노드 풀을 생성하려면 ppc64le 을 지정합니다. 이렇게 하면 선택기 블록이 확장 작업 중에 ppc64le 아키텍처에서 에이전트만 선택합니다.

4.7.6.4. 호스트된 컨트롤 플레인의 DNS 구성

호스팅된 컨트롤 플레인의 DNS(Domain Name Service) 구성은 클라이언트가 내부 구성 요소로 트래픽을 라우팅할 수 있도록 외부 클라이언트가 Ingress 컨트롤러에 도달할 수 있음을 의미합니다. 이 설정을 구성하면 트래픽이 ppc64le 또는 x86_64 컴퓨팅 노드로 라우팅됩니다.

수신 애플리케이션을 호스팅하는 컴퓨팅 노드 중 하나에 *.apps.<cluster_name > 레코드를 가리킬 수 있습니다. 또는 컴퓨팅 노드 상단에 로드 밸런서를 설정할 수 있는 경우 이 로드 밸런서에 레코드를 지정합니다. 이기종 노드 풀을 생성할 때 컴퓨팅 노드가 서로 도달하거나 동일한 네트워크에 유지할 수 있는지 확인합니다.

4.7.6.5. 인프라 환경 리소스 생성

이기종 노드 풀의 경우 각 아키텍처에 대해 infraEnv CR(사용자 정의 리소스)을 생성해야 합니다. 이 구성을 사용하면 노드 프로비저닝 프로세스 중에 올바른 아키텍처별 운영 체제 및 부팅 아티팩트를 사용할 수 있습니다.

예를 들어 x86_64 및 ppc64le 아키텍처가 있는 노드 풀의 경우 x86_64 및 ppc64le 에 대한 InfraEnv CR을 생성합니다.

참고

절차를 시작하기 전에 x86_64 및 ppc64le 아키텍처의 운영 체제 이미지를 AgentServiceConfig 리소스에 추가합니다. 이 후 InfraEnv 리소스를 사용하여 최소 ISO 이미지를 가져올 수 있습니다.

프로세스

  1. 다음 명령을 실행하여 이기종 노드 풀용 x86_64 아키텍처를 사용하여 InfraEnv 리소스를 생성합니다.

    $ envsubst <<"EOF" | oc apply -f -
    apiVersion: agent-install.openshift.io/v1beta1
    kind: InfraEnv
    metadata:
      name: <hosted_cluster_name>-<arch_x86>
      namespace: <hosted_control_plane_namespace>
    spec:
      cpuArchitecture: <arch_x86>
      pullSecretRef:
        name: pull-secret
      sshAuthorizedKey: <ssh_pub_key>
    EOF

    다음과 같습니다.

    <hosted_cluster_name>
    호스팅된 클러스터 이름을 지정합니다.
    <arch_x86>
    x86_64 아키텍처를 지정합니다.
    <hosted_control_plane_namespace>
    호스팅된 컨트롤 플레인 네임스페이스를 지정합니다.
    <ssh_pub_key>
    SSH 공개 키를 지정합니다.
  2. 다음 명령을 실행하여 이기종 노드 풀에 대한 ppc64le 아키텍처를 사용하여 InfraEnv 리소스를 생성합니다.

    envsubst <<"EOF" | oc apply -f -
    apiVersion: agent-install.openshift.io/v1beta1
    kind: InfraEnv
    metadata:
      name: <hosted_cluster_name>-<arch_ppc64le>
      namespace: <hosted_control_plane_namespace>
    spec:
      cpuArchitecture: <arch_ppc64le>
      pullSecretRef:
        name: pull-secret
      sshAuthorizedKey: <ssh_pub_key>
    EOF

    다음과 같습니다.

    <hosted_cluster_name>
    호스팅된 클러스터 이름을 지정합니다.
    <arch_ppc64le>
    ppc64le 아키텍처를 지정합니다.
    <hosted_control_plane_namespace>
    호스팅된 컨트롤 플레인 네임스페이스를 지정합니다.
    <ssh_pub_key>
    SSH 공개 키를 지정합니다.
  3. 다음 명령을 실행하여 InfraEnv 리소스가 성공적으로 생성되었는지 확인합니다.

    • x86_64 InfraEnv 리소스가 성공적으로 생성되었는지 확인합니다.

      $ oc describe InfraEnv <hosted_cluster_name>-<arch_x86>
    • ppc64le InfraEnv 리소스가 성공적으로 생성되었는지 확인합니다.

      $ oc describe InfraEnv <hosted_cluster_name>-<arch_ppc64le>
  4. 다음 명령을 실행하여 가상 머신 또는 베어 메탈 머신이 에이전트로 결합할 수 있는 라이브 ISO를 생성합니다.

    1. x86_64 용 라이브 ISO를 생성합니다.

      $ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name>-<arch_x86> -ojsonpath="{.status.isoDownloadURL}"
    2. ppc64le 의 라이브 ISO를 생성합니다.

      $ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name>-<arch_ppc64le> -ojsonpath="{.status.isoDownloadURL}"

4.7.6.6. 이기종 클러스터에 에이전트 추가

라이브 ISO로 부팅하도록 시스템을 수동으로 구성하여 에이전트를 추가합니다. 라이브 ISO를 다운로드하여 베어 메탈 노드 또는 가상 머신을 부팅하는 데 사용할 수 있습니다.

부팅 시 노드는 assisted-service 와 통신하고 InfraEnv 리소스와 동일한 네임스페이스에 에이전트로 등록합니다. 각 에이전트를 생성한 후 사양에 installation_disk_id 및 hostname 매개변수를 선택적으로 설정할 수 있습니다. 그런 다음 에이전트를 승인하여 에이전트를 사용할 준비가 되었다고 표시할 수 있습니다.

프로세스

  1. 다음 명령을 실행하여 에이전트 목록을 가져옵니다.

    $ oc -n <hosted_control_plane_namespace> get agents

    출력 예

    NAME                                   CLUSTER   APPROVED   ROLE          STAGE
    86f7ac75-4fc4-4b36-8130-40fa12602218                        auto-assign
    e57a637f-745b-496e-971d-1abbf03341ba                        auto-assign

  2. 다음 명령을 실행하여 에이전트를 패치합니다.

    $ oc -n <hosted_control_plane_namespace> patch agent 86f7ac75-4fc4-4b36-8130-40fa12602218 -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-0.example.krnl.es"}}' --type merge
  3. 다음 명령을 실행하여 두 번째 에이전트를 패치합니다.

    $ oc -n <hosted_control_plane_namespace> patch agent 23d0c614-2caa-43f5-b7d3-0b3564688baa -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-1.example.krnl.es"}}' --type merge
  4. 다음 명령을 실행하여 에이전트 승인 상태를 확인합니다.

    $ oc -n <hosted_control_plane_namespace> get agents

    출력 예

    NAME                                   CLUSTER   APPROVED   ROLE          STAGE
    86f7ac75-4fc4-4b36-8130-40fa12602218             true       auto-assign
    e57a637f-745b-496e-971d-1abbf03341ba             true       auto-assign

4.7.6.7. 노드 풀 확장

에이전트를 승인한 후 노드 풀을 확장할 수 있습니다. 노드 풀에서 구성한 agentLabelSelector 값은 일치하는 에이전트만 클러스터에 추가되도록 합니다. 또한 노드 풀을 축소하는 데 도움이 됩니다.

클러스터에서 특정 아키텍처 노드를 제거하려면 해당 노드 풀을 축소합니다.

프로세스

  • 다음 명령을 실행하여 노드 풀을 확장합니다.

    $ oc -n <clusters_namespace> scale nodepool <nodepool_name> --replicas 2
    참고

    Cluster API 에이전트 공급자는 두 에이전트를 임의로 선택하여 호스팅된 클러스터에 할당합니다. 이러한 에이전트는 다른 상태를 통과한 다음 호스팅된 클러스터에 OpenShift Container Platform 노드로 참여합니다. 다양한 에이전트 상태는 바인딩 이며,검색,충분하지 않음,설치 중 , 진행 중, 추가-기존-클러스터.

검증

  1. 다음 명령을 실행하여 에이전트를 나열합니다.

    $ oc -n <hosted_control_plane_namespace> get agent

    출력 예

    NAME                                   CLUSTER         APPROVED   ROLE          STAGE
    4dac1ab2-7dd5-4894-a220-6a3473b67ee6   hypercluster1   true       auto-assign
    d9198891-39f4-4930-a679-65fb142b108b                   true       auto-assign
    da503cf1-a347-44f2-875c-4960ddb04091   hypercluster1   true       auto-assign

  2. 다음 명령을 실행하여 특정 확장 에이전트의 상태를 확인합니다.

    $ oc -n <hosted_control_plane_namespace> get agent -o jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'

    출력 예

    BMH: ocp-worker-2 Agent: 4dac1ab2-7dd5-4894-a220-6a3473b67ee6 State: binding
    BMH: ocp-worker-0 Agent: d9198891-39f4-4930-a679-65fb142b108b State: known-unbound
    BMH: ocp-worker-1 Agent: da503cf1-a347-44f2-875c-4960ddb04091 State: insufficient

  3. 에이전트가 add-to-existing-cluster 상태에 도달한 후 다음 명령을 실행하여 OpenShift Container Platform 노드가 준비되었는지 확인합니다.

    $ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes

    출력 예

    NAME           STATUS   ROLES    AGE     VERSION
    ocp-worker-1   Ready    worker   5m41s   v1.24.0+3882f8f
    ocp-worker-2   Ready    worker   6m3s    v1.24.0+3882f8f

  4. 노드에 워크로드를 추가하면 일부 클러스터 Operator를 조정할 수 있습니다. 다음 명령은 노드 풀을 확장한 후 발생한 두 개의 머신 생성을 표시합니다.

    $ oc -n <hosted_control_plane_namespace> get machines

    출력 예

    NAME                            CLUSTER               NODENAME       PROVIDERID                                     PHASE     AGE   VERSION
    hypercluster1-c96b6f675-m5vch   hypercluster1-b2qhl   ocp-worker-1   agent://da503cf1-a347-44f2-875c-4960ddb04091   Running   15m   4.11.5
    hypercluster1-c96b6f675-tl42p   hypercluster1-b2qhl   ocp-worker-2   agent://4dac1ab2-7dd5-4894-a220-6a3473b67ee6   Running   15m   4.11.5

4.8. OpenStack에 호스팅된 컨트롤 플레인 배포

중요

RHOSP(Red Hat OpenStack Platform)에 호스팅된 컨트롤 플레인 클러스터를 배포하는 것은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.

Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.

RHOSP(Red Hat OpenStack Platform) 17.1에서 실행되는 호스팅된 클러스터로 호스팅되는 컨트롤 플레인을 배포할 수 있습니다.

호스팅 클러스터는 관리 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 컨트롤 플레인을 사용하면 각 컨트롤 플레인의 전용 가상 또는 물리적 시스템 필요 없이 컨트롤 플레인이 관리 클러스터에 Pod로 존재합니다.

4.8.1. OpenStack 사전 요구 사항

RHOSP(Red Hat OpenStack Platform)에서 호스트된 클러스터를 생성하기 전에 사전 요구 사항을 충족해야 합니다.

  • 관리 OpenShift Container Platform 클러스터 버전 4.17 이상에 대한 관리자 액세스 권한이 있어야 합니다. 이 클러스터는 베어 메탈, RHOSP 또는 지원되는 퍼블릭 클라우드에서 실행할 수 있습니다.
  • HyperShift Operator는 "호스팅된 컨트롤 플레인 배포 준비"에 지정된 관리 클러스터에 설치됩니다.
  • 관리 클러스터는 OVN-Kubernetes를 기본 Pod 네트워크 CNI로 사용하여 구성됩니다.
  • OpenShift CLI(oc) 및 호스팅된 컨트롤 플레인 CLI, hcp 가 설치됩니다.
  • 로드 밸런서 백엔드(예: Octavia)는 관리 OCP 클러스터에 설치됩니다. 호스트된 각 클러스터에 대해 kube-api 서비스를 생성하려면 로드 밸런서가 필요합니다.

    • ingress가 Octavia 로드 밸런싱으로 구성되면 RHOSP Octavia 서비스가 게스트 클러스터를 호스팅하는 클라우드에서 실행되고 있습니다.
  • quay.io/openshift-release-dev 리포지토리에 유효한 풀 시크릿 파일이 있습니다.
  • 게스트 클러스터에서 관리 클러스터의 기본 외부 네트워크에 연결할 수 있습니다. 이 네트워크에 kube-apiserver 로드 밸런서 유형 서비스가 생성됩니다.
  • 수신에 사전 정의된 유동 IP 주소를 사용하는 경우 다음 와일드카드 도메인에 대한 DNS 레코드를 생성했습니다 . *.apps.<cluster_name>.<base_domain> .

    • <CLUSTER_NAME >은 관리 클러스터의 이름입니다.
    • <base_domain >은 클러스터의 애플리케이션이 있는 상위 DNS 도메인입니다.

추가 리소스

4.8.2. etcd 로컬 스토리지를 위한 관리 클러스터 준비

RHOSP(Red Hat OpenStack Platform)에 호스트된 컨트롤 플레인 배포에서는 기본 Cinder 기반 PVC(영구 볼륨 클레임)를 사용하는 대신 TopoLVM CSI 드라이버로 프로비저닝된 로컬 임시 스토리지를 사용하여 etcd 성능을 향상시킬 수 있습니다.

사전 요구 사항

  • HyperShift가 설치된 관리 클러스터에 액세스할 수 있습니다.
  • RHOSP 플레이버 및 머신 세트를 생성하고 관리할 수 있습니다.
  • oc 및 openstack CLI 툴이 설치되어 구성되어 있습니다.
  • TopoLVM 및 LVM(Logical Volume Manager) 스토리지 개념에 대해 잘 알고 있습니다.
  • 관리 클러스터에 LVM Storage Operator가 설치되어 있어야 합니다. 자세한 내용은 OpenShift Container Platform 설명서의 스토리지 섹션에서 "CLI를 사용하여 LVM 스토리지 설치"를 참조하십시오.

프로세스

  1. openstack CLI를 사용하여 추가 임시 디스크로 Nova 플레이버를 만듭니다. 예를 들면 다음과 같습니다.

    $ openstack flavor create \
      --id auto \
      --ram 8192 \
      --disk 0 \
      --ephemeral 100 \
      --vcpus 4 \
      --public \
      hcp-etcd-ephemeral
    참고

    해당 플레이버를 사용하여 서버를 생성할 때 Nova에서 임시 디스크를 인스턴스에 자동으로 연결하고 vfat 로 포맷합니다.

  2. 새 플레이버를 사용하는 컴퓨팅 시스템 세트를 생성합니다. 자세한 내용은 OpenShift Container Platform 설명서의 "OpenStack에서 컴퓨팅 머신 세트 생성"을 참조하십시오.
  3. 요구 사항에 맞게 머신 세트를 확장합니다. 고가용성을 위해 클러스터를 배포하는 경우 포드를 적절하게 배포할 수 있도록 최소 3개의 작업자를 배포해야 합니다.
  4. 새 작업자 노드에 레이블을 지정하여 etcd 사용을 식별합니다. 예를 들면 다음과 같습니다.

    $ oc label node <node_name> hypershift-capable=true

    이 레이블은 임의의 레이블입니다. 나중에 업데이트할 수 있습니다.

  5. lvmcluster.yaml 이라는 파일에서 etcd의 로컬 스토리지 구성에 다음 LVMCluster 사용자 지정 리소스를 생성합니다.

    apiVersion: lvm.topolvm.io/v1alpha1
    kind: LVMCluster
    metadata:
      name: etcd-hcp
      namespace: openshift-storage
    spec:
      storage:
        deviceClasses:
        - name: etcd-class
          default: true
          nodeSelector:
             nodeSelectorTerms:
             - matchExpressions:
               - key: hypershift-capable
                operator: In
                values:
                - "true"
          deviceSelector:
            forceWipeDevicesAndDestroyAllData: true
            paths:
            - /dev/vdb

    이 예에서 resource는 다음과 같습니다.

    • 임시 디스크 위치는 대부분의 경우 /dev/vdb 입니다. 경우에 따라 이 위치가 true인지 확인하고 심볼릭 링크가 지원되지 않습니다.
    • 기본 Nova 임시 디스크가 VFAT 형식으로 포맷되므로 매개 변수 forceWipeDevicesAndDestroyAllData 가 True 값으로 설정됩니다.
  6. 다음 명령을 실행하여 LVMCluster 리소스를 적용합니다.

    oc apply -f lvmcluster.yaml
  7. 다음 명령을 실행하여 LVMCluster 리소스를 확인합니다.

    $ oc get lvmcluster -A

    출력 예

    NAMESPACE           NAME    STATUS
    openshift-storage   etcd-hcp   Ready

  8. 다음 명령을 실행하여 StorageClass 리소스를 확인합니다.

    $ oc get storageclass

    출력 예

    NAME                    PROVISIONER               RECLAIMPOLICY   VOLUMEBINDINGMODE     ALLOWVOLUMEEXPANSION   AGE
    lvms-etcd-class         topolvm.io                Delete          WaitForFirstConsumer  true                   23m
    standard-csi (default)  cinder.csi.openstack.org  Delete          WaitForFirstConsumer  true                   56m

    이제 성능이 높은 etcd 구성으로 호스팅 클러스터를 배포할 수 있습니다. 배포 프로세스는 "OpenStack에서 호스트된 클러스터 생성"에 설명되어 있습니다.

4.8.3. Ingress를 위한 유동 IP 생성

수동으로 개입하지 않고 호스팅 클러스터에서 수신을 사용하려면 유동 IP 주소를 미리 생성할 수 있습니다.

사전 요구 사항

  • RHOSP(Red Hat OpenStack Platform) 클라우드에 액세스할 수 있습니다.
  • 수신에 사전 정의된 유동 IP 주소를 사용하는 경우 다음 와일드카드 도메인에 대한 DNS 레코드를 생성했습니다 . *.apps.<cluster_name>.<base_domain> .

    • <CLUSTER_NAME >은 관리 클러스터의 이름입니다.
    • <base_domain >은 클러스터의 애플리케이션이 있는 상위 DNS 도메인입니다.

프로세스

  • 다음 명령을 실행하여 유동 IP 주소를 만듭니다.

    $ openstack floating ip create <external_network_id>

    다음과 같습니다.

    <external_network_id>
    외부 네트워크의 ID를 지정합니다.
    참고

    미리 생성하지 않고 --openstack-ingress-floating-ip 플래그를 사용하여 유동 IP 주소를 지정하면 cloud-provider-openstack 구성 요소가 자동으로 생성하려고 합니다. 이 프로세스는 Neutron API 정책에서 특정 IP 주소로 유동 IP 주소를 생성할 수 있는 경우에만 성공합니다.

4.8.4. OpenStack에 RHCOS 이미지 업로드

호스팅된 컨트롤 플레인 및 RHOSP(Red Hat OpenStack Platform) 배포에 노드 풀을 배포할 때 사용할 RHCOS 이미지를 지정하려면 이미지를 RHOSP 클라우드에 업로드합니다.

이미지를 업로드하지 않으면ORC(OpenStack Resource Controller)가 OpenShift Container Platform 미러에서 이미지를 다운로드하고 호스팅된 클러스터를 삭제한 후 이미지를 삭제합니다.

사전 요구 사항

  • OpenShift Container Platform 미러에서 RHCOS 이미지를 다운로드했습니다.
  • RHOSP 클라우드에 액세스할 수 있습니다.

프로세스

  • 다음 명령을 실행하여 RHOSP에 RHCOS 이미지를 업로드합니다.

    $ openstack image create --disk-format qcow2 --file <image_file_name> rhcos

    다음과 같습니다.

    <image_file_name>
    RHCOS 이미지의 파일 이름을 지정합니다.

4.8.5. OpenStack에서 호스트된 클러스터 생성

hcp CLI를 사용하여 RHOSP(Red Hat OpenStack Platform)에서 호스팅 클러스터를 생성할 수 있습니다.

사전 요구 사항

  • "호스트된 컨트롤 플레인 배포 준비"에서 모든 사전 요구 사항 단계를 완료했습니다.
  • "OpenStack 사전 요구 사항"을 검토했습니다.
  • " etcd 로컬 스토리지용 관리 클러스터 준비"의 모든 단계를 완료했습니다.
  • 관리 클러스터에 액세스할 수 있습니다.
  • RHOSP 클라우드에 액세스할 수 있습니다.

프로세스

  • hcp create 명령을 실행하여 호스트된 클러스터를 생성합니다. 예를 들어 " etcd 로컬 스토리지의 관리 클러스터 준비"에 설명된 수행 중인 etcd 구성을 활용하는 클러스터는 다음을 입력합니다.

    $ hcp create cluster openstack \
      --name my-hcp-cluster \
      --openstack-node-flavor m1.xlarge \
      --base-domain example.com \
      --pull-secret /path/to/pull-secret.json \
      --release-image quay.io/openshift-release-dev/ocp-release:4.22.0-x86_64 \
      --node-pool-replicas 3 \
      --etcd-storage-class lvms-etcd-class
    참고

    클러스터 생성 시 많은 옵션을 사용할 수 있습니다. RHOSP 관련 옵션은 "OpenStack에서 호스팅된 컨트롤 플레인 클러스터를 생성하는 옵션"을 참조하십시오. 일반적인 옵션은 hcp 문서를 참조하십시오.

검증

  1. 호스트에서 다음 명령을 실행하여 호스팅 클러스터가 준비되었는지 확인합니다.

    $ oc -n clusters-<cluster_name> get pods

    다음과 같습니다.

    <cluster_name>
    클러스터 이름을 지정합니다.

    몇 분 후에 호스팅된 컨트롤 플레인 포드가 실행 중임을 출력에 표시되어야 합니다.

    출력 예

    NAME                                                  READY   STATUS    RESTARTS   AGE
    capi-provider-5cc7b74f47-n5gkr                        1/1     Running   0          3m
    catalog-operator-5f799567b7-fd6jw                     2/2     Running   0          69s
    certified-operators-catalog-784b9899f9-mrp6p          1/1     Running   0          66s
    cluster-api-6bbc867966-l4dwl                          1/1     Running   0          66s
    ...
    ...
    ...
    redhat-operators-catalog-9d5fd4d44-z8qqk              1/1     Running   0

  2. 클러스터의 etcd 구성을 확인하려면 다음을 수행합니다.

    1. 다음 명령을 실행하여 etcd PVC(영구 볼륨 클레임)를 확인합니다.

      $ oc get pvc -A
    2. 호스팅된 컨트롤 플레인 etcd pod 내에서 다음 명령을 실행하여 마운트 경로와 장치를 확인합니다.

      $ df -h /var/lib
      참고

      클러스터 API 공급자가 생성하는 RHOSP 리소스에는 openshiftClusterID=<infraID> 레이블이 지정됩니다.

      호스팅된 클러스터를 생성하는 데 사용하는 YAML 매니페스트의 HostedCluster.Spec.Platform.OpenStack.Tags 필드에 있는 값으로 리소스에 대한 추가 태그를 정의할 수 있습니다. 노드 풀을 확장한 후 태그가 리소스에 적용됩니다.

4.8.5.1. OpenStack에서 호스팅 컨트롤 플레인 클러스터를 생성하는 옵션

RHOSP(Red Hat OpenStack Platform)에 호스팅 컨트롤 플레인 클러스터를 배포하는 동안 hcp CLI에 여러 옵션을 제공할 수 있습니다.

옵션설명필수 항목

--openstack-ca-cert-file

OpenStack CA 인증서 파일의 경로입니다. 제공하지 않으면 clouds.yaml 의 클라우드 항목에서 자동으로 추출됩니다.

없음

--openstack-cloud

clouds.yaml 의 클라우드 항목 이름입니다. 기본값은 openstack 입니다.

없음

--openstack-credentials-file

OpenStack 자격 증명 파일의 경로입니다. 제공되지 않는 경우 hcp 는 다음 디렉토리를 검색합니다.

  • 현재 작업 디렉터리
  • $HOME/.config/openstack
  • /etc/openstack

없음

--openstack-dns-nameservers

서브넷을 만들 때 제공되는 DNS 서버 주소 목록입니다.

없음

--openstack-external-network-id

OpenStack 외부 네트워크의 ID입니다.

없음

--openstack-ingress-floating-ip

OpenShift 인그레스의 유동 IP입니다.

없음

--openstack-node-additional-port

노드에 연결할 추가 포트입니다. 유효한 값은 network-id,vnic-type,disable-port-security, address-pairs 입니다.

없음

--openstack-node-availability-zone

노드 풀의 가용성 영역입니다.

없음

--openstack-node-flavor

노드 풀에 플레이버입니다.

제공됨

--openstack-node-image-name

노드 풀의 이미지 이름입니다.

없음

Red Hat logoGithubRedditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 문서 정보

Legal Notice

Theme

© 2026 Red Hat
맨 위로 이동