4장. 호스트된 컨트롤 플레인 배포
4.1. AWS에 호스팅된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
인프라 비용을 줄이고 클러스터 관리 효율성을 개선하려면 AWS에 호스팅된 컨트롤 플레인을 배포할 수 있습니다. 이 구성은 중앙 관리 서비스에서 여러 클러스터를 관리할 수 있도록 컨트롤 플레인을 데이터 플레인과 분리합니다.
호스팅 클러스터는 관리 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다. 온프레미스에서 호스팅되는 컨트롤 플레인을 구성하려면 관리 클러스터에 Kubernetes Operator용 다중 클러스터 엔진을 설치해야 합니다. hypershift-addon 관리 클러스터 애드온을 사용하여 기존 관리 클러스터에 HyperShift Operator를 배포하면 해당 클러스터를 관리 클러스터로 활성화하고 호스팅된 클러스터를 생성할 수 있습니다. 로컬 클러스터 관리 클러스터에 대해 애드온은 기본적으로 활성화되어 있습니다.
하이퍼shift-addon 관리 클러스터
다중 클러스터 엔진 Operator 콘솔 또는 호스팅된 컨트롤 플레인 CLI(명령줄 인터페이스), hcp 를 사용하여 호스팅된 클러스터를 생성할 수 있습니다. 호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 그러나 이 자동 가져오기 기능을 다중 클러스터 엔진 Operator로 비활성화할 수 있습니다. 자세한 내용은 "호스트 클러스터를 멀티 클러스터 엔진 Operator로 자동 가져오기 비활성화"를 참조하십시오.
4.1.1. AWS에 호스팅된 컨트롤 플레인 배포 준비 링크 복사링크가 클립보드에 복사되었습니다!
AWS(Amazon Web Services)에 호스팅되는 컨트롤 플레인 배포 준비에는 여러 사전 요구 사항을 충족하고 S3 버킷, OIDC 시크릿, 라우팅 가능한 퍼블릭 영역, IAM 역할 및 STS 인증 정보를 포함한 리소스를 생성해야 합니다.
4.1.1.1. AWS에 호스팅된 컨트롤 플레인을 배포하기 위한 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
AWS(Amazon Web Services)에서 호스팅되는 컨트롤 플레인을 성공적으로 배포하려면 다음 요구 사항을 충족해야 합니다.
- OpenShift Container Platform 클러스터에 Kubernetes Operator 2.5 이상을 위한 다중 클러스터 엔진을 설치했습니다. RHACM(Red Hat Advanced Cluster Management)을 설치할 때 multicluster engine Operator가 자동으로 설치됩니다. 멀티 클러스터 엔진 Operator는 OpenShift Container Platform 소프트웨어 카탈로그의 Operator로 RHACM 없이 설치할 수도 있습니다.
다중 클러스터 엔진 Operator에 대해 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다.
local-cluster는 다중 클러스터 엔진 Operator 버전 2.5 이상에서 자동으로 가져옵니다. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.$ oc get managedclusters local-cluster- "'aws' CLI(명령줄 인터페이스)가 설치되어 있습니다.
-
호스팅된 컨트롤 플레인 CLI를 설치했습니다.
hcp.
- 동일한 플랫폼에서 관리 클러스터 및 컴퓨팅 노드를 실행합니다.
- 호스트된 각 클러스터에 대해 클러스터 전체 고유 이름을 제공합니다. 호스트된 클러스터 이름은 다중 클러스터 엔진 Operator가 이를 관리하기 위해 기존 관리 클러스터와 같을 수 없습니다.
-
클러스터를 호스팅
클러스터이름으로 사용하지 마십시오. - 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성하지 마십시오.
4.1.1.2. Amazon Web Services S3 버킷 및 S3 OIDC 시크릿 생성 링크 복사링크가 클립보드에 복사되었습니다!
AWS(Amazon Web Services)에서 호스팅 클러스터를 생성하고 관리하려면 S3 버킷 및 S3 OIDC 시크릿을 생성해야 합니다. 이러한 리소스는 클러스터에서 자체 정보를 저장할 수 있는 위치와 클러스터가 AWS에 대한 ID를 증명하는 방법을 제공합니다.
절차
클러스터의 호스트 OIDC 검색 문서에 대한 공용 액세스 권한이 있는 S3 버킷을 생성합니다.
다음 명령을 실행합니다.
$ aws s3api create-bucket --bucket <bucket_name> \ --create-bucket-configuration LocationConstraint=<region> \ --region <region>다음과 같습니다.
<bucket_name>- 생성 중인 S3 버킷의 이름을 지정합니다.
<region>-
us-east-1리전이 아닌 다른 리전에서 버킷을 생성하도록 지정합니다. 이 행을 포함하고 <region>을 사용하려는 리전으로 바꿉니다.us-east-1리전에 버킷을 생성하려면 이 행을 생략합니다.
다음 명령을 실행합니다.
$ aws s3api delete-public-access-block --bucket <bucket_name>&
lt;bucket_name>을 생성 중인 S3 버킷의 이름으로 바꿉니다.다음 명령을 실행합니다.
$ echo '{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": "*", "Action": "s3:GetObject", "Resource": "arn:aws:s3:::<bucket_name>/*" } ] }' | envsubst > policy.json&
lt;bucket_name>을 생성 중인 S3 버킷의 이름으로 바꿉니다.다음 명령을 실행합니다.
$ aws s3api put-bucket-policy --bucket <bucket_name> \ --policy file://policy.json&
lt;bucket_name>을 생성 중인 S3 버킷의 이름으로 바꿉니다.참고Mac 컴퓨터를 사용하는 경우 정책이 작동하려면 버킷 이름을 내보내야 합니다.
다음 명령을 실행하여 HyperShift Operator에 대해
hypershift-operator-oidc-provider-s3-credentials라는 OIDC S3 시크릿을 생성합니다.$ oc create secret generic hypershift-operator-oidc-provider-s3-credentials \ --from-file=credentials=<path>/.aws/credentials \ --from-literal=bucket=<s3_bucket> \ --from-literal=region=<region> \ -n local-cluster-
로컬 클러스터네임스페이스에 시크릿을 저장합니다. -
bucket필드는 호스팅된 클러스터에 대한 호스트 OIDC 검색 문서에 대한 공용 액세스 권한이 있는 S3 버킷을 지정합니다. -
credentials필드는 버킷에 액세스할 수 있는기본프로필의 인증 정보가 포함된 파일에 대한 참조를 지정합니다. 기본적으로 HyperShift Operator는기본프로필만 사용하여버킷을 작동합니다. -
region필드는 S3 버킷의 리전을 지정합니다.
참고보안에 대한 재해 복구 백업은 자동으로 활성화되지 않습니다. 재해 복구를 위해
hypershift-operator-oidc-provider-s3-credentials시크릿을 백업할 수 있는 레이블을 추가하려면 다음 명령을 실행합니다.$ oc label secret hypershift-operator-oidc-provider-s3-credentials \ -n local-cluster cluster.open-cluster-management.io/backup=true-
4.1.1.3. 호스팅된 클러스터에 대해 라우팅 가능한 퍼블릭 영역 생성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터의 애플리케이션에 액세스하려면 라우팅 가능한 퍼블릭 영역을 구성해야 합니다.
퍼블릭 영역이 있는 경우 이 단계를 건너뜁니다. 그렇지 않으면 퍼블릭 영역이 기존 기능에 영향을 미칩니다.
프로세스
DNS 레코드에 대해 라우팅 가능한 퍼블릭 영역을 생성하려면 다음 명령을 입력합니다.
$ aws route53 create-hosted-zone \ --name <basedomain> \ --caller-reference $(whoami)-$(date --rfc-3339=date)&
lt;basedomain>을 기본 도메인으로 바꿉니다(예:www.example.com).
4.1.1.4. AWS IAM 역할 및 STS 인증 정보 생성 링크 복사링크가 클립보드에 복사되었습니다!
AWS(Amazon Web Services)에서 호스팅 클러스터를 생성하기 전에 AWS IAM 역할 및 STS 인증 정보를 생성해야 합니다.
절차
다음 명령을 실행하여 사용자의 Amazon 리소스 이름(ARN)을 가져옵니다.
$ aws sts get-caller-identity --query "Arn" --output text출력 예
arn:aws:iam::1234567890:user/<aws_username>다음 단계에서 이 출력을 <
arn> 값 값으로 사용합니다.역할에 대한 신뢰 관계 구성이 포함된 JSON 파일을 생성합니다. 다음 예제를 참조하십시오.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "<arn>" }, "Action": "sts:AssumeRole" } ] }&
lt;arn>을 이전 단계에서 언급한 사용자의 ARN으로 바꿉니다.다음 명령을 실행하여 IAM(Identity and Access Management) 역할을 생성합니다.
$ aws iam create-role \ --role-name <name> \ --assume-role-policy-document file://<file_name>.json \ --query "Role.Arn"다음과 같습니다.
<name>-
역할 이름을 지정합니다(예:
hcp-cli-role). <file_name>- 이전 단계에서 생성한 JSON 파일의 이름을 지정합니다.
출력 예
arn:aws:iam::820196288204:role/myrole역할에 대한 다음 권한 정책이 포함된
policy.json이라는 JSON 파일을 생성합니다.{ "Version": "2012-10-17", "Statement": [ { "Sid": "EC2", "Effect": "Allow", "Action": [ "ec2:CreateDhcpOptions", "ec2:DeleteSubnet", "ec2:ReplaceRouteTableAssociation", "ec2:DescribeAddresses", "ec2:DescribeInstances", "ec2:DeleteVpcEndpoints", "ec2:CreateNatGateway", "ec2:CreateVpc", "ec2:DescribeDhcpOptions", "ec2:AttachInternetGateway", "ec2:DeleteVpcEndpointServiceConfigurations", "ec2:DeleteRouteTable", "ec2:AssociateRouteTable", "ec2:DescribeInternetGateways", "ec2:DescribeAvailabilityZones", "ec2:CreateRoute", "ec2:CreateInternetGateway", "ec2:RevokeSecurityGroupEgress", "ec2:ModifyVpcAttribute", "ec2:DeleteInternetGateway", "ec2:DescribeVpcEndpointConnections", "ec2:RejectVpcEndpointConnections", "ec2:DescribeRouteTables", "ec2:ReleaseAddress", "ec2:AssociateDhcpOptions", "ec2:TerminateInstances", "ec2:CreateTags", "ec2:DeleteRoute", "ec2:CreateRouteTable", "ec2:DetachInternetGateway", "ec2:DescribeVpcEndpointServiceConfigurations", "ec2:DescribeNatGateways", "ec2:DisassociateRouteTable", "ec2:AllocateAddress", "ec2:DescribeSecurityGroups", "ec2:RevokeSecurityGroupIngress", "ec2:CreateVpcEndpoint", "ec2:DescribeVpcs", "ec2:DeleteSecurityGroup", "ec2:DeleteDhcpOptions", "ec2:DeleteNatGateway", "ec2:DescribeVpcEndpoints", "ec2:DeleteVpc", "ec2:CreateSubnet", "ec2:DescribeSubnets" ], "Resource": "*" }, { "Sid": "ELB", "Effect": "Allow", "Action": [ "elasticloadbalancing:DeleteLoadBalancer", "elasticloadbalancing:DescribeLoadBalancers", "elasticloadbalancing:DescribeTargetGroups", "elasticloadbalancing:DeleteTargetGroup" ], "Resource": "*" }, { "Sid": "IAMPassRole", "Effect": "Allow", "Action": "iam:PassRole", "Resource": "arn:*:iam::*:role/*-worker-role", "Condition": { "ForAnyValue:StringEqualsIfExists": { "iam:PassedToService": "ec2.amazonaws.com" } } }, { "Sid": "IAM", "Effect": "Allow", "Action": [ "iam:CreateInstanceProfile", "iam:DeleteInstanceProfile", "iam:TagInstanceProfile", "iam:GetRole", "iam:UpdateAssumeRolePolicy", "iam:GetInstanceProfile", "iam:TagRole", "iam:RemoveRoleFromInstanceProfile", "iam:CreateRole", "iam:DeleteRole", "iam:PutRolePolicy", "iam:AddRoleToInstanceProfile", "iam:CreateOpenIDConnectProvider", "iam:TagOpenIDConnectProvider", "iam:ListOpenIDConnectProviders", "iam:DeleteRolePolicy", "iam:UpdateRole", "iam:DeleteOpenIDConnectProvider", "iam:GetRolePolicy", "iam:ListAttachedRolePolicies", "iam:ListRolePolicies", "iam:DetachRolePolicy" ], "Resource": "*" }, { "Sid": "Route53", "Effect": "Allow", "Action": [ "route53:ListHostedZonesByVPC", "route53:CreateHostedZone", "route53:ListHostedZones", "route53:ChangeResourceRecordSets", "route53:ListResourceRecordSets", "route53:DeleteHostedZone", "route53:AssociateVPCWithHostedZone", "route53:ListHostedZonesByName" ], "Resource": "*" }, { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:ListAllMyBuckets", "s3:ListBucket", "s3:DeleteObject", "s3:DeleteBucket" ], "Resource": "*" } ] }다음 명령을 실행하여 역할에 대한 권한 정책이 포함된
policy.json파일을 연결합니다.$ aws iam put-role-policy \ --role-name <role_name> \ --policy-name <policy_name> \ --policy-document file://policy.json다음과 같습니다.
<role_name>- 역할의 이름을 지정합니다.
<policy_name>- 정책 이름을 지정합니다.
다음 명령을 실행하여
sts-creds.json이라는 JSON 파일에서 STS 자격 증명을 검색합니다.$ aws sts get-session-token --output json > sts-creds.jsonsts-creds.json파일의 예{ "Credentials": { "AccessKeyId": "<access_key_id", "SecretAccessKey": "<secret_access_key>”, "SessionToken": "<session_token>", "Expiration": "<time_stamp>" } }
4.1.1.5. 호스팅된 컨트롤 플레인에 AWS PrivateLink 활성화 링크 복사링크가 클립보드에 복사되었습니다!
PrivateLink를 사용하여 AWS(Amazon Web Services)에서 호스팅되는 컨트롤 플레인을 프로비저닝하려면 호스팅된 컨트롤 플레인에 AWS PrivateLink를 활성화해야 합니다.
절차
-
HyperShift Operator에 대한 AWS 인증 정보 시크릿을 생성하고
hypershift-operator-private-link-credentials로 이름을 지정합니다. 보안은 관리 클러스터로 사용 중인 관리 클러스터의 네임스페이스인 관리 클러스터 네임스페이스에 있어야 합니다.local-cluster를 사용한 경우local-cluster네임스페이스에 시크릿을 생성합니다. 다음 표를 참조하여 보안에 필수 필드가 포함되어 있는지 확인합니다.
표 4.1. AWS 시크릿의 필수 필드 필드 이름 설명 선택 사항 또는 필수 regionPrivate Link에서 사용할 수 있는 리전
필수 항목
aws-access-key-id인증 정보 액세스 키 ID입니다.
필수 항목
aws-secret-access-key인증 정보 액세스 키 시크릿입니다.
필수 항목
AWS 시크릿을 생성하려면 다음 명령을 실행합니다.
$ oc create secret generic <secret_name> \ --from-literal=aws-access-key-id=<aws_access_key_id> \ --from-literal=aws-secret-access-key=<aws_secret_access_key> \ --from-literal=region=<region> -n local-cluster보안에 대한 재해 복구 백업은 자동으로 활성화되지 않습니다. 다음 명령을 실행하여 재해 복구를 위해
hypershift-operator-private-link-credentials시크릿을 백업할 수 있는 레이블을 추가합니다.$ oc label secret hypershift-operator-private-link-credentials \ -n local-cluster \ cluster.open-cluster-management.io/backup=""
4.1.2. AWS에서 호스팅된 컨트롤 플레인의 외부 DNS 활성화 링크 복사링크가 클립보드에 복사되었습니다!
DNS 레코드 관리를 자동화하기 위해 외부 DNS를 활성화할 수 있습니다. 이 기능을 구성하면 서비스 및 수신을 생성하거나 삭제할 때 클러스터가 AWS Route 53 공용 호스팅 영역을 자동으로 업데이트할 수 있는 방법을 제공합니다.
컨트롤 플레인과 데이터 플레인은 호스팅된 컨트롤 플레인에서 분리되어 있습니다. 다음 두 개의 독립적인 영역에서 DNS를 구성할 수 있습니다.
-
호스트 클러스터 내의 워크로드에 대한 수신(예:
*.apps.service-consumer-domain.com). -
서비스 공급자 도메인을 통한 API 또는 OAuth 끝점과 같은 관리 클러스터 내의 서비스 끝점에 대한 수신:
*.service-provider-domain.com.
hostedCluster.spec.dns 의 입력은 호스팅 클러스터 내의 워크로드에 대한 수신을 관리합니다. hostedCluster.spec.services.servicePublishingStrategy.route.hostname 의 입력은 관리 클러스터 내의 서비스 끝점에 대한 수신을 관리합니다.
외부 DNS는 LoadBalancer 또는 Route 게시 유형을 지정하고 해당 게시 유형의 호스트 이름을 제공하는 호스팅 클러스터 서비스에 대한 이름 레코드를 생성합니다. Private 또는 PublicAndPrivate 엔드포인트 액세스 유형이 있는 호스팅 클러스터의 경우 APIServer 및 OAuth 서비스만 호스트 이름을 지원합니다. 프라이빗 호스트 클러스터의 경우 DNS 레코드는 VPC의 VPC(Virtual Private Cloud) 끝점의 프라이빗 IP 주소로 확인됩니다.
호스팅된 컨트롤 플레인은 다음 서비스를 노출합니다.
-
APIServer -
OIDC
AWS의 호스팅된 컨트롤 플레인에서는 NodePort 게시 유형이 지원되지 않습니다.
HostedCluster 사양에서 servicePublishingStrategy 필드를 사용하여 이러한 서비스를 노출할 수 있습니다. 기본적으로 LoadBalancer 및 Route 유형의 servicePublishingStrategy 에서는 다음 방법 중 하나로 서비스를 게시할 수 있습니다.
-
LoadBalancer유형의서비스상태에 있는 로드 밸런서의 호스트 이름을 사용하여 다음을 수행합니다. -
Route리소스의status.host필드를 사용합니다.
그러나 관리 서비스 컨텍스트에 호스팅된 컨트롤 플레인을 배포할 때 이러한 방법은 기본 관리 클러스터의 ingress 하위 도메인과 관리 클러스터 라이프사이클 및 재해 복구에 대한 제한 옵션을 노출할 수 있습니다.
LoadBalancer 및 Route 게시 유형에 DNS indirection이 계층화된 경우 관리형 서비스 운영자는 서비스 수준 도메인을 사용하여 모든 공용 호스팅 클러스터 서비스를 게시할 수 있습니다. 이 아키텍처를 사용하면 DNS 이름을 새 LoadBalancer 또는 경로에 다시 매핑할 수 있으며 관리 클러스터의 인그레스 도메인을 노출하지 않습니다. 호스팅된 컨트롤 플레인은 외부 DNS를 사용하여 해당 간접 계층을 달성합니다.
관리 클러스터의 hypershift 네임스페이스에 HyperShift Operator와 함께 external-dns 를 배포할 수 있습니다. 외부 DNS는 external-dns.alpha.kubernetes.io/hostname 주석이 있는 서비스 또는 경로를 감시합니다. 해당 주석은 A 레코드 또는 경로 (예: CNAME 레코드)와 같은 서비스를 가리키는 DNS 레코드를 생성하는 데 사용됩니다.
클라우드 환경에서만 외부 DNS를 사용할 수 있습니다. 다른 환경의 경우 DNS 및 서비스를 수동으로 구성해야 합니다.
외부 DNS에 대한 자세한 내용은 "외부 DNS"를 참조하십시오.
4.1.2.1. 호스팅된 컨트롤 플레인의 외부 DNS 설정 링크 복사링크가 클립보드에 복사되었습니다!
DNS 레코드 관리를 자동화하기 위해 AWS에서 호스팅되는 컨트롤 플레인에 대한 외부 DNS를 설정할 수 있습니다. 서비스를 생성하거나 수정할 때 AWS Route 53 공용 호스팅 영역의 해당 DNS 레코드가 자동으로 업데이트되도록 이 구성이 필요합니다.
외부 DNS 또는 서비스 수준 DNS를 사용하여 호스팅되는 컨트롤 플레인을 프로비저닝할 수 있습니다.
사전 요구 사항
- 외부 공용 도메인을 생성하셨습니다.
- AWS Route53 관리 콘솔에 액세스할 수 있습니다.
- 호스팅된 컨트롤 플레인에 대해 AWS PrivateLink를 활성화했습니다.
절차
-
HyperShift Operator에 대한 AWS(Amazon Web Services) 인증 정보 시크릿을 생성하고
local-cluster네임스페이스에hypershift-operator-external-dns-credentials이름을 지정합니다. 시크릿에 필수 필드가 있는지 확인합니다. 참조의 경우 필수 필드는 다음 표에 자세히 설명되어 있습니다.
표 4.2. AWS 시크릿의 필수 필드 필드 이름 설명 선택 사항 또는 필수 provider서비스 수준 DNS 영역을 관리하는 DNS 공급자입니다.
필수 항목
domain-filter서비스 수준 도메인입니다.
필수 항목
credentials모든 외부 DNS 유형을 지원하는 자격 증명 파일입니다.
AWS 키를 사용할 때 선택 사항
aws-access-key-id인증 정보 액세스 키 ID입니다.
AWS DNS 서비스를 사용할 때 선택 사항
aws-secret-access-key인증 정보 액세스 키 시크릿입니다.
AWS DNS 서비스를 사용할 때 선택 사항
다음 명령을 실행하여 AWS 시크릿을 생성합니다.
$ oc create secret generic <secret_name> \ --from-literal=provider=aws \ --from-literal=domain-filter=<domain_name> \ --from-file=credentials=<path_to_aws_credentials_file> -n local-cluster참고보안에 대한 재해 복구 백업은 자동으로 활성화되지 않습니다. 재해 복구를 위해 시크릿을 백업하려면 다음 명령을 입력하여
hypershift-operator-external-dns-credentials를 추가합니다.$ oc label secret hypershift-operator-external-dns-credentials \ -n local-cluster \ cluster.open-cluster-management.io/backup=""
4.1.2.2. 퍼블릭 DNS 호스팅 영역 생성 링크 복사링크가 클립보드에 복사되었습니다!
퍼블릭 DNS 호스팅 영역을 생성하여 외부 DNS 도메인 필터로 사용할 수 있습니다. 외부 DNS Operator는 퍼블릭 DNS 호스팅 영역을 사용하여 퍼블릭 호스팅 클러스터를 생성합니다.
절차
- AWS Route 53 관리 콘솔에서 호스팅 영역 생성 을 클릭합니다.
- 호스팅 영역 구성 페이지에서 도메인 이름을 입력하고 공용 호스팅 영역이 유형으로 선택되어 있는지 확인하고 호스트 영역 생성 을 클릭합니다.
- 영역이 생성되면 레코드 탭에서 Value/Route 트래픽의 값을 열로 기록해 둡니다.
- 기본 도메인에서 NS 레코드를 생성하여 DNS 요청을 위임된 영역으로 리디렉션합니다. 값 필드에 이전 단계에서 기록한 값을 입력합니다.
- 레코드 생성을 클릭합니다.
새 하위 영역에 테스트 항목을 생성하고 다음 예와 같이
dig명령을 사용하여 테스트하여 DNS 호스팅 영역이 작동하는지 확인합니다.$ dig +short test.user-dest-public.aws.kerberos.com출력 예
192.168.1.1LoadBalancer및Route서비스의 호스트 이름을 설정하는 호스팅 클러스터를 생성하려면 다음 명령을 입력합니다.$ hcp create cluster aws --name=<hosted_cluster_name> \ --endpoint-access=PublicAndPrivate \ --external-dns-domain=<public_hosted_zone> ...&
lt;public_hosted_zone>을 생성한 공개 호스팅 영역으로 바꿉니다.호스트된 클러스터에 대한
services블록의 예platform: aws: endpointAccess: PublicAndPrivate ... services: - service: APIServer servicePublishingStrategy: route: hostname: api-example.service-provider-domain.com type: Route - service: OAuthServer servicePublishingStrategy: route: hostname: oauth-example.service-provider-domain.com type: Route - service: Konnectivity servicePublishingStrategy: type: Route - service: Ignition servicePublishingStrategy: type: RouteControl Plane Operator는
Services및Routes리소스를 생성하고external-dns.alpha.kubernetes.io/hostname주석으로 주석을 추가합니다.서비스및경로의 경우 컨트롤 플레인 Operator는 서비스 끝점의servicePublishingStrategy필드에 있는hostname매개변수 값을 사용합니다. DNS 레코드를 만들려면external-dns배포와 같은 메커니즘을 사용할 수 있습니다.공용 서비스에 대해서만 서비스 수준 DNS를 간접으로 구성할 수 있습니다.
hypershift.local프라이빗 영역을 사용하므로 프라이빗 서비스의호스트 이름을설정할 수 없습니다.다음 표에서는 서비스 및 엔드포인트 조합에 대한
호스트 이름을설정하는 것이 유효한 시기를 보여줍니다.표 4.3. 호스트 이름을설정하는 서비스 및 끝점 조합 서비스 퍼블릭 PublicAndPrivate 프라이빗 APIServerY
Y
N
OAuthServerY
Y
N
KonnectivityY
N
N
IgnitionY
N
N
4.1.2.3. AWS에서 외부 DNS를 사용하여 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
AWS에서 호스팅 클러스터를 생성할 때 외부 DNS를 사용하면 표준 설치 방법에 비해 이점이 있습니다. 외부 DNS를 사용하면 클러스터의 서비스 끝점을 AWS Route 53과 자동으로 동기화할 수 있습니다.
외부 DNS가 없으면 모든 새 서비스 또는 수신에 대한 DNS 레코드를 수동으로 관리하여 구성 오류와 다운타임의 위험이 높아야 합니다.
사전 요구 사항
관리 클러스터에 다음 아티팩트를 구성했습니다.
- 퍼블릭 DNS 호스팅 영역
- 외부 DNS Operator
- HyperShift Operator
절차
hcpCLI(명령줄 인터페이스)에서 다음 명령을 입력하여 관리 클러스터에 액세스합니다.$ export KUBECONFIG=<path_to_management_cluster_kubeconfig>다음 명령을 입력하여 External DNS Operator가 실행 중인지 확인합니다.
$ oc get pod -n hypershift -lapp=external-dns출력 예
NAME READY STATUS RESTARTS AGE external-dns-7c89788c69-rn8gp 1/1 Running 0 40s외부 DNS를 사용하여 호스팅된 클러스터를 생성하려면 다음 명령을 입력합니다.
$ hcp create cluster aws \ --role-arn <arn_role> \ --instance-type <instance_type> \ --region <region> \ --auto-repair \ --generate-ssh \ --name <hosted_cluster_name> \ --namespace clusters \ --base-domain <service_consumer_domain> \ --node-pool-replicas <node_replica_count> \ --pull-secret <path_to_your_pull_secret> \ --release-image quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \ --external-dns-domain=<service_provider_domain> \ --endpoint-access=<endpoint_access_configuration> \ --sts-creds <path_to_sts_credential_file>다음과 같습니다.
<arn_role>-
Amazon 리소스 이름(ARN)을 지정합니다(예:
arn:aws:iam::820196288204:role/myrole). <instance_types>-
인스턴스 유형을 지정합니다(예:
m6i.xlarge). <region>-
AWS 리전을 지정합니다(예:
us-east-1). <hosted_cluster_name>-
호스팅된 클러스터 이름을 지정합니다(예:
my-external-aws). <service_consumer_domain>-
서비스 소비자가 소유한 공개 호스팅 영역을 지정합니다(예:
service-consumer-domain.com). <node_replica_count>-
노드 복제본 수를 지정합니다(예:
2). <path_to_your_pull_secret>- 풀 시크릿 파일의 경로를 지정합니다.
<ocp_release_image>-
사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예:
5.0.0-multi). <service_provider_domain>-
서비스 공급자가 소유한 공개 호스팅 영역을 지정합니다(예:
service-provider-domain.com). <endpoint_access_configuraton>-
외부 DNS의 끝점 액세스 구성을 지정합니다. 을
PublicAndPrivate로 설정합니다. 공용 또는구성으로만 외부 DNS를 사용할 수 있습니다.PublicAndPrivate <path_to_sts_credential_file>-
AWS STS 자격 증명 파일의 경로를 지정합니다(예:
/home/user/sts-creds/sts-creds.json).
4.1.2.4. 사용자 정의 DNS 이름 정의 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.
다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.
- 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
- 분할 수평 DNS 및 NAT 시나리오 지원
-
올바른
kubeconfig및 DNS 구성으로Show Login Command기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해
HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.
사전 요구 사항
-
kubeAPIServerDNSName매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다. - 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.
프로세스
HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.#... spec: configuration: apiServer: servingCerts: namedCertificates: - names: - xxx.example.com - yyy.example.com servingCertificate: name: <my_serving_certificate> kubeAPIServerDNSName: <custom_address>kubeAPIServerDNSName매개변수의 값은 유효한 도메인이어야 합니다.kubeAPIServerDNSName매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서custom-admin-라는 kubeconfig 파일을 생성합니다. 여기서 파일이kubeconfigHostedControlPlane네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며HostedControlPlane네임스페이스는 만료 및 갱신을 관리합니다.Control Plane Operator는
HostedControlPlane네임스페이스에서CustomKubeconfig라는 새kubeconfig파일을 보고합니다. 해당 파일은kubeAPIServerDNSName매개변수에서 정의된 새 서버를 사용합니다.사용자 정의
kubeconfig파일에 대한 참조는HostedCluster오브젝트의CustomKubeconfig로status매개변수에 있습니다.CustomKubeConfig매개변수는 선택 사항이며kubeAPIServerDNSName매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다.CustomKubeConfig매개변수를 설정한 후 매개변수는HostedCluster네임스페이스에서 <hosted_cluster_name>-custom-admin-kubeconfig라는 보안 생성을 트리거합니다. 시크릿을 사용하여HostedClusterAPI 서버에 액세스할 수 있습니다. 설치 후 작업 중에CustomKubeConfig매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.참고사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다.
HostedControlPlane네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수를 제거하면 새로 생성된 모든 보안 및CustomKubeconfig참조가 클러스터 및status매개변수에서 제거됩니다.
4.1.3. AWS에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
AWS에서 명령줄 인터페이스, hcp 를 사용하거나 AWS STS 인증 정보를 제공하여 호스팅 클러스터를 생성할 수 있습니다. AWS의 여러 영역에 호스팅 클러스터를 생성할 수도 있습니다.
호스팅된 클러스터 는 API 끝점 및 컨트롤 플레인이 관리 클러스터에서 호스팅되는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다.
호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.
AWS의 호스팅된 컨트롤 플레인의 경우 기본적으로 AMD64 호스팅 클러스터를 사용합니다. 그러나 호스팅된 컨트롤 플레인이 ARM64 호스팅 클러스터에서 실행되도록 할 수 있습니다. 자세한 내용은 " ARM64 아키텍처에서 호스팅된 클러스터 실행"을 참조하십시오.
노드 풀 및 호스팅 클러스터의 호환 가능한 조합은 다음 표를 참조하십시오.
| 호스트된 클러스터 | 노드 풀 |
|---|---|
| AMD64 | AMD64 또는 ARM64 |
| ARM64 | ARM64 또는 AMD64 |
4.1.3.1. CLI를 사용하여 AWS에서 호스트된 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
AWS(Amazon Web Services)에서 호스팅된 클러스터를 생성하려면 호스트된 컨트롤 플레인 명령줄 인터페이스(hcp)를 사용할 수 있습니다.
사전 요구 사항
-
호스트된 컨트롤 플레인 CLI,
hcp를 설정했습니다. -
로컬 클러스터 관리 클러스터를관리 클러스터로 활성화했습니다. - AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성하셨습니다.
프로세스
AWS에서 호스팅된 클러스터를 생성하려면 다음 명령을 실행합니다.
$ hcp create cluster aws \ --name <hosted_cluster_name> \ --infra-id <infra_id> \ --base-domain <basedomain> \ --sts-creds <path_to_sts_credential_file> \ --pull-secret <path_to_pull_secret> \ --region <region> \ --generate-ssh \ --node-pool-replicas <node_pool_replica_count> \ --namespace <hosted_cluster_namespace> \ --role-arn <role_name> \ --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --render-into <file_name>.yaml \ --render-sensitive-
--name은 호스팅된 클러스터의 이름을 지정합니다. -
--infra-id는 인프라 이름을 지정합니다. <hosted_cluster_name> 및 <. 그러지 않으면 Kubernetes Operator 콘솔의 다중 클러스터 엔진에 클러스터가 올바르게 표시되지 않을 수 있습니다.infra_id>에 동일한 값을 제공해야 합니다 -
--base-domain은 기본 도메인을 지정합니다(예:example.com). -
--STS-creds는 AWS STS 자격 증명 파일의 경로를 지정합니다(예:/home/user/sts-creds/sts-creds.json). -
--pull-secret은 풀 시크릿의 경로를 지정합니다(예:/user/name/pullsecret). -
--region은 AWS 리전 이름을 지정합니다(예:us-east-1). -
--node-pool-replicas는 노드 풀 복제본 수를 지정합니다(예:3). -
--namespace는 특정 네임스페이스에서HostedCluster및NodePool사용자 정의 리소스를 생성하도록 지정합니다. 그렇지 않으면 기본적으로 모든HostedCluster및NodePool사용자 정의 리소스가클러스터네임스페이스에 생성됩니다. -
--role-arn은arn:aws:iam::820196288204:role/myrole과 같이 Amazon Resource Name(ARN)을 지정합니다. -
--release-image는 사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예:5.0.0-multi). -
--disable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities는 호스팅된 클러스터의 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--render-into는 EC2 인스턴스가 공유 또는 단일 테넌트 하드웨어에서 실행되는지 여부를 지정합니다.--render-into플래그는 Kubernetes 리소스를 이 필드에 지정하는 YAML 파일에 렌더링합니다. 다음 단계로 이동하여 YAML 파일을 편집합니다. -
--render-sensitive는 중요한 보안을--render-into플래그로 지정한 파일로 렌더링하도록 지정합니다.hcp create cluster명령에--render-into플래그를 포함하는 경우--render-sensitive플래그를 포함하거나 클러스터 생성에 실패합니다.
-
hcp create cluster명령에--render-into플래그를 포함하는 경우 지정된 YAML 파일을 편집합니다. YAML 파일에서NodePool사양을 편집하여 다음 예와 유사하게 EC2 인스턴스를 공유 또는 단일 테넌트 하드웨어에서 실행해야 하는지 여부를 나타냅니다.YAML 파일의 예
apiVersion: hypershift.openshift.io/v1beta1 kind: NodePool metadata: name: <nodepool_name> spec: platform: aws: placement: tenancy: "default"다음과 같습니다.
metadata.name-
NodePool리소스의 이름을 지정합니다. spec.platform.aws.placement.tenancy-
테넌시에 유효한 값인
"default","dedicated"또는"host"를 지정합니다. 노드 풀 인스턴스가 공유 하드웨어에서 실행되는 경우"default"를 사용합니다. 각 노드 풀 인스턴스가 단일 테넌트 하드웨어에서 실행되는 경우"dedicated"를 사용합니다. 노드 풀 인스턴스가 사전 할당된 전용 호스트에서 실행되면"host"를 사용합니다.
외부 로드 밸런서를 사용하는 경우 다음 예와 같이
HostedCluster리소스를 편집하여 Ingress 끝점을 구성합니다. 끝점을 구성하지 않으면 기본 동작은 서비스에서 수신을 노출하는 노드 포트를 임의화하는 것입니다. Ingress 컨트롤러에서 기본 수신 경로를 게시하는 방법을 구성하려면endpointPublishingStrategy매개변수 및 기본 함수를 설정합니다.#... spec: operatorConfiguration: ingressOperator: endpointPublishingStrategy: type: LoadBalancerService loadBalancer: scope: Internal #...spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type매개변수는 로드 밸런서의 끝점을 지정합니다. AWS의 경우LoadBalancerService유형을 사용합니다.다음 명령을 실행합니다.
$ oc create -f <file_name>.yaml
검증
호스팅 클러스터의 상태를 확인하여
AVAILABLE의 값이True인지 확인합니다. 다음 명령을 실행합니다.$ oc get hostedclusters -n <hosted_cluster_namespace>다음 명령을 실행하여 노드 풀 목록을 가져옵니다.
$ oc get nodepools --namespace <hosted_cluster_namespace>
4.1.3.2. AWS STS 인증 정보를 제공하여 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인 배포의 보안을 강화하기 위해 AWS STS(Security Token Service)를 사용하여 AWS에서 호스팅된 클러스터를 생성할 수 있습니다.
hcp create cluster aws 명령을 사용하여 호스팅된 클러스터를 생성하는 경우 호스팅된 클러스터에 대한 인프라 리소스를 생성할 수 있는 권한이 있는 AWS(Amazon Web Services) 계정 인증 정보를 제공해야 합니다.
인프라 리소스에는 다음 예가 포함됩니다.
- Virtual Private Cloud (VPC)
- 서브넷
- NAT(네트워크 주소 변환) 게이트웨이
다음 방법 중 하나를 사용하여 AWS 인증 정보를 제공할 수 있습니다.
- AWS STS(Security Token Service) 인증 정보
- 다중 클러스터 엔진 Operator의 AWS 클라우드 공급자 시크릿
프로세스
AWS STS 인증 정보를 제공하여 AWS에서 호스팅된 클러스터를 생성하려면 다음 명령을 입력합니다.
$ hcp create cluster aws \ --name <hosted_cluster_name> \ --node-pool-replicas <node_pool_replica_count> \ --base-domain <base_domain> \ --pull-secret <path_to_pull_secret> \ --sts-creds <path_to_sts_credential_file> \ --region <region> \ --role-arn <arn_role>다음과 같습니다.
<hosted_cluster_name>-
호스트 클러스터의 이름을 지정합니다(예:
my-hosted-cluster-01). <node_pool_replica_count>-
노드 풀 복제본 수를 지정합니다(예:
2). <base_domain>-
기본 도메인을 지정합니다(예:
example.com). <path_to_pull_secret>-
풀 시크릿의 경로를 지정합니다(예:
/user/name/pullsecret). <path_to_sts_credentials>-
AWS STS 자격 증명 파일의 경로를 지정합니다(예:
/home/user/sts-creds/sts-creds.json). <region>-
AWS 리전 이름을 지정합니다(예:
us-east-1). <arn_role>-
Amazon 리소스 이름(ARN)을 지정합니다(예:
arn:aws:iam::820196288204:role/myrole).
4.1.3.3. AWS의 여러 영역에서 호스팅 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
가용성 및 내결함성을 개선하기 위해 여러 AWS 가용성 영역에서 호스팅된 클러스터를 생성할 수 있습니다. 여러 영역에서 노드 풀 및 컴퓨팅 노드를 분산하면 단일 지역의 잠재적인 중단으로부터 워크로드를 보호합니다.
hcp CLI(명령줄 인터페이스)를 사용하여 AWS(Amazon Web Services)의 여러 영역에서 호스팅 클러스터를 생성할 수 있습니다.
사전 요구 사항
- AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성하셨습니다.
프로세스
다음 명령을 실행하여 AWS의 여러 영역에 호스팅 클러스터를 생성합니다.
$ hcp create cluster aws \ --name <hosted_cluster_name> \ --node-pool-replicas=<node_pool_replica_count> \ --base-domain <base_domain> \ --pull-secret <path_to_pull_secret> \ --role-arn <arn_role> \ --region <region> \ --zones <zones> \ --sts-creds <path_to_sts_credential_file>다음과 같습니다.
<hosted_cluster_name>-
my-hosted-cluster-01과 같은 호스트 클러스터의 이름을 지정합니다. <node_pool_replica_count>-
노드 풀 복제본 수를 지정합니다(예:
2). <base_domain>-
기본 도메인을 지정합니다(예:
example.com). <path_to_pull_secret>-
풀 시크릿의 경로를 지정합니다(예:
/user/name/pullsecret). <arn_role>-
Amazon 리소스 이름(ARN)을 지정합니다(예:
arn:aws:iam::820196288204:role/myrole). <region>-
AWS 리전 이름을 지정합니다(예:
us-east-1). <zones>-
AWS 리전 내의 가용성 영역을 지정합니다(예:
us-east-1a,us-east-1b). 지정된 각 영역에 대해 퍼블릭 서브넷, 프라이빗 서브넷, NAT 게이트웨이 및 프라이빗 경로 표와 같은 인프라가 생성됩니다. 공용 경로 테이블은 퍼블릭 서브넷에서 공유됩니다. 각 영역에 대해 하나의NodePool리소스가 생성됩니다. 노드 풀 이름은 영역 이름으로 접미사가 지정됩니다. 영역의 프라이빗 서브넷은spec.platform.aws.subnet.id매개변수에 설정됩니다. <path_to_sts_credential_file>-
AWS STS 자격 증명 파일의 경로를 지정합니다(예:
/home/user/sts-creds/sts-creds.json).
4.1.4. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.1.4.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.1.4.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.1.5. AWS에서 호스트된 클러스터에 액세스 링크 복사링크가 클립보드에 복사되었습니다!
AWS에서 호스팅된 클러스터를 생성한 후 kubeconfig 파일을 사용하여 액세스할 수 있으며 시크릿에 액세스, kubeadmin 자격 증명은 액세스할 수 있습니다.
호스팅 클러스터 네임스페이스에는 호스팅된 클러스터 리소스와 액세스 보안이 포함됩니다. 호스팅된 컨트롤 플레인은 호스팅된 컨트롤 플레인 네임스페이스에서 실행됩니다.
시크릿 이름 형식은 다음 표에 표시됩니다.
| Secret | 형식 | 예 |
|---|---|---|
|
|
|
|
|
|
|
|
kubeadmin 암호 시크릿은 Base64로 인코딩되며 kubeconfig 시크릿에는 Base64로 인코딩된 kubeconfig 구성이 포함되어 있습니다. Base64로 인코딩된 kubeconfig 구성을 디코딩하여 < hosted_cluster_name>.kubeconfig 파일에 저장해야 합니다.
절차
다음 명령을 입력하여
kubeconfig파일을 생성합니다.$ hcp create kubeconfig --namespace <hosted_cluster_namespace> \ --name <hosted_cluster_name> > <hosted_cluster_name>.kubeconfig호스트된
클러스터에 액세스하려면 디코딩된 kubeconfig 구성이 포함된 <hosted_cluster_name>.kubeconfig파일을 사용합니다. 다음 명령을 실행합니다.$ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodesAPI 서버 또는 호스팅된 클러스터의 콘솔에 로그인하려면
kubeadmin암호 시크릿을 디코딩해야 합니다.
4.1.6. ARM64 아키텍처에서 호스트 클러스터 실행 링크 복사링크가 클립보드에 복사되었습니다!
AWS(Amazon Web Services)에서 호스팅되는 컨트롤 플레인의 경우 기본적으로 AMD64 호스팅 클러스터를 사용합니다. 그러나 호스팅된 컨트롤 플레인이 ARM64 호스팅 클러스터에서 실행되도록 할 수 있습니다.
노드 풀 및 호스팅 클러스터의 호환 가능한 조합은 다음 표를 참조하십시오.
| 호스트된 클러스터 | 노드 풀 |
|---|---|
| AMD64 | AMD64 또는 ARM64 |
| ARM64 | ARM64 또는 AMD64 |
4.1.6.1. ARM64 OpenShift Container Platform 클러스터에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
기본 릴리스 이미지를 다중 아키텍처 릴리스 이미지로 재정의하여 ARM64 OpenShift Container Platform 클러스터에서 AWS(Amazon Web Services)의 호스트 클러스터를 실행할 수 있습니다.
다중 아키텍처 릴리스 이미지를 사용하지 않는 경우 노드 풀의 컴퓨팅 노드가 생성되지 않고 호스트 클러스터에서 다중 아키텍처 릴리스 이미지를 사용하거나 릴리스 이미지를 기반으로 NodePool 사용자 정의 리소스를 업데이트할 때까지 노드 풀의 조정이 중지됩니다.
사전 요구 사항
- AWS에 설치된 64비트 ARM 인프라가 있는 OpenShift Container Platform 클러스터가 있어야 합니다. 자세한 내용은 "OpenShift Container Platform Cluster: AWS(ARM)"를 참조하십시오.
- AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성해야 합니다. 자세한 내용은 "AWS IAM 역할 및 STS 인증 정보 생성"을 참조하십시오.
프로세스
다음 명령을 입력하여 ARM64 OpenShift Container Platform 클러스터에 호스팅된 클러스터를 생성합니다.
$ hcp create cluster aws \ --name <hosted_cluster_name> \ --node-pool-replicas <node_pool_replica_count> \ --base-domain <base_domain> \ --pull-secret <path_to_pull_secret> \ --sts-creds <path_to_sts_credential_file> \ --region <region> \ --release-image quay.io/openshift-release-dev/ocp-release:<ocp_release_image> \ --role-arn <role_name>다음과 같습니다.
<hosted_cluster_name>-
호스트 클러스터의 이름을 지정합니다(예:
my-hosted-cluster-01). <node_pool_replica_count>-
노드 풀 복제본 수를 지정합니다(예:
3). <base_domain>-
기본 도메인을 지정합니다(예:
example.com). <path_to_pull_secret>-
풀 시크릿의 경로를 지정합니다(예:
/user/name/pullsecret). <path_to_sts_credential_file>-
AWS STS 자격 증명 파일의 경로를 지정합니다(예:
/home/user/sts-creds/sts-creds.json). <region>-
AWS 리전 이름을 지정합니다(예:
us-east-1). <ocp_release_image>-
사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예:
5.0.0-multi). 연결이 끊긴 환경을 사용하는 경우 <ocp_release_image>를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "OpenShift Container Platform 릴리스 이미지 다이제스트 추출"을 참조하십시오. <role_name>-
Amazon 리소스 이름(ARN)을 지정합니다(예:
arn:aws:iam::820196288204:role/myrole).
4.1.6.2. AWS 호스팅 클러스터에서 ARM 또는 AMD NodePool 오브젝트 생성 링크 복사링크가 클립보드에 복사되었습니다!
동일한 호스팅 컨트롤 플레인의 64비트 ARM 및 AMD에서 NodePool 오브젝트인 애플리케이션 워크로드를 예약할 수 있습니다. NodePool 오브젝트에 필요한 프로세서 아키텍처를 설정하려면 NodePool 사양에 arch 필드를 정의합니다.
arch 필드에 유효한 값은 다음과 같습니다.
-
arm64 -
amd64
사전 요구 사항
-
HostedCluster사용자 정의 리소스를 사용하려면 다중 아키텍처 이미지가 있어야 합니다. 여러 아키텍처의 Nightly 이미지에 액세스할 수 있습니다. 자세한 내용은 "Multi-architecture Nightly images"를 참조하십시오.
절차
다음 명령을 실행하여 ARM 또는 AMD
NodePool오브젝트를 AWS의 호스팅 클러스터에 추가합니다.$ hcp create nodepool aws \ --cluster-name <hosted_cluster_name> \ --name <node_pool_name> \ --node-count <node_pool_replica_count> \ --arch <architecture>다음과 같습니다.
<hosted_cluster_name>-
호스트 클러스터의 이름을 지정합니다(예:
my-hosted-cluster-01). <node_pool_name>- 노드 풀 이름을 지정합니다.
<node_pool_replica_count>-
노드 풀 복제본 수를 지정합니다(예:
3). <architecture>-
arm64또는amd64와 같은 아키텍처 유형을 지정합니다.--arch플래그의 값을 지정하지 않으면 기본적으로amd64값이 사용됩니다.
4.1.7. AWS에서 개인 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
local-cluster 를 관리 클러스터로 활성화한 후 AWS(Amazon Web Services)에 호스팅 클러스터 또는 개인 호스팅 클러스터를 배포할 수 있습니다.
기본적으로 호스팅된 클러스터는 퍼블릭 DNS와 관리 클러스터의 기본 라우터를 통해 공개적으로 액세스할 수 있습니다.
AWS의 프라이빗 클러스터의 경우 호스팅 클러스터와의 모든 통신은 AWS PrivateLink를 통해 수행됩니다.
사전 요구 사항
- AWS PrivateLink를 활성화했습니다. 자세한 내용은 "AWS PrivateLink 활성화"를 참조하십시오.
- AWS IAM(Identity and Access Management) 역할 및 AWS STS(Security Token Service) 인증 정보를 생성하셨습니다. 자세한 내용은 "AWS IAM 역할 및 STS 인증 정보 생성" 및 "IAM(Identity and Access Management) 권한"을 참조하십시오.
- AWS에 bastion 인스턴스를 구성했습니다. 자세한 내용은 "Tutorial: Configuring private network access using a Linux Bastion Host"를 참조하십시오.
절차
다음 명령을 입력하여 AWS에 개인 호스팅 클러스터를 생성합니다.
$ hcp create cluster aws \ --name <hosted_cluster_name> \ --node-pool-replicas=<node_pool_replica_count> \ --base-domain <basedomain> \ --pull-secret <path_to_pull_secret> \ --sts-creds <path_to_sts_credential_file> \ --region <region> \ --endpoint-access Private \ --role-arn <role_name>다음과 같습니다.
<hosted_cluster_name>-
호스트된 클러스터의 이름(
예: )을 지정합니다. <node_pool_replica_count>-
노드 풀 복제본 수를 지정합니다(예:
3). <basedomain>-
기본 도메인을 지정합니다(예:
example.com). <path_to_pull_secret>-
풀 시크릿의 경로를 지정합니다(예:
/user/name/pullsecret). <path_to_sts_credential_file>-
AWS STS 자격 증명 파일의 경로를 지정합니다(예:
/home/user/sts-creds/sts-creds.json). <region>-
AWS 리전 이름을 지정합니다(예:
us-east-1). 프라이빗- 클러스터가 프라이빗임을 지정합니다.
<role_name>-
Amazon 리소스 이름(ARN)을 지정합니다(예:
arn:aws:iam::820196288204:role/myrole). ARN 역할에 대한 자세한 내용은 "IAM(Identity and Access Management) 권한"을 참조하십시오.
호스팅 클러스터의 다음 API 끝점은 프라이빗 DNS 영역을 통해 액세스할 수 있습니다.
-
api.<hosted_cluster_name>.hypershift.local -
*.apps.<hosted_cluster_name>.hypershift.local
4.1.7.1. AWS에서 프라이빗 호스팅 클러스터에 액세스 링크 복사링크가 클립보드에 복사되었습니다!
개인 호스팅 클러스터를 생성한 후 CLI(명령줄 인터페이스)를 사용하여 액세스할 수 있습니다.
절차
다음 명령을 입력하여 노드의 개인 IP를 찾습니다.
$ aws ec2 describe-instances \ --filter="Name=tag:kubernetes.io/cluster/<infra_id>,Values=owned" \ | jq '.Reservations[] | .Instances[] | select(.PublicDnsName=="") \ | .PrivateIpAddress'다음 명령을 입력하여 노드에 복사할 수 있는 호스팅된 클러스터에 대한
kubeconfig파일을 생성합니다.$ hcp create kubeconfig > <hosted_cluster_kubeconfig>bastion을 통해 노드 중 하나에 SSH로 연결하려면 다음 명령을 입력합니다.
$ ssh -o ProxyCommand="ssh ec2-user@<bastion_ip> \ -W %h:%p" core@<node_ip>SSH 쉘에서 다음 명령을 입력하여
kubeconfig파일 콘텐츠를 노드의 파일에 복사합니다.$ mv <path_to_kubeconfig_file> <new_file_name>다음 명령을 입력하여
kubeconfig파일을 내보냅니다.$ export KUBECONFIG=<path_to_kubeconfig_file>다음 명령을 입력하여 호스팅된 클러스터 상태를 확인합니다.
$ oc get clusteroperators clusterversion
4.2. Azure에 호스팅된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
Microsoft Azure에서 호스팅되는 컨트롤 플레인을 사용하면 각 클러스터의 전용 컨트롤 플레인 노드 VM과 관련된 비용을 줄일 수 있습니다. 동적 확장을 위해 컴퓨팅 노드를 Azure Virtual Machine Scale 세트로 프로비저닝하고 클러스터별 Azure 서비스 주체를 사용하여 인증 정보를 격리할 수 있습니다.
4.2.1. Azure의 호스트된 컨트롤 플레인 개요 링크 복사링크가 클립보드에 복사되었습니다!
Microsoft Azure에서 실행되는 OpenShift 관리 클러스터에서 호스팅 클러스터를 배포하고 관리할 수 있습니다. 자체 관리 배포 모델을 사용하면 자체 OpenShift 클러스터를 관리할 수 있습니다.
4.2.1.1. Azure에서 호스팅되는 컨트롤 플레인 아키텍처 링크 복사링크가 클립보드에 복사되었습니다!
Azure의 호스트된 컨트롤 플레인 아키텍처는 다음 세 가지 계층으로 구성됩니다.
- 관리 클러스터
- 호스팅된 클러스터의 HyperShift Operator 및 컨트롤 플레인을 호스팅하는 Azure OpenShift 클러스터입니다.
- 컨트롤 플레인
- 관리 클러스터에서 Pod로 실행되는 Kubernetes 컨트롤 플레인 구성 요소입니다.
- 데이터 플레인
- Azure 서브스크립션에서 Azure VM(가상 머신)으로 실행되는 컴퓨팅 노드입니다.
아키텍처는 OpenShift Container Platform 구성 요소와 Azure 서비스 간에 인증 정보가 없는 보안 인증을 위해 Azure Workload Identity를 사용합니다. 결과적으로 장기 서비스 주체 자격 증명을 관리할 필요가 없으며 페더레이션 ID 자격 증명을 통해 더 나은 보안을 얻을 수 있습니다.
4.2.1.2. Azure에서 호스팅되는 컨트롤 플레인에 대한 배포 워크플로 링크 복사링크가 클립보드에 복사되었습니다!
Azure에 자체 관리 호스팅 컨트롤 플레인을 배포하려면 다음과 같은 순서로 3단계 프로세스가 필요합니다.
- 1 단계: Azure 워크로드 ID 설정
이 단계에서는 OpenShift Container Platform 구성 요소가 Azure 서비스에 액세스할 수 있도록 보안 인증 인프라를 설정합니다. 이 단계에서는 호스팅 클러스터에 필요한 보안 인프라가 생성됩니다.
- 이미지 레지스트리, 수신, CSI 드라이버, 클라우드 공급자, 네트워크 Operator 등을 포함하여 각 OpenShift Container Platform 구성 요소에 대한 관리형 ID
- 서비스 계정 토큰 검증을 위해 Azure Blob Storage의 OIDC 발행자
- Azure Entra ID와 OpenShift Container Platform 서비스 계정 간의 신뢰 관계를 설정하는 페더레이션 인증 정보
- 2 단계 : 관리 클러스터 설정
이 단계에서는 Azure에서 호스팅된 클러스터를 호스팅하고 관리할 수 있도록 OpenShift Container Platform 관리 클러스터를 준비합니다. 이 단계에서는 다음 구성 요소를 설치합니다.
- 프라이빗 및 퍼블릭 프라이빗 토폴로지를 위한 Azure DNS 영역
- 프라이빗 및 퍼블릭 프라이빗 토폴로지를 위한 외부 DNS
- HyperShift Operator
- 3 단계: 호스트 클러스터 생성
이 단계에서는 호스팅된 클러스터를 생성하고 구성합니다. 이 단계는 다음 단계를 포함합니다.
- 인프라 설정
- 호스트 클러스터 생성
- 워크로드 ID 통합
- 프라이빗 끝점 액세스 구성 (선택 사항)
4.2.1.3. Azure 인프라 및 인증 정보 링크 복사링크가 클립보드에 복사되었습니다!
Microsoft Azure에서 호스팅되는 컨트롤 플레인을 시작하기 전에 필요한 Azure 리소스 및 필요한 권한을 숙지하십시오.
4.2.1.3.1. 요구 사항 요약 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅되는 컨트롤 플레인을 설정하려면 다음 리소스, 툴, 액세스 및 권한이 필요합니다.
- Azure 리소스
- Azure의 OpenShift Container Platform 관리 클러스터입니다.
- 기여자 및 사용자 액세스 관리자 권한이 있는 Azure 서브스크립션
- (선택 사항) 클러스터 DNS 레코드를 위임하기 위한 Azure의 상위 DNS 영역입니다. 이 DNS 영역은 외부 DNS를 사용하려는 경우에만 필요합니다.
- 툴 및 액세스
-
서브스크립션으로 구성된 Azure CLI(명령줄 인터페이스),
az -
OpenShift CLI(
oc) -
호스트된 컨트롤 플레인 CLI,
hcp -
jq명령줄 JSON 프로세서 -
Cloud Credential Operator 유틸리티 (
ccoctl) - 유효한 OpenShift Container Platform 풀 시크릿
-
서브스크립션으로 구성된 Azure CLI(명령줄 인터페이스),
- 권한
- 서브스크립션 수준 기여자 및 사용자 액세스 관리자 역할
- 서비스 주체를 생성하기 위한 Microsoft Graph API 권한
4.2.1.3.2. DNS 관리 옵션 링크 복사링크가 클립보드에 복사되었습니다!
외부 DNS를 사용하거나 사용하지 않고 Azure에서 호스팅되는 컨트롤 플레인을 설정할 수 있습니다. 프라이빗 또는 퍼블릭-사설 토폴로지를 사용하려면 외부 DNS가 필요합니다. 자세한 내용은 다음 표를 참조하십시오.
| 외부 DNS 사용 | 외부 DNS 없음 | |
|---|---|---|
| 가장 좋은 방법 | 프로덕션, 멀티 클러스터 | 개발, 테스트 |
| API 서버 DNS |
사용자 정의 ( |
Azure Load Balancer ( |
| 설정 복잡성 | 낮음, DNS 영역 및 서비스 주체가 필요합니다. | 없음 |
| 관리 | 완전 자동 | 수동 또는 Azure 제공 |
4.2.1.3.3. 리소스 그룹 전략 링크 복사링크가 클립보드에 복사되었습니다!
클러스터별 리소스 그룹은 호스트된 각 클러스터에서 생성 및 삭제됩니다. 이러한 리소스에는 클러스터 인프라의 관리 리소스 그룹이 포함됩니다. 사용자 지정 네트워킹을 사용하는 경우 이러한 리소스에는 VNet(Virtual Network) 리소스 그룹 및 NSSG(Network Security Group) 리소스 그룹도 포함됩니다.
4.2.1.3.4. Azure에서 호스팅되는 컨트롤 플레인에 대한 보안 고려 사항 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅되는 컨트롤 플레인은 다음과 같은 보안 모범 사례를 사용합니다.
- OIDC 기반 인증을 사용하여 수명이 긴 인증 정보를 제거하는 워크로드 ID 페더레이션.
- 최소 권한 액세스(각 구성 요소에 필요한 최소한의 권한이 있는 자체 관리 ID)가 있습니다.
- 네트워크 격리: 사용자 지정 VNet 및 NSG를 사용하여 네트워크 분할 및 보안 정책을 구현할 수 있습니다.
- 신뢰 관계가 특정 서비스 계정으로 범위가 지정되는 페더레이션 자격 증명으로, 무단 액세스를 방지합니다.
- 프라이빗 API 서버 액세스를 제공하는 Azure Private Link를 통해 옵션으로 사용 가능한 프라이빗 연결을 통해 컨트롤 플레인 트래픽이 공용 인터넷을 통과하지 않도록 합니다. 개인 연결은 개인 및 공용 개인 토폴로지에서만 사용할 수 있습니다.
4.2.2. Azure 리소스 설정 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스트된 컨트롤 플레인 배포를 위해 관리 및 호스팅된 클러스터를 생성하려면 OIDC 발급자, 워크로드 ID 및 Azure 인프라를 설정해야 합니다.
4.2.2.1. OIDC 발행자 설정 링크 복사링크가 클립보드에 복사되었습니다!
Azure에 호스팅되는 컨트롤 플레인을 배포하려면 호스팅된 클러스터에 대해 OIDC 발행자를 설정해야 합니다.
사전 요구 사항
- Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
-
jq명령줄 JSON 프로세서가 설치되어 있습니다. -
Cloud Credential Operator 유틸리티(
ccoctl)가 설치되어 있습니다. 자세한 내용은 "OpenShift 4용 ccoctl 툴을 가져오는 방법"을 참조하십시오. - 적절한 Azure 권한이 설정됩니다.
절차
다음 예와 같이 환경 변수를 설정합니다.
PERSISTENT_RG_NAME="os4-common" LOCATION="eastus" AZURE_CREDS="/path/to/azure-creds.json" SUBSCRIPTION_ID="my-subscription-id"다음 명령을 입력하여 영구 리소스 그룹을 생성합니다.
$ az group create --name $PERSISTENT_RG_NAME --location $LOCATION다음 단계를 완료하기 위해 Cloud Credential Operator 툴을 사용하여 OIDC 발행자 URL을 구성합니다.
다음 예와 같이 OIDC 발행자 변수를 설정합니다.
OIDC_STORAGE_ACCOUNT_NAME="yourstorageaccount" TENANT_ID="your-tenant-id"RSA 키 쌍을 생성하고 다음 명령을 입력하여 개인 및 공개 키를 저장합니다.
$ ccoctl azure create-key-pair다음 예와 같이 토큰 발행자 키 경로에 대한 변수를 설정합니다.
SA_TOKEN_ISSUER_PRIVATE_KEY_PATH="/path/to/serviceaccount-signer.private" SA_TOKEN_ISSUER_PUBLIC_KEY_PATH="/path/to/serviceaccount-signer.public"다음 명령을 입력하여 OIDC 발행자를 생성합니다.
$ ccoctl azure create-oidc-issuer \ --oidc-resource-group-name ${PERSISTENT_RG_NAME} \ --tenant-id ${TENANT_ID} \ --region ${LOCATION} \ --name ${OIDC_STORAGE_ACCOUNT_NAME} \ --subscription-id ${SUBSCRIPTION_ID} \ --public-key-file ${SA_TOKEN_ISSUER_PUBLIC_KEY_PATH}다음 예와 같이 OIDC 발행자 URL을 설정합니다.
OIDC_ISSUER_URL="https://${OIDC_STORAGE_ACCOUNT_NAME}.blob.core.windows.net/${OIDC_STORAGE_ACCOUNT_NAME}"
검증
다음 명령을 입력하여 OIDC 발행자에 액세스합니다.
$ curl -s "${OIDC_ISSUER_URL}/.well-known/openid-configuration" | jq .
4.2.2.2. Azure 워크로드 ID 생성 링크 복사링크가 클립보드에 복사되었습니다!
Azure 배포에서 IAM(Identity and Access Management) 리소스를 제어하려면 인프라와 별도로 Workload Identities를 생성합니다.
워크로드 ID는 OIDC 페더레이션을 사용하여 Azure 서비스에 호스트된 클러스터 구성 요소를 인증합니다. ID를 별도로 생성한 다음 인프라 또는 클러스터 생성 중에 ID를 사용해야 합니다.
사전 요구 사항
다음 형식의 Azure 인증 정보 파일이 있습니다.
파일 예
{ "subscriptionId": "your-subscription-id", "tenantId": "your-tenant-id", "clientId": "your-client-id", "clientSecret": "your-client-secret" }- 관리 ID를 생성할 리소스 그룹이 있습니다.
- Workload Identity Federation에 대한 OIDC 발행자 URL이 있습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.
절차
다음 예와 같이 환경 변수를 설정합니다.
CLUSTER_NAME="my-self-managed-cluster" INFRA_ID="${CLUSTER_NAME}-$(openssl rand -hex 4)"호스팅된 컨트롤 플레인 명령줄 인터페이스
hcp에서는 다음 명령을 입력합니다.$ hcp create iam azure \ --name <my_cluster_name> \ --infra-id <infra_id> \ --azure-creds <azure_credentials_file> \ --resource-group-name <resource_group> \ --oidc-issuer-url <oidc_issuer_url> \ --output-file <workload_identities_file> \ --location <my_region> \ --cloud <my_cloud_environment>다음과 같습니다.
<my_cluster_name>- 생성할 클러스터의 이름을 지정합니다.
<infra_id>- Azure 리소스의 이름을 지정하는 고유 식별자를 지정합니다. 일반적으로 이 식별자는 접미사가 있는 클러스터 이름입니다.
<azure_credentials_file>- 관리되는 ID 및 페더레이션 자격 증명을 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
<resource_group>- ID를 생성하려는 리소스 그룹의 이름을 지정합니다.
<oidc_issuer_url>- Workload Identity 페더레이션의 OIDC ID 공급자의 URL을 지정합니다.
<workload_identities_file>my-cluster-name-iam-output.json과 같은 출력 파일 경로를 지정합니다.hcp create iam azure명령에 이러한 선택적 플래그를 추가할 수도 있습니다.<my_region>-
관리 ID의 Azure 리전을 지정합니다. 기본값은
eastus입니다. <my_cloud_environment>-
Azure 클라우드 환경을 지정합니다. 기본값은
AzurePublicCloud입니다.
검증
다음 예와 같은 출력 파일을 검토합니다.
출력 예
{ "disk": { "tenantID": "...", "clientID": "...", "resourceID": "/subscriptions/.../providers/Microsoft.ManagedIdentity/userAssignedIdentities/my-cluster-abc123-disk" }, "file": { "tenantID": "...", "clientID": "...", "resourceID": "..." }, "imageRegistry": { ... }, "ingress": { ... }, "cloudProvider": { ... }, "nodePoolManagement": { ... }, "network": { ... }, "controlPlaneOperator": { ... } }출력에는 클러스터 구성 요소당 하나씩 8개의 사용자가 할당한 ID와 각 ID에 대한 페더레이션 인증 정보가 포함됩니다.
- 디스크 CSI 드라이버
- 파일 CSI 드라이버
- 이미지 레지스트리
- Ingress Operator
- 클라우드 공급자
- 노드 풀 관리
- Network Operator
- Control Plane Operator
4.2.2.3. Azure 인프라 생성 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅된 클러스터를 생성할 때 기존 인프라를 사용할 수 있도록 Azure 인프라를 별도로 생성합니다.
사전 요구 사항
다음 형식의 Azure 인증 정보 파일이 있습니다.
{ "subscriptionId": "<my_subscription_id>", "tenantId": "<my_tenant_id>", "clientId": "<my_client_id>", "clientSecret": "<my_client_secret>" }- 기본 도메인에 대한 Azure 서브스크립션에 기존 퍼블릭 DNS 영역이 있습니다.
- Workload Identities가 생성되었습니다. 자세한 내용은 "Azure Workload Identities 생성"을 참조하십시오.
절차
새 가상 네트워크, 서브넷 및 네트워크 보안 그룹을 사용하여 인프라를 생성하려면 다음 명령을 입력합니다.
$ hcp create infra azure \ --name <my_cluster_name> \ --infra-id <infra_id> \ --azure-creds <azure_credentials_file> \ --base-domain <base_domain> \ --location <location> \ --workload-identities-file <workload_identities_file> \ --assign-identity-roles \ --dns-zone-rg-name <dns_zone_rg> \ --output-file <output_infra_file>다음과 같습니다.
-
--name은 생성할 호스팅 클러스터의 이름을 지정합니다. -
--infra-id는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다. -
--Azure-creds는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다. -
--base-domain은 호스팅된 클러스터 인그레스의 기본 도메인을 지정합니다. 기본 도메인은 Azure 서브스크립션의 기존 퍼블릭 DNS 영역에 해당해야 합니다. -
--location은eastus또는westus2와 같이 인프라를 생성할 Azure 리전을 지정합니다. -
--workload-identities-file은 워크로드 ID 구성이 포함된 JSON 파일의 경로를 지정합니다. -
--assign-identity-roles는 Workload IDdentities에 대해 자동 RBAC 역할 할당이 활성화되도록 지정합니다. -
--dns-zone-rg-name은 퍼블릭 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다. -
--output-file은 인프라의 세부 정보가 YAML 형식으로 저장되는 파일을 지정합니다.
-
기존 가상 네트워크, 서브넷 및 네트워크 보안 그룹을 사용하여 인프라를 생성하려면 다음 명령을 입력합니다.
$ hcp create infra azure \ --name <my_cluster_name> \ --infra-id <infra_id> \ --azure-creds <azure_credentials_file> \ --base-domain <base_domain> \ --location <location> \ --workload-identities-file <workload_identities_file> \ --vnet-id /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Network/virtualNetworks/<vnet_name> \ --subnet-id /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Network/virtualNetworks/<vnet_name>/subnets/<subnet_name> \ --network-security-group-id /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.Network/networkSecurityGroups/<network_security_group_name> \ --assign-identity-roles \ --dns-zone-rg-name <dns_zone_rg> \ --output-file <output_infra_file>다음과 같습니다.
-
--name은 생성할 호스팅 클러스터의 이름을 지정합니다. -
--infra-id는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다. -
--Azure-creds는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다. -
--base-domain은 호스팅된 클러스터 인그레스의 기본 도메인을 지정합니다. 기본 도메인은 Azure 서브스크립션의 기존 퍼블릭 DNS 영역에 해당해야 합니다. -
--location은eastus또는westus2와 같이 인프라를 생성할 Azure 리전을 지정합니다. -
--workload-identities-file은 워크로드 ID 구성이 포함된 JSON 파일의 경로를 지정합니다. -
--vNet-id는 서브스크립션 ID와 가상 네트워크 이름을 포함하는 기존 가상 네트워크 ID를 지정합니다. -
--subnet-id는 서브스크립션 ID, 가상 네트워크 이름 및 서브넷 이름을 포함하는 서브넷의 ARM 리소스 ID를 지정합니다. -
--network-security-group-id는 서브스크립션 ID와 네트워크 보안 그룹 이름을 포함하는 기존 네트워크 보안 그룹 ID를 지정합니다. -
--assign-identity-roles는 Workload IDdentities에 대해 자동 RBAC 역할 할당이 활성화되도록 지정합니다. -
--dns-zone-rg-name은 퍼블릭 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다. -
--output-file은 인프라의 세부 정보가 YAML 형식으로 저장되는 파일을 지정합니다.
-
4.2.3. 호스팅된 컨트롤 플레인을 위한 Azure 관리 클러스터 구성 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅되는 컨트롤 플레인에 대한 관리 클러스터를 구성하려면 외부 DNS 및 HyperShift Operator가 클러스터에 설정되어 있는지 확인해야 합니다.
구성 단계에는 DNS 영역 구성, 클러스터의 DNS 레코드 위임, 외부 DNS 전용 서비스 주체 생성이 포함됩니다.
사전 요구 사항
- OpenShift Container Platform 클러스터에 다중 클러스터 엔진 Operator 2.5 이상을 설치했습니다. OpenShift Container Platform 소프트웨어 카탈로그에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다. 또는 Red Hat Advanced Cluster Management를 이미 사용하는 경우 Operator가 자동으로 설치됩니다. HyperShift Operator는 다중 클러스터 엔진 Operator의 operator 패키지에서 기본적으로 활성화됩니다.
- Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
-
OpenShift CLI(
oc)가 설치되어 있어야 합니다. - Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
-
외부 DNS를 사용하는 경우
jq명령줄 JSON 프로세서가 설치됩니다.
절차
다음 예와 같이 DNS 구성 변수를 설정합니다.
PARENT_DNS_RG="<my_parent_dns_resource_group>" PARENT_DNS_ZONE="<my_parent.dns.zone.com>" DNS_RECORD_NAME="<my_subdomain>" RESOURCE_GROUP_NAME="<my_resource_group>" DNS_ZONE_NAME="<my_subdomain.my_parent.dns.zone.com>" LOCATION="<my_region>"다음 명령을 입력하여 Azure 그룹을 생성합니다.
$ az group create \ --name $RESOURCE_GROUP_NAME \ --location $LOCATION다음 명령을 입력하여 Azure DNS 영역을 생성합니다.
$ az network dns zone create \ --resource-group $RESOURCE_GROUP_NAME \ --name $DNS_ZONE_NAME기존 이름 서버 레코드가 있는 경우 다음 명령을 입력하여 삭제합니다.
$ az network dns record-set ns delete \ --resource-group $PARENT_DNS_RG \ --zone-name $PARENT_DNS_ZONE \ --name $DNS_RECORD_NAME -y다음 명령을 입력하여 DNS 영역에서 이름 서버를 가져옵니다.
name_servers=$(az network dns zone show \ --resource-group $RESOURCE_GROUP_NAME \ --name $DNS_ZONE_NAME \ --query nameServers \ --output tsv)다음 예와 같이 이름 서버 배열을 생성합니다.
ns_array=() while IFS= read -r ns; do ns_array+=("$ns") done <<< "$name_servers"다음 예와 같이 상위 영역에 이름 서버 레코드를 추가합니다.
for ns in "${ns_array[@]}"; do az network dns record-set ns add-record \ --resource-group $PARENT_DNS_RG \ --zone-name $PARENT_DNS_ZONE \ --record-set-name $DNS_RECORD_NAME \ --nsdname "$ns" done다음 예와 같이 외부 DNS 구성 변수를 설정합니다.
EXTERNAL_DNS_NEW_SP_NAME="<external_dns_service_principal>" SERVICE_PRINCIPAL_FILEPATH="<path_to_azure_mgmt_json_file>" RESOURCE_GROUP_NAME="<my_resource_group>"다음 명령을 입력하여 외부 DNS의 서비스 주체를 생성합니다.
DNS_SP=$(az ad sp create-for-rbac --name ${EXTERNAL_DNS_NEW_SP_NAME}) EXTERNAL_DNS_SP_APP_ID=$(echo "$DNS_SP" | jq -r '.appId') EXTERNAL_DNS_SP_PASSWORD=$(echo "$DNS_SP" | jq -r '.password')다음 명령을 입력하여 DNS 영역 ID를 가져옵니다.
DNS_ID=$(az network dns zone show \ --name ${DNS_ZONE_NAME} \ --resource-group ${RESOURCE_GROUP_NAME} \ --query "id" \ --output tsv)다음 명령을 입력하여 서비스 주체에
리더역할을 할당합니다.$ az role assignment create \ --role "Reader" \ --assignee "${EXTERNAL_DNS_SP_APP_ID}" \ --scope "${DNS_ID}"다음 명령을 입력하여
Contributor역할을 서비스 주체에 할당합니다.$ az role assignment create \ --role "Contributor" \ --assignee "${EXTERNAL_DNS_SP_APP_ID}" \ --scope "${DNS_ID}"다음 명령을 입력하여 Azure 자격 증명을 로컬 파일에 저장합니다.
$ cat > ${SERVICE_PRINCIPAL_FILEPATH} <<EOF { "tenantId": "$(az account show --query tenantId -o tsv)", "subscriptionId": "$(az account show --query id -o tsv)", "resourceGroup": "$RESOURCE_GROUP_NAME", "aadClientId": "$EXTERNAL_DNS_SP_APP_ID", "aadClientSecret": "$EXTERNAL_DNS_SP_PASSWORD" } EOFAzure 인증 정보에 대한 기존 Kubernetes 시크릿이 있는 경우 다음 명령을 입력하여 삭제합니다.
$ oc delete secret/azure-config-file --namespace "hypershift" || true다음 명령을 입력하여 Azure 인증 정보에 대한 Kubernetes 시크릿을 생성합니다.
$ oc create secret generic azure-config-file \ --namespace "hypershift" \ --from-file=credentials=${SERVICE_PRINCIPAL_FILEPATH}보안은 외부 DNS 배포가 실행되는
hypershift네임스페이스에서 생성해야 합니다. 외부 DNS Pod가/etc/provider/에 보안을 마운트하므로 인증 정보 키 이름이 필요합니다.credentials다음
ConfigMap오브젝트를 생성하여 외부 DNS를 사용하도록 HyperShift Operator를 구성합니다.apiVersion: v1 kind: ConfigMap metadata: name: hypershift-operator-install-flags namespace: local-cluster data: installFlagsToAdd: "--external-dns-provider=azure --external-dns-secret=azure-config-file --external-dns-domain-filter=<dns_zone>" installFlagsToRemove: ""--external-dns-secret플래그는 Azure 인증 정보가 포함된 Kubernetes 시크릿의 이름을 지정합니다.data.installFlagsToAdd매개변수는 DNS를 감지하도록 Operator에 전달할 플래그를 지정합니다.다음 명령을 입력하여 구성 맵을 적용합니다.
$ oc apply -f hypershift-operator-install-flags.yaml
검증
다음 명령을 입력하여 HyperShift Operator 및 외부 DNS가 모두 실행 중인지 확인합니다.
$ oc get pods -n hypershift출력 예
NAME READY STATUS RESTARTS AGE external-dns-xxxxx-xxxxx 1/1 Running 0 1m operator-xxxxx-xxxxx 1/1 Running 0 1m
4.2.4. Azure에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터는 애플리케이션이 실행되는 위치입니다. 각 호스팅 클러스터에는 관리 클러스터에서 실행되는 자체 컨트롤 플레인과 Azure의 컴퓨팅 노드 VM(가상 머신) 세트가 있습니다.
호스팅 클러스터는 자격 증명을 저장하지 않고 Workload Identities를 사용하여 Azure 서비스에 안전하게 액세스합니다.
사전 요구 사항
- Azure CLI(명령줄 인터페이스)를 설치했습니다.
-
호스팅된 컨트롤 플레인 CLI를 설치했습니다.
hcp. -
OpenShift CLI(
oc)를 설치합니다. -
jq명령줄 JSON 프로세서가 설치되어 있습니다. - HyperShift Operator가 설치되고 외부 DNS가 구성된 관리 클러스터가 있어야 합니다.
- 워크로드 ID, OIDC 발행자 및 인프라를 포함한 Azure 리소스를 설정합니다.
적절한 Azure 권한이 있습니다.
-
서브스크립션 수준에서
Contributor역할과User Access Administrator역할이 있어야 합니다. -
Microsoft Graph API의 경우
Application.ReadWrite.OwnedBy권한이 있어야 합니다.
-
서브스크립션 수준에서
절차
다음 명령을 입력하여
HostedCluster사용자 정의 리소스를 생성합니다.$ hcp create cluster azure \ --name "$CLUSTER_NAME" \ --infra-id "$INFRA_ID" \ --azure-creds $AZURE_CREDS \ --location ${LOCATION} \ --node-pool-replicas 2 \ --base-domain $BASE_DOMAIN \ --pull-secret $PULL_SECRET \ --generate-ssh \ --release-image ${RELEASE_IMAGE} \ --sa-token-issuer-private-key-path "${SA_TOKEN_ISSUER_PRIVATE_KEY_PATH}" \ --oidc-issuer-url "${OIDC_ISSUER_URL}" \ --dns-zone-rg-name ${PERSISTENT_RG_NAME} \ --assign-service-principal-roles \ --infra-json <output_infra_file> \ --diagnostics-storage-account-type Managed \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --external-dns-domain "${DNS_ZONE_NAME}"-
프로덕션 환경 이외의 환경의 경우
--external-dns-domain및--assign-service-principal-roles플래그를 생략하여 외부 DNS 없이 호스팅 클러스터를 생성할 수 있습니다. 이 경우 사용자 정의 DNS 이름 대신 Azure 로드 밸런서 호스트 이름을 통해 API 서버에 액세스할 수 있습니다. -
--disable-cluster-capabilities플래그는 선택 사항입니다. 호스트 클러스터에서 선택적 기능을 비활성화하려는 경우 이를 포함합니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities플래그는 선택 사항입니다. 호스트 클러스터에서 선택적 기능을 활성화하려는 경우 이를 포함합니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
-
프로덕션 환경 이외의 환경의 경우
검증
다음 명령을 입력하여 클러스터 상태를 확인합니다.
$ oc get hostedcluster $CLUSTER_NAME -n clusters다음 명령을 입력하여 클러스터가 완료될 때까지 기다립니다.
$ oc wait \ --for=jsonpath='{.status.version.history[0].state}'=Completed \ hostedcluster/$CLUSTER_NAME \ -n clusters --timeout=20m다음 명령을 입력하여 클러스터의
kubeconfig파일을 생성합니다.$ hcp create kubeconfig \ --name $CLUSTER_NAME > $CLUSTER_NAME-kubeconfig다음 명령을 입력하여
kubeconfig파일을 가져옵니다.$ export KUBECONFIG=$CLUSTER_NAME-kubeconfig다음 명령을 입력하여 클러스터 노드에 액세스합니다.
$ oc get nodes다음 명령을 입력하여 클러스터에 액세스합니다.
$ oc get clusterversion
4.2.5. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.2.5.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.2.5.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.2.6. Azure의 프라이빗 호스트 클러스터 링크 복사링크가 클립보드에 복사되었습니다!
기본적으로 호스팅 클러스터는 퍼블릭 DNS 및 관리 클러스터의 기본 라우터를 통해 액세스할 수 있습니다. 컴퓨팅 노드와 호스팅된 컨트롤 플레인 간의 통신을 프라이빗으로 전환하려면 통신에 Azure Private Link를 사용하는 호스팅 클러스터를 생성할 수 있습니다.
프라이빗 끝점 액세스는 Azure Private Link를 사용하여 호스팅된 컨트롤 플레인의 내부 로드 밸런서를 호스팅된 클러스터의 Azure Virtual Network(VNet)에 노출합니다. 컴퓨팅 노드는 프라이빗 엔드포인트 IP 주소를 가리키는 프라이빗 DNS 영역을 사용하여 API 서버 호스트 이름을 확인합니다.
4.2.6.1. Azure에서 프라이빗 호스팅 클러스터의 서브넷 준비 링크 복사링크가 클립보드에 복사되었습니다!
Azure Private Link는 NAT(네트워크 주소 변환) IP 주소 할당을 위한 전용 서브넷이 필요합니다. 서브넷을 수동으로 생성하거나 클러스터 생성 중에 자동으로 생성할 수 있습니다.
서브넷을 수동으로 생성하면 CIDR(Classless inter-domain routing) 할당 및 이름을 제어할 수 있습니다. 다음 단계는 서브넷을 수동으로 생성하는 데 적용됩니다. 서브넷을 자동으로 생성하려면 다음 절차를 건너뜁니다.
Azure Private Link, NAT 서브넷 및 관리 클러스터의 내부 로드 밸런서는 모두 동일한 Azure 리전에 있어야 합니다. Private Link는 호스팅된 클러스터가 생성된 위치에 자동으로 생성됩니다. NAT 서브넷이 다른 지역에 있는 경우 Azure는 Private Link 생성을 거부합니다.
사전 요구 사항
- Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다. 자세한 내용은 "호스트된 컨트롤 플레인을 위한 Azure 관리 클러스터 구성"을 참조하십시오.
- Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
-
OpenShift CLI(
oc)가 설치되어 있어야 합니다. -
외부 DNS를 사용하는 경우
jq명령줄 JSON 프로세서가 설치됩니다. - OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.
절차
관리 클러스터의 Azure Virtual Network(VNet)를 식별합니다.
다음 예와 같이 관리 클러스터의 인프라 리소스 그룹을 가져옵니다.
$ MGMT_INFRA_RG=$(oc get infrastructure cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}')다음 예와 같이 infrastructure 리소스 그룹에서 VNet을 찾습니다.
$ MGMT_VNET_NAME=$(az network vnet list --resource-group "${MGMT_INFRA_RG}" --query "[0].name" -o tsv)다음 명령을 입력하여 VNet의 환경 변수를 설정합니다.
$ MGMT_VNET_RG="${MGMT_INFRA_RG}"
NAT 서브넷을 생성합니다.
기존 주소 공간 및 서브넷을 확인하여 CIDR(Classless inter-domain routing) 범위를 겹치지 않도록 합니다. 다음 명령을 실행합니다.
$ az network vnet show \ --resource-group "${MGMT_VNET_RG}" \ --name "${MGMT_VNET_NAME}" \ --query '{addressSpace: addressSpace.addressPrefixes, subnets: subnets[].{name: name, prefix: addressPrefix}}' \ -o json다음 예와 같이 서브넷을 생성합니다.
$ az network vnet subnet create \ --resource-group "${MGMT_VNET_RG}" \ --vnet-name "${MGMT_VNET_NAME}" \ --name "${NAT_SUBNET_NAME}" \ --address-prefixes 10.1.64.0/24 \ --disable-private-link-service-network-policies true- Private Link는 관리 클러스터의 내부 로드 밸런서와 함께 생성되므로 NAT 서브넷은 관리 클러스터의 VNet에 있어야 합니다.
-
10.1.64.0/24주소 접두사는 예제 전용입니다. 관리 클러스터의 VNet에 있는 다른 서브넷과 겹치지 않는 CIDR 범위로 바꿉니다. VNet에서10.0.0.0/16을 사용하는 경우 NAT 서브넷이 해당 범위 내에 있거나 VNet의 주소 공간을 확장해야 합니다. -
--disable-private-link-service-network-policies플래그가 필요하며true로 설정해야 합니다. 그렇지 않으면 Azure가 서브넷에 프라이빗 링크 생성을 거부합니다.
다음 예와 같이 나중에 사용할 NAT 서브넷 리소스 ID를 가져옵니다.
$ NAT_SUBNET_ID=$(az network vnet subnet show \ --resource-group "${MGMT_VNET_RG}" \ --vnet-name "${MGMT_VNET_NAME}" \ --name "${NAT_SUBNET_NAME}" \ --query id -o tsv)
4.2.6.2. 프라이빗 플랫폼 지원을 통해 HyperShift Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
프라이빗 클러스터를 지원하는 환경을 설정하려면 Azure Private Link 관리를 구성하는 플래그를 사용하여 HyperShift Operator를 설치해야 합니다.
HyperShift Operator를 이미 설치했지만 --private-platform Azure 설정을 포함하지 않은 경우 프라이빗 클러스터를 생성하기 전에 프라이빗 플랫폼 플래그를 사용하여 hcp install 명령을 다시 실행해야 합니다.
사전 요구 사항
- Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
- Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
-
OpenShift CLI(
oc)가 설치되어 있어야 합니다. -
외부 DNS를 사용하는 경우
jq명령줄 JSON 프로세서가 설치됩니다. - OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.
절차
Operator에서 Private Link 리소스를 관리할 수 있도록 인증 정보를 가져옵니다.
다음 예와 같이 Private Link 관리의 인증 정보 파일을 가져옵니다.
$ AZURE_PRIVATE_CREDS="<path_to_azure_private_credentials_json>"다음 예와 같이 관리 클러스터의 인프라 리소스 그룹을 가져옵니다.
$ MGMT_INFRA_RG=$(oc get infrastructure cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}')
다음 예와 같이 외부 DNS 구성 변수를 설정합니다.
$ SERVICE_PRINCIPAL_FILEPATH="<path_to_azure_mgmt_json_file>"$ DNS_ZONE_NAME="<my_subdomain_my_parent_dns_zone_com>"다음 예와 같이 프라이빗 플랫폼 지원을 사용하여 HyperShift Operator를 설치합니다.
$ hcp install \ --pull-secret ${PULL_SECRET} \ --private-platform Azure \ --azure-private-creds ${AZURE_PRIVATE_CREDS} \ --azure-pls-resource-group ${MGMT_INFRA_RG} \ --external-dns-provider=azure \ --external-dns-credentials ${SERVICE_PRINCIPAL_FILEPATH} \ --external-dns-domain-filter ${DNS_ZONE_NAME}-
--private-platform Azure는 Operator에서 Azure 프라이빗 링크 관리를 사용하도록 지정합니다. --Azure-private-creds는 프라이빗 링크 작업에 사용되는 Azure 자격 증명 파일의 경로를 지정합니다.참고--azure-private-creds플래그를 사용하는 것 외에도 다음 인증 방법 중 하나를 사용할 수 있습니다. 하나의 인증 방법만 사용해야 합니다.-
--Azure-private-secret은 Azure 인증 정보가 있는 기존 Kubernetes 시크릿을 지정합니다. 이 플래그에는 함께 플래그인--azure-private-secret-key가 있습니다. 기본값은credentials이지만 비표준 키 이름이 있는 보안에 맞게 사용자 지정할 수 있습니다. -
--Azure-pls-managed-identity-client-id-id-load Identity 페더레이션을 통해 Private Link 작업에 대한 관리형 ID의 클라이언트 ID를 지정합니다. 이 플래그를 지정하는 경우 Private Link 작업에 대한 Azure 서브스크립션 ID를 지정하는--azure-pls-subscription-id플래그도 포함해야 합니다.
-
-
--Azure-pls-resource-group은 Private Link 리소스를 생성할 리소스 그룹을 지정합니다. 이 리소스 그룹은 관리 클러스터에 대한 인프라의 리소스 그룹과 동일합니다. -
--external-dns-credentials는 DNS 자격 증명이 포함된 파일의 경로를 지정합니다. 선호하는 경우 대신--external-dns-secret플래그를 사용하여 DNS 인증 정보가 있는 Kubernetes 시크릿을 지정할 수 있습니다.
-
4.2.6.3. 개인 호스트 클러스터에 대한 IAM 리소스 구성 링크 복사링크가 클립보드에 복사되었습니다!
프라이빗 클러스터가 프라이빗 엔드포인트 및 프라이빗 DNS 영역을 관리할 수 있도록 Workload Identities를 생성합니다.
사전 요구 사항
- HyperShift Operator가 설치된 Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
- Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
-
OpenShift CLI(
oc)가 설치되어 있어야 합니다. -
외부 DNS를 사용하는 경우
jq명령줄 JSON 프로세서가 설치됩니다. - OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.
절차
환경 변수를 설정합니다.
다음 명령을 입력하여 접두사를 설정합니다.
$ PREFIX="<my_prefix>"다음 명령을 입력하여 클러스터 이름을 설정합니다.
$ CLUSTER_NAME="${PREFIX}-hc"다음 명령을 입력하여 리소스 그룹 이름을 설정합니다.
$ RESOURCE_GROUP_NAME="${CLUSTER_NAME}-${PREFIX}"다음 명령을 입력하여 위치를 설정합니다.
$ LOCATION="<my_region>"다음 명령을 입력하여 Azure 인증 정보 파일의 경로 변수를 설정합니다.
$ AZURE_CREDS="<path_to_azure_credentials_json>"다음 명령을 입력하여 OIDC 발행자 URL의 변수를 설정합니다.
$ OIDC_ISSUER_URL="<my_oidc_url_com>"다음 명령을 입력하여 워크로드 ID 파일의 경로를 설정합니다.
$ WORKLOAD_IDENTITIES_FILE="<path_to_workload_identities_file_json>"
다음 명령을 입력하여 워크로드 ID를 생성합니다.
$ hcp create iam azure \ --name "${CLUSTER_NAME}" \ --infra-id "${PREFIX}" \ --azure-creds "${AZURE_CREDS}" \ --location "${LOCATION}" \ --resource-group-name "${RESOURCE_GROUP_NAME}" \ --oidc-issuer-url "${OIDC_ISSUER_URL}" \ --output-file "${WORKLOAD_IDENTITIES_FILE}"이 명령은 8개의 워크로드 ID를 생성합니다.
프라이빗및PublicAndPrivate클러스터의 경우 컨트롤 플레인 Operator ID는 프라이빗 엔드포인트, 프라이빗 DNS 영역, Azure Virtual Network(VNet) 링크 및 DNS A 레코드를 생성하고 관리하는 데 사용됩니다. 컨트롤 플레인 ID에는 기본적으로Contributor역할이 할당됩니다. 보다 제한적인 역할을 사용하려면--assign-custom-hcp-roles플래그를 사용합니다.
4.2.6.4. 프라이빗 호스팅 클러스터를 위한 인프라 생성 링크 복사링크가 클립보드에 복사되었습니다!
개인 호스팅 클러스터를 생성할 수 있도록 인프라를 설정합니다.
사전 요구 사항
- HyperShift Operator가 설치된 Azure에 OpenShift Container Platform 관리 클러스터가 있어야 합니다.
- Azure CLI(명령줄 인터페이스)가 설치 및 구성되어 있습니다.
-
OpenShift CLI(
oc)가 설치되어 있어야 합니다. -
외부 DNS를 사용하는 경우
yq명령줄 YAML 프로세서가 설치됩니다. - OIDC 발행자를 구성했습니다. 자세한 내용은 "OIDC 발행자 설정"을 참조하십시오.
절차
환경 변수를 설정합니다.
다음 명령을 입력하여 DNS 영역 리소스 그룹의 변수를 설정합니다.
$ DNS_ZONE_RG_NAME="os4-common"다음 명령을 입력하여 DNS 영역의 기본 도메인에 대한 변수를 설정합니다.
$ PARENT_DNS_ZONE="<your_base_domain_com>"다음 명령을 입력하여 인프라 출력 파일을 가리키는 변수를 설정합니다.
$ INFRA_OUTPUT_FILE="${PREFIX}-infra-output.json"
다음 명령을 입력하여 인프라를 생성합니다.
$ hcp create infra azure \ --azure-creds "${AZURE_CREDS}" \ --infra-id "${PREFIX}" \ --name "${CLUSTER_NAME}" \ --location "${LOCATION}" \ --base-domain "${PARENT_DNS_ZONE}" \ --dns-zone-rg-name "${DNS_ZONE_RG_NAME}" \ --workload-identities-file "${WORKLOAD_IDENTITIES_FILE}" \ --assign-identity-roles \ --output-file "${INFRA_OUTPUT_FILE}"다음 예와 같이 생성한 리소스 ID를 가져오려면 인프라 출력을 읽습니다.
다음 명령을 입력하여 리소스 그룹 이름을 읽습니다.
$ MANAGED_RG_NAME=$(yq -r -p yaml '.resourceGroupName' "${INFRA_OUTPUT_FILE}")다음 명령을 입력하여 VNet ID를 읽습니다.
$ VNET_ID=$(yq -r -p yaml '.vnetID' "${INFRA_OUTPUT_FILE}")다음 명령을 입력하여 서브넷 ID를 읽습니다.
$ SUBNET_ID=$(yq -r -p yaml '.subnetID' "${INFRA_OUTPUT_FILE}")다음 명령을 입력하여 네트워크 보안 그룹 ID를 읽습니다.
$ NSG_ID=$(yq -r -p yaml '.securityGroupID' "${INFRA_OUTPUT_FILE}")개인 호스팅 클러스터를 생성하는 데 필요하므로 리소스 ID를 기록해 둡니다.
4.2.6.5. 프라이빗 Azure 호스팅 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
프라이빗 호스팅 클러스터를 생성하여 컴퓨팅 노드와 호스팅된 컨트롤 플레인 간의 통신이 Azure Private Link를 통해 수행되는지 확인합니다.
사전 요구 사항
- "Azure에서 프라이빗 호스팅 클러스터의 서브넷 준비"에 설명된 대로 서브넷을 구성했습니다.
- "사설 플랫폼 지원을 사용하여 HyperShift Operator 설치"에 설명된 대로 Azure의 OpenShift Container Platform 관리 클러스터에 HyperShift Operator를 설치했습니다.
- "개인 호스팅 클러스터의 IAM 리소스 구성"에 설명된 대로 IAM(Identity and Access Management) 리소스를 생성했습니다.
- "개인 호스팅 클러스터의 인프라 생성"에 설명된 대로 인프라를 생성했습니다.
- 이 절차에서는 사전 요구 사항 절차에서 생성한 환경 변수를 사용합니다. 이미 환경 변수를 정의한 것과 동일한 터미널에서 이 절차를 완료해야 합니다.
절차
다음 명령을 입력하여 개인 호스팅 클러스터를 생성합니다.
$ hcp create cluster azure \ --name "$CLUSTER_NAME" \ --namespace "clusters" \ --azure-creds ${AZURE_CREDS} \ --location ${LOCATION} \ --node-pool-replicas 2 \ --base-domain ${PARENT_DNS_ZONE} \ --pull-secret ${PULL_SECRET} \ --generate-ssh \ --release-image ${RELEASE_IMAGE} \ --resource-group-name "${MANAGED_RG_NAME}" \ --vnet-id "${VNET_ID}" \ --subnet-id "${SUBNET_ID}" \ --network-security-group-id "${NSG_ID}" \ --sa-token-issuer-private-key-path "${SA_TOKEN_ISSUER_PRIVATE_KEY_PATH}" \ --oidc-issuer-url "${OIDC_ISSUER_URL}" \ --dns-zone-rg-name ${DNS_ZONE_RG_NAME} \ --assign-service-principal-roles \ --workload-identities-file ${WORKLOAD_IDENTITIES_FILE} \ --external-dns-domain ${DNS_ZONE_NAME} \ --endpoint-access Private \ --endpoint-access-private-nat-subnet-id "${NAT_SUBNET_ID}"-
--external-dns-domain플래그의 값을 선택하는 경우 값이{cluster-name}.{base-domain}과 일치하지 않는지 확인합니다. 값으로{cluster-name}.{base-domain}을 사용하는 경우 Control Plane Operator는*.apps도메인을 섀도우할 수 있는 프라이빗 DNS 영역을 생성하여 콘솔과 수신에 연결할 수 없게 됩니다. --endpoint-access에는 다음 세 가지 값을 사용할 수 있습니다.-
기본값은
public입니다.Public을 지정하면 공용 엔드포인트만 통해 API 서버에 액세스할 수 있습니다. -
공용 및 개인 엔드포인트를 통해 API 서버에 액세스할 수 있는
PublicAndPrivate. PrivateLink를 통해서만 API 서버에 액세스할 수 있는 프라이빗 .클러스터를 생성한 후에는 공용 엔드포인트와 공용이 아닌(
또는 프라이빗 ) 끝점 액세스 간에 변경할 수 없습니다.PublicAndPrivate호스팅된 클러스터 구독 이외의 Azure 서브스크립션의
프라이빗끝점 연결을 허용해야 하는 경우--endpoint-access-private-additional-allowed-subscriptions "sub-id-1, sub-id-2"플래그를 사용하십시오.
-
기본값은
-
검증
다음 명령을 입력하여 Private Link 리소스를 확인합니다.
$ oc get azureprivatelinkservices -n clusters-${CLUSTER_NAME}다음 명령을 입력하여 상태 및 연결을 확인합니다.
$ oc get azureprivatelinkservices -n clusters-${CLUSTER_NAME} -o yaml표 4.8. 진행 상황 조건 설정 상태 설명 AzureInternalLoadBalancerAvailable내부 로드 밸런서에는 프런트 엔드 IP 주소가 있습니다.
AzurePLSCreatedPrivate Link는 관리 클러스터에서 생성됩니다.
AzurePrivateEndpointAvailable프라이빗 끝점은 호스팅된 클러스터 VNet에 생성됩니다.
AzurePrivateDNSAvailable프라이빗 DNS 영역과 A 레코드가 생성됩니다.
AzurePrivateLinkServiceAvailable모든 구성 요소가 준비되고 개인 연결을 사용할 수 있습니다.
다음 명령을 입력하여 전체 클러스터 상태를 확인합니다.
$ oc get hostedcluster ${CLUSTER_NAME} -n clusters다음 명령을 입력하여 상태를 기다립니다.
$ oc wait --for=condition=Available hostedcluster/${CLUSTER_NAME} -n clusters --timeout=30m
4.2.6.6. 프라이빗 Azure 호스팅 클러스터에 액세스 링크 복사링크가 클립보드에 복사되었습니다!
개인 호스트 클러스터를 생성한 후 추가 단계를 수행하여 액세스해야 합니다.
사전 요구 사항
- "개인 Azure 호스팅 클러스터 생성"의 단계를 완료했습니다.
절차
kubeconfig파일을 생성하여 프라이빗 호스팅 클러스터에 액세스하려면 다음 명령을 입력합니다.$ hcp create kubeconfig \ --name ${CLUSTER_NAME} \ --port-forward > ${CLUSTER_NAME}-kubeconfig관리 클러스터에 액세스할 수 있는 경우 API 서버로 전송하여 개인 호스팅 클러스터에 액세스할 수 있습니다.
다음 명령을 입력하여
kube-apiserver서비스로 포트 전달을 실행합니다.$ kubectl port-forward svc/kube-apiserver \ -n clusters-${CLUSTER_NAME} 6443:6443 &kubeconfig파일을 사용하여 호스팅된 클러스터에 액세스합니다.$ KUBECONFIG=${CLUSTER_NAME}-kubeconfig oc get nodes
호스트 클러스터 VNet과 피어링된 Azure Virtual Network(VNet)에 VM(가상 머신)이 있는 경우 API 서버에 액세스할 수 있지만 먼저 프라이빗 DNS 영역을 피어링 VNet에 연결해야 합니다.
참고컨트롤 플레인 Operator는 프라이빗 DNS 영역을 호스팅 클러스터의 VNet에만 연결합니다. 피어 지정된 VNet에서 API 서버 호스트 이름을 확인하려면 다음 단계에 표시된 대로 프라이빗 DNS 영역을 해당 VNet에 수동으로 연결해야 합니다. 그렇지 않으면 피어링 VNet에서 DNS 확인이 실패합니다.
다음 예와 같이 프라이빗 DNS 영역을 피어링 VNet에 연결합니다.
$ PEERED_VNET_ID="/subscriptions/<sub>/resourceGroups/<rg>/providers/Microsoft.Network/virtualNetworks/<vnet>"다음 명령을 실행합니다.
$ az network private-dns link vnet create \ --resource-group "${MANAGED_RG_NAME}" \ --zone-name "${CLUSTER_NAME}.hypershift.local" \ --name "peered-vnet-link" \ --virtual-network "${PEERED_VNET_ID}" \ --registration-enabled falsebase-domain 확인도 필요한 경우 다음 명령을 입력합니다.
$ az network private-dns link vnet create \ --resource-group "${MANAGED_RG_NAME}" \ --zone-name "${PARENT_DNS_ZONE}" \ --name "peered-vnet-basedomain-link" \ --virtual-network "${PEERED_VNET_ID}" \ --registration-enabled false다음 예에 표시된 대로 클러스터에 액세스합니다.
$ KUBECONFIG=${CLUSTER_NAME}-kubeconfig oc get nodes
4.2.6.7. Azure에서 프라이빗 호스트 클러스터 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
개인 호스팅 클러스터가 중단되면 AzurePrivateLinkService 사용자 정의 리소스 조건을 확인합니다.
절차
다음 명령을 입력하여 개인 링크 조건을 확인합니다.
$ oc get azureprivatelinkservices \ -n clusters-${CLUSTER_NAME} \ -o jsonpath='{.items[0].status.conditions}' | jq .출력을 검토하고 다음 조건 테이블과 비교합니다.
표 4.9. 프라이빗 클러스터 중단 상태 상태 가능한 원인 AzureInternalLoadBalancerAvailable=Falseprivate-router서비스는 아직 내부 로드 밸런서 IP 주소를 수신하지 못했습니다. 서비스 상태 및 Azure 네트워킹을 확인합니다.AzurePLSCreated=False개인 링크 생성에 실패했습니다. NAT 서브넷 정책, 인증 정보 및 HyperShift Operator 로그를 확인합니다.
AzurePrivateEndpointAvailable=False프라이빗 엔드포인트 생성이 실패했거나 연결이 승인되지 않았습니다. Private Link auto-approval 목록과 Control Plane Operator 로그를 확인합니다.
AzurePrivateDNSAvailable=FalseDNS 영역 또는 레코드 생성에 실패했습니다. 호스팅된 클러스터에 대한 인프라 리소스를 저장하는 Azure 서브스크립션에서 Control Plane Operator ID 권한을 확인합니다.
4.2.7. Azure에서 호스팅된 클러스터의 PublicAndPrivate 토폴로지 링크 복사링크가 클립보드에 복사되었습니다!
PublicAndPrivate 토폴로지를 사용하면 외부 자동화 및 프라이빗 워크로드가 Kubernetes API Server 끝점에 동시에 도달할 수 있도록 이중 경로 라우팅을 활성화합니다. 따라서 CI/CD 파이프라인 액세스를 저해하지 않고 규정 준수 요구 사항을 충족할 수 있습니다.
클러스터 생성 시 선택한 토폴로지는 프로비저닝되는 Azure 리소스 및 퍼블릭 인터넷, 프라이빗 Azure VNet 또는 둘 다에서 Kubernetes API 서버 끝점에 연결할 수 있는지 여부를 결정합니다.
Azure의 호스팅 클러스터는 3개의 Kubernetes API 서버 끝점 액세스 토폴로지를 지원합니다. 공용,프라이빗 및 PublicAndPrivate.
공용(기본값)- Kubernetes API Server 끝점은 공용 인터넷에서만 액세스할 수 있습니다. 프라이빗 Azure 네트워킹 리소스가 생성되지 않습니다. 프라이빗 컨트롤 플레인 액세스가 필요하지 않은 규제 환경 또는 CI/CD 워크로드에 이 토폴로지를 사용합니다.
PublicAndPrivate- Kubernetes API Server 끝점은 공용 인터넷과 프라이빗 Azure VNet에서 동시에 액세스할 수 있습니다. Azure는 공용 및 프라이빗 네트워킹 리소스를 모두 생성합니다. 외부 자동화에 공용 API 액세스 권한이 필요하고 내부 워크로드에 사설 네트워크 격리가 필요한 경우 이 토폴로지를 사용합니다.
프라이빗- Kubernetes API Server 끝점은 프라이빗 Azure VNet에서만 액세스할 수 있습니다. Kubernetes API Server 엔드포인트에 대한 공용 Azure Load Balancer가 생성되지 않습니다. 공용 인터넷에서 컨트롤 플레인에 연결할 수 없어야 하는 규제 환경에 이 토폴로지를 사용합니다.
4.2.7.1. 토폴로지를 통해 프로비저닝한 Azure 리소스 링크 복사링크가 클립보드에 복사되었습니다!
| 리소스 | 퍼블릭 | PublicAndPrivate | 프라이빗 |
|---|---|---|---|
| Azure Public Load Balancer | 제공됨 | 제공됨 | 없음 |
| Azure Internal Load Balancer | 없음 | 제공됨 | 제공됨 |
| Azure Private Link Service | 없음 | 제공됨 | 제공됨 |
| Azure 프라이빗 끝점 | 없음 | 제공됨 | 제공됨 |
| 프라이빗 DNS 영역 | 없음 | 제공됨 | 제공됨 |
Azure Private Link Service, Azure Private Endpoint 및 Private DNS Zones 행은 PrivateLink 프라이빗 유형을 사용하는 자체 관리 호스팅 컨트롤 플레인 클러스터에만 적용됩니다.
자체 관리 호스트 클러스터(Azure Private Link)에서 토폴로지는 IngressController LoadBalancer 범위를 직접 구동합니다. 전용 Azure Private Link Service 인프라는 프라이빗 액세스를 위해 클러스터당 생성됩니다. PrivateLink 프라이빗 유형은 각 클러스터의 내부 로드 밸런서, 프라이빗 링크 서비스, 프라이빗 엔드포인트 및 프라이빗 DNS 영역을 독립적으로 프로비저닝합니다.
4.2.7.3. PublicAndPrivate 토폴로지를 사용하여 호스팅된 컨트롤 플레인 생성 링크 복사링크가 클립보드에 복사되었습니다!
PublicAndPrivate Kubernetes API 서버 토폴로지를 사용하여 호스팅 클러스터를 생성하여 동시에 공용 인터넷 액세스 및 프라이빗 Azure VNet 액세스를 활성화할 수 있습니다.
PublicAndPrivate 토폴로지는 공용 인터넷의 CI/CD 파이프라인 액세스를 유지하면서 프라이빗 컨트롤 플레인 네트워킹이 필요한 규제 환경에 적합합니다.
토폴로지 필드는 공용 토폴로지와 관련된 전환에 대해 변경할 수 없습니다. 클러스터 생성 후에는 PublicAndPrivate 와 Private 간에 변경할 수 있지만 새 클러스터를 생성하지 않으면 공용 으로 변경할 수 없습니다. 프로비저닝하기 전에 토폴로지 선택을 신중하게 계획합니다.
사전 요구 사항
- 호스팅된 클러스터를 생성할 수 있는 권한이 있는 Azure 계정 및 컨트롤 플레인 Operator 워크로드 ID를 포함하여 필요한 워크로드 ID가 있습니다.
- 대상 리전에 Azure VNet이 있습니다.
- 외부에서 게시된 클러스터의 DNS 레코드에 대한 퍼블릭 Azure DNS 영역이 있습니다.
-
privateLinkServiceNetworkPolicies가 비활성화된 관리 클러스터의 VNet에 전용 NAT 서브넷이 있습니다. -
HyperShift Operator는
--private-platform Azure플래그를 사용하여 설치됩니다. -
--private-platform플래그가Azure로 설정된 경우 HyperShift Operator에는--azure-private-creds,--azure-private-secret또는--azure-pls-managed-identity-client-idid 라는 플래그 중 하나가 필요합니다. Operator는 해당 인증 정보를 사용하여 내부 로드 밸런서를 조회하고 관리 클러스터 리소스 그룹에 Private Link Service를 생성합니다. - 외부 DNS는 Azure 인증 정보 및 DNS가 해당 영역의 레코드를 관리할 수 있는 도메인 필터를 사용하여 관리 클러스터에 구성됩니다.
프라이빗 Azure 호스팅 클러스터의 경우 OAuth 경로 호스트 이름의 도메인을 < cluster_name>.<base_domain> 또는 < >의 상위 도메인으로 설정하지 마십시오. 생성된 프라이빗 DNS 영역은 섀도우 cluster_ name>.<base_domain*.apps 레코드 및 중단 콘솔 및 경로 확인을 중단할 수 있습니다.
예를 들어 hcp-two 클러스터 이름과 example.com 기본 도메인이 있는 경우 hcp-two.example.com 을 사용하지 마십시오. external-dns.example.com 과 같은 겹치지 않는 도메인을 사용합니다. 클러스터 생성 후에는 이 구성을 수정할 수 없습니다. 다른 도메인으로 클러스터를 다시 생성해야 합니다.
절차
다음 예와 같이
HostedCluster매니페스트를 생성합니다.참고이 예에서는 토폴로지별 필드만 보여줍니다.
apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: <cluster_name> namespace: clusters spec: platform: type: Azure azure: topology: PublicAndPrivate private: type: PrivateLink privateLink: natSubnetID: <nat_subnet_resource_id>다음과 같습니다.
<cluster_name>- 호스팅된 클러스터의 이름을 지정합니다.
<nat_subnet_resource_id>-
NAT 서브넷의 Azure 리소스 ID를 지정합니다. 이 서브넷에는
privateLinkServiceNetworkPolicies가 비활성화되어야 하며 관리 클러스터의 VNet에 있어야 합니다. 이 서브넷은 선택 사항입니다. 생략하면 컨트롤러는 관리 클러스터의 내부 로드 밸런서의 VNet에 NAT 서브넷을 생성합니다. 자세한 내용은 "Azure에서 프라이빗 호스팅 클러스터의 서브넷 준비"를 참조하십시오.
다음 명령을 입력하여 클러스터에 매니페스트를 적용합니다.
$ oc apply -f <manifest_file>.yaml다음 명령을 입력하여 클러스터 프로비저닝 상태를 모니터링합니다.
$ oc get hostedcluster <cluster_name> -n clusters -w
검증
다음 명령을 입력하여
사용 가능조건을 확인하여 컨트롤 플레인이 작동하는지 확인합니다.$ oc get hostedcluster <cluster_name> -n clusters \ -o jsonpath='{.status.conditions[?(@.type=="Available")]}'전체 연결 확인 절차는 "Azure에서 공용AndPrivate 호스팅 클러스터의 끝점 접근성 확인"을 참조하십시오.
4.2.7.4. Azure에서 PublicAndPrivate 호스팅 클러스터에 대한 끝점 접근성 확인 링크 복사링크가 클립보드에 복사되었습니다!
PublicAndPrivate 토폴로지를 사용하여 Azure에 호스팅된 클러스터를 생성한 후 Kubernetes API Server 엔드포인트가 공용 인터넷과 프라이빗 Azure VNet 모두에서 연결할 수 있는지 확인해야 합니다.
성공적으로 확인되면 컨트롤 플레인이 정상이고 프라이빗 연결 리소스가 프로비저닝되었으며 DNS가 올바르게 확인되고 있습니다. 토폴로지 구성 오류는 부분적으로 되돌릴 수 없기 때문에 확인하는 것이 중요합니다.
사전 요구 사항
-
PublicAndPrivate토폴로지를 사용하는 Azure에 실행 중인 호스트 클러스터가 있어야 합니다. -
ocCLI가 클러스터 관리 플레인에 설치되어 인증됩니다. - 프라이빗 VNet 확인을 위해 호스트 클러스터의 VNet 내에 있는 점프 서버 VM 또는 기타 호스트에 액세스하거나 VNet 내부에서 포트 전달을 사용할 수 있습니다.
절차
다음 명령을 입력하여 컨트롤 플레인이 실행 중인지 확인하려면 HostedCluster
Available조건을 확인합니다.$ oc get hostedcluster <cluster_name> -n clusters \ -o jsonpath='{.status.conditions[?(@.type=="Available")]}'&
lt;cluster_name>을 호스트된 클러스터 이름으로 바꿉니다.출력에
"status":"True"가 표시되는지 확인합니다.AzurePrivateLinkServiceCR 조건을 검색하여 다음 명령을 입력하여 개인 링크 체인이 완전히 프로비저닝되었는지 확인합니다.$ oc get azureprivatelinkservices -n clusters-<cluster_name> -o yaml5개의 조건이 모두
True인지 확인합니다.-
AzureInternalLoadBalancerAvailable -
AzurePLSCreated -
AzurePrivateEndpointAvailable -
AzurePrivateDNSAvailable AzurePrivateLinkServiceAvailable상태가
False인 경우 진단 지침은 "AzurePrivateLinkService 조건 참조"를 참조하십시오.
-
호스트 클러스터의 VNet 내부에서 프라이빗 API 호스트 이름의 DNS 확인을 확인합니다.
VNet 내부의 호스트에서 다음 명령을 입력하여 프라이빗 API 호스트 이름을 확인합니다.
$ nslookup <api_hostname_from_kubeconfig>https:// 접두사 또는 포트 없이
server의 호스트 이름만 포함합니다.kubeconfig의 URL은https://접두사 또는 포트 없이 <base_domain>을 추가하지 않습니다. API 호스트 이름은 VNet 내부에서 프라이빗 끝점 IP 주소로 확인되어야 합니다. 호스트 이름이 공용 IP로 확인되면 프라이빗 DNS 영역이 호스팅된 클러스터의 VNet에 올바르게 연결되어 있는지 확인합니다.다음 명령을 입력하여 호스팅된 클러스터
kubeconfig를 사용하여 공용 인터넷의 API 도달 가능성을 확인합니다.$ oc get nodes --kubeconfig <path_to_hosted_cluster_kubeconfig>&
lt;path_to_hosted_cluster_kubeconfig>를 호스팅된 클러스터 kubeconfig 파일의 경로로 바꿉니다.노드 목록에 성공하면 공용 Kubernetes API 서버 엔드포인트에 연결할 수 있는지 확인합니다.
프라이빗 Azure VNet 내부에서 API 도달 가능성을 확인합니다.
프라이빗 Azure VNet 내의 건너뛰기 서버 VM 또는 기타 호스트에서 다음 명령을 실행합니다.
$ oc get nodes --kubeconfig <path_to_hosted_cluster_kubeconfig>노드 목록에 성공하면 VNet 내에서 프라이빗 Kubernetes API 서버 엔드포인트에 연결할 수 있는지 확인합니다.
중요기본적으로 프라이빗 DNS 영역은 호스팅된 클러스터의 VNet에만 연결됩니다. 피어링 VNet에서 DNS 확인이 필요한 경우 클러스터 생성 후 프라이빗 DNS 영역을 각 피어링 VNet에 수동으로 연결합니다. 피어링 VNet을 연결하지 못하면 해당 네트워크에서 DNS 확인 오류가 발생합니다.
4.2.7.5. 토폴로지 전환 규칙 및 제약 조건 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스의 topology 필드는 공용 토폴로지와 관련된 전환에 대해 변경할 수 없습니다.
클러스터 생성 후 PublicAnd 와 Private 간 전환이 허용됩니다. Private Public 으로 또는 를 변경하려면 새 클러스터를 생성해야 합니다.
되돌릴 수 없는 잘못된 구성을 방지하려면 토폴로지를 선택하기 전에 이러한 제약 조건을 주의 깊게 검토하십시오.
| 토폴로지에서 | 토폴로지로 이동 | 생성 후 허용 | 작업 필요 |
|---|---|---|---|
|
|
| 없음 | 새 클러스터를 생성합니다. |
|
|
| 없음 | 새 클러스터를 생성합니다. |
|
|
| 없음 | 새 클러스터를 생성합니다. |
|
|
| 없음 | 새 클러스터를 생성합니다. |
|
|
| 제공됨 |
|
|
|
| 제공됨 |
|
| 차원 | 퍼블릭 | PublicAndPrivate | 프라이빗 |
|---|---|---|---|
| Kubernetes API Server 액세스 | 인터넷만 해당 | 공용 인터넷 + 개인 Azure VNet | 프라이빗 Azure VNet만 해당 |
| 외부 DNS 필요 | 없음 | 제공됨 | 제공됨 |
|
| 없음 | 제공됨 | 제공됨 |
|
|
|
|
|
토폴로지 선택은 퍼블릭 토폴로지로 시작하거나 퍼블릭 토폴로지로 전환하는 모든 클러스터에 대해 일회용할 수 없는 결정입니다. 클러스터를 생성하기 전에 규정 준수 요구 사항을 충족하는 토폴로지를 선택합니다. 공용에서 프라이빗 토폴로지 로 또는 프라이빗 토폴로지에서 공용 으로 이동해야 하는 경우 새 클러스터를 생성해야 합니다.
4.2.7.6. AzurePrivateLinkService conditions reference 링크 복사링크가 클립보드에 복사되었습니다!
Azure 사용자 정의 리소스는 Private 또는 Private LinkServicePublicAndPrivate 토폴로지를 사용하여 호스팅된 클러스터의 엔드 투 엔드 프라이빗 링크 체인을 확인하기 위해 검사하는 5가지 상태 조건을 노출합니다.
프라이빗 Kubernetes API 서버 경로가 provisioned로 간주되기 전에 5개의 모든 조건이 True 여야 합니다. 다음 조건을 사용하여 불완전하거나 프라이빗 연결에 실패한 연결을 진단합니다.
클러스터에서 현재 조건을 검색하려면 다음 명령을 실행합니다.
$ oc get azureprivatelinkservices -n clusters-<cluster_name> -o yaml
& lt;cluster_name& gt;을 호스트된 클러스터 이름으로 바꿉니다.
| 상태 이름 | 예상 상태 | 표시되는 내용 |
|---|---|---|
|
|
|
이 조건이 누락된 경우 HyperShift Operator의 Azure Private Link 인증 정보 또는 관리 ID가 관리 클러스터 리소스 그룹에서 로드 밸런서를 읽고 |
|
|
|
Azure Private Link Service 인스턴스가 프로비저닝되었으며 등록되었습니다. 이 조건이 |
|
|
|
Azure Private Endpoint가 생성되고 Private Link Service에 대한 연결이 승인되었습니다. |
|
|
|
프라이빗 Kubernetes API Server 호스트 이름에 대한 Azure 프라이빗 DNS 영역 및 DNS 레코드가 프로비저닝되었습니다. |
|
|
|
HyperShift Operator는 Private Link Service가 준비되는 즉시 프라이빗 링크 서비스가 준비되면 프라이빗 엔드포인트 및 DNS 레코드가 존재하기 전에 |
프라이빗 네트워크 경로를 통해 Kubernetes API 서버 엔드포인트에 연결하기 전에 5개의 조건이 모두 True 여야 합니다. If any condition is False, diagnose sequentially from AzureInternalLoadBalancerAvailable through AzurePrivateLinkServiceAvailable, 각 리소스는 프로비저닝되는 이전 리소스에 따라 다릅니다.
4.2.8. 예: Azure에서 호스트 클러스터 자동 확장 링크 복사링크가 클립보드에 복사되었습니다!
Azure 호스트 클러스터에서 노드 풀을 균형 있게 조정하려면 클러스터에 대한 자동 스케일링을 구성할 수 있습니다.
NodePool 오브젝트를 확장하면 Azure의 Cluster API Provider가 개별 Azure 가상 머신을 프로비저닝합니다.
Azure에서 호스트된 클러스터에 대한 자동 스케일링을 구성하려면 HostedCluster 리소스에서 spec.autoscaling 매개변수를 편집합니다. 다음 예제에서는 Azure 노드 풀 2개가 있는 HostedCluster 리소스를 보여줍니다.
이 예에서는 autoscaling 관련 필드만 보여줍니다.
apiVersion: hypershift.openshift.io/v1beta1
kind: HostedCluster
metadata:
name: my-cluster
namespace: my-cluster-namespace
spec:
autoscaling:
scaling: ScaleUpAndScaleDown
maxNodesTotal: 12
expanders:
- Random
scaleDown:
delayAfterAddSeconds: 300
unneededDurationSeconds: 600
utilizationThresholdPercent: 40
balancingIgnoredLabels:
- "custom.label/environment"
maxFreeDifferenceRatioPercent: 70
---
apiVersion: hypershift.openshift.io/v1beta1
kind: NodePool
metadata:
name: my-cluster-nodepool-1
namespace: my-cluster-namespace
spec:
clusterName: my-cluster
autoScaling:
min: 1
max: 6
platform:
azure:
vmSize: Standard_D4s_v3
# ...
---
apiVersion: hypershift.openshift.io/v1beta1
kind: NodePool
metadata:
name: my-cluster-nodepool-2
namespace: my-cluster-namespace
spec:
clusterName: my-cluster
autoScaling:
min: 1
max: 6
platform:
azure:
vmSize: Standard_D4s_v3
# ...
spec.autoScaling.min은 scale-from-zero를 지원하지 않는 플랫폼에서1보다 크거나 같아야 합니다.OpenShift Container Platform 4.18 이상을 실행하는 AWS(Amazon Web Services) 및 Azure 호스팅 클러스터에서는 적합한 테인트된 워크로드 풀에 대해
spec.autoScaling.min을0으로 설정할 수 있습니다. 자세한 내용은 "호스트된 컨트롤 플레인 노드 풀에서 0으로 자동 스케일링 구성"을 참조하십시오.참고이 예제의 이전 버전에서는 0(
autoScaling.min: 0)의 스케일링은 Azure에서 지원되지 않습니다. OpenShift Container Platform 4.18 이상에서는 HyperShift Operator 백포트를 사용할 수 있는 경우 AWS(Amazon Web Services) 및 Azure에서min: 0을 지원합니다.
4.2.9. Azure에서 호스팅되는 컨트롤 플레인 백업 및 복원 링크 복사링크가 클립보드에 복사되었습니다!
OADP(OpenShift API for Data Protection) 1.6을 사용하여 Microsoft Azure에서 자체 관리 호스팅 컨트롤 플레인을 백업하고 복원할 수 있습니다.
자동화된 백업은 etcd 상태 및 관련 Azure 인프라 리소스를 캡처합니다. etcd 데이터 손실 또는 손상이 발생하면 동일한 관리 클러스터의 스냅샷에서 클러스터를 복원할 수 있습니다.
4.2.9.1. Azure의 호스트된 컨트롤 플레인에서 재해 복구 제한 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅되는 컨트롤 플레인에 대한 재해 복구(DR) 전략을 설계하기 전에 다음 제한 사항을 검토하십시오. 동일한 클러스터 전용 제한 및 필수 컴퓨팅 노드 재프로비저닝은 DR 아키텍처 및 사이트 선택에 가장 큰 영향을 미칩니다.
| 제한 | 세부 정보 |
|---|---|
| same-cluster 복원만 지원 | 교차 관리 클러스터 복원은 현재 지원되지 않습니다. Azure에 대해 백업이 수행된 관리 클러스터로 복원하는 동일한 클러스터 복원만 검증됩니다. |
| OADP 필요 |
자동 복원에는 기본 제공 |
|
|
|
| 인플레이스 복원 없음 |
복원 전에 기존 |
| 컴퓨팅 노드 재프로비저닝 | 복원 후 컴퓨팅 노드를 다시 프로비저닝합니다. 복구 중에 워크로드 중단에 대한 계획 노드가 다시 프로비저닝되고 클러스터에 다시 참여하는 동안 컴퓨팅 노드에서 실행되는 애플리케이션은 다운타임이 발생합니다. |
|
기술 프리뷰( |
etcd 스냅샷 복원에는 HyperShift Operator의 |
| 복원당 단일 스냅샷 |
복원당 하나의 스냅샷 URL만 허용됩니다( |
4.2.9.2. Azure에서 호스팅되는 컨트롤 플레인의 백업 및 복원 설정 링크 복사링크가 클립보드에 복사되었습니다!
자동 백업을 실행하도록 Azure 환경에서 호스팅되는 컨트롤 플레인을 설정합니다.
기본 제공 하이퍼shift 플러그인이 있는 OADP(OpenShift API for Data Protection) 1.6은 Azure에서 호스팅되는 컨트롤 플레인에 지원되는 백업 및 복원 솔루션입니다. 하이퍼shift 플러그인은 기본적으로 OADP 1.6에 포함되어 있으며 사용자 정의 플러그인 이미지가 필요하지 않습니다.
플러그인은 두 가지 백업 모드를 지원합니다.
- 볼륨 스냅샷 백업
-
CSI 스냅샷을 사용하여 영구 볼륨 데이터를 캡처합니다. 이 모드는 etcd 스토리지 볼륨을 백업하고
HCPEtcdBackup기능 게이트가 필요하지 않습니다. 볼륨 스냅샷 백업 절차는 "Azure에서 호스팅되는 컨트롤 플레인에 대한 자동 재해 복구"를 참조하십시오. - etcd 스냅샷 백업
-
지정 시간 etcd 스냅샷을 캡처하고 스냅샷 URL을
HostedCluster.status.lastSucfulEtcdBackupURL사양에 저장합니다. OADP 플러그인은 복원 시 이 URL을 자동으로 삽입합니다. 이 모드에서는HCPEtcdBackup기능 게이트가 필요하며 기술 프리뷰 기능으로 사용할 수 있습니다.
사전 요구 사항
- 관리 클러스터에 OADP 1.6을 설치했습니다. 자세한 내용은 Azure를 사용하여 OADP 구성을 참조하십시오.
- 관리 클러스터에서 액세스할 수 있는 Azure Blob Storage 계정 및 컨테이너를 생성했습니다.
- Azure 인증 정보가 포함된 Kubernetes 시크릿이 있습니다. 자세한 내용은 Azure에서 호스팅되는 컨트롤 플레인에 대한 자동화된 재해 복구 설정 의 1단계를 참조하십시오.
절차
자동 백업을 구성하려면
hcp create oadp-schedule명령을 입력합니다. 다음 예제에서는 일별 백업을 예약하는 방법을 보여줍니다.$ hcp create oadp-schedule \ --hc-name <hosted_cluster_name> \ --hc-namespace <hosted_cluster_namespace> \ --storage-location azure-blob \ --schedule "0 2 * * *" --use-etcd-snapshot다음과 같습니다.
--hc-name-
백업할
HostedCluster리소스의 이름을 지정합니다. --hc-namespace-
HostedCluster리소스의 네임스페이스를 지정합니다. --use-etcd-snapshot- etcd 스냅샷 방법을 사용하도록 지정합니다. CSI 스냅샷을 사용하는 경우 이 플래그를 포함하지 마십시오.
검증
다음 명령을 입력하여 최신 Velero 백업의 상태를 확인합니다.
$ oc get backups.velero.io -n openshift-adp -o wide다음 명령을 입력하여 Velero 로그에서 오류를 검사합니다.
$ oc logs -n openshift-adp deployment/velero다음 명령을 입력하여
HostedCluster리소스 상태가 성공적인 etcd 백업 URL을 보고하는지 확인합니다.$ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \ -o jsonpath='{.status.lastSuccessfulEtcdBackupURL}'비어 있지 않은 URL은 etcd 스냅샷을 캡처하여 성공적으로 저장했는지 확인합니다.
4.2.9.3. etcd 스냅샷에서 Azure에서 호스팅된 클러스터 복원 링크 복사링크가 클립보드에 복사되었습니다!
HyperShift OADP 플러그인을 사용하여 etcd 스냅샷에서 자체 관리 Azure 호스팅 컨트롤 플레인을 복원할 수 있습니다. 플러그인은 Control Plane Operator 및 etcd-init init 컨테이너를 통해 복원 순서를 자동화합니다.
etcd 스냅샷 방법은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
etcd 스냅샷 복원 순서는 다음 순서를 따릅니다.
-
OADP 플러그인은
HostedCluster리소스를 생성하고 etcd 스냅샷 URL을spec.etcd.managed.storage.restoreSnapshotURL필드에 삽입합니다. 플러그인은 백업에서 이 필드를 자동으로 설정합니다. 수동으로 설정하지 않습니다. 유효성 검사에 의해 적용되는 생성 후에는 필드가 변경할 수 없으며MaxItems=1. -
Control Plane Operator는 스냅샷 URL을 감지하고 etcd
StatefulSet에etcd-initinit 컨테이너를 추가합니다. -
etcd-init컨테이너는 Azure Blob Storage에서 스냅샷을 다운로드합니다. 복원 중에 OADP 플러그인은 저장된 스냅샷 URL에서 SAS 인증 URL을 생성하여etcd-init컨테이너가 자격 증명에 직접 액세스하지 않고 스냅샷을 다운로드할 수 있도록 합니다. -
복원에 성공한 후 Control Plane Operator에서
HostedControlPlane리소스에서EtcdSnapshotRestored조건을True로 설정하고etcd-initinit 컨테이너를 제거합니다.EtcdSnapshotRestored=True에서는 컨테이너를 다시 시작할 때 컨테이너가 다시 실행되지 않습니다.
교차 관리 클러스터 복원은 현재 지원되지 않습니다. 백업을 수행한 동일한 관리 클러스터로만 복원할 수 있습니다.
사전 요구 사항
-
기본 제공
hypershift플러그인을 사용하여 관리 클러스터에 OADP 1.6을 설치했습니다. -
HyperShift Operator에서
HCPEtcdBackup기능 게이트를 활성화했습니다. -
HostedCluster.status.lastSuccessfulEtcdBackupURL필드에 유효한 etcd 스냅샷 URL을 포함하여 완료된 백업이 있습니다. -
Azure Blob Storage용 Velero
BackupStorageLocation이 구성되고 액세스할 수 있습니다.
절차
다음 명령을 입력하여 기존
HostedCluster및 해당NodePool리소스를 삭제합니다.$ hcp destroy cluster azure \ --name <hosted_cluster_name> \ --namespace <hosted_cluster_namespace><
;hosted_cluster_name> 및 <hosted_cluster_namespace>를 삭제할 클러스터로 바꿉니다.다음 명령을 입력하여 진행하기 전에
HostedCluster리소스 삭제가 완료될 때까지 기다립니다.$ oc wait --for=delete hostedcluster/<hosted_cluster_name> \ -n <hosted_cluster_namespace> --timeout=10m다음 명령을 입력하여 모든 etcd PVC(영구 볼륨 클레임)가 제거되었는지 확인합니다.
$ oc get pvc -n <hosted_cluster_namespace>-<hosted_cluster_name>명령에서 리소스를 반환하지 않아야 합니다. PVC가 남아 있으면 다음 명령을 입력하여 진행하기 전에 해당 PVC를 삭제합니다.
$ oc delete pvc --all -n <hosted_cluster_namespace>-<hosted_cluster_name>OADP restore 명령을 입력하여 백업에서 호스팅된 클러스터를 다시 생성합니다.
$ hcp create oadp-restore \ --hc-name <hosted_cluster_name> \ --hc-namespace <hosted_cluster_namespace> \ --from-backup <backup_name> \ --use-etcd-snapshot다음과 같습니다.
<hosted_cluster_name>-
복원할
HostedCluster리소스의 이름을 지정합니다. <hosted_cluster_namespace>-
HostedCluster리소스의 네임스페이스를 지정합니다. <backup_name>-
복원할 Velero
Backup사용자 정의 리소스의 이름을 지정합니다.
검증
다음 명령을 입력하여
HostedControlPlane리소스에서EtcdSnapshotRestored조건을 확인합니다.$ oc get hostedcontrolplane <hosted_cluster_name> -n <hosted_cluster_namespace>-<hosted_cluster_name> \ -o jsonpath='{.status.conditions[?(@.type=="EtcdSnapshotRestored")].status}'출력은
True여야 합니다.다음 명령을 입력하여
HostedCluster리소스에서Available상태를 보고하는지 확인합니다.$ oc get hostedcluster <hosted_cluster_name> -n <hosted_cluster_namespace> \ -o jsonpath='{.status.conditions[?(@.type=="Available")].status}'출력은
True여야 합니다.etcd pod init 컨테이너 로그를 검사하여 다음 명령을 입력하여 스냅샷 다운로드에 성공했는지 확인합니다.
$ oc logs -n <hosted_cluster_namespace>-<hosted_cluster_name> \ statefulset/etcd -c etcd-init복원에 성공하면
복원된 스냅샷의 출력 메시지가 생성됩니다.참고EtcdSnapshotRestored=True후 Control Plane Operator에서etcd-initinit 컨테이너를 자동으로 제거합니다. 이 로그 검사는 복원이 아직 진행 중인 경우에만 가능합니다. 복원이 이미 완료되었기 때문에 etcd pod에 없는 컨테이너가 있는 경우 init 컨테이너 로그 대신 이전 단계에서EtcdSnapshotRestored조건을 확인합니다.
4.2.9.4. Azure에서 호스팅되는 컨트롤 플레인의 백업 및 복원 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅된 컨트롤 플레인에 대한 백업 및 복원 프로세스 중에 문제가 발생하는 경우 해결 가능성을 검토하십시오.
| 증상 | 원인 | 해결 |
|---|---|---|
|
| 스냅샷 URL의 SAS(Azure 공유 액세스 서명) 토큰이 만료되었습니다. |
SAS 토큰을 다시 생성하고 새 백업을 실행합니다. 새 백업 이름을 |
|
| 스냅샷의 Blob URL이 잘못되었거나 Blob이 삭제되었습니다. |
다음 명령을 입력하여 백업 스냅샷 URL을 확인합니다. |
|
| 이전 클러스터에는 기존 etcd PVC(영구 볼륨 클레임) 데이터가 있습니다. |
|
|
Velero 복원 정지; |
Velero 컨트롤러는 |
다음 명령을 입력하여 Velero 포드 로그를 확인합니다. |
4.2.10. Azure에서 호스팅되는 컨트롤 플레인에 대한 자동화된 재해 복구 링크 복사링크가 클립보드에 복사되었습니다!
OADP(OpenShift API for Data Protection) 1.6을 사용하여 Microsoft Azure에서 호스트된 컨트롤 플레인에 대한 재해 복구(DR)를 자동화할 수 있습니다. OADP hypershift 플러그인은 플랫폼을 자동으로 감지하고 백업 및 복원 작업에 필요한 플랫폼별 리소스를 포함합니다.
Azure의 호스팅된 컨트롤 플레인의 OADP 기반 복원 작업에 다음 제한 사항이 적용됩니다.
- same-management-cluster-only restore
- 현재 Azure에서 교차 관리 클러스터 복원은 지원되지 않습니다. 백업을 수행한 관리 클러스터로 복원하는 클러스터 복원만 지원됩니다.
- 컴퓨팅 노드 재프로비저닝
- 복원 후 컴퓨팅 노드를 다시 프로비저닝합니다. 노드가 다시 프로비저닝되고 클러스터에 다시 참여하는 동안 컴퓨팅 노드에서 실행되는 애플리케이션은 다운타임이 발생합니다. 복구 작업을 예약할 때 이러한 중단에 대한 계획
4.2.10.1. Azure에서 호스트된 컨트롤 플레인에 대한 자동 재해 복구 설정 링크 복사링크가 클립보드에 복사되었습니다!
OADP(OpenShift API for Data Protection) 1.6을 사용하여 Microsoft Azure에서 호스트된 컨트롤 플레인에 대한 재해 복구(DR)를 자동화할 수 있습니다.
OADP 하이퍼shift 플러그인은 플랫폼을 자동으로 감지하며 백업 및 복원 작업에 필요한 플랫폼별 리소스를 포함합니다.
사전 요구 사항
- 관리 클러스터에 OADP 1.6을 설치했습니다. 자세한 내용은 Azure로 OADP 구성을 참조하십시오.
-
HCPEtcdBackup기능 게이트 요구 사항과 Azure에서 호스팅되는 컨트롤 플레인의 백업 및 복원 설정에 나열된 etcd 스냅샷 사전 요구 사항을 충족했습니다. - Azure 스토리지 계정 및 Blob 컨테이너를 생성했습니다.
- Azure Blob Storage 계정에 액세스할 수 있는 Azure 서비스 주체 자격 증명입니다.
절차
OADP에 백업이 저장되는 Azure Blob Storage 계정에 액세스할 수 있는 Kubernetes 시크릿을 생성합니다.
다음 콘텐츠를 사용하여 인증 정보 파일을 생성합니다.
AZURE_SUBSCRIPTION_ID=<azure_subscription_id> AZURE_TENANT_ID=<azure_tenant_id> AZURE_CLIENT_ID=<azure_client_id> AZURE_CLIENT_SECRET=<azure_client_secret> AZURE_RESOURCE_GROUP=<azure_resource_group> AZURE_CLOUD_NAME=<azure_cloud_name>다음과 같습니다.
<azure_subscription_id>- Azure 서브스크립션 ID를 지정합니다.
<azure_tenant_id>- Azure Active Directory 테넌트 ID를 지정합니다.
<azure_client_id>- Azure 서비스 주체의 클라이언트 ID를 지정합니다.
<azure_client_secret>- Azure 서비스 주체의 클라이언트 시크릿을 지정합니다.
<azure_resource_group>- 스토리지 계정이 포함된 Azure 리소스 그룹을 지정합니다.
<azure_cloud_name>-
Azure 클라우드 환경을 지정합니다.
Azure Government의경우 표준 Azure 또는AzureUSGovernmentCloud를 사용합니다.
다음 명령을 입력하여
openshift-adp네임스페이스에 보안을 생성합니다.$ oc create secret generic azure-credentials \ --namespace openshift-adp \ --from-file cloud=<path_to_credentials_file>&
lt;path_to_credentials_file>을 이전 단계에서 생성한 인증 정보 파일의 경로로 바꿉니다.
DPA(
DataProtectionApplication) 사용자 지정 리소스를 생성하여 Azure 공급자 및hypershift플러그인으로 OADP를 구성합니다.다음 예와 같이
DataProtectionApplication매니페스트를 만듭니다.apiVersion: oadp.openshift.io/v1alpha1 kind: DataProtectionApplication metadata: name: dpa-azure namespace: openshift-adp spec: configuration: velero: defaultPlugins: - openshift - azure - csi - hypershift backupLocations: - velero: provider: azure default: true credential: name: azure-credentials key: cloud objectStorage: bucket: <blob_container_name> prefix: velero config: resourceGroup: <azure_resource_group> storageAccount: <azure_storage_account_name>다음과 같습니다.
<blob_container_name>- Azure Blob Storage 컨테이너의 이름을 지정합니다.
<azure_resource_group>- 스토리지 계정을 포함하는 Azure 리소스 그룹을 지정합니다.
<azure_storage_account_name>- Azure 스토리지 계정 이름을 지정합니다.
다음 명령을 입력하여 매니페스트를 적용합니다.
$ oc apply -f dpa-azure.yaml다음 명령을 입력하여
BackupStorageLocation을 사용할 수 있는지 확인합니다.$ oc get backupstoragelocation -n openshift-adp출력에 사용 가능한
단계가표시되어야합니다.
Velero
BackupCR을 생성하여 호스팅된 컨트롤 플레인 및 관련 Azure 인프라 리소스를 백업합니다.참고hcp create oadp-backup명령은 Azure를 자동 감지하며 백업에 필요한 세 가지 Azure Cluster API 리소스(azureclusters, azuremachinetemplates ,azuremachinetemplates)를 자동으로 포함합니다.CLI 명령을 사용하는 것이 좋습니다.backup 명령을 실행합니다.
$ hcp create oadp-backup \ --hc-name <hosted_cluster_name> \ --hc-namespace <hosted_cluster_namespace> \ --storage-location azure-blob또는
백업매니페스트를 직접 적용합니다. 매니페스트에는 세 개의 Azure Cluster API 리소스가includedResources에 포함되어야 합니다. 아래includedResources목록은 예시적입니다. CLI 명령은 여기에 나열되지 않은 추가 리소스를 자동으로 감지할 수 있습니다. CLI 출력과 정확히 일치하는 기준 매니페스트를 생성하려면hcp create oadp-backup --render를 사용하고 필요에 따라 조정합니다.Backup매니페스트의 예apiVersion: velero.io/v1 kind: Backup metadata: name: <backup_name> namespace: openshift-adp spec: storageLocation: azure-blob includedNamespaces: - <hosted_cluster_namespace> - <hosted_cluster_namespace>-<hosted_cluster_name> includedResources: - hostedclusters - nodepools - secrets - hostedcontrolplanes - azureclusters - azuremachinetemplates - azuremachines ttl: 720h0m0s<
backup_name> , <hosted_cluster_namespace> , <hosted_cluster_name>을 백업 이름과 백업 클러스터 이름으로 바꿉니다.
검증
다음 명령을 입력하여 백업이 성공적으로 완료되었는지 확인합니다.
$ oc get backup <backup_name> -n openshift-adp -o jsonpath='{.status.phase}'출력은 완료되어야
합니다.
4.2.10.2. Azure에서 호스트된 클러스터 복원 링크 복사링크가 클립보드에 복사되었습니다!
OADP 백업에서 호스팅된 컨트롤 플레인을 복원합니다. hcp create oadp-restore 명령을 사용하거나 Velero Restore CR(사용자 정의 리소스)을 직접 적용할 수 있습니다.
사전 요구 사항
-
기존
HostedCluster리소스가 삭제되고 모든 etcd PVC(영구 볼륨 클레임)가 제거됩니다. etcd 스냅샷 복원에 대한 자세한 내용은 etcd 스냅샷 방법을 사용하여 etcd 데이터 복원을 참조하십시오. -
복원할 백업의 상태가
Completed상태입니다.
절차
CLI를 사용하여 호스트 클러스터를 복원하려면 다음 명령을 입력합니다.
$ hcp create oadp-restore \ --hc-name <hosted_cluster_name> \ --hc-namespace <hosted_cluster_namespace> \ --from-backup <backup_name>etcd 스냅샷에서 복원하려면 다음 명령을 입력하여
--use-etcd-snapshot플래그를 추가합니다.$ hcp create oadp-restore \ --hc-name <hosted_cluster_name> \ --hc-namespace <hosted_cluster_namespace> \ --from-backup <backup_name> \ --use-etcd-snapshotRestoreCR을 직접 적용하려면 다음 명령을 입력합니다.apiVersion: velero.io/v1 kind: Restore metadata: name: <restore_name> namespace: openshift-adp spec: backupName: <backup_name> restorePVs: true existingResourcePolicy: none-
이
RestoreCR은includedNamespaces를 지정하지 않습니다. Velero는 기본적으로 백업에서 모든 네임스페이스를 복원합니다. 호스팅 클러스터 네임스페이스(<hosted_cluster_namespace> 및 <hosted_cluster_namespace>-<hosted_cluster_name> )에 대한 백업 범위 리소스가 백업에서 해당 범위를 상속합니다. -
existingResourcePolicy: noneis correct for a disaster recovery restore where theHostedClusterresource and all etcd PVCs have been deleted before the restore. 리소스 remnants가 존재하는 경우 예를 들어 오래된 종료자가 리소스를 보유하고 있는 경우 Velero는 자동으로 리소스를 덮어쓰지 않고 건너뜁니다. 나머지 리소스로 인해 복원이 실패하면 복원을 중지하고 네임스페이스를 수동으로 정리한 후 다시 시도합니다.
-
이
검증
다음 명령을 입력하여 복원이 완료되었는지 확인합니다.
$ oc get restore <restore_name> -n openshift-adp -o jsonpath='{.status.phase}'출력은 완료되어야
합니다. 출력이부분적으로Failed 인경우 다음 명령을 입력하여 복원 경고를 검사합니다.$ oc describe restore <restore_name> -n openshift-adp
4.2.11. Azure 호스팅 클러스터 및 해당 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
더 이상 호스트 클러스터가 필요하지 않은 경우 해당 클러스터와 해당 인프라를 제거할 수 있습니다. 설정 중에 생성된 관련 Workload Identities 및 OIDC 발행자는 다른 클러스터에 재사용하거나 더 이상 필요하지 않은 경우 별도로 삭제할 수 있습니다.
4.2.11.1. Azure에서 호스트 클러스터 삭제 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅된 클러스터를 더 이상 사용하지 않는 경우 삭제할 수 있습니다.
절차
호스트된 클러스터를 삭제하려면 다음 명령을 입력합니다.
$ hcp destroy cluster azure \ --name $CLUSTER_NAME \ --azure-creds $AZURE_CREDS \ --dns-zone-rg-name $PERSISTENT_RG_NAME \ --preserve-resource-group-
--name은 호스팅된 클러스터 이름을 지정합니다. -
--Azure-creds는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다. -
--dns-zone-rg-name은 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다. -
--preserve-resource-group은 인프라가 유지되도록 지정합니다. 인프라를 보존하지 않으려면 이 플래그를 포함하지 마십시오.
-
4.2.11.2. Azure 인프라 삭제 링크 복사링크가 클립보드에 복사되었습니다!
호스트 클러스터가 없는 Azure 인프라가 있는 경우 이를 사용하지 않는 경우 인프라를 제거할 수 있습니다.
예를 들어, 이 시나리오는 인프라를 독립 실행형으로 생성했지만 호스팅 클러스터를 생성하지 않은 경우 발생할 수 있습니다. 또는 호스팅된 클러스터 또는 관리 클러스터를 수동으로 삭제했지만 인프라 리소스가 여전히 존재할 수 있습니다.
전체 인프라를 삭제하거나 클러스터별 리소스를 삭제하지만 기본 리소스 그룹을 유지할 수 있습니다. 기본 리소스 그룹을 유지하는 것은 유지하려는 동일한 리소스 그룹에 다른 리소스가 있는 경우 유용합니다.
호스트 클러스터가 있고 호스트 클러스터를 삭제하는 동안 인프라를 삭제하려면 "Azure에서 호스팅된 클러스터 삭제"의 단계를 수행하지만 --preserve-resource-group 플래그를 생략합니다.
절차
인프라를 삭제하려면 다음 명령 중 하나를 입력합니다.
리소스 그룹을 포함한 인프라를 삭제하려면 다음 명령을 입력합니다.
$ hcp destroy infra azure \ --name <my_cluster_name> \ --infra-id <infra_id> \ --azure-creds <azure_credentials_file>-
--name은 호스팅된 클러스터 이름을 지정합니다. -
--infra-id는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다. -
--Azure-creds는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.
-
리소스 그룹을 보존하지만 클러스터별 리소스만 삭제하려면 다음 명령을 입력합니다.
$ hcp destroy infra azure \ --name <my_cluster_name> \ --infra-id <infra_id> \ --azure-creds <azure_credentials_file> \ --preserve-resource-group-
--name은 호스팅된 클러스터 이름을 지정합니다. -
--infra-id는 인프라를 식별하는 고유한 이름을 지정합니다. 이 값은 Azure 리소스의 이름을 지정하고 태그하는 데 사용됩니다. 일반적으로 접미사가 추가된 클러스터의 이름입니다. -
--Azure-creds는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다. -
--preserve-resource-group은 리소스 그룹을 보존할 것을 지정합니다.
-
4.2.11.3. Azure 워크로드 ID 삭제 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 호스팅된 클러스터를 삭제하는 프로세스의 일부로 워크로드 ID를 삭제해야 합니다.
워크로드 ID를 삭제하려면 호스트된 컨트롤 플레인 명령줄 인터페이스인 hcp 에 명령을 입력합니다. 명령은 Workload ID를 만들 때 생성된 파일을 사용하여 삭제할 ID를 식별합니다. 관리되는 ID와 페더레이션 자격 증명이 모두 제거됩니다.
사전 요구 사항
- 워크로드 ID를 사용하여 인프라를 생성한 경우 ID를 삭제하기 전에 인프라를 삭제합니다.
절차
다음 명령을 실행합니다.
$ hcp destroy iam azure \ --azure-creds <azure_credentials_file> \ --workload-identities-file <workload_identities_file> \ --resource-group-name <resource_group> \ --name <my_cluster_name> \ --infra-id <infra_id> \ --dns-zone-rg-name <dns_zone_rg> \ --cloud <my_cloud_environment>-
<azure_credentials_file>은 관리되는 ID 및 페더레이션 자격 증명을 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다. -
<workload_identities_file>은my-cluster-name-iam-output.json과 같은 워크로드 ID JSON 파일의 경로를 지정합니다. -
<resource_group>은 ID를 생성한 리소스 그룹의 이름을 지정합니다. -
<my_cluster_name>은 호스팅된 클러스터의 이름을 지정합니다. -
<INFRA_ID>는 Azure 리소스의 이름을 지정하는 고유 식별자를 지정합니다. 일반적으로 이 식별자는 접미사가 있는 클러스터 이름입니다. -
<dns_zone_rg>는 DNS 영역 리소스 그룹을 지정합니다. -
<my_cloud_environment>는 Azure 클라우드 환경을 지정합니다.--cloud플래그 설정은 선택 사항입니다. 기본값은AzurePublicCloud입니다.
-
4.2.11.4. Azure에서 개인 호스트 클러스터 삭제 링크 복사링크가 클립보드에 복사되었습니다!
Azure에서 개인 호스팅 클러스터를 더 이상 사용하지 않는 경우 삭제할 수 있습니다.
삭제 프로세스는 다음 순서로 Private Link 리소스를 자동으로 정리합니다.
- Control Plane Operator는 프라이빗 엔드포인트, 프라이빗 DNS 영역, VNet 링크 및 A 레코드를 제거합니다.
-
hcp destroy명령은 역할 기반 액세스 제어(RBAC) 역할 할당을 제거합니다. - HyperShift Operator는 Private Link를 제거합니다.
절차
개인 호스팅 클러스터를 삭제하려면 다음 명령을 입력합니다.
$ hcp destroy cluster azure \ --name ${CLUSTER_NAME} \ --azure-creds ${AZURE_CREDS} \ --resource-group-name ${MANAGED_RG_NAME} \ --dns-zone-rg-name ${DNS_ZONE_RG_NAME}-
--name은 호스팅된 클러스터 이름을 지정합니다. -
--Azure-creds는 가상 네트워크, 서브넷 및 로드 밸런서와 같은 인프라 리소스를 생성할 수 있는 권한이 있는 Azure 자격 증명 파일을 지정합니다.hcp destroy cluster azure명령은 인프라를 삭제하기 전에 RBAC 역할 할당을 정리하므로 이 플래그가 필요합니다. -
--resource-group-name은 ID를 생성한 리소스 그룹의 이름을 지정합니다. -
--dns-zone-rg-name은 DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다.
-
4.3. 에이전트 플랫폼을 사용하여 베어 메탈에 호스팅되는 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
하드웨어 성능을 극대화하고 물리적 인프라에 대한 제어를 유지하기 위해 에이전트 플랫폼을 사용하여 호스팅되는 컨트롤 플레인을 베어 메탈에 배포할 수 있습니다. 이 배포 방법은 가상화 오버헤드를 줄이고 성능 집약적인 워크로드에 대해 대기 시간이 짧은 네트워킹을 제공합니다.
4.3.1. 에이전트 플랫폼을 사용하여 베어 메탈에서 호스팅되는 컨트롤 플레인 정보 링크 복사링크가 클립보드에 복사되었습니다!
관리 클러스터로 작동하도록 OpenShift Container Platform 클러스터를 구성하여 에이전트 플랫폼을 사용하여 베어 메탈 인프라에 호스팅되는 컨트롤 플레인을 배포할 수 있습니다.
관리 클러스터는 컨트롤 플레인이 호스팅되는 OpenShift Container Platform 클러스터입니다. 경우에 따라 관리 클러스터를 호스팅 클러스터라고도 합니다. 관리 클러스터는 관리 클러스터와 동일하지 않습니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다.
호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다.
다중 클러스터 엔진 Operator는 관리하는 허브 클러스터인 기본 로컬 클러스터 및 hub 클러스터만 관리 클러스터로 지원합니다. Red Hat Advanced Cluster Management를 설치한 경우 local-cluster 라고도 하는 관리 허브 클러스터를 관리 클러스터로 사용할 수 있습니다.
호스팅 클러스터는 관리 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다. 다중 클러스터 엔진 Operator 콘솔 또는 호스트된 컨트롤 플레인 명령줄 인터페이스(hcp)를 사용하여 호스트된 클러스터를 생성할 수 있습니다.
호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.
4.3.2. 베어 메탈에 호스팅된 컨트롤 플레인 배포 준비 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈에 호스팅된 컨트롤 플레인을 배포하기 전에 배포 요구 사항을 이해해야 합니다.
- 동일한 플랫폼에서 관리 클러스터 및 컴퓨팅 노드를 실행합니다.
-
모든 베어 메탈 호스트에는 중앙 인프라 관리에서 제공하는 Discovery Image ISO를 수동으로 시작해야 합니다. 수동으로 또는 Cluster Baremetal Operator를 사용하여 자동화를 통해 호스트를 시작할 수 있습니다. 각 호스트가 시작되면 에이전트 프로세스를 실행하여 호스트 세부 정보를 검색하고 설치를 완료합니다.
에이전트사용자 정의 리소스는 각 호스트를 나타냅니다. - 호스트된 컨트롤 플레인에 대한 스토리지를 구성할 때 권장 etcd 사례를 고려하십시오. 대기 시간 요구 사항을 충족하는지 확인하려면 각 컨트롤 플레인 노드에서 실행되는 모든 호스팅 컨트롤 플레인 etcd 인스턴스에 빠른 스토리지 장치를 전용으로 지정합니다. LVM 스토리지를 사용하여 호스팅된 etcd pod의 로컬 스토리지 클래스를 구성할 수 있습니다. 자세한 내용은 "Recommended etcd practices" 및 "Persistent storage using logical volume manager storage"를 참조하십시오.
4.3.2.1. 베어 메탈 방화벽, 포트 및 서비스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽, 포트 및 서비스 요구 사항을 충족해야 합니다.
서비스는 기본 포트에서 실행됩니다. 그러나 NodePort 게시 전략을 사용하는 경우 서비스는 NodePort 서비스에서 할당한 포트에서 실행됩니다.
방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오. 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.
허브 클러스터에 프록시 구성이 있는 경우 모든 호스팅 클러스터 API 끝점을 프록시 오브젝트의 no 필드에 추가하여 호스팅된 클러스터 API 엔드포인트에 연결할 수 있는지 확인합니다. 자세한 내용은 "클러스터 전체 프록시 구성"을 참조하십시오.
Proxy
호스팅된 컨트롤 플레인은 베어 메탈에 다음 서비스를 노출합니다.
APIServer-
APIServer서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간 통신을 위해 수신 액세스가 필요합니다. - MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
-
OAuthServer-
OAuthServer서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우OAuthServer서비스에 방화벽 규칙을 사용합니다.
-
Konnectivity-
Konnectivity서비스는 경로 및 Ingress를 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
Konnectivity에이전트는 컨트롤 플레인이 호스팅된 클러스터의 네트워크에 액세스할 수 있도록 역방향 터널을 설정합니다. 에이전트는 egress를 사용하여Konnectivity서버에 연결합니다. 서버는 포트 443의 경로를 사용하거나 수동으로 할당된NodePort를 사용하여 노출됩니다. - 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
- 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
-
Ignition-
Ignition서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우Ignition서비스에 방화벽 규칙을 사용합니다.
-
베어 메탈에는 다음 서비스가 필요하지 않습니다.
-
OVNSbDb -
OIDC
4.3.2.2. 베어 메탈 인프라 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 플랫폼은 인프라를 생성하지 않지만 에이전트 플랫폼에는 인프라에 대한 요구 사항이 있습니다.
- 에이전트: 에이전트 는 검색 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다.
- DNS: API 및 수신 끝점은 라우팅할 수 있어야 합니다.
4.3.3. 베어 메탈의 관리 클러스터 구성 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 플랫폼을 사용하여 베어 메탈에 호스팅 클러스터를 생성하기 전에 올바르게 구성된 OpenShift Container Platform 관리 클러스터가 필요합니다.
사전 요구 사항
- 관리 클러스터 및 컴퓨팅 노드는 동일한 플랫폼에 있어야 합니다.
- Kubernetes Operator 2.2 이상용 멀티 클러스터 엔진이 OpenShift Container Platform 클러스터에 설치되어 있어야 합니다. OpenShift Container Platform 소프트웨어 카탈로그에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다.
절차
다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다.
local-cluster는 멀티 클러스터 엔진 Operator 2.2 이상에서 자동으로 가져옵니다.로컬 클러스터에대한 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 "고급 구성"을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.$ oc get managedclusters local-cluster-
관리 클러스터의 베어 메탈 호스트에
topology.kubernetes.io/zone레이블을 추가합니다. 각 호스트에topology.kubernetes.io/zone의 고유 값이 있는지 확인합니다. 그렇지 않으면 모든 컨트롤 플레인 Pod가 단일 노드에 예약되므로 단일 장애 지점이 발생합니다. - 에이전트 플랫폼을 사용하여 베어 메탈에서 호스팅된 컨트롤 플레인을 프로비저닝합니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스를 사용하여 호스팅된 클러스터에 컴퓨팅 노드를 추가합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
- 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치합니다. 자세한 내용은 "호스팅된 컨트롤 플레인 명령줄 인터페이스 설치"를 참조하십시오.
4.3.4. 베어 메탈의 DNS 구성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터의 API 서버는 NodePort 서비스로 노출됩니다. 프로덕션 환경에서는 API 앞에 있는 로드 밸런서를 사용합니다. 예를 들어 MetalLB와 함께 외부 로드 밸런서 또는 Kubernetes 서비스 유형 로드 밸런서를 사용할 수 있습니다.
DNS 항목은 들어오는 트래픽을 API 및 인그레스로 전달하려면 로드 밸런서를 가리켜야 합니다.
IPv4 네트워크에서 연결된 환경의 DNS 구성 예
api.cluster.company.example IN A <ipv4_of_api_load_balancer>
api-int.cluster.company.example IN A <ipv4_of_api_load_balancer>
*.apps.cluster.company.example IN A <ipv4_of_ingress_load_balancer>
IPv6 네트워크에서 연결이 끊긴 환경의 DNS 구성 예
api.cluster.company.example IN AAAA <ipv6_of_api_load_balancer>
api-int.cluster.company.example IN AAAA <ipv6_of_api_load_balancer>
*.apps.cluster.company.example IN AAAA <ipv6_of_ingress_load_balancer>
듀얼 스택 설정이 있는 경우 IPv4 및 IPv6 모두에 대한 DNS 항목을 포함해야 합니다.
4.3.4.1. 사용자 정의 DNS 이름 정의 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.
다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.
- 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
- 분할 수평 DNS 및 NAT 시나리오 지원
-
올바른
kubeconfig및 DNS 구성으로Show Login Command기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해
HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.
사전 요구 사항
-
kubeAPIServerDNSName매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다. - 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.
프로세스
HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.#... spec: configuration: apiServer: servingCerts: namedCertificates: - names: - xxx.example.com - yyy.example.com servingCertificate: name: <my_serving_certificate> kubeAPIServerDNSName: <custom_address>kubeAPIServerDNSName매개변수의 값은 유효한 도메인이어야 합니다.kubeAPIServerDNSName매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서custom-admin-라는 kubeconfig 파일을 생성합니다. 여기서 파일이kubeconfigHostedControlPlane네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며HostedControlPlane네임스페이스는 만료 및 갱신을 관리합니다.Control Plane Operator는
HostedControlPlane네임스페이스에서CustomKubeconfig라는 새kubeconfig파일을 보고합니다. 해당 파일은kubeAPIServerDNSName매개변수에서 정의된 새 서버를 사용합니다.사용자 정의
kubeconfig파일에 대한 참조는HostedCluster오브젝트의CustomKubeconfig로status매개변수에 있습니다.CustomKubeConfig매개변수는 선택 사항이며kubeAPIServerDNSName매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다.CustomKubeConfig매개변수를 설정한 후 매개변수는HostedCluster네임스페이스에서 <hosted_cluster_name>-custom-admin-kubeconfig라는 보안 생성을 트리거합니다. 시크릿을 사용하여HostedClusterAPI 서버에 액세스할 수 있습니다. 설치 후 작업 중에CustomKubeConfig매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.참고사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다.
HostedControlPlane네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수를 제거하면 새로 생성된 모든 보안 및CustomKubeconfig참조가 클러스터 및status매개변수에서 제거됩니다.
4.3.5. InfraEnv 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈에 호스팅 클러스터를 생성하려면 먼저 InfraEnv 리소스가 필요합니다.
호스팅된 컨트롤 플레인에서 컨트롤 플레인 구성 요소는 데이터 플레인이 전용 노드에서 실행되는 동안 관리 클러스터에서 Pod로 실행됩니다. 지원 서비스를 사용하여 하드웨어를 하드웨어 인벤토리에 추가하는 검색 ISO로 하드웨어를 부팅할 수 있습니다.
나중에 호스트 클러스터를 생성할 때 인벤토리의 하드웨어가 데이터 플레인 노드를 프로비저닝하는 데 사용됩니다. 검색 ISO를 가져오는 데 사용되는 오브젝트는 InfraEnv 리소스입니다. 검색 ISO에서 베어 메탈 노드를 부팅하도록 클러스터를 구성하는 BareMetalHost 오브젝트를 생성해야 합니다.
4.3.5.1. InfraEnv 리소스 생성 및 노드 추가 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈에서 호스팅 클러스터를 생성하기 전에 하드웨어가 올바르게 프로비저닝되도록 하려면 InfraEnv 리소스를 생성합니다. CLI(명령줄 인터페이스)를 사용하여 리소스를 생성하고 노드를 추가할 수 있습니다.
절차
다음 명령을 입력하여 하드웨어 인벤토리를 저장할 네임스페이스를 생성합니다.
$ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig create \ namespace <namespace_example>다음과 같습니다.
- <directory_example>
-
은 관리 클러스터의
kubeconfig파일이 저장된 디렉터리의 이름입니다. - <namespace_example>
생성 중인 네임스페이스의 이름입니다(예:
hardware-inventory).출력 예
namespace/hardware-inventory created
다음 명령을 입력하여 관리 클러스터의 풀 시크릿을 복사합니다.
$ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \ -n openshift-config get secret pull-secret -o yaml \ | grep -vE "uid|resourceVersion|creationTimestamp|namespace" \ | sed "s/openshift-config/<namespace_example>/g" \ | oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \ -n <namespace> apply -f -다음과 같습니다.
- <directory_example>
-
은 관리 클러스터의
kubeconfig파일이 저장된 디렉터리의 이름입니다. - <namespace_example>
생성 중인 네임스페이스의 이름입니다(예:
hardware-inventory).출력 예
secret/pull-secret created
YAML 파일에 다음 콘텐츠를 추가하여
InfraEnv리소스를 생성합니다.apiVersion: agent-install.openshift.io/v1beta1 kind: InfraEnv metadata: name: hosted namespace: <namespace_example> spec: additionalNTPSources: - <ip_address> pullSecretRef: name: pull-secret sshAuthorizedKey: <ssh_public_key> # ...다음 명령을 입력하여 YAML 파일에 변경 사항을 적용합니다.
$ oc apply -f <infraenv_config>.yaml&
lt;infraenv_config>를 파일 이름으로 바꿉니다.다음 명령을 입력하여
InfraEnv리소스가 생성되었는지 확인합니다.$ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig \ -n <namespace_example> get infraenv hosted다음 두 가지 방법 중 하나를 수행하여 베어 메탈 호스트를 추가합니다.
Metal3 Operator를 사용하지 않는 경우
InfraEnv리소스에서 검색 ISO를 가져오고 다음 단계를 완료하여 호스트를 수동으로 부팅합니다.다음 명령을 입력하여 라이브 ISO를 다운로드합니다.
$ oc get infraenv -A$ oc get infraenv <namespace_example> -o jsonpath='{.status.isoDownloadURL}' -n <namespace_example> <iso_url>-
ISO를 부팅합니다. 노드는 지원 서비스와 통신하고
InfraEnv리소스와 동일한 네임스페이스에 에이전트로 등록합니다. 각 에이전트에 대해 설치 디스크 ID와 호스트 이름을 설정하고 에이전트를 사용할 준비가 되었음을 나타내기 위해 승인합니다.
다음 명령을 입력하여 호스팅된 컨트롤 플레인 네임스페이스의 에이전트를 가져옵니다.
$ oc -n <hosted_control_plane_namespace> get agents이 예에서는 두 개의 에이전트가 나열됩니다.
출력 예
NAME CLUSTER APPROVED ROLE STAGE example-agent-1 auto-assign example-agent-2 auto-assign다음 명령을 입력하여 첫 번째 에이전트의 설치 디스크 ID 및 호스트 이름을 설정합니다.
$ oc -n <hosted_control_plane_namespace> \ patch agent example-agent-1 \ -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-0.example.krnl.es"}}' \ --type merge다음 명령을 입력하여 두 번째 에이전트의 설치 디스크 ID 및 호스트 이름을 설정합니다.
$ oc -n <hosted_control_plane_namespace> \ patch agent example-agent-2 -p \ '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-1.example.krnl.es"}}' \ --type merge
Metal3 Operator를 사용하는 경우 다음 오브젝트를 생성하여 베어 메탈 호스트 등록을 자동화할 수 있습니다.
YAML 파일을 생성하고 다음 콘텐츠를 추가합니다.
apiVersion: v1 kind: Secret metadata: name: hosted-worker0-bmc-secret namespace: <namespace_example> data: password: <password> username: <username> type: Opaque --- apiVersion: v1 kind: Secret metadata: name: hosted-worker1-bmc-secret namespace: <namespace_example> data: password: <password> username: <username> type: Opaque --- apiVersion: v1 kind: Secret metadata: name: hosted-worker2-bmc-secret namespace: <namespace_example> data: password: <password> username: <username> type: Opaque --- apiVersion: metal3.io/v1alpha1 kind: BareMetalHost metadata: name: hosted-worker0 namespace: <namespace_example> labels: infraenvs.agent-install.openshift.io: hosted annotations: inspect.metal3.io: disabled bmac.agent-install.openshift.io/hostname: hosted-worker0 spec: automatedCleaningMode: disabled bmc: disableCertificateVerification: True address: <bmc_address> credentialsName: hosted-worker0-bmc-secret bootMACAddress: aa:aa:aa:aa:02:01 online: true --- apiVersion: metal3.io/v1alpha1 kind: BareMetalHost metadata: name: hosted-worker1 namespace: <namespace_example> labels: infraenvs.agent-install.openshift.io: hosted annotations: inspect.metal3.io: disabled bmac.agent-install.openshift.io/hostname: hosted-worker1 spec: automatedCleaningMode: disabled bmc: disableCertificateVerification: True address: <bmc_address> credentialsName: hosted-worker1-bmc-secret bootMACAddress: aa:aa:aa:aa:02:02 online: true --- apiVersion: metal3.io/v1alpha1 kind: BareMetalHost metadata: name: hosted-worker2 namespace: <namespace_example> labels: infraenvs.agent-install.openshift.io: hosted annotations: inspect.metal3.io: disabled bmac.agent-install.openshift.io/hostname: hosted-worker2 spec: automatedCleaningMode: disabled bmc: disableCertificateVerification: True address: <bmc_address> credentialsName: hosted-worker2-bmc-secret bootMACAddress: aa:aa:aa:aa:02:03 online: true --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: capi-provider-role namespace: <namespace_example> rules: - apiGroups: - agent-install.openshift.io resources: - agents verbs: - '*'다음과 같습니다.
- <namespace_example>
- 해당 네임스페이스입니다.
- <password>
- 은 시크릿의 암호입니다.
- <username>
- 시크릿의 사용자 이름입니다.
- <bmc_address>
BareMetalHost오브젝트의 BMC 주소입니다.참고이 YAML 파일을 적용하면 다음 오브젝트가 생성됩니다.
- BMC(Baseboard Management Controller)에 대한 인증 정보가 있는 시크릿
-
BareMetalHost오브젝트 - HyperShift Operator가 에이전트를 관리할 수 있는 역할
infraenvs.agent-install.openshift.io: 호스팅사용자 정의 레이블을 사용하여BareMetalHost오브젝트에서InfraEnv리소스를 참조하는 방법을 확인합니다. 이렇게 하면 노드가 ISO가 생성된 상태로 부팅됩니다.
다음 명령을 입력하여 YAML 파일에 변경 사항을 적용합니다.
$ oc apply -f <bare_metal_host_config>.yaml&
lt;bare_metal_host_config>를 파일 이름으로 바꿉니다.
다음 명령을 입력한 다음
BareMetalHost오브젝트가프로비저닝상태로 이동할 때까지 몇 분 정도 기다립니다.$ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig -n <namespace_example> get bmh출력 예
NAME STATE CONSUMER ONLINE ERROR AGE hosted-worker0 provisioning true 106s hosted-worker1 provisioning true 106s hosted-worker2 provisioning true 106s다음 명령을 입력하여 노드가 부팅되고 에이전트로 표시되는지 확인합니다. 이 프로세스에는 몇 분이 걸릴 수 있으며, 명령을 두 번 이상 입력해야 할 수 있습니다.
$ oc --kubeconfig ~/<directory_example>/mgmt-kubeconfig -n <namespace_example> get agent출력 예
NAME CLUSTER APPROVED ROLE STAGE aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0201 true auto-assign aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0202 true auto-assign aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaa0203 true auto-assign
4.3.5.2. 콘솔을 사용하여 InfraEnv 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하려면 베어 메탈에서 호스팅된 클러스터에 대한 InfraEnv 리소스를 생성하는 데 사용할 수 있습니다.
절차
- OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다. 콘솔을 여는 지침은 "웹 콘솔 액세스"를 참조하십시오.
- 콘솔 헤더에서 모든 클러스터 가 선택되어 있는지 확인합니다.
-
인프라
호스트 인벤토리 인프라 환경 생성 을 클릭합니다. -
InfraEnv리소스를 생성한 후 Add hosts 를 클릭하고 사용 가능한 옵션에서 선택하여 InfraEnv 보기 내에서 베어 메탈 호스트를 추가합니다.
4.3.6. 베어 메탈에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스), 콘솔을 사용하거나 미러 레지스트리를 사용하여 에이전트 플랫폼으로 베어 메탈에 호스팅된 클러스터를 생성할 수 있습니다.
4.3.6.1. CLI를 사용하여 호스트된 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 인프라에서는 CLI(명령줄 인터페이스)를 사용하여 호스팅된 클러스터를 가져오거나 생성할 수 있습니다.
지원 설치 관리자를 다중 클러스터 엔진 Operator에 대한 애드온으로 활성화하고 에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성한 후 HyperShift Operator는 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다. 에이전트 클러스터 API 공급자는 컨트롤 플레인과 컴퓨팅 노드로 구성된 호스팅 클러스터를 호스팅하는 관리 클러스터를 연결합니다.
사전 요구 사항
- 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스팅된 클러스터 이름은 기존 관리 클러스터와 같을 수 없습니다. 그러지 않으면 다중 클러스터 엔진 Operator가 호스팅된 클러스터를 관리할 수 없습니다.
-
클러스터를 호스팅
클러스터이름으로 사용하지 마십시오. - 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성할 수 없습니다.
- 최상의 보안 및 관리 관행을 위해 다른 호스팅 클러스터와 별도로 호스팅 클러스터를 생성합니다.
- 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC(영구 볼륨 클레임)가 표시될 수 있습니다.
-
기본적으로
hcp create cluster agent명령을 사용하면 명령이 구성된 노드 포트로 호스팅된 클러스터를 생성합니다. 베어 메탈의 호스트 클러스터의 기본 게시 전략은 로드 밸런서를 통해 서비스를 노출합니다. 웹 콘솔을 사용하거나 Red Hat Advanced Cluster Management를 사용하여 호스팅 클러스터를 생성하는 경우 Kubernetes API 서버 이외의 서비스에 게시 전략을 설정하려면HostedCluster사용자 정의 리소스에서servicePublishingStrategy정보를 수동으로 지정해야 합니다. 인프라, 방화벽, 포트 및 서비스와 관련된 요구 사항이 포함된 "하위 메탈의 호스팅 컨트롤 플레인에 대한 요구 사항 필요"에 설명된 요구 사항을 충족해야 합니다. 예를 들어, 이러한 요구 사항은 다음 예제 명령과 같이 관리 클러스터의 베어 메탈 호스트에 적절한 영역 레이블을 추가하는 방법을 설명합니다.
$ oc label node [compute-node-1] topology.kubernetes.io/zone=zone1$ oc label node [compute-node-2] topology.kubernetes.io/zone=zone2$ oc label node [compute-node-3] topology.kubernetes.io/zone=zone3- 하드웨어 인벤토리에 베어 메탈 노드를 추가해야 합니다.
프로세스
다음 명령을 입력하여 네임스페이스를 생성합니다.
$ oc create ns <hosted_cluster_namespace>&
lt;hosted_cluster_namespace>를 호스팅된 클러스터 네임스페이스의 식별자로 바꿉니다. HyperShift Operator는 네임스페이스를 생성합니다. 베어 메탈 인프라에서 호스팅된 클러스터 생성 프로세스 중에 생성된 Cluster API 공급자 역할에 네임스페이스가 이미 있어야 합니다.다음 명령을 입력하여 호스팅된 클러스터에 대한 구성 파일을 생성합니다.
$ hcp create cluster agent \ --name=<hosted_cluster_name> \ --pull-secret=<path_to_pull_secret> \ --agent-namespace=<hosted_control_plane_namespace> \ --base-domain=<base_domain> \ --api-server-address=api.<hosted_cluster_name>.<base_domain> \ --etcd-storage-class=<etcd_storage_class> \ --ssh-key=<path_to_ssh_key> \ --namespace=<hosted_cluster_namespace> \ --control-plane-availability-policy=HighlyAvailable \ --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \ --node-pool-replicas=<node_pool_replica_count> \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --render \ --render-sensitive > hosted-cluster-config.yaml다음과 같습니다.
-
--name은 호스트된 클러스터의 이름을 지정합니다(예: ). -
--pull-secret은/user/name/pullsecret과 같은 풀 시크릿의 경로를 지정합니다. -
--agent-namespace는 호스트된 컨트롤 플레인 네임스페이스(예: cluster-example)를 지정합니다.oc get agent -n <hosted_control_plane_namespace> 명령을 사용하여 이 네임스페이스에서 에이전트를 사용할 수 있는지 확인합니다. -
--base-domain은krnl.es와 같은 기본 도메인을 지정합니다. -
--API-server-address는 호스팅된 클러스터의 Kubernetes API 통신에 사용할 IP 주소를 지정합니다.--api-server-address플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다. -
--etcd-storage-class는lvm-storageclass와 같은 etcd 스토리지 클래스 이름을 지정합니다. -
--SSH-key는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는~/.ssh/id_rsa.pub입니다. -
--namespace는 호스팅된 클러스터 네임스페이스를 지정합니다. -
--control-plane-availability-policy는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은SingleReplica및HighlyAvailable입니다. 기본값은HighlyAvailable입니다. -
--release-image는 사용하려는 지원되는 OpenShift Container Platform 버전 (예:5.0.0-multi)을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 <ocp_release_image>를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "릴리스 이미지 다이제스트 추출"을 참조하십시오. -
--node-pool-replicas는3과 같은 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를0이상으로 지정해야 합니다. 그렇지 않으면 노드 풀을 생성하지 않습니다. -
--disable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--render는 클러스터에 리소스를 적용하는 대신 출력을 stdout에 YAML로 렌더링합니다. 기본적으로 보안은 렌더링된 출력에 포함되지 않습니다. -
--render-sensitive에는--render플래그와 함께 사용할 때 렌더링된 출력에 시크릿이 포함됩니다.
-
서비스 게시 전략을 구성합니다. 노드 포트는 추가 인프라 없이 항상 사용할 수 있으므로 호스트된 클러스터는
NodePort서비스 게시 전략을 사용합니다. 그러나 로드 밸런서를 사용하도록 서비스 게시 전략을 구성할 수 있습니다.-
기본
NodePort전략을 사용하는 경우 관리 클러스터 노드가 아닌 호스팅 클러스터 컴퓨팅 노드를 가리키도록 DNS를 구성합니다. 자세한 내용은 " bare metal의 DNS 구성"을 참조하십시오. 프로덕션 환경의 경우 이 전략이 인증서 처리 및 자동 DNS 확인을 제공하므로
LoadBalancer전략을 사용합니다. 다음 예제에서는 호스팅된 클러스터 구성 파일에서LoadBalancer전략을 변경하는 방법을 보여줍니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: # ... spec: services: - service: APIServer servicePublishingStrategy: type: LoadBalancer - service: Ignition servicePublishingStrategy: type: Route - service: Konnectivity servicePublishingStrategy: type: Route - service: OAuthServer servicePublishingStrategy: type: Route - service: OIDC servicePublishingStrategy: type: Route sshKey: name: <ssh_key> # ...LoadBalancer를 API 서버 유형으로 지정합니다. 기타 모든 서비스에 대해Route를 유형으로 지정합니다.
-
기본
외부 로드 밸런서를 사용하는 경우 다음 예에 표시된 대로 Ingress 끝점을 구성합니다. 끝점을 구성하지 않으면 기본 동작은 서비스에서 수신을 노출하는 노드 포트를 임의화하는 것입니다. Ingress 컨트롤러에서 기본 수신 경로를 게시하는 방법을 구성하려면
HostedCluster리소스를 편집하여endpointPublishingStrategy매개변수 및 기본 기능을 설정합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: #... spec: operatorConfiguration: ingressOperator: endpointPublishingStrategy: hostNetwork: httpPort: 80 httpsPort: 443 protocol: TCP statsPort: 1936 type: HostNetwork #...spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type매개변수는 로드 밸런서의 끝점을 지정합니다. 베어 메탈 설치의 경우HostNetwork유형을 사용합니다.다음 명령을 입력하여 호스팅 클러스터 구성 파일에 변경 사항을 적용합니다.
$ oc apply -f hosted_cluster_config.yaml다음 명령을 입력하여 호스팅된 클러스터, 노드 풀 및 Pod 생성을 확인합니다.
$ oc get hostedcluster \ <hosted_cluster_namespace> -n \ <hosted_cluster_namespace> -o \ jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .$ oc get nodepool \ <hosted_cluster_namespace> -n \ <hosted_cluster_namespace> -o \ jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .$ oc get pods -n <hosted_cluster_namespace>-
호스트 클러스터가 준비되었는지 확인합니다.
Available: True는 클러스터의 준비 상태를 나타내며 노드 풀 상태에AllMachinesReady: True가 표시됩니다. 이러한 상태는 모든 클러스터 Operator의 상태를 나타냅니다. 호스팅된 클러스터에 MetalLB를 설치합니다.
호스트 클러스터에서
kubeconfig파일을 추출하고 다음 명령을 입력하여 호스팅된 클러스터 액세스의 환경 변수를 설정합니다.$ oc get secret \ <hosted_cluster_namespace>-admin-kubeconfig \ -n <hosted_cluster_namespace> \ -o jsonpath='{.data.kubeconfig}' \ | base64 -d > \ kubeconfig-<hosted_cluster_namespace>.yaml$ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"install-metallb-operator.yaml파일을 생성하여 MetalLB Operator를 설치합니다.apiVersion: v1 kind: Namespace metadata: name: metallb-system --- apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: metallb-operator namespace: metallb-system --- apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: metallb-operator namespace: metallb-system spec: channel: "stable" name: metallb-operator source: redhat-operators sourceNamespace: openshift-marketplace installPlanApproval: Automatic # ...다음 명령을 입력하여 파일을 적용합니다.
$ oc apply -f install-metallb-operator.yamldeploy-metallb-ipaddresspool.yaml파일을 생성하여 MetalLB IP 주소 풀을 구성합니다.apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: metallb namespace: metallb-system spec: autoAssign: true addresses: - 10.11.176.71-10.11.176.75 --- apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: l2advertisement namespace: metallb-system spec: ipAddressPools: - metallb # ...다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f deploy-metallb-ipaddresspool.yaml다음 명령을 입력하여 Operator 상태, IP 주소 풀,
L2Advertisement리소스를 확인하여 MetalLB의 설치를 확인합니다.$ oc get pods -n metallb-system$ oc get ipaddresspool -n metallb-system$ oc get l2advertisement -n metallb-system
Ingress에 대한 로드 밸런서를 구성합니다.
ingress-loadbalancer.yaml파일을 생성합니다.apiVersion: v1 kind: Service metadata: annotations: metallb.universe.tf/address-pool: metallb name: metallb-ingress namespace: openshift-ingress spec: ports: - name: http protocol: TCP port: 80 targetPort: 80 - name: https protocol: TCP port: 443 targetPort: 443 selector: ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default type: LoadBalancer # ...다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f ingress-loadbalancer.yaml다음 명령을 입력하여 로드 밸런서 서비스가 예상대로 작동하는지 확인합니다.
$ oc get svc metallb-ingress -n openshift-ingress출력 예
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE metallb-ingress LoadBalancer 172.31.127.129 10.11.176.71 80:30961/TCP,443:32090/TCP 16h
로드 밸런서에서 작동하도록 DNS를 구성합니다.
-
로드 밸런서 IP 주소에
*.> 와일드카드 DNS 레코드를 가리켜 apps 도메인의 DNS를 구성합니다.apps.<hosted_cluster_namespace>.<base_domain 다음 명령을 입력하여 DNS 확인을 확인합니다.
$ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>출력 예
Server: 10.11.176.1 Address: 10.11.176.1#53 Name: console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com Address: 10.11.176.71
-
로드 밸런서 IP 주소에
검증
다음 명령을 입력하여 클러스터 Operator를 확인합니다.
$ oc get clusteroperators모든 Operator에
AVAILABLE: True,PROGRESSING: False,DEGRADED: False가 표시되는지 확인합니다.다음 명령을 입력하여 노드를 확인합니다.
$ oc get nodes각 노드에
READY상태가 있는지 확인합니다.웹 브라우저에 다음 URL을 입력하여 콘솔에 대한 액세스를 테스트합니다.
https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>
4.3.6.2. 콘솔을 사용하여 베어 메탈에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
명령줄 인터페이스를 사용하여 베어 메탈에서 호스팅된 클러스터를 생성하는 대신 OpenShift Container Platform 웹 콘솔을 사용할 수도 있습니다.
절차
- OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다. 콘솔을 여는 지침은 "웹 콘솔 액세스"를 참조하십시오.
- 콘솔 헤더에서 모든 클러스터 가 선택되어 있는지 확인합니다.
-
인프라
클러스터를 클릭합니다. 클러스터
호스트 인벤토리 호스팅 컨트롤 플레인 생성 을 클릭합니다. 클러스터 생성 페이지가 표시됩니다.
클러스터 생성 페이지에서 프롬프트에 따라 클러스터, 노드 풀, 네트워킹 및 자동화에 대한 세부 정보를 입력합니다.
참고클러스터에 대한 세부 정보를 입력하면 다음 팁이 유용할 수 있습니다.
- 사전 정의된 값을 사용하여 콘솔에서 필드를 자동으로 채우려면 호스트 인벤토리 인증 정보를 생성할 수 있습니다. 자세한 내용은 "온-프레미스 환경에 대한 인증 정보 생성"을 참조하십시오.
- 클러스터 세부 정보 페이지에서 풀 시크릿은 OpenShift Container Platform 리소스에 액세스하는 데 사용하는 OpenShift Container Platform 풀 시크릿입니다. 호스트 인벤토리 인증 정보를 선택한 경우 가져오기 보안이 자동으로 채워집니다.
- 노드 풀 페이지에서 네임스페이스에는 노드 풀의 호스트가 포함되어 있습니다. 콘솔을 사용하여 호스트 인벤토리를 생성한 경우 콘솔은 전용 네임스페이스를 생성합니다.
-
네트워킹 페이지에서 API 서버 게시 전략을 선택합니다. 호스팅된 클러스터의 API 서버는 기존 로드 밸런서를 사용하거나
NodePort유형의 서비스로 노출될 수 있습니다. API 서버에 연결할 수 있는 대상을 가리키는api.<hosted_cluster_name>.<base_domain> 설정에 대한 DNS 항목이 있어야 합니다. 이 항목은 관리 클러스터의 노드 중 하나를 가리키는 레코드이거나 수신 트래픽을 Ingress pod로 리디렉션하는 로드 밸런서를 가리키는 레코드일 수 있습니다.
항목을 검토하고 생성 을 클릭합니다.
호스팅된 클러스터 보기가 표시됩니다.
- Hosted 클러스터 보기에서 호스팅된 클러스터의 배포를 모니터링합니다.
- 호스팅된 클러스터에 대한 정보가 표시되지 않는 경우 모든 클러스터가 선택되어 있는지 확인한 다음 클러스터 이름을 클릭합니다.
- 컨트롤 플레인 구성 요소가 준비될 때까지 기다립니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다.
- 노드 풀 상태를 보려면 NodePool 섹션으로 스크롤합니다. 노드를 설치하는 프로세스에는 약 10분이 걸립니다. 노드를 클릭하여 노드가 호스팅된 클러스터에 참여하고 있는지 확인할 수도 있습니다.
4.3.6.3. 미러 레지스트리를 사용하여 베어 메탈에서 호스팅 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
미러 레지스트리를 사용하여 hcp create cluster 명령에 --image-content-sources 플래그를 지정하여 베어 메탈에 호스팅 클러스터를 생성할 수 있습니다.
프로세스
YAML 파일을 생성하여 ICSP(Image Content Source Policies)를 정의합니다. 다음 예제를 참조하십시오.
- mirrors: - brew.registry.redhat.io source: registry.redhat.io - mirrors: - brew.registry.redhat.io source: registry.stage.redhat.io - mirrors: - brew.registry.redhat.io source: registry-proxy.engineering.redhat.com-
파일을
icsp.yaml로 저장합니다. 이 파일에는 미러 레지스트리가 포함되어 있습니다. 미러 레지스트리를 사용하여 호스팅된 클러스터를 생성하려면 다음 명령을 실행합니다.
$ hcp create cluster agent \ --name=<hosted_cluster_name> \ --pull-secret=<path_to_pull_secret> \ --agent-namespace=<hosted_control_plane_namespace> \ --base-domain=<base_domain> \ --api-server-address=api.<hosted_cluster_name>.<base_domain> \ --image-content-sources <icsp.yaml> \ --ssh-key <path_to_ssh_key> \ --namespace <hosted_cluster_namespace> \ --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>다음과 같습니다.
<hosted_cluster_name>-
호스트 클러스터의 이름을 지정합니다(예:
my-hosted-cluster). <path_to_pull_secret>-
풀 시크릿의 경로를 지정합니다(예:
/user/name/pullsecret). <hosted_control_plane_namespace>-
호스팅된 컨트롤 플레인 네임스페이스를 지정합니다(예: cluster
-example).oc get agent -n <hosted-control-plane-namespace> 명령을 사용하여 이 네임스페이스에서 에이전트를 사용할 수 있는지 확인합니다. <base_domain>-
기본 도메인을 지정합니다(예:
krnl.es). <hosted_cluster_name>.<base_domain>-
호스팅된 클러스터에서 Kubernetes API 통신에 사용되는 IP 주소를 지정합니다.
--api-server-address플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다. <icsp.yaml>-
ICSP 및 미러 레지스트리를 정의하는
icsp.yaml파일을 지정합니다. <path_to_ssh_key>-
SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는
~/.ssh/id_rsa.pub입니다. <hosted_cluster_namespace>- 호스팅된 클러스터 네임스페이스를 지정합니다.
<ocp_release_image>-
사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다(예:
5.0.0-multi). 연결이 끊긴 환경을 사용하는 경우 <ocp_release_image>를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "OpenShift Container Platform 릴리스 이미지 다이제스트 추출"을 참조하십시오.
4.3.7. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.3.7.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.3.7.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.3.8. 호스트된 클러스터 생성 확인 링크 복사링크가 클립보드에 복사되었습니다!
배포 프로세스가 완료되면 호스트 클러스터가 성공적으로 생성되었는지 확인할 수 있습니다.
호스트 클러스터를 생성한 후 절차의 단계를 시작하기 전에 몇 분 정도 기다립니다.
절차
extract 명령을 입력하여 새 호스팅 클러스터에 대한 kubeconfig를 가져옵니다.
$ oc extract -n <hosted-control-plane-namespace> secret/admin-kubeconfig \ --to=- > kubeconfig-<hosted-cluster-name>kubeconfig를 사용하여 호스팅된 클러스터의 클러스터 Operator를 확인합니다. 다음 명령을 실행합니다.
$ oc get co --kubeconfig=kubeconfig-<hosted-cluster-name>출력 예
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE console 4.10.26 True False False 2m38s dns 4.10.26 True False False 2m52s image-registry 4.10.26 True False False 2m8s ingress 4.10.26 True False False 22m다음 명령을 입력하여 호스팅 클러스터에서 실행 중인 Pod를 볼 수도 있습니다.
$ oc get pods -A --kubeconfig=kubeconfig-<hosted-cluster-name>출력 예
NAMESPACE NAME READY STATUS RESTARTS AGE kube-system konnectivity-agent-khlqv 0/1 Running 0 3m52s openshift-cluster-node-tuning-operator tuned-dhw5p 1/1 Running 0 109s openshift-cluster-storage-operator cluster-storage-operator-5f784969f5-vwzgz 1/1 Running 1 (113s ago) 20m openshift-cluster-storage-operator csi-snapshot-controller-6b7687b7d9-7nrfw 1/1 Running 0 3m8s openshift-console console-5cbf6c7969-6gk6z 1/1 Running 0 119s openshift-console downloads-7bcd756565-6wj5j 1/1 Running 0 4m3s openshift-dns-operator dns-operator-77d755cd8c-xjfbn 2/2 Running 0 21m openshift-dns dns-default-kfqnh 2/2 Running 0 113s
4.4. OpenShift Virtualization에 호스팅된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인 및 OpenShift Virtualization을 사용하면 KubeVirt 가상 머신에서 호스팅하는 작업자 노드로 OpenShift Container Platform 클러스터를 생성할 수 있습니다.
OpenShift Virtualization에서 호스팅되는 컨트롤 플레인은 다음과 같은 몇 가지 이점을 제공합니다.
- 동일한 기본 베어 메탈 인프라에서 호스트된 컨트롤 플레인 및 호스팅된 클러스터를 패키징하여 리소스 사용량 개선
- 강력한 격리를 제공하기 위해 호스팅되는 컨트롤 플레인과 호스팅 클러스터를 분리
- 베어 메탈 노드 부트스트랩 프로세스를 제거하여 클러스터 프로비저닝 시간 단축
- 동일한 기본 OpenShift Container Platform 클러스터에서 많은 릴리스 관리
호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다.
호스팅된 컨트롤 플레인 명령줄 인터페이스 hcp 를 사용하여 OpenShift Container Platform 호스팅 클러스터를 생성할 수 있습니다. 호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.
4.4.1. OpenShift Virtualization에 호스팅된 컨트롤 플레인을 배포하기 위한 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Virtualization에서 OpenShift Container Platform 클러스터를 생성하려면 여러 사전 요구 사항을 충족해야 합니다.
-
KUBECONFIG환경 변수에 지정된 OpenShift Container Platform 클러스터 버전 4.14 이상에 대한 관리자 액세스 권한이 있어야 합니다. IBM Z(s390x)의 경우 클러스터 버전은 4.22 이상이어야 합니다. OpenShift Container Platform 관리 클러스터에는 다음 명령에 표시된 대로 와일드카드 DNS 경로가 활성화되어 있어야 합니다.
$ oc patch ingresscontroller -n openshift-ingress-operator default \ --type=json \ -p '[{ "op": "add", "path": "/spec/routeAdmission", "value": {wildcardPolicy: "WildcardsAllowed"}}]'-
OpenShift Container Platform 관리 클러스터에는 OpenShift Virtualization, 버전 4.14 이상이 설치되어 있습니다. IBM Z(
s390x)의 경우 OpenShift Virtualization 버전 4.22 이상이 필요합니다. 자세한 내용은 "웹 콘솔을 사용하여 OpenShift Virtualization 설치"를 참조하십시오. - OpenShift Container Platform 관리 클러스터는 온프레미스 베어 메탈입니다.
-
IBM Z(
s390x)의 경우 OpenShift Container Platform 관리 클러스터가 논리 파티션(LPAR)에 설치되어 있어야 합니다. -
OpenShift Container Platform 관리 클러스터는
OVNKubernetes를 기본 Pod 네트워크 CNI(Container Network Interface)로 사용하여 구성해야 합니다. CNI가 OVN-Kubernetes인 경우에만 노드에서 실시간 마이그레이션이 지원됩니다. OpenShift Container Platform 관리 클러스터에는 기본 스토리지 클래스가 있습니다. 자세한 내용은 "Postinstallation storage configuration"을 참조하십시오. 다음 예제에서는 기본 스토리지 클래스를 설정하는 방법을 보여줍니다.
$ oc patch storageclass ocs-storagecluster-ceph-rbd \ -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'- 호스트된 컨트롤 플레인에 대한 스토리지를 구성할 때 권장 etcd 사례를 고려하십시오. 대기 시간 요구 사항을 충족하는지 확인하려면 각 컨트롤 플레인 노드에서 실행되는 모든 호스팅 컨트롤 플레인 etcd 인스턴스에 빠른 스토리지 장치를 전용으로 지정합니다. LVM 스토리지를 사용하여 호스팅된 etcd pod의 로컬 스토리지 클래스를 구성할 수 있습니다. 자세한 내용은 "Recommended etcd practices" 및 "Persistent storage using Logical Volume Manager storage"를 참조하십시오.
-
OpenShift Virtualization 가상 머신을 호스팅하는 OpenShift Container Platform 클러스터에서 실시간 마이그레이션을 활성화하려면 RWX(
ReadWriteMany) 스토리지 클래스를 사용해야 합니다. -
quay.io/openshift-release-dev리포지토리에 유효한 풀 시크릿 파일이 있습니다. 자세한 내용은 "사용자 프로비저닝 인프라가 있는 x86_64 플랫폼에 OpenShift 설치"를 참조하십시오. - 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치했습니다.
- 로드 밸런서를 구성했습니다. 자세한 내용은 " MetalLB 구성"을 참조하십시오.
최적의 네트워크 성능을 위해 KubeVirt 가상 머신을 호스팅하는 OpenShift Container Platform 클러스터에서 네트워크 최대 전송 단위(MTU)를 사용하고 있습니다. 더 낮은 MTU 설정을 사용하는 경우 호스트된 Pod의 네트워크 대기 시간과 처리량이 영향을 받습니다. MTU가 9000 이상인 경우에만 노드 풀에서 멀티 큐를 활성화합니다.
중요클러스터의 MTU 값은 설치 후 작업으로 변경할 수 없습니다.
다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있습니다.
local-cluster가 자동으로 가져옵니다.local-cluster에 대한 자세한 내용은 다중 클러스터 엔진 Operator 설명서의 "고급 구성"을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.$ oc get managedclusters local-cluster- 각 호스팅 클러스터에 클러스터 전체 이름이 있는지 확인합니다.
-
클러스터를 호스팅
클러스터이름으로 사용하지 마십시오. - 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성하지 마십시오.
4.4.1.1. OpenShift Virtualization 방화벽 및 포트 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽 및 포트 요구 사항을 충족하는지 확인합니다.
kube-apiserver서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간의 통신을 위해 수신 액세스가 필요합니다.-
NodePort게시 전략을 사용하는 경우kube-apiserver서비스에 할당된 노드 포트가 노출되어 있는지 확인합니다. - MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
-
-
NodePort게시 전략을 사용하는 경우ignition-server및Oauth-server설정에 방화벽 규칙을 사용합니다. 호스팅된 클러스터에서 양방향 통신을 허용하도록 역방향 터널을 설정하는
konnectivity에이전트에는 포트 6443의 클러스터 API 서버 주소에 대한 송신 액세스가 필요합니다. 이 송신 액세스를 사용하면 에이전트가kube-apiserver서비스에 도달할 수 있습니다.- 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
- 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
- 기본 6443 포트를 변경하는 경우 해당 변경 사항을 반영하도록 규칙을 조정합니다.
- 클러스터에서 실행되는 워크로드에 필요한 모든 포트를 열어야 합니다.
- 방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오.
- 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.
4.4.2. 컴퓨팅 노드를 위한 실시간 마이그레이션 링크 복사링크가 클립보드에 복사되었습니다!
호스트된 클러스터 가상 머신(VM)의 관리 클러스터는 업데이트 또는 유지 관리 수행 중이지만 호스트된 클러스터 VM은 호스트된 클러스터 워크로드 중단을 방지하기 위해 자동으로 실시간 마이그레이션될 수 있습니다.
결과적으로 KubeVirt 플랫폼 호스팅 클러스터의 가용성 및 작동에 영향을 미치지 않고 관리 클러스터를 업데이트할 수 있습니다.
VM이 root 볼륨 및 kubevirt-csi CSI 공급자에 매핑되는 스토리지 클래스에 대해 RWX( ReadWriteMany ) 스토리지를 사용하는 경우 KubeVirt VM의 실시간 마이그레이션이 기본적으로 활성화됩니다.
NodePool 오브젝트의 status 섹션에서 KubeVirtNodesLiveMigratable 조건을 확인하여 노드 풀의 VM을 실시간 마이그레이션할 수 있는지 확인할 수 있습니다.
다음 예제에서는 RWX 스토리지가 사용되지 않기 때문에 VM을 실시간 마이그레이션할 수 없습니다.
VM을 실시간 마이그레이션할 수 없는 구성의 예
- lastTransitionTime: "2024-10-08T15:38:19Z"
message: |
3 of 3 machines are not live migratable
Machine user-np-ngst4-gw2hz: DisksNotLiveMigratable: user-np-ngst4-gw2hz is not a live migratable machine: cannot migrate VMI: PVC user-np-ngst4-gw2hz-rhcos is not shared, live migration requires that all PVCs must be shared (using ReadWriteMany access mode)
Machine user-np-ngst4-npq7x: DisksNotLiveMigratable: user-np-ngst4-npq7x is not a live migratable machine: cannot migrate VMI: PVC user-np-ngst4-npq7x-rhcos is not shared, live migration requires that all PVCs must be shared (using ReadWriteMany access mode)
Machine user-np-ngst4-q5nkb: DisksNotLiveMigratable: user-np-ngst4-q5nkb is not a live migratable machine: cannot migrate VMI: PVC user-np-ngst4-q5nkb-rhcos is not shared, live migration requires that all PVCs must be shared (using ReadWriteMany access mode)
observedGeneration: 1
reason: DisksNotLiveMigratable
status: "False"
type: KubeVirtNodesLiveMigratable
다음 예에서 VM은 실시간 마이그레이션 요구 사항을 충족합니다.
VM을 실시간으로 마이그레이션할 수 있는 구성 예
- lastTransitionTime: "2024-10-08T15:38:19Z"
message: "All is well"
observedGeneration: 1
reason: AsExpected
status: "True"
type: KubeVirtNodesLiveMigratable
실시간 마이그레이션은 정상적인 상황에서 VM을 중단하지 않도록 보호할 수 있지만 인프라 노드 장애와 같은 이벤트는 실패한 노드에서 호스팅되는 모든 VM을 다시 시작할 수 있습니다. 실시간 마이그레이션이 성공하려면 VM이 호스팅되는 소스 노드가 올바르게 작동해야 합니다.
노드 풀의 VM을 실시간 마이그레이션할 수 없는 경우 관리 클러스터에서 유지 관리하는 동안 호스트된 클러스터에서 워크로드 중단이 발생할 수 있습니다. 기본적으로 호스팅되는 컨트롤 플레인 컨트롤러는 VM을 중지하기 전에 실시간 마이그레이션할 수 없는 KubeVirt VM에서 호스팅되는 워크로드를 드레이닝하려고 합니다. VM을 중지하기 전에 호스팅된 클러스터 노드를 드레이닝하면 Pod 중단 예산으로 인해 호스팅된 클러스터 내에서 워크로드 가용성을 보호할 수 있습니다.
4.4.3. Configuring MetalLB 링크 복사링크가 클립보드에 복사되었습니다!
KubeVirt 플랫폼에서 호스팅된 클러스터를 생성하려면 MetalLB 로드 밸런서가 구성되어 있어야 합니다.
사전 요구 사항
- MetalLB Operator가 설치되어 있습니다. 자세한 내용은 " MetalLB Operator 설치"를 참조하십시오.
절차
다음 샘플 YAML 콘텐츠를
configure-metallb.yaml파일에 저장하여MetalLB리소스를 생성합니다.apiVersion: metallb.io/v1beta1 kind: MetalLB metadata: name: metallb namespace: metallb-system다음 명령을 입력하여 YAML 콘텐츠를 적용합니다.
$ oc apply -f configure-metallb.yaml출력 예
metallb.metallb.io/metallb createdcreate-ip-address-pool.yaml파일에 다음 샘플 YAML 콘텐츠를 저장하여IPAddressPool리소스를 만듭니다.apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: metallb namespace: metallb-system spec: addresses: - 192.168.216.32-192.168.216.122노드 네트워크 내에서 사용 가능한 IP 주소 범위를 사용하여 주소 풀을 생성합니다. IP 주소 범위를 네트워크에서 사용 가능한 IP 주소의 사용되지 않는 풀로 바꿉니다.
다음 명령을 입력하여 YAML 콘텐츠를 적용합니다.
$ oc apply -f create-ip-address-pool.yaml출력 예
ipaddresspool.metallb.io/metallb createdl2advertisement.yaml파일에 다음 샘플 YAML 콘텐츠를 저장하여L2Advertisement리소스를 생성합니다.apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: l2advertisement namespace: metallb-system spec: ipAddressPools: - metallb다음 명령을 입력하여 YAML 콘텐츠를 적용합니다.
$ oc apply -f l2advertisement.yaml출력 예
l2advertisement.metallb.io/metallb created
4.4.4. KubeVirt 플랫폼이 있는 호스트 클러스터 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 4.14 이상에서는 CLI(명령줄 인터페이스), 콘솔을 사용하거나 외부 인프라를 사용하여 KubeVirt로 호스팅 클러스터를 생성할 수 있습니다.
4.4.4.1. CLI를 사용하여 KubeVirt 플랫폼에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Virtualization에서 호스팅된 클러스터를 생성하려면 호스트된 컨트롤 플레인 CLI(명령줄 인터페이스) hcp 를 사용할 수 있습니다.
공유 네임스페이스에 호스팅된 모든 클러스터 정보를 저장하지 마십시오. 공유 네임스페이스에서 호스팅 클러스터를 생성한 다음 호스팅된 클러스터를 백업하고 복원하는 경우 다른 호스팅 클러스터를 의도치 않게 변경할 수 있습니다. 호스팅된 클러스터 정보를 별도의 네임스페이스에 저장하거나 레이블을 기반으로 리소스를 백업 및 복원하도록 호스팅 클러스터를 설정합니다.
절차
다음 명령을 입력하여 KubeVirt 플랫폼을 사용하여 호스팅된 클러스터를 생성합니다.
$ hcp create cluster kubevirt \ --name <hosted_cluster_name> \ --node-pool-replicas <node_pool_replica_count> \ --pull-secret <path_to_pull_secret> \ --memory <value_for_memory> \ --cores <value_for_cpu> \ --etcd-storage-class=<etcd_storage_class> \ --arch <architecture_of_the_nodepool> \ --release-image <ocp_release_image_for_the_cluster> \ --image-content-sources <path_to_image_content_sources_file> \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --additional-trust-bundle <path_to_ca_bundle_file>-
--name은 호스트된 클러스터의 이름을 정의합니다(예:my-hosted-cluster). -
--node-pool-replicas는 노드 풀 복제본 수를 정의합니다(예:3). 동일한 수의 복제본을 생성하려면 복제본 수를0이상으로 지정해야 합니다. 그렇지 않으면 노드 풀이 생성되지 않습니다. -
--pull-secret은 풀 시크릿의 경로를 정의합니다(예:/user/name/pullsecret). -
--memory는 메모리 값을 정의합니다(예:6Gi). -
--cores는 CPU 값을 정의합니다(예:2). -
--etcd-storage-class는 etcd 스토리지 클래스 이름을 정의합니다(예:lvm-storageclass). -
--Arch는 노드 풀의 아키텍처를 정의합니다(예:s390x). 기본값은amd64입니다. -
--release-image는 클러스터의 OpenShift Container Platform 릴리스 이미지를 정의합니다(예:quay.io/openshift-release-dev/ocp-release:4.20.14-multi).--release-image플래그를 사용하여 특정 OpenShift Container Platform 릴리스로 호스팅 클러스터를 설정할 수 있습니다. -
--image-content-sources는 이미지 콘텐츠 소스가 있는 파일의 경로를 지정합니다. -
--disable-cluster-capabilities는 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--additional-trust-bundle은 사용자 CA 번들이 있는 파일의 경로를 지정합니다.
--node-pool-replicas플래그에 따라 특정 수의 가상 머신 작업자 복제본이 있는 클러스터에 대한 기본 노드 풀이 생성됩니다.-
잠시 후 다음 명령을 입력하여 호스팅된 컨트롤 플레인 포드가 실행 중인지 확인합니다.
$ oc -n clusters-<hosted-cluster-name> get pods출력 예
NAME READY STATUS RESTARTS AGE capi-provider-5cc7b74f47-n5gkr 1/1 Running 0 3m catalog-operator-5f799567b7-fd6jw 2/2 Running 0 69s certified-operators-catalog-784b9899f9-mrp6p 1/1 Running 0 66s cluster-api-6bbc867966-l4dwl 1/1 Running 0 66s . . . redhat-operators-catalog-9d5fd4d44-z8qqk 1/1 Running 0 66sKubeVirt 가상 머신에서 지원하는 작업자 노드가 있는 호스팅된 클러스터는 일반적으로 완전히 프로비저닝되는 데 10-15분이 걸립니다.
검증
호스트 클러스터의 상태를 확인하려면 다음 명령을 입력하여 해당
HostedCluster리소스를 참조하십시오.$ oc get --namespace clusters hostedclusters완전히 프로비저닝된
HostedCluster오브젝트를 설명하는 다음 예제 출력을 참조하십시오.NAMESPACE NAME VERSION KUBECONFIG PROGRESS AVAILABLE PROGRESSING MESSAGE clusters my-hosted-cluster <4.x.0> example-admin-kubeconfig Completed True False The hosted control plane is available&
lt;4.x.0>을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.
4.4.4.2. 외부 인프라를 사용하여 KubeVirt 플랫폼으로 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
기본적으로 HyperShift Operator는 동일한 클러스터 내에서 호스팅되는 클러스터의 컨트롤 플레인 Pod와 KubeVirt 작업자 VM을 모두 호스팅합니다. 외부 인프라 기능을 사용하면 작업자 노드 VM을 컨트롤 플레인 Pod와 별도의 클러스터에 배치할 수 있습니다.
- 관리 클러스터 는 HyperShift Operator를 실행하고 호스팅된 클러스터의 컨트롤 플레인 Pod를 호스팅하는 OpenShift Container Platform 클러스터입니다.
- 인프라 클러스터 는 호스팅된 클러스터의 KubeVirt 작업자 VM을 실행하는 OpenShift Container Platform 클러스터입니다.
- 기본적으로 관리 클러스터는 VM을 호스팅하는 인프라 클러스터 역할을 합니다. 그러나 외부 인프라의 경우 관리 및 인프라 클러스터는 다릅니다.
공유 네임스페이스에 호스팅된 모든 클러스터 정보를 저장하지 마십시오. 공유 네임스페이스에서 호스팅 클러스터를 생성한 다음 호스팅된 클러스터를 백업하고 복원하는 경우 다른 호스팅 클러스터를 의도치 않게 변경할 수 있습니다. 호스팅된 클러스터 정보를 별도의 네임스페이스에 저장하거나 레이블을 기반으로 리소스를 백업 및 복원하도록 호스팅 클러스터를 설정합니다.
사전 요구 사항
- KubeVirt 노드를 호스팅하려면 외부 인프라 클러스터에 네임스페이스가 있어야 합니다.
-
외부 인프라 클러스터에 대한
kubeconfig파일이 있어야 합니다.
절차
hcp명령줄 인터페이스에서 다음 예와 같이 인프라 클러스터에 KubeVirt 작업자 VM을 배치하고--infra-kubeconfig-file및--infra-namespace인수를 사용합니다.$ hcp create cluster kubevirt \ --name <hosted-cluster-name> \ --node-pool-replicas <worker-count> \ --pull-secret <path-to-pull-secret> \ --memory <value-for-memory> \ --cores <value-for-cpu> \ --infra-namespace=<hosted-cluster-namespace>-<hosted-cluster-name> \ --infra-kubeconfig-file=<path-to-external-infra-kubeconfig>-
--name은 호스트된 클러스터의 이름을 정의합니다(예:my-hosted-cluster). -
--node-pool-replicas는 작업자 수를 정의합니다(예:2). -
--pull-secret은 풀 시크릿의 경로를 정의합니다(예:/user/name/pullsecret). -
--memory는 메모리 값을 정의합니다(예:6Gi). -
--cores는 CPU 값을 정의합니다(예:2). -
--infra-namespace는 인프라 네임스페이스를 정의합니다(예: cluster-example). -
--infra-kubeconfig-file은 인프라 클러스터의kubeconfig파일의 경로를 정의합니다(예:/user/name/external-infra-kubeconfig).
명령을 입력하면 컨트롤 플레인 pod는 HyperShift Operator가 실행되는 관리 클러스터에서 호스팅되며 KubeVirt VM은 별도의 인프라 클러스터에서 호스팅됩니다.
-
4.4.4.3. 콘솔을 사용하여 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
CLI 대신 OpenShift Container Platform 콘솔에서 작업하는 것을 선호하는 경우 콘솔을 사용하여 KubeVirt 플랫폼에서 호스팅된 클러스터를 생성할 수 있습니다.
사전 정의된 값을 사용하여 콘솔에서 필드를 자동으로 채우려면 OpenShift Virtualization 인증 정보를 생성할 수 있습니다. 자세한 내용은 "온-프레미스 환경에 대한 인증 정보 생성"을 참조하십시오.
절차
- OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다.
- 콘솔 헤더에서 모든 클러스터 가 선택되어 있는지 확인합니다.
- Infrastructure > Clusters를 클릭합니다.
- Create cluster > Red Hat OpenShift Virtualization > Hosted를 클릭합니다.
클러스터 생성 페이지에서 프롬프트에 따라 클러스터 및 노드 풀에 대한 세부 정보를 입력합니다.
클러스터 세부 정보 페이지에서 풀 시크릿은 OpenShift Container Platform 리소스에 액세스하는 데 사용하는 OpenShift Container Platform 풀 시크릿입니다. OpenShift Virtualization 인증 정보를 선택한 경우 풀 시크릿이 자동으로 채워집니다.
중요공유 네임스페이스에 호스팅된 모든 클러스터 정보를 저장하지 마십시오. 공유 네임스페이스에서 호스팅 클러스터를 생성한 다음 호스팅된 클러스터를 백업하고 복원하는 경우 다른 호스팅 클러스터를 의도치 않게 변경할 수 있습니다. 호스팅된 클러스터 정보를 별도의 네임스페이스에 저장하거나 레이블을 기반으로 리소스를 백업 및 복원하도록 호스팅 클러스터를 설정합니다.
노드 풀 페이지에서 네트워킹 옵션 섹션을 확장하고 노드 풀에 대한 네트워킹 옵션을 구성합니다.
-
추가 네트워크 필드에 <
namespace>/<name> 형식으로 네트워크 이름을입력합니다(예:my-namespace/network1). 네임스페이스와 이름은 유효한 DNS 레이블이어야 합니다. 여러 네트워크가 지원됩니다. - 기본적으로 Attach default pod network 확인란이 선택됩니다. 추가 네트워크가 있는 경우에만 이 확인란을 지울 수 있습니다.
-
추가 네트워크 필드에 <
항목을 검토하고 생성 을 클릭합니다.
호스팅된 클러스터 보기가 표시됩니다.
검증
- Hosted 클러스터 보기에서 호스팅된 클러스터의 배포를 모니터링합니다. 호스팅된 클러스터에 대한 정보가 표시되지 않는 경우 모든 클러스터가 선택되어 있는지 확인하고 클러스터 이름을 클릭합니다.
- 컨트롤 플레인 구성 요소가 준비될 때까지 기다립니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다.
- 노드 풀 상태를 보려면 NodePool 섹션으로 스크롤합니다. 노드를 설치하는 프로세스에는 약 10분이 걸립니다. 노드를 클릭하여 노드가 호스팅된 클러스터에 참여하고 있는지 확인할 수도 있습니다.
4.4.5. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.4.5.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.4.5.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.4.6. OpenShift Virtualization에서 호스팅된 컨트롤 플레인의 기본 수신 및 DNS 구성 링크 복사링크가 클립보드에 복사되었습니다!
모든 OpenShift Container Platform 클러스터에는 기본 애플리케이션 Ingress 컨트롤러가 포함되어 있으며, 이와 연결된 와일드카드 DNS 레코드가 있어야 합니다.
기본적으로 OpenShift Virtualization을 사용하여 생성된 호스팅 클러스터는 가상 머신이 실행되는 OpenShift Container Platform 클러스터의 하위 도메인이 자동으로 됩니다.
예를 들어 OpenShift Container Platform 클러스터에 다음과 같은 기본 인그레스 DNS 항목이 있을 수 있습니다.
*.apps.mgmt-cluster.example.com
결과적으로 guest 라는 호스팅 클러스터와 해당 기본 OpenShift Container Platform 클러스터에서 실행되는 호스팅 클러스터에는 다음과 같은 기본 수신이 있습니다.
*.apps.guest.apps.mgmt-cluster.example.com
절차
기본 인그레스 DNS가 제대로 작동하려면 가상 머신을 호스팅하는 클러스터에서 와일드카드 DNS 경로를 허용해야 합니다. 다음 명령을 입력하여 이 동작을 구성할 수 있습니다.
$ oc patch ingresscontroller -n openshift-ingress-operator default \ --type=json \ -p '[{ "op": "add", "path": "/spec/routeAdmission", "value": {wildcardPolicy: "WildcardsAllowed"}}]'참고기본 호스팅 클러스터 수신을 사용하는 경우 포트 443을 통한 HTTPS 트래픽으로 제한됩니다. 포트 80을 통한 일반 HTTP 트래픽이 거부됩니다. 이 제한은 기본 수신 동작에만 적용됩니다.
4.4.6.1. 사용자 정의 DNS 이름 정의 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.
다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.
- 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
- 분할 수평 DNS 및 NAT 시나리오 지원
-
올바른
kubeconfig및 DNS 구성으로Show Login Command기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해
HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.
사전 요구 사항
-
kubeAPIServerDNSName매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다. - 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.
프로세스
HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.#... spec: configuration: apiServer: servingCerts: namedCertificates: - names: - xxx.example.com - yyy.example.com servingCertificate: name: <my_serving_certificate> kubeAPIServerDNSName: <custom_address>kubeAPIServerDNSName매개변수의 값은 유효한 도메인이어야 합니다.kubeAPIServerDNSName매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서custom-admin-라는 kubeconfig 파일을 생성합니다. 여기서 파일이kubeconfigHostedControlPlane네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며HostedControlPlane네임스페이스는 만료 및 갱신을 관리합니다.Control Plane Operator는
HostedControlPlane네임스페이스에서CustomKubeconfig라는 새kubeconfig파일을 보고합니다. 해당 파일은kubeAPIServerDNSName매개변수에서 정의된 새 서버를 사용합니다.사용자 정의
kubeconfig파일에 대한 참조는HostedCluster오브젝트의CustomKubeconfig로status매개변수에 있습니다.CustomKubeConfig매개변수는 선택 사항이며kubeAPIServerDNSName매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다.CustomKubeConfig매개변수를 설정한 후 매개변수는HostedCluster네임스페이스에서 <hosted_cluster_name>-custom-admin-kubeconfig라는 보안 생성을 트리거합니다. 시크릿을 사용하여HostedClusterAPI 서버에 액세스할 수 있습니다. 설치 후 작업 중에CustomKubeConfig매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.참고사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다.
HostedControlPlane네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수를 제거하면 새로 생성된 모든 보안 및CustomKubeconfig참조가 클러스터 및status매개변수에서 제거됩니다.
4.4.7. 사용자 정의 수신 및 DNS 동작 링크 복사링크가 클립보드에 복사되었습니다!
기본 수신 및 DNS 동작을 사용하지 않으려면 생성 시 KubeVirt 호스팅 클러스터를 고유 기본 도메인으로 구성할 수 있습니다.
이 옵션을 사용하려면 생성 중에 수동 구성 단계가 필요하며 클러스터 생성, 로드 밸런서 생성 및 와일드카드 DNS 구성의 세 가지 주요 단계가 포함됩니다.
4.4.7.1. 기본 도메인을 지정하는 호스팅 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
기본 수신 및 DNS 동작을 사용하지 않으려면 생성 시 KubeVirt 호스팅 클러스터를 고유 기본 도메인으로 구성할 수 있습니다.
절차
다음 명령을 입력하여 클러스터를 생성합니다.
$ hcp create cluster kubevirt \ --name <hosted_cluster_name> \ --node-pool-replicas <worker_count> \ --pull-secret <path_to_pull_secret> \ --memory <value_for_memory> \ --cores <value_for_cpu> \ --base-domain <basedomain> \ --arch <architecture_of_the_nodepool> \ --release-image <ocp_release_image_for_the_cluster> \ --image-content-sources <path_to_image_content_sources_file> \ --additional-trust-bundle <path_to_ca_bundle_file>-
--name은 호스팅된 클러스터의 이름을 지정합니다. -
--node-pool-replicas는 작업자 수를 지정합니다(예:2). -
--pull-secret은 풀 시크릿의 경로를 지정합니다(예:/user/name/pullsecret). -
--memory는 메모리 값을 지정합니다(예:6Gi). -
--cores는 CPU 값을 지정합니다(예:2). -
--base-domain은 기본 도메인(예:hypershift.lab)을 지정합니다. -
--Arch는 노드 풀의 아키텍처를 지정합니다(예:s390x). 기본값은amd64입니다. -
--release-image는 클러스터의 ocp 릴리스 이미지를 지정합니다(예:quay.io/openshift-release-dev/ocp-release:4.20.14-multi). -
--image-content-sources는 이미지 콘텐츠 소스가 있는 파일의 경로를 지정합니다. --additional-trust-bundle은 사용자 CA 번들이 있는 파일의 경로를 지정합니다.결과적으로 호스팅된 클러스터에는 클러스터 이름과 기본 도메인(예:
.apps.example.hypershift.lab)에 대해 구성된 수신 와일드카드가 있습니다. 호스트 클러스터는 고유한 기본 도메인을 사용하여 호스팅 클러스터를 생성한 후 필요한 DNS 레코드 및 로드 밸런서를 구성해야 하므로부분적상태로 유지됩니다.
-
검증
다음 명령을 입력하여 호스팅 클러스터의 상태를 확인합니다.
$ oc get --namespace clusters hostedclusters출력 예
NAME VERSION KUBECONFIG PROGRESS AVAILABLE PROGRESSING MESSAGE example example-admin-kubeconfig Partial True False The hosted control plane is available다음 명령을 입력하여 클러스터에 액세스합니다.
$ hcp create kubeconfig --name <hosted_cluster_name> \ > <hosted_cluster_name>-kubeconfig$ oc --kubeconfig <hosted_cluster_name>-kubeconfig get co출력 예
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE console <4.x.0> False False False 30m RouteHealthAvailable: failed to GET route (https://console-openshift-console.apps.example.hypershift.lab): Get "https://console-openshift-console.apps.example.hypershift.lab": dial tcp: lookup console-openshift-console.apps.example.hypershift.lab on 172.31.0.10:53: no such host ingress <4.x.0> True False True 28m The "default" ingress controller reports Degraded=True: DegradedConditions: One or more other status conditions indicate a degraded state: CanaryChecksSucceeding=False (CanaryChecksRepetitiveFailures: Canary route checks for the default ingress controller are failing)&
lt;4.x.0>을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.출력의 오류를 수정하려면 "로드 밸런서 설정" 및 " 와일드카드 DNS 설정"의 단계를 완료합니다.
참고호스팅 클러스터가 베어 메탈에 있는 경우 로드 밸런서 서비스를 설정하려면 MetalLB가 필요할 수 있습니다. 자세한 내용은 " MetalLB 구성"을 참조하십시오.
4.4.7.2. 로드 밸런서 설정 링크 복사링크가 클립보드에 복사되었습니다!
Ingress 트래픽을 KubeVirt VM으로 라우팅하고 로드 밸런서 IP 주소에 와일드카드 DNS 항목을 할당하는 로드 밸런서 서비스를 설정합니다.
OpenShift Virtualization 호스트 클러스터에서 LoadBalancer 서비스를 생성하면 서비스를 노출하도록 관리 클러스터에 미러 LoadBalancer 서비스가 자동으로 생성되고 구성됩니다. 결과적으로 호스팅된 클러스터 LoadBalancer 서비스는 관리 클러스터가 MetalLB와 같은 자체 LoadBalancer 서비스에 대해 구성한 것과 동일한 기술을 통해 노출됩니다.
절차
호스팅된 클러스터 인그레스를 노출하는
NodePort서비스가 이미 존재합니다. 노드 포트를 내보내고 해당 포트를 대상으로 하는 로드 밸런서 서비스를 생성할 수 있습니다.다음 명령을 입력하여 HTTP 노드 포트를 가져옵니다.
$ oc --kubeconfig <hosted_cluster_name>-kubeconfig get services \ -n openshift-ingress router-nodeport-default \ -o jsonpath='{.spec.ports[?(@.name=="http")].nodePort}'다음 단계에서 사용할 HTTP 노드 포트 값을 확인합니다.
다음 명령을 입력하여 HTTPS 노드 포트를 가져옵니다.
$ oc --kubeconfig <hosted_cluster_name>-kubeconfig get services \ -n openshift-ingress router-nodeport-default \ -o jsonpath='{.spec.ports[?(@.name=="https")].nodePort}'다음 단계에서 사용할 HTTPS 노드 포트 값을 확인합니다.
YAML 파일에 다음 정보를 입력합니다.
apiVersion: v1 kind: Service metadata: labels: app: <hosted_cluster_name> name: <hosted_cluster_name>-apps namespace: clusters-<hosted_cluster_name> spec: ports: - name: https-443 port: 443 protocol: TCP targetPort: <https_node_port> - name: http-80 port: 80 protocol: TCP targetPort: <http_node_port> selector: kubevirt.io: virt-launcher type: LoadBalancer다음과 같습니다.
-
<https_node_port>는 이전 단계에서 기록한 HTTPS 노드 포트 값을 지정합니다. -
<http_node_port>는 이전 단계에서 기록한 HTTP 노드 포트 값을 지정합니다.
-
다음 명령을 실행하여 로드 밸런서 서비스를 생성합니다.
$ oc create -f <file_name>.yaml
4.4.7.3. 와일드카드 DNS 설정 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터에 대한 인그레스 및 DNS를 사용자 지정하는 경우 로드 밸런서 서비스의 외부 IP를 참조하는 와일드카드 DNS 레코드 또는 CNAME을 설정해야 합니다.
절차
다음 명령을 입력하여 외부 IP 주소를 가져옵니다.
$ oc -n clusters-<hosted_cluster_name> get service <hosted-cluster-name>-apps \ -o jsonpath='{.status.loadBalancer.ingress[0].ip}'출력 예
192.168.20.30외부 IP 주소를 참조하는 와일드카드 DNS 항목을 구성합니다. 다음 예제 DNS 항목을 확인합니다.
*.apps.<hosted_cluster_name\>.<base_domain\>.DNS 항목은 클러스터 내부 및 외부에서 라우팅할 수 있어야 합니다.
DNS 확인 예
dig +short test.apps.example.hypershift.lab 192.168.20.30
검증
다음 명령을 입력하여 호스팅 클러스터 상태가
Partial에서Completed로 이동했는지 확인합니다.$ oc get --namespace clusters hostedclusters출력 예
NAME VERSION KUBECONFIG PROGRESS AVAILABLE PROGRESSING MESSAGE example <4.x.0> example-admin-kubeconfig Completed True False The hosted control plane is available&
lt;4.x.0>을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.
4.4.8. 노드 풀에 대한 추가 네트워크, 보장된 CPU 및 VM 스케줄링 링크 복사링크가 클립보드에 복사되었습니다!
노드 풀에 대한 추가 네트워크를 구성하거나 VM(가상 머신)에 대한 보장된 CPU 액세스를 요청하거나 KubeVirt VM의 스케줄링을 관리할 수 있습니다.
4.4.8.1. 노드 풀에 여러 네트워크 추가 링크 복사링크가 클립보드에 복사되었습니다!
기본적으로 노드 풀에서 생성한 노드는 Pod 네트워크에 연결됩니다. NetworkAttachmentDefinitions 를 사용하여 노드에 추가 네트워크를 연결할 수 있습니다.
컴퓨팅 노드는 Linux 브리지 또는 localnet 토폴로지를 사용하는 UDN(사용자 정의 네트워크)이 있는 여러 네트워크에 연결할 수 있습니다. Red Hat은 계층 2 또는 계층 3 오버레이 토폴로지를 사용하는 여러 UDN에 컴퓨팅 노드 연결을 지원하지 않습니다.
절차
노드에 여러 네트워크를 추가하려면 다음 명령을 실행하여
--additional-network인수를 사용합니다.$ hcp create cluster kubevirt \ --name <hosted_cluster_name> \ --node-pool-replicas <worker_node_count> \ --pull-secret <path_to_pull_secret> \ --memory <memory> \ --cores <cpu> \ --additional-network name:<namespace/name> \ –-additional-network name:<namespace/name>다음과 같습니다.
hosted_cluster_name-
호스트 클러스터의 이름을 지정합니다(예:
my-hosted-cluster). worker_node_count-
컴퓨팅 노드 수를 지정합니다(예:
2). path_to_pull_secret-
풀 시크릿의 경로를 지정합니다(예:
/user/name/pullsecret). 메모리-
메모리 값을 지정합니다(예:
8Gi). cpu-
CPU 값을 지정합니다(예:
2). namespace/name-
name:<namespace/name>에 대한. &--additional-network인수의 값을 지정합니다lt;namespace/name>을NetworkAttachmentDefinitions의 네임스페이스 및 이름으로 바꿉니다.
4.4.8.1.1. 추가 네트워크를 기본값으로 사용 링크 복사링크가 클립보드에 복사되었습니다!
기본 Pod 네트워크를 비활성화하여 추가 네트워크를 노드의 기본 네트워크로 추가할 수 있습니다.
프로세스
노드에 기본 네트워크를 추가하려면 다음 명령을 실행합니다.
$ hcp create cluster kubevirt \ --name <hosted_cluster_name> \ --node-pool-replicas <worker_node_count> \ --pull-secret <path_to_pull_secret> \ --memory <memory> \ --cores <cpu> \ --attach-default-network false \ --additional-network name:<namespace>/<network_name>-
--name은 호스트된 클러스터의 이름을 지정합니다(예:my-hosted-cluster). -
--node-pool-replicas는 작업자 노드 수를 지정합니다(예:2). -
--pull-secret은 풀 시크릿의 경로를 지정합니다(예:/user/name/pullsecret). -
--memory는 메모리 값을 지정합니다(예:8Gi). -
--cores는 CPU 값을 지정합니다(예:2). -
--attach-default-network false는 기본 Pod 네트워크를 비활성화합니다. -
--additional-network는 노드에 추가할 추가 네트워크를 지정합니다(예:name:my-namespace/my-network).
-
4.4.8.2. 보장된 CPU 리소스 요청 링크 복사링크가 클립보드에 복사되었습니다!
기본적으로 KubeVirt VM은 노드의 다른 워크로드와 CPU를 공유할 수 있습니다. 이는 VM의 성능에 영향을 미칠 수 있습니다. 성능에 미치는 영향을 방지하기 위해 VM에 대해 보장된 CPU 액세스를 요청할 수 있습니다.
프로세스
보장된 CPU 리소스를 요청하려면 다음 명령을 실행하여
--qos-class인수를Guaranteed로 설정합니다.$ hcp create cluster kubevirt \ --name <hosted_cluster_name> \ --node-pool-replicas <worker_node_count> \ --pull-secret <path_to_pull_secret> \ --memory <memory> \ --cores <cpu> \ --qos-class Guaranteed-
--name은 호스트된 클러스터의 이름을 지정합니다(예:my-hosted-cluster). -
--node-pool-replicas는 작업자 노드 수를 지정합니다(예:2). -
--pull-secret은 풀 시크릿의 경로를 지정합니다(예:/user/name/pullsecret). -
--memory는 메모리 값을 지정합니다(예:8Gi). -
--cores는 CPU 값을 지정합니다(예:2). -
--QoS-class Guaranteed는 지정된 수의 CPU 리소스가 VM에 할당되도록 합니다.
-
4.4.8.3. 노드 세트에서 KubeVirt VM 예약 링크 복사링크가 클립보드에 복사되었습니다!
기본적으로 노드 풀에서 생성한 KubeVirt VM(가상 머신)은 사용 가능한 모든 노드에 예약됩니다. VM을 실행하는 데 충분한 용량이 있는 특정 노드 세트에서 KubeVirt VM을 예약할 수 있습니다.
프로세스
특정 노드 세트의 노드 풀 내에서 KubeVirt VM을 예약하려면 다음 명령을 실행하여
--vm-node-selector인수를 사용합니다.$ hcp create cluster kubevirt \ --name <hosted_cluster_name> \ --node-pool-replicas <worker_node_count> \ --pull-secret <path_to_pull_secret> \ --memory <memory> \ --cores <cpu> \ --vm-node-selector <label_key>=<label_value>,<label_key>=<label_value>-
--name은 호스트된 클러스터의 이름을 지정합니다(예:my-hosted-cluster). -
--node-pool-replicas는 작업자 노드 수를 지정합니다(예:2). -
--pull-secret은 풀 시크릿의 경로를 지정합니다(예:/user/name/pullsecret). -
--memory는 메모리 값을 지정합니다(예:8Gi). -
--cores는 CPU 값을 지정합니다(예:2). -
--VM-node-selector는 키-값 쌍을 포함하는 특정 노드 세트를 정의합니다. <label_key>를 레이블 키로 바꾸고 <label_value>를 레이블 값으로 바꿉니다.
-
4.4.9. 노드 풀 확장 링크 복사링크가 클립보드에 복사되었습니다!
oc scale 명령을 사용하여 OpenShift Virtualization에서 호스팅된 클러스터의 노드 풀을 수동으로 확장할 수 있습니다.
절차
다음 명령을 실행합니다.
NODEPOOL_NAME=${CLUSTER_NAME}-work NODEPOOL_REPLICAS=5 $ oc scale nodepool/$NODEPOOL_NAME --namespace clusters \ --replicas=$NODEPOOL_REPLICAS잠시 후 다음 명령을 입력하여 노드 풀의 상태를 확인합니다.
$ oc --kubeconfig $CLUSTER_NAME-kubeconfig get nodes출력 예
NAME STATUS ROLES AGE VERSION example-9jvnf Ready worker 97s v1.27.4+18eadca example-n6prw Ready worker 116m v1.27.4+18eadca example-nc6g4 Ready worker 117m v1.27.4+18eadca example-thp29 Ready worker 4m17s v1.27.4+18eadca example-twxns Ready worker 88s v1.27.4+18eadca
4.4.9.1. 노드 풀 추가 링크 복사링크가 클립보드에 복사되었습니다!
이름, 복제본 수 및 메모리 및 CPU 요구 사항과 같은 추가 정보를 지정하여 호스팅된 클러스터에 대한 노드 풀을 생성할 수 있습니다.
절차
관리 클러스터에 클러스터 전체 프록시가 구성된 경우 다음 단계를 완료하여
HostedCluster리소스에서 프록시 설정을 구성해야 합니다.다음 명령을 입력하여
HostedCluster리소스를 편집합니다.$ oc edit hc <hosted_cluster_name> -n <hosted_cluster_namespace>HostedCluster리소스에서 다음 예와 같이 프록시 구성을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: annotations: # ... hypershift.openshift.io/HasBeenAvailable: "true" hypershift.openshift.io/management-platform: VSphere # ... name: <hosted_cluster_name> namespace: <hosted_cluster_namespace> # ... spec: # ... clusterID: fa45babd-40f3-4085-9b30-8bc3b7df1557 configuration: proxy: httpProxy: http://web-proxy.example.com:3128 httpsProxy: http://web-proxy.example.com:3128 noProxy: .example.com,192.168.10.0/24spec.configuration.proxy필드에서 프록시 구성의 세부 정보를 지정합니다.다음 명령을 입력하여 관리 클러스터의 상태를 확인합니다.
$ oc get nodepool -n <hosted_cluster_namespace>다음 명령을 입력하여 호스팅 클러스터의 상태를 확인합니다.
$ oc --kubeconfig <hosted_cluster_name>-kubeconfig get nodes
노드 풀을 생성하려면 다음 정보를 입력합니다. 이 예에서 노드 풀에는 VM에 더 많은 CPU가 할당됩니다.
export NODEPOOL_NAME=${CLUSTER_NAME}-extra-cpu export WORKER_COUNT="2" export MEM="6Gi" export CPU="4" export DISK="16" $ hcp create nodepool kubevirt \ --cluster-name $CLUSTER_NAME \ --name $NODEPOOL_NAME \ --node-count $WORKER_COUNT \ --memory $MEM \ --cores $CPU \ --root-volume-size $DISK네임스페이스에
nodepool리소스를 나열하여 노드 풀의 상태를 확인합니다.$ oc get nodepools --namespace <hosted_cluster_namespace>출력 예
NAME CLUSTER DESIRED NODES CURRENT NODES AUTOSCALING AUTOREPAIR VERSION UPDATINGVERSION UPDATINGCONFIG MESSAGE example example 5 5 False False <4.x.0> example-extra-cpu example 2 False False True True Minimum availability requires 2 replicas, current 0 available&
lt;4.x.0>을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.
검증
잠시 후 다음 명령을 입력하여 노드 풀의 상태를 확인할 수 있습니다.
$ oc --kubeconfig $CLUSTER_NAME-kubeconfig get nodes출력 예
NAME STATUS ROLES AGE VERSION example-9jvnf Ready worker 97s v1.27.4+18eadca example-n6prw Ready worker 116m v1.27.4+18eadca example-nc6g4 Ready worker 117m v1.27.4+18eadca example-thp29 Ready worker 4m17s v1.27.4+18eadca example-twxns Ready worker 88s v1.27.4+18eadca example-extra-cpu-zh9l5 Ready worker 2m6s v1.27.4+18eadca example-extra-cpu-zr8mj Ready worker 102s v1.27.4+18eadca다음 명령을 입력하여 노드 풀이 예상되는 상태에 있는지 확인합니다.
$ oc get nodepools --namespace <hosted_cluster_namespace>출력 예
NAME CLUSTER DESIRED NODES CURRENT NODES AUTOSCALING AUTOREPAIR VERSION UPDATINGVERSION UPDATINGCONFIG MESSAGE example example 5 5 False False <4.x.0> example-extra-cpu example 2 2 False False <4.x.0>&
lt;4.x.0>을 사용하려는 지원되는 OpenShift Container Platform 버전으로 바꿉니다.
4.4.10. OpenShift Virtualization에서 호스트된 클러스터 생성 확인 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Virtualization에서 호스팅된 클러스터를 생성한 후 성공적으로 생성되었는지 확인합니다.
절차
다음 명령을 입력하여
HostedCluster리소스가완료된상태로 전환되었는지 확인합니다.$ oc get --namespace clusters hostedclusters <hosted_cluster_name>출력 예
NAMESPACE NAME VERSION KUBECONFIG PROGRESS AVAILABLE PROGRESSING MESSAGE clusters example 4.12.2 example-admin-kubeconfig Completed True False The hosted control plane is available다음 명령을 입력하여 호스팅 클러스터의 모든 클러스터 운영자가 온라인 상태인지 확인합니다.
$ hcp create kubeconfig --name <hosted_cluster_name> \ > <hosted_cluster_name>-kubeconfig$ oc get co --kubeconfig=<hosted_cluster_name>-kubeconfig출력 예
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE console 4.12.2 True False False 2m38s csi-snapshot-controller 4.12.2 True False False 4m3s dns 4.12.2 True False False 2m52s image-registry 4.12.2 True False False 2m8s ingress 4.12.2 True False False 22m kube-apiserver 4.12.2 True False False 23m kube-controller-manager 4.12.2 True False False 23m kube-scheduler 4.12.2 True False False 23m kube-storage-version-migrator 4.12.2 True False False 4m52s monitoring 4.12.2 True False False 69s network 4.12.2 True False False 4m3s node-tuning 4.12.2 True False False 2m22s openshift-apiserver 4.12.2 True False False 23m openshift-controller-manager 4.12.2 True False False 23m openshift-samples 4.12.2 True False False 2m15s operator-lifecycle-manager 4.12.2 True False False 22m operator-lifecycle-manager-catalog 4.12.2 True False False 23m operator-lifecycle-manager-packageserver 4.12.2 True False False 23m service-ca 4.12.2 True False False 4m41s storage 4.12.2 True False False 4m43s
4.5. 베어 메탈이 아닌 에이전트 시스템에 호스트된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
기존 가상화 계층을 사용하는 동안 인프라 유연성을 유지하기 위해 베어 메탈이 아닌 에이전트 시스템에 호스트된 컨트롤 플레인을 배포할 수 있습니다. 가상화된 환경 또는 기타 클라우드 기반 가상 머신에서 실행할 때 에이전트 플랫폼의 관리 이점을 사용할 수 있습니다.
베어 메탈이 아닌 에이전트 시스템의 호스팅된 컨트롤 플레인은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
호스팅 클러스터로 작동하도록 클러스터를 구성하여 호스팅 컨트롤 플레인을 배포할 수 있습니다. 호스팅 클러스터는 컨트롤 플레인이 호스팅되는 OpenShift Container Platform 클러스터입니다. 호스팅 클러스터를 관리 클러스터라고도 합니다.
관리 클러스터는 관리 클러스터와 동일하지 않습니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다.
호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다.
다중 클러스터 엔진 Operator는 기본 로컬 클러스터 관리 허브 클러스터 만 지원합니다. RHACM(Red Hat Advanced Cluster Management) 2.10에서 local-cluster 관리 허브 클러스터를 호스팅 클러스터로 사용할 수 있습니다.
호스팅 클러스터는 호스팅 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 클러스터에는 컨트롤 플레인과 해당 데이터 플레인이 포함됩니다. 다중 클러스터 엔진 Operator 콘솔 또는 hcp CLI(명령줄 인터페이스)를 사용하여 호스팅된 클러스터를 생성할 수 있습니다.
호스팅된 클러스터는 관리 클러스터로 자동으로 가져옵니다. 이 자동 가져오기 기능을 비활성화하려면 "호스트된 클러스터의 자동 가져오기 비활성화"를 참조하십시오.
4.5.1. 베어 메탈이 아닌 에이전트 시스템에 호스팅된 컨트롤 플레인 배포 준비 링크 복사링크가 클립보드에 복사되었습니다!
비 바이어 메탈 에이전트 시스템에 호스팅된 컨트롤 플레인을 배포하기 전에 배포에 대한 요구 사항을 이해해야 합니다.
- 에이전트 플랫폼을 사용하여 에이전트 시스템을 호스트된 클러스터에 작업자 노드로 추가할 수 있습니다. 에이전트 머신은 Discovery Image로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스의 일부입니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
- 베어 메탈이 아닌 모든 호스트는 중앙 인프라 관리에서 제공하는 Discovery Image ISO로 수동 부팅이 필요합니다.
- 노드 풀을 확장하면 모든 복제본에 대해 머신이 생성됩니다. 모든 머신에 대해 Cluster API 공급자는 승인된 에이전트를 찾아 설치하며, 검증을 통과하고, 현재 사용되지 않으며, 노드 풀 사양에 지정된 요구 사항을 충족합니다. 에이전트의 상태 및 조건을 확인하여 에이전트 설치를 모니터링할 수 있습니다.
- 노드 풀을 축소하면 에이전트가 해당 클러스터에서 바인딩되지 않습니다. 에이전트를 재사용하려면 먼저 Discovery 이미지를 사용하여 다시 시작해야 합니다.
- 호스트된 컨트롤 플레인에 대한 스토리지를 구성할 때 권장 etcd 사례를 고려하십시오. 대기 시간 요구 사항을 충족하는지 확인하려면 각 컨트롤 플레인 노드에서 실행되는 모든 호스팅 컨트롤 플레인 etcd 인스턴스에 빠른 스토리지 장치를 전용으로 지정합니다. LVM 스토리지를 사용하여 호스팅된 etcd pod의 로컬 스토리지 클래스를 구성할 수 있습니다. 자세한 내용은 OpenShift Container Platform 설명서의 "Red Hat etcd 권장" 및 "논리 볼륨 관리자 스토리지를 사용하여 영구 스토리지"를 참조하십시오.
4.5.1.1. 베어 메탈이 아닌 에이전트 시스템에 호스트된 컨트롤 플레인을 배포하기 위한 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
비bare-metal 에이전트 시스템에 호스팅되는 컨트롤 플레인을 배포하기 전에 사전 요구 사항을 충족해야 합니다.
- Kubernetes Operator 2.5 이상을 위한 멀티 클러스터 엔진이 OpenShift Container Platform 클러스터에 설치되어 있어야 합니다. OpenShift Container Platform 소프트웨어 카탈로그에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다.
다중 클러스터 엔진 Operator에 대해 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다.
local-cluster관리 클러스터를 자동으로 가져옵니다.로컬 클러스터에대한 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 "고급 구성"을 참조하십시오. 다음 명령을 실행하여 관리 클러스터의 상태를 확인할 수 있습니다.$ oc get managedclusters local-cluster- 중앙 인프라 관리를 활성화했습니다. 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
-
hcp명령줄 인터페이스를 설치했습니다. - 호스팅된 클러스터에는 클러스터 전체 이름이 있습니다.
- 동일한 인프라에서 관리 클러스터 및 작업자를 실행하고 있습니다.
4.5.1.2. 베어 메탈이 아닌 에이전트 시스템에 대한 방화벽, 포트 및 서비스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
포트가 관리 클러스터, 컨트롤 플레인 및 호스팅 클러스터 간에 통신할 수 있도록 방화벽 및 포트 요구 사항을 충족해야 합니다.
서비스는 기본 포트에서 실행됩니다. 그러나 NodePort 게시 전략을 사용하는 경우 서비스는 NodePort 서비스에서 할당한 포트에서 실행됩니다.
방화벽 규칙, 보안 그룹 또는 기타 액세스 제어를 사용하여 필요한 소스만 액세스를 제한합니다. 필요한 경우 포트를 공개적으로 노출하지 마십시오. 프로덕션 배포의 경우 로드 밸런서를 사용하여 단일 IP 주소를 통한 액세스를 단순화합니다.
호스팅된 컨트롤 플레인은 베어 메탈이 아닌 에이전트 시스템에 다음 서비스를 노출합니다.
APIServer-
APIServer서비스는 기본적으로 포트 6443에서 실행되며 컨트롤 플레인 구성 요소 간 통신을 위해 수신 액세스가 필요합니다. - MetalLB 로드 밸런싱을 사용하는 경우 로드 밸런서 IP 주소에 사용되는 IP 범위에 대한 수신 액세스를 허용합니다.
-
OAuthServer-
OAuthServer서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우OAuthServer서비스에 방화벽 규칙을 사용합니다.
-
Konnectivity-
Konnectivity서비스는 경로 및 Ingress를 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
Konnectivity에이전트는 컨트롤 플레인이 호스팅된 클러스터의 네트워크에 액세스할 수 있도록 역방향 터널을 설정합니다. 에이전트는 egress를 사용하여Konnectivity서버에 연결합니다. 서버는 포트 443의 경로를 사용하거나 수동으로 할당된NodePort를 사용하여 노출됩니다. - 클러스터 API 서버 주소가 내부 IP 주소인 경우 워크로드 서브넷에서 포트 6443의 IP 주소로 액세스를 허용합니다.
- 주소가 외부 IP 주소인 경우 6443 포트에서 노드에서 해당 외부 IP 주소로 송신을 허용합니다.
-
Ignition-
Ignition서비스는 경로 및 수신을 사용하여 서비스를 노출할 때 기본적으로 포트 443에서 실행됩니다. -
NodePort게시 전략을 사용하는 경우Ignition서비스에 방화벽 규칙을 사용합니다.
-
베어 메탈이 아닌 에이전트 머신에는 다음 서비스가 필요하지 않습니다.
-
OVNSbDb -
OIDC
4.5.1.3. 베어 메탈이 아닌 에이전트 시스템에 대한 인프라 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 플랫폼은 인프라를 생성하지 않지만 몇 가지 요구 사항이 있습니다.
- 에이전트: 에이전트 는 검색 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다.
- DNS: API 및 수신 끝점은 라우팅할 수 있어야 합니다.
4.5.2. 베어 메탈이 아닌 에이전트 시스템의 DNS 구성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터의 API 서버는 NodePort 서비스로 노출됩니다. API Server에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<basedomain >에 대한 DNS 항목이 있어야 합니다.
DNS 항목은 호스팅된 컨트롤 플레인을 실행하는 관리형 클러스터의 노드 중 하나를 가리키는 레코드만큼 단순할 수 있습니다. 이 항목은 들어오는 트래픽을 인그레스 포드로 리디렉션하기 위해 배포된 로드 밸런서를 가리킬 수도 있습니다.
다음 예제에서는 특정 환경에 대해 DNS를 구성하는 방법을 보여줍니다.
IPv4 네트워크에서 연결된 환경의 DNS 구성 예
api.example.krnl.es. IN A 192.168.122.20
api.example.krnl.es. IN A 192.168.122.21
api.example.krnl.es. IN A 192.168.122.22
api-int.example.krnl.es. IN A 192.168.122.20
api-int.example.krnl.es. IN A 192.168.122.21
api-int.example.krnl.es. IN A 192.168.122.22
`*`.apps.example.krnl.es. IN A 192.168.122.23
IPv6 네트워크에서 연결이 끊긴 환경의 DNS 구성 예
api.example.krnl.es. IN A 2620:52:0:1306::5
api.example.krnl.es. IN A 2620:52:0:1306::6
api.example.krnl.es. IN A 2620:52:0:1306::7
api-int.example.krnl.es. IN A 2620:52:0:1306::5
api-int.example.krnl.es. IN A 2620:52:0:1306::6
api-int.example.krnl.es. IN A 2620:52:0:1306::7
`*`.apps.example.krnl.es. IN A 2620:52:0:1306::10
듀얼 스택 네트워크에서 연결이 끊긴 환경의 DNS 구성 예
host-record=api-int.hub-dual.dns.base.domain.name,192.168.126.10
host-record=api.hub-dual.dns.base.domain.name,192.168.126.10
address=/apps.hub-dual.dns.base.domain.name/192.168.126.11
dhcp-host=aa:aa:aa:aa:10:01,ocp-master-0,192.168.126.20
dhcp-host=aa:aa:aa:aa:10:02,ocp-master-1,192.168.126.21
dhcp-host=aa:aa:aa:aa:10:03,ocp-master-2,192.168.126.22
dhcp-host=aa:aa:aa:aa:10:06,ocp-installer,192.168.126.25
dhcp-host=aa:aa:aa:aa:10:07,ocp-bootstrap,192.168.126.26
host-record=api-int.hub-dual.dns.base.domain.name,2620:52:0:1306::2
host-record=api.hub-dual.dns.base.domain.name,2620:52:0:1306::2
address=/apps.hub-dual.dns.base.domain.name/2620:52:0:1306::3
dhcp-host=aa:aa:aa:aa:10:01,ocp-master-0,[2620:52:0:1306::5]
dhcp-host=aa:aa:aa:aa:10:02,ocp-master-1,[2620:52:0:1306::6]
dhcp-host=aa:aa:aa:aa:10:03,ocp-master-2,[2620:52:0:1306::7]
dhcp-host=aa:aa:aa:aa:10:06,ocp-installer,[2620:52:0:1306::8]
dhcp-host=aa:aa:aa:aa:10:07,ocp-bootstrap,[2620:52:0:1306::9]
이 구성의 경우 IPv4 및 IPv6 모두에 대한 DNS 항목을 포함해야 합니다.
4.5.3. 사용자 정의 DNS 이름 정의 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.
다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.
- 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
- 분할 수평 DNS 및 NAT 시나리오 지원
-
올바른
kubeconfig및 DNS 구성으로Show Login Command기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해
HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.
사전 요구 사항
-
kubeAPIServerDNSName매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다. - 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.
프로세스
HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.#... spec: configuration: apiServer: servingCerts: namedCertificates: - names: - xxx.example.com - yyy.example.com servingCertificate: name: <my_serving_certificate> kubeAPIServerDNSName: <custom_address>kubeAPIServerDNSName매개변수의 값은 유효한 도메인이어야 합니다.kubeAPIServerDNSName매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서custom-admin-라는 kubeconfig 파일을 생성합니다. 여기서 파일이kubeconfigHostedControlPlane네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며HostedControlPlane네임스페이스는 만료 및 갱신을 관리합니다.Control Plane Operator는
HostedControlPlane네임스페이스에서CustomKubeconfig라는 새kubeconfig파일을 보고합니다. 해당 파일은kubeAPIServerDNSName매개변수에서 정의된 새 서버를 사용합니다.사용자 정의
kubeconfig파일에 대한 참조는HostedCluster오브젝트의CustomKubeconfig로status매개변수에 있습니다.CustomKubeConfig매개변수는 선택 사항이며kubeAPIServerDNSName매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다.CustomKubeConfig매개변수를 설정한 후 매개변수는HostedCluster네임스페이스에서 <hosted_cluster_name>-custom-admin-kubeconfig라는 보안 생성을 트리거합니다. 시크릿을 사용하여HostedClusterAPI 서버에 액세스할 수 있습니다. 설치 후 작업 중에CustomKubeConfig매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.참고사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다.
HostedControlPlane네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수를 제거하면 새로 생성된 모든 보안 및CustomKubeconfig참조가 클러스터 및status매개변수에서 제거됩니다.
4.5.4. CLI를 사용하여 베어 메탈이 아닌 에이전트 시스템에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성하면 HyperShift Operator가 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다. 베어 메탈에서 호스팅 클러스터를 생성하거나 가져올 수 있습니다.
- 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스트된 클러스터 이름은 다중 클러스터 엔진 Operator가 이를 관리하기 위해 기존 관리 클러스터와 같을 수 없습니다.
-
클러스터를 호스팅
클러스터이름으로 사용하지 마십시오. - 호스트된 클러스터는 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에서 생성할 수 없습니다.
프로세스
다음 명령을 입력하여 호스팅된 컨트롤 플레인 네임스페이스를 생성합니다.
$ oc create ns <hosted_cluster_namespace>-<hosted_cluster_name><
hosted_cluster_namespace>를 호스트된 클러스터 네임스페이스 이름(예:my-hosted-cluster-namespace)으로 바꿉니다. <hosted_cluster_name>을 호스트된 클러스터 이름으로 교체합니다.다음 명령을 입력하여 호스팅 클러스터를 생성합니다.
$ hcp create cluster agent \ --name=my-hosted-cluster \ --pull-secret=/user/name/pullsecret \ --agent-namespace=clusters-example \ --base-domain=krnl.es \ --api-server-address=api.my-hosted-cluster.krnl.es \ --etcd-storage-class=lvm-storageclass \ --ssh-key ~/.ssh/id_rsa.pub \ --namespace my-hosted-cluster-namespace \ --control-plane-availability-policy HighlyAvailable \ --release-image=quay.io/openshift-release-dev/ocp-release:5.0.0-multi \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --node-pool-replicas 3-
--name은 호스팅된 클러스터의 이름을 지정합니다. -
--pull-secret은 풀 시크릿의 경로를 지정합니다. -
--agent-namespace는 호스팅된 컨트롤 플레인 네임스페이스를 지정합니다.oc get agent -n <hosted-control-plane-namespace> 명령을 사용하여 이 네임스페이스에서 에이전트를 사용할 수 있는지 확인합니다. -
--base-domain은 기본 도메인을 지정합니다. -
--api-server-address--api-server-address플래그는 호스팅 클러스터의 Kubernetes API 통신에 사용되는 IP 주소를 정의합니다.--api-server-address플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다. -
--etcd-storage-class는 etcd 스토리지 클래스 이름을 지정합니다. 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC로 종료될 수 있습니다. -
--ssh_key는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는~/.ssh/id_rsa.pub입니다. -
--namespace는 호스팅된 클러스터 네임스페이스를 지정합니다. -
--control-plane-availability-policy는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은SingleReplica및HighlyAvailable입니다. 기본값은HighlyAvailable입니다. -
--release-image는 사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다. -
--disable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--node-pool-replicas는 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를0이상으로 지정해야 합니다. 그렇지 않으면 노드 풀이 생성되지 않습니다.
-
검증
잠시 후 다음 명령을 입력하여 호스팅된 컨트롤 플레인 pod가 실행 중인지 확인합니다.
$ oc -n <hosted_cluster_namespace>-<hosted_cluster_name> get pods출력 예
NAME READY STATUS RESTARTS AGE catalog-operator-6cd867cc7-phb2q 2/2 Running 0 2m50s control-plane-operator-f6b4c8465-4k5dh 1/1 Running 0 4m32s
4.5.5. 웹 콘솔을 사용하여 베어 메탈이 아닌 에이전트 시스템에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 베어 메탈이 아닌 에이전트 시스템에서 호스트 클러스터를 생성할 수 있습니다.
사전 요구 사항
-
cluster-admin권한이 있는 클러스터에 액세스할 수 있습니다. - OpenShift Container Platform 웹 콘솔에 액세스할 수 있습니다.
프로세스
- OpenShift Container Platform 웹 콘솔을 열고 관리자 인증 정보를 입력하여 로그인합니다.
- 콘솔 헤더에서 모든 클러스터를 선택합니다.
-
인프라
클러스터를 클릭합니다. 클러스터 호스트 인벤토리
호스팅 컨트롤 플레인 생성 을 클릭합니다. 클러스터 생성 페이지가 표시됩니다.
클러스터 생성 페이지에서 프롬프트에 따라 클러스터, 노드 풀, 네트워킹 및 자동화에 대한 세부 정보를 입력합니다.
클러스터에 대한 세부 정보를 입력하면 다음 팁이 유용할 수 있습니다.
- 사전 정의된 값을 사용하여 콘솔에서 필드를 자동으로 채우려면 호스트 인벤토리 인증 정보를 생성할 수 있습니다. 자세한 내용은 온-프레미스 환경에 대한 인증 정보 만들기 를 참조하십시오.
- 클러스터 세부 정보 페이지에서 풀 시크릿은 OpenShift Container Platform 리소스에 액세스하는 데 사용하는 OpenShift Container Platform 풀 시크릿입니다. 호스트 인벤토리 인증 정보를 선택한 경우 가져오기 보안이 자동으로 채워집니다.
- 노드 풀 페이지에서 네임스페이스에는 노드 풀의 호스트가 포함되어 있습니다. 콘솔을 사용하여 호스트 인벤토리를 생성한 경우 콘솔은 전용 네임스페이스를 생성합니다.
-
네트워킹 페이지에서 API 서버 게시 전략을 선택합니다. 호스팅된 클러스터의 API 서버는 기존 로드 밸런서를 사용하거나
NodePort유형의 서비스로 노출될 수 있습니다. API 서버에 연결할 수 있는 대상을 가리키는api.<hosted_cluster_name>.<basedomain> 설정에 대한 DNS 항목이 있어야 합니다. 이 항목은 관리 클러스터의 노드 중 하나를 가리키는 레코드이거나 수신 트래픽을 Ingress pod로 리디렉션하는 로드 밸런서를 가리키는 레코드일 수 있습니다.
항목을 검토하고 생성 을 클릭합니다.
호스팅된 클러스터 보기가 표시됩니다.
- Hosted 클러스터 보기에서 호스팅된 클러스터의 배포를 모니터링합니다. 호스팅된 클러스터에 대한 정보가 표시되지 않는 경우 모든 클러스터가 선택되어 있는지 확인하고 클러스터 이름을 클릭합니다. 컨트롤 플레인 구성 요소가 준비될 때까지 기다립니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다.
- 노드 풀 상태를 보려면 NodePool 섹션으로 스크롤합니다. 노드를 설치하는 프로세스에는 약 10분이 걸립니다. 노드를 클릭하여 노드가 호스팅된 클러스터에 참여하고 있는지 확인할 수도 있습니다.
4.5.6. 미러 레지스트리를 사용하여 베어 메탈이 아닌 에이전트 시스템에서 호스트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
미러 레지스트리를 사용하여 hcp create cluster 명령에 --image-content-sources 플래그를 지정하여 베어 메탈이 아닌 에이전트 시스템에서 호스팅된 클러스터를 생성할 수 있습니다.
프로세스
YAML 파일을 생성하여 ICSP(Image Content Source Policies)를 정의합니다. 다음 예제를 참조하십시오.
- mirrors: - brew.registry.redhat.io source: registry.redhat.io - mirrors: - brew.registry.redhat.io source: registry.stage.redhat.io - mirrors: - brew.registry.redhat.io source: registry-proxy.engineering.redhat.com-
파일을
icsp.yaml로 저장합니다. 이 파일에는 미러 레지스트리가 포함되어 있습니다. 미러 레지스트리를 사용하여 호스팅된 클러스터를 생성하려면 다음 명령을 실행합니다.
$ hcp create cluster agent \ --name=my-hosted-cluster \ --pull-secret=/user/name/pullsecret\ --agent-namespace=clusters-example \ --base-domain=krnl.es \ --api-server-address=api.my-hosted-cluster.krnl.es \ --image-content-sources icsp.yaml \ --ssh-key ~/.ssh/id_rsa.pub \ --namespace my-hosted-cluster-namespace \ --release-image=quay.io/openshift-release-dev/ocp-release:5.0.0-multi-
--name은 호스팅된 클러스터의 이름을 지정합니다. -
--pull-secret은 풀 시크릿의 경로를 지정합니다. -
--agent-namespace는 호스팅된 컨트롤 플레인 네임스페이스를 지정합니다.oc get agent -n <hosted-control-plane-namespace> 명령을 사용하여 이 네임스페이스에서 에이전트를 사용할 수 있는지 확인합니다. -
--base-domain은 기본 도메인을 지정합니다. -
--API-server-address는 호스팅된 클러스터에서 Kubernetes API 통신에 사용되는 IP 주소를 정의합니다.--api-server-address플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다. -
--image-content-sources는 ICSP 및 미러 레지스트리를 정의하는icsp.yaml파일을 지정합니다. -
--SSH-key는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는~/.ssh/id_rsa.pub입니다. -
--namespace는 호스팅된 클러스터 네임스페이스를 지정합니다. -
--release-image는 사용하려는 지원되는 OpenShift Container Platform 버전을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 버전을 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "OpenShift Container Platform 릴리스 이미지 다이제스트 추출"을 참조하십시오.
-
4.5.7. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.5.7.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.5.7.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.5.8. 베어 메탈이 아닌 에이전트 시스템에서 호스트 클러스터 생성 확인 링크 복사링크가 클립보드에 복사되었습니다!
배포 프로세스가 완료되면 호스트 클러스터가 성공적으로 생성되었는지 확인할 수 있습니다.
호스팅된 클러스터를 생성한 후 몇 분 후에 다음 단계를 수행합니다.
프로세스
다음 명령을 입력하여 새 호스팅 클러스터의
kubeconfig파일을 가져옵니다.$ oc extract -n <hosted_cluster_namespace> \ secret/<hosted_cluster_name>-admin-kubeconfig --to=- \ > kubeconfig-<hosted_cluster_name>kubeconfig파일을 사용하여 호스팅된 클러스터의 클러스터 Operator를 확인합니다. 다음 명령을 실행합니다.$ oc get co --kubeconfig=kubeconfig-<hosted_cluster_name>출력 예
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE console 4.10.26 True False False 2m38s csi-snapshot-controller 4.10.26 True False False 4m3s dns 4.10.26 True False False 2m52s다음 명령을 입력하여 호스팅 클러스터에서 실행 중인 Pod를 확인합니다.
$ oc get pods -A --kubeconfig=kubeconfig-<hosted_cluster_name>출력 예
NAMESPACE NAME READY STATUS RESTARTS AGE kube-system konnectivity-agent-khlqv 0/1 Running 0 3m52s openshift-cluster-samples-operator cluster-samples-operator-6b5bcb9dff-kpnbc 2/2 Running 0 20m openshift-monitoring alertmanager-main-0 6/6 Running 0 100s openshift-monitoring openshift-state-metrics-677b9fb74f-qqp6g 3/3 Running 0 104s
4.6. IBM Z에 호스팅된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
관리 클러스터로 작동하도록 클러스터를 구성하여 IBM Z에 호스팅되는 컨트롤 플레인을 배포할 수 있습니다. 관리 클러스터는 컨트롤 플레인이 호스팅되는 OpenShift Container Platform 클러스터입니다. 관리 클러스터를 호스팅 클러스터라고도 합니다.
관리 클러스터는 관리 클러스터가 아닙니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다. 관리 클러스터는 Kubernetes Operator 2.7에 대해 OpenShift Container Platform 4.17 및 다중 클러스터 엔진부터 지원되는 x86_64 아키텍처 또는 Kubernetes Operator 2.10용 OpenShift Container Platform 4.20 및 멀티 클러스터 엔진부터 지원되는 s390x 아키텍처에서 실행할 수 있습니다.
hypershift 애드온을 사용하여 해당 클러스터에 HyperShift Operator를 배포하여 관리형 클러스터를 관리 클러스터로 변환할 수 있습니다. 그런 다음 호스팅된 클러스터를 생성할 수 있습니다.
다중 클러스터 엔진 Operator는 관리하는 허브 클러스터인 기본 로컬 클러스터 및 hub 클러스터만 관리 클러스터로 지원합니다.
베어 메탈에서 호스팅되는 컨트롤 플레인을 프로비저닝하려면 에이전트 플랫폼을 사용할 수 있습니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스를 사용하여 호스트된 클러스터에 작업자 노드를 추가합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
각 IBM Z 시스템 호스트는 중앙 인프라 관리에서 제공하는 PXE 또는 ISO 이미지로 시작해야 합니다. 각 호스트가 시작되면 에이전트 프로세스를 실행하여 호스트의 세부 정보를 검색하고 설치를 완료합니다. 에이전트 사용자 정의 리소스는 각 호스트를 나타냅니다.
에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성하면 HyperShift Operator가 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다.
4.6.1. IBM Z에서 호스팅된 컨트롤 플레인을 구성하기 위한 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
IBM Z에서 호스팅된 컨트롤 플레인을 구성하려면 사전 요구 사항을 충족해야 합니다.
- Kubernetes Operator 버전 2.7 이상용 멀티 클러스터 엔진은 OpenShift Container Platform 클러스터에 설치해야 합니다. OpenShift Container Platform OperatorHub에서 다중 클러스터 엔진 Operator를 Operator로 설치할 수 있습니다.
다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다.
local-cluster는 multicluster engine Operator 2.7 이상에서 자동으로 가져옵니다.local-cluster에 대한 자세한 내용은 Red Hat Advanced Cluster Management 설명서의 고급 구성 을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.$ oc get managedclusters local-cluster- HyperShift Operator를 실행하려면 작업자 노드가 3개 이상 있는 호스팅 클러스터가 필요합니다.
- 중앙 인프라 관리 서비스를 활성화해야 합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
- 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치해야 합니다. 자세한 내용은 "호스트된 컨트롤 플레인 명령줄 인터페이스 설치"를 참조하십시오.
관리 클러스터는 Kubernetes Operator 2.7에 대해 OpenShift Container Platform 4.17 및 다중 클러스터 엔진부터 지원되는 x86_64 아키텍처 또는 Kubernetes Operator 2.10용 OpenShift Container Platform 4.20 및 멀티 클러스터 엔진부터 지원되는 s390x 아키텍처에서 실행할 수 있습니다.
4.6.2. IBM Z 인프라 요구사항 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 플랫폼은 인프라를 생성하지 않지만 인프라에 여러 리소스가 필요합니다.
- 에이전트: 에이전트 는 검색 이미지 또는 PXE 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 준비가 된 호스트를 나타냅니다.
- DNS: API 및 Ingress 끝점은 라우팅할 수 있어야 합니다.
호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다. 기능을 비활성화하고 수동으로 활성화하거나 기능을 비활성화해야 하는 경우 "호스트된 컨트롤 플레인 기능 활성화 또는 비활성화"를 참조하십시오.
4.6.3. IBM Z에서 호스팅된 컨트롤 플레인의 DNS 구성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 클러스터의 API 서버는 NodePort 서비스로 노출됩니다. API 서버에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<base_domain >에 대한 DNS 항목이 있어야 합니다.
DNS 항목은 호스팅된 컨트롤 플레인을 실행하는 관리형 클러스터의 노드 중 하나를 가리키는 레코드만큼 단순할 수 있습니다.
이 항목은 들어오는 트래픽을 Ingress Pod로 리디렉션하기 위해 배포된 로드 밸런서를 가리킬 수도 있습니다.
DNS 구성의 다음 예제를 참조하십시오.
$ cat /var/named/<example.krnl.es.zone>
출력 예
$ TTL 900
@ IN SOA bastion.example.krnl.es.com. hostmaster.example.krnl.es.com. (
2019062002
1D 1H 1W 3H )
IN NS bastion.example.krnl.es.com.
;
;
api IN A 1xx.2x.2xx.1xx
api-int IN A 1xx.2x.2xx.1xx
;
;
*.apps IN A 1xx.2x.2xx.1xx
;
;EOF
api 레코드는 호스팅된 컨트롤 플레인의 수신 및 송신 트래픽을 처리하는 API 로드 밸런서의 IP 주소를 나타냅니다.
IBM z/VM의 경우 에이전트의 IP 주소에 해당하는 IP 주소를 추가합니다.
compute-0 IN A 1xx.2x.2xx.1yy
compute-1 IN A 1xx.2x.2xx.1yy
4.6.3.1. 사용자 정의 DNS 이름 정의 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.
다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.
- 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
- 분할 수평 DNS 및 NAT 시나리오 지원
-
올바른
kubeconfig및 DNS 구성으로Show Login Command기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해
HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.
사전 요구 사항
-
kubeAPIServerDNSName매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다. - 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.
프로세스
HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.#... spec: configuration: apiServer: servingCerts: namedCertificates: - names: - xxx.example.com - yyy.example.com servingCertificate: name: <my_serving_certificate> kubeAPIServerDNSName: <custom_address>kubeAPIServerDNSName매개변수의 값은 유효한 도메인이어야 합니다.kubeAPIServerDNSName매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서custom-admin-라는 kubeconfig 파일을 생성합니다. 여기서 파일이kubeconfigHostedControlPlane네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며HostedControlPlane네임스페이스는 만료 및 갱신을 관리합니다.Control Plane Operator는
HostedControlPlane네임스페이스에서CustomKubeconfig라는 새kubeconfig파일을 보고합니다. 해당 파일은kubeAPIServerDNSName매개변수에서 정의된 새 서버를 사용합니다.사용자 정의
kubeconfig파일에 대한 참조는HostedCluster오브젝트의CustomKubeconfig로status매개변수에 있습니다.CustomKubeConfig매개변수는 선택 사항이며kubeAPIServerDNSName매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다.CustomKubeConfig매개변수를 설정한 후 매개변수는HostedCluster네임스페이스에서 <hosted_cluster_name>-custom-admin-kubeconfig라는 보안 생성을 트리거합니다. 시크릿을 사용하여HostedClusterAPI 서버에 액세스할 수 있습니다. 설치 후 작업 중에CustomKubeConfig매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.참고사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다.
HostedControlPlane네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수를 제거하면 새로 생성된 모든 보안 및CustomKubeconfig참조가 클러스터 및status매개변수에서 제거됩니다.
4.6.4. IBM Z용 베어 메탈에 호스팅 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 인프라에서 지원 설치 관리자를 다중 클러스터 엔진 Operator에 대한 애드온으로 활성화하고 에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성한 후 HyperShift Operator는 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다.
에이전트 클러스터 API 공급자는 컨트롤 플레인과 컴퓨팅 노드로 구성된 호스팅 클러스터를 호스팅하는 관리 클러스터를 연결합니다.
사전 요구 사항
- 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스팅된 클러스터 이름은 기존 관리 클러스터와 같을 수 없습니다. 그러지 않으면 다중 클러스터 엔진 Operator가 호스팅된 클러스터를 관리할 수 없습니다.
-
클러스터를 호스팅
클러스터이름으로 사용하지 마십시오. - 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성할 수 없습니다.
- 최상의 보안 및 관리 관행을 위해 다른 호스팅 클러스터와 별도로 호스팅 클러스터를 생성합니다.
- 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC(영구 볼륨 클레임)가 표시될 수 있습니다.
절차
다음 명령을 입력하여 네임스페이스를 생성합니다.
$ oc create ns <hosted_cluster_namespace>&
lt;hosted_cluster_namespace>를 호스팅된 클러스터 네임스페이스의 식별자로 바꿉니다. HyperShift Operator는 네임스페이스를 생성합니다. 베어 메탈 인프라에서 호스팅된 클러스터 생성 프로세스 중에 생성된 Cluster API 공급자 역할에 네임스페이스가 이미 있어야 합니다.다음 명령을 입력하여 호스팅된 클러스터에 대한 구성 파일을 생성합니다.
$ hcp create cluster agent \ --name=<hosted_cluster_name> \ --pull-secret=<path_to_pull_secret> \ --agent-namespace=<hosted_control_plane_namespace> \ --base-domain=<base_domain> \ --api-server-address=api.<hosted_cluster_name>.<base_domain> \ --etcd-storage-class=<etcd_storage_class> \ --ssh-key=<path_to_ssh_key> \ --namespace=<hosted_cluster_namespace> \ --control-plane-availability-policy=HighlyAvailable \ --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \ --node-pool-replicas=<node_pool_replica_count> \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --render \ --render-sensitive > hosted-cluster-config.yaml다음과 같습니다.
-
--name은 호스트된 클러스터의 이름을 지정합니다(예: ). -
--pull-secret은/user/name/pullsecret과 같은 풀 시크릿의 경로를 지정합니다. -
--agent-namespace는 호스트된 컨트롤 플레인 네임스페이스(예: cluster-example)를 지정합니다.oc get agent -n <hosted_control_plane_namespace> 명령을 사용하여 이 네임스페이스에서 에이전트를 사용할 수 있는지 확인합니다. -
--base-domain은krnl.es와 같은 기본 도메인을 지정합니다. -
--API-server-address는 호스팅된 클러스터의 Kubernetes API 통신에 사용할 IP 주소를 지정합니다.--api-server-address플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다. -
--etcd-storage-class는lvm-storageclass와 같은 etcd 스토리지 클래스 이름을 지정합니다. -
--SSH-key는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는~/.ssh/id_rsa.pub입니다. -
--namespace는 호스팅된 클러스터 네임스페이스를 지정합니다. -
--control-plane-availability-policy는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은SingleReplica및HighlyAvailable입니다. 기본값은HighlyAvailable입니다. -
--release-image는 사용하려는 지원되는 OpenShift Container Platform 버전 (예:5.0.0-multi)을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 <ocp_release_image>를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "릴리스 이미지 다이제스트 추출"을 참조하십시오. -
--node-pool-replicas는3과 같은 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를0이상으로 지정해야 합니다. 그렇지 않으면 노드 풀을 생성하지 않습니다. -
--disable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오.
-
다음 명령을 입력하여 호스팅 클러스터 구성 파일에 변경 사항을 적용합니다.
$ oc apply -f hosted_cluster_config.yaml다음 명령을 입력하여 호스팅된 클러스터, 노드 풀 및 Pod 생성을 확인합니다.
$ oc get hostedcluster \ <hosted_cluster_name> -n \ <hosted_cluster_namespace> -o \ jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .$ oc get hostedcluster \ <nodepool_name> -n \ <hosted_cluster_namespace> -o \ jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .$ oc get pods -n <hosted_control_plane_namespace>-
호스트 클러스터가 준비되었는지 확인합니다.
Available: True는 컨트롤 플레인의 준비 상태를 나타냅니다.
4.6.5. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.6.5.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.6.5.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.6.6. IBM Z에서 호스팅된 컨트롤 플레인에 대한 InfraEnv 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
호스트 클러스터를 생성하려면 PXE 이미지로 부팅되는 호스트가 에이전트로 참여할 수 있는 환경인 InfraEnv 리소스가 필요합니다. 이 경우 에이전트는 호스팅된 컨트롤 플레인과 동일한 네임스페이스에 생성됩니다.
프로세스
구성을 포함할 YAML 파일을 생성합니다. 다음 예제를 참조하십시오.
apiVersion: agent-install.openshift.io/v1beta1 kind: InfraEnv metadata: name: <hosted_cluster_name> namespace: <hosted_control_plane_namespace> spec: cpuArchitecture: s390x pullSecretRef: name: pull-secret sshAuthorizedKey: <ssh_public_key>-
파일을
infraenv-config.yaml로 저장합니다. 다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f infraenv-config.yamlIBM Z 시스템이 에이전트로 참여할 수 있는 PXE 또는 ISO 이미지(예:
initrd.img,kernel.img또는rootfs.img)를 다운로드하는 URL을 가져오려면 다음 명령을 입력합니다.$ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name> -o json
4.6.7. IBM Z KVM을 에이전트로 추가 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인에 컴퓨팅 노드를 연결하려면 노드 풀을 확장하는 데 도움이 되는 에이전트를 생성합니다.
IBM Z 환경에 에이전트를 추가하려면 이 섹션에 자세히 설명된 추가 단계가 필요합니다.
달리 명시하지 않는 한 이 절차는 IBM Z 및 IBM LinuxONE의 z/VM 및 RHEL KVM 설치에 모두 적용됩니다.
IBM Z with KVM의 경우 다음 명령을 실행하여 InfraEnv 리소스에서 다운로드한 PXE 이미지로 IBM Z 환경을 시작합니다. 에이전트가 생성되면 호스트는 지원 서비스와 통신하고 관리 클러스터의 InfraEnv 리소스와 동일한 네임스페이스에 등록합니다.
프로세스
다음 명령을 실행합니다.
virt-install \ --name "<vm_name>" \ --autostart \ --ram=16384 \ --cpu host \ --vcpus=4 \ --location "<path_to_kernel_initrd_image>,kernel=kernel.img,initrd=initrd.img" \ --disk <qcow_image_path> \ --network network:macvtap-net,mac=<mac_address> \ --graphics none \ --noautoconsole \ --wait=-1 --extra-args "rd.neednet=1 nameserver=<nameserver> coreos.live.rootfs_url=http://<http_server>/rootfs.img random.trust_cpu=on rd.luks.options=discard ignition.firstboot ignition.platform.id=metal console=tty1 console=ttyS1,115200n8 coreos.inst.persistent-kargs=console=tty1 console=ttyS1,115200n8"-
--name은 가상 머신의 이름을 지정합니다. -
--location은kernel_initrd_image파일의 위치를 지정합니다. -
--disk는 디스크 이미지 경로를 지정합니다. -
--network는 Mac 주소를 지정합니다. -
--extra-args는 에이전트의 서버 이름을 지정합니다.
-
ISO 부팅의 경우
InfraEnv리소스에서 ISO를 다운로드하고 다음 명령을 실행하여 노드를 부팅합니다.virt-install \ --name "<vm_name>" \ --autostart \ --memory=16384 \ --cpu host \ --vcpus=4 \ --network network:macvtap-net,mac=<mac_address> \ --cdrom "<path_to_image.iso>" \ --disk <qcow_image_path> \ --graphics none \ --noautoconsole \ --os-variant <os_version> \ --wait=-1-
--name은 가상 머신의 이름을 지정합니다. -
--network는 Mac 주소를 지정합니다. -
--CDROM은image.iso파일의 위치를 지정합니다. -
--os-variant은 사용 중인 운영 체제 버전을 지정합니다.
-
4.6.8. IBM Z LPAR을 에이전트로 추가 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인에 컴퓨팅 노드를 연결하려면 노드 풀을 확장하는 데 도움이 되는 에이전트를 생성합니다.
IBM Z 환경에 에이전트를 추가하려면 이 섹션에 자세히 설명된 추가 단계가 필요합니다.
달리 명시하지 않는 한 이 절차는 IBM Z 및 IBM LinuxONE의 z/VM 및 RHEL KVM 설치에 모두 적용됩니다.
IBM Z 또는 IBM LinuxONE의 Logical Partition (LPAR)을 호스팅된 컨트롤 플레인에 컴퓨팅 노드로 추가할 수 있습니다.
프로세스
에이전트를 위한 부팅 매개변수 파일을 생성합니다.
매개변수 파일 예
rd.neednet=1 cio_ignore=all,!condev \ console=ttysclp0 \ ignition.firstboot ignition.platform.id=metal coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \ coreos.inst.persistent-kargs=console=ttysclp0 ip=<ip>::<gateway>:<netmask>::<interface>:none nameserver=<dns> \ rd.znet=qeth,<network_adaptor_range>,layer2=1 rd.<disk_type>=<adapter> \ zfcp.allow_lun_scan=0 ai.ip_cfg_override=1 \ random.trust_cpu=on rd.luks.options=discard다음과 같습니다.
coreos.live.rootfs_url-
coreos.live.rootfs_url아티팩트의 경우 시작 중인커널및initramfs와 일치하는rootfs아티팩트를 지정합니다. HTTP 및 HTTPS 프로토콜만 지원됩니다. ip-
ip매개변수의 경우 "IBM Z 및 IBM LinuxONE에 z/VM으로 클러스터 설치"에 설명된 대로 IP 주소를 수동으로 할당합니다. rd-
DASD 유형 디스크에 설치하는 경우
rd.dasd를 사용하여 RHCOS(Red Hat Enterprise Linux CoreOS)를 설치할 DASD를 지정합니다. FCP 유형 디스크에 설치하려면rd.zfcp=<adapter>,<wwpn>,<lun>을 사용하여 RHCOS를 설치할 FCP 디스크를 지정합니다. ai.ip_cfg_override- OSA(Open Systems Adapter) 또는 HiperSockets를 사용할 때 이 매개변수를 지정합니다.
InfraEnv리소스에서.ins및initrd.img.addrsize파일을 다운로드합니다.기본적으로
.ins및initrd.img.addrsize파일의 URL은InfraEnv리소스에서 사용할 수 없습니다. 해당 아티팩트를 가져오려면 URL을 편집해야 합니다.followign 명령을 실행하여
ins-file을 포함하도록 커널 URL 끝점을 업데이트합니다.$ curl -k -L -o generic.ins "< url for ins-file >"예제 URL
https://…/boot-artifacts/ins-file?arch=s390x&version=4.17.0s390x-:을 포함하도록 initrd URL 끝점을 업데이트합니다.initrd-addrsize예제 URL
https://…./s390x-initrd-addrsize?api_key=<api-key>&arch=s390x&version=4.17.0
-
initrd,kernel,generic.ins및initrd.img.addrsize매개변수 파일을 파일 서버로 전송합니다. FTP를 사용하여 파일을 전송하고 부팅하는 방법에 대한 자세한 내용은 "LPAR에 설치"를 참조하십시오. - 머신을 시작합니다.
- 클러스터의 다른 모든 시스템에 대해 절차를 반복합니다.
4.6.8.1. IBM z/VM을 에이전트로 추가 링크 복사링크가 클립보드에 복사되었습니다!
z/VM 게스트에 고정 IP를 사용하려면 IP 매개변수가 두 번째 시작 시 지속되도록 z/VM 에이전트에 대한 NMStateConfig 속성을 구성해야 합니다.
InfraEnv 리소스에서 다운로드한 PXE 이미지로 IBM Z 환경을 시작하려면 다음 단계를 완료합니다. 에이전트가 생성되면 호스트는 지원 서비스와 통신하고 관리 클러스터의 InfraEnv 리소스와 동일한 네임스페이스에 등록합니다.
프로세스
매개 변수 파일을 업데이트하여
rootfs_url,network_adaptor및disk_type값을 추가합니다.매개변수 파일 예
rd.neednet=1 cio_ignore=all,!condev \ console=ttysclp0 \ ignition.firstboot ignition.platform.id=metal \ coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \ coreos.inst.persistent-kargs=console=ttysclp0 ip=<ip>::<gateway>:<netmask>::<interface>:none nameserver=<dns> \ rd.znet=qeth,<network_adaptor_range>,layer2=1 rd.<disk_type>=<adapter> \ zfcp.allow_lun_scan=0 ai.ip_cfg_override=1 \다음과 같습니다.
coreos.live.rootfs_url-
coreos.live.rootfs_url아티팩트의 경우 시작 중인커널및initramfs와 일치하는rootfs아티팩트를 지정합니다. HTTP 및 HTTPS 프로토콜만 지원됩니다. ip-
ip매개변수의 경우 "IBM Z 및 IBM LinuxONE에 z/VM으로 클러스터 설치"에 설명된 대로 IP 주소를 수동으로 할당합니다. rdDASD 유형 디스크에 설치하는 경우
rd.dasd를 사용하여 RHCOS(Red Hat Enterprise Linux CoreOS)를 설치할 DASD를 지정합니다. FCP 유형 디스크에 설치하려면rd.zfcp=<adapter>,<wwpn>,<lun>을 사용하여 RHCOS를 설치할 FCP 디스크를 지정합니다.참고FCP 다중 경로 구성의 경우 대신 두 개의 디스크를 제공합니다.
예
rd.zfcp=<adapter1>,<wwpn1>,<lun1> \ rd.zfcp=<adapter2>,<wwpn2>,<lun2>ai.ip_cfg_override- OSA(Open Systems Adapter) 또는 HiperSockets를 사용할 때 이 매개변수를 지정합니다.
다음 명령을 실행하여
initrd, 커널 이미지 및 매개변수 파일을 게스트 VM으로 이동합니다.vmur pun -r -u -N kernel.img $INSTALLERKERNELLOCATION/<image name>vmur pun -r -u -N generic.parm $PARMFILELOCATION/paramfilenamevmur pun -r -u -N initrd.img $INSTALLERINITRAMFSLOCATION/<image name>게스트 VM 콘솔에서 다음 명령을 실행합니다.
cp ipl c에이전트 및 해당 속성을 나열하려면 다음 명령을 입력합니다.
$ oc -n <hosted_control_plane_namespace> get agents출력 예
NAME CLUSTER APPROVED ROLE STAGE 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d auto-assign 5e498cd3-542c-e54f-0c58-ed43e28b568a auto-assign다음 명령을 실행하여 에이전트를 승인합니다.
$ oc -n <hosted_control_plane_namespace> patch agent \ 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d -p \ '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-zvm-0.hostedn.example.com"}}' \ --type merge선택적으로 사양에 에이전트 ID <
installation_disk_id> 및 <hostname>을 설정할 수 있습니다.다음 명령을 실행하여 에이전트가 승인되었는지 확인합니다.
$ oc -n <hosted_control_plane_namespace> get agents출력 예
NAME CLUSTER APPROVED ROLE STAGE 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d true auto-assign 5e498cd3-542c-e54f-0c58-ed43e28b568a true auto-assign
4.6.9. IBM Z에서 호스팅된 클러스터의 NodePool 오브젝트 확장 링크 복사링크가 클립보드에 복사되었습니다!
NodePool 오브젝트는 호스팅된 클러스터를 생성할 때 생성됩니다. NodePool 오브젝트를 스케일링하면 호스팅된 컨트롤 플레인에 더 많은 컴퓨팅 노드를 추가할 수 있습니다.
노드 풀을 확장하면 머신이 생성됩니다. Cluster API 공급자는 승인된 에이전트를 찾고 현재 검증이 사용되지 않으며, 노드 풀 사양에 지정된 요구 사항을 충족합니다. 에이전트의 상태 및 조건을 확인하여 에이전트 설치를 모니터링할 수 있습니다.
프로세스
다음 명령을 실행하여
NodePool오브젝트를 두 개의 노드로 확장합니다.$ oc -n <clusters_namespace> scale nodepool <nodepool_name> --replicas 2Cluster API 에이전트 공급자는 호스트 클러스터에 할당된 두 개의 에이전트를 임의로 선택합니다. 이러한 에이전트는 다른 상태를 통과하고 마지막으로 호스팅된 클러스터에 OpenShift Container Platform 노드로 참여합니다. 에이전트는 다음 순서로 전환 단계를 통과합니다.
-
binding -
검색 -
insufficient -
설치 -
installing-in-progress -
added-to-existing-cluster
-
다음 명령을 실행하여 특정 확장 에이전트의 상태를 확인합니다.
$ oc -n <hosted_control_plane_namespace> get agent -o \ jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} \ Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'출력 예
BMH: Agent: 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d State: known-unbound BMH: Agent: 5e498cd3-542c-e54f-0c58-ed43e28b568a State: insufficient다음 명령을 실행하여 전환 단계를 확인합니다.
$ oc -n <hosted_control_plane_namespace> get agent출력 예
NAME CLUSTER APPROVED ROLE STAGE 50c23cda-cedc-9bbd-bcf1-9b3a5c75804d hosted-forwarder true auto-assign 5e498cd3-542c-e54f-0c58-ed43e28b568a true auto-assign da503cf1-a347-44f2-875c-4960ddb04091 hosted-forwarder true auto-assign다음 명령을 실행하여 호스팅된 클러스터에 액세스할
kubeconfig파일을 생성합니다.$ hcp create kubeconfig \ --namespace <clusters_namespace> \ --name <hosted_cluster_namespace> > <hosted_cluster_name>.kubeconfig에이전트가
add-to-existing-cluster상태에 도달한 후 다음 명령을 입력하여 OpenShift Container Platform 노드를 볼 수 있는지 확인합니다.$ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes출력 예
NAME STATUS ROLES AGE VERSION worker-zvm-0.hostedn.example.com Ready worker 5m41s v1.24.0+3882f8f worker-zvm-1.hostedn.example.com Ready worker 6m3s v1.24.0+3882f8f클러스터 Operator는 노드에 워크로드를 추가하여 조정하기 시작합니다.
다음 명령을 입력하여
NodePool오브젝트를 확장할 때 두 개의 머신이 생성되었는지 확인합니다.$ oc -n <hosted_control_plane_namespace> get machine.cluster.x-k8s.io출력 예
NAME CLUSTER NODENAME PROVIDERID PHASE AGE VERSION hosted-forwarder-79558597ff-5tbqp hosted-forwarder-crqq5 worker-zvm-0.hostedn.example.com agent://50c23cda-cedc-9bbd-bcf1-9b3a5c75804d Running 41h 4.15.0 hosted-forwarder-79558597ff-lfjfk hosted-forwarder-crqq5 worker-zvm-1.hostedn.example.com agent://5e498cd3-542c-e54f-0c58-ed43e28b568a Running 41h 4.15.0다음 명령을 실행하여 클러스터 버전을 확인합니다.
$ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusterversion,co출력 예
NAME VERSION AVAILABLE PROGRESSING SINCE STATUS clusterversion.config.openshift.io/version 4.15.0-ec.2 True False 40h Cluster version is 4.15.0-ec.2다음 명령을 실행하여 클러스터 Operator 상태를 확인합니다.
$ oc --kubeconfig <hosted_cluster_name>.kubeconfig get clusteroperators클러스터의 각 구성 요소에 대해 출력에는
NAME,VERSION,AVAILABLE,PROGRESSING,DEGRADED,SINCE,MESSAGE.출력 예제는 "Initial Operator 구성"을 참조하십시오.
4.7. IBM Power에 호스팅된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
호스팅 클러스터로 작동하도록 클러스터를 구성하여 IBM Power에 호스팅 컨트롤 플레인을 배포할 수 있습니다. 이 구성은 많은 클러스터를 관리하기 위한 효율적이고 확장 가능한 솔루션을 제공합니다. 호스팅 클러스터는 컨트롤 플레인을 호스팅하는 OpenShift Container Platform 클러스터입니다. 호스팅 클러스터를 관리 클러스터라고도 합니다.
관리 클러스터는 관리 클러스터가 아닙니다. 관리형 클러스터는 hub 클러스터가 관리하는 클러스터입니다.
다중 클러스터 엔진 Operator는 관리 허브 클러스터인 기본 로컬 클러스터와 허브 클러스터를 호스팅 클러스터로만 지원합니다.
베어 메탈 인프라에서 호스팅되는 컨트롤 플레인을 프로비저닝하려면 에이전트 플랫폼을 사용할 수 있습니다. 에이전트 플랫폼은 중앙 인프라 관리 서비스를 사용하여 호스팅된 클러스터에 컴퓨팅 노드를 추가합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
중앙 인프라 관리에서 제공하는 검색 이미지를 사용하여 각 IBM Power 호스트를 시작해야 합니다. 각 호스트가 시작되면 에이전트 프로세스를 실행하여 호스트의 세부 정보를 검색하고 설치를 완료합니다. 에이전트 사용자 정의 리소스는 각 호스트를 나타냅니다.
에이전트 플랫폼으로 호스팅된 클러스터를 생성하면 HyperShift가 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다.
4.7.1. IBM Power에서 호스팅된 컨트롤 플레인을 구성하기 위한 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
IBM Power에서 호스팅된 컨트롤 플레인을 구성하려면 사전 요구 사항을 충족해야 합니다.
- Kubernetes Operator 버전 2.7 이상용 멀티 클러스터 엔진은 OpenShift Container Platform 클러스터에 설치됩니다. RHACM(Red Hat Advanced Cluster Management)을 설치할 때 multicluster engine Operator가 자동으로 설치됩니다. OpenShift Container Platform 소프트웨어 카탈로그에서 RHACM 없이 다중 클러스터 엔진 Operator를 Operator로 설치할 수도 있습니다.
다중 클러스터 엔진 Operator에는 하나 이상의 관리형 OpenShift Container Platform 클러스터가 있어야 합니다.
로컬 클러스터관리 허브 클러스터는 다중 클러스터 엔진 Operator 버전 2.7 이상에서 자동으로 가져옵니다.local-cluster에 대한 자세한 내용은 RHACM 설명서의 고급 구성 을 참조하십시오. 다음 명령을 실행하여 허브 클러스터의 상태를 확인할 수 있습니다.$ oc get managedclusters local-cluster- HyperShift Operator를 실행하려면 컴퓨팅 노드가 3개 이상 있는 호스팅 클러스터가 필요합니다.
- 중앙 인프라 관리 서비스를 활성화해야 합니다. 자세한 내용은 "중앙 인프라 관리 서비스 활성화"를 참조하십시오.
- 호스팅된 컨트롤 플레인 명령줄 인터페이스를 설치해야 합니다. 자세한 내용은 "호스트된 컨트롤 플레인 명령줄 인터페이스 설치"를 참조하십시오.
호스트된 컨트롤 플레인 기능은 기본적으로 활성화되어 있습니다. 기능을 비활성화하고 수동으로 기능을 활성화하려면 "호스트된 컨트롤 플레인 기능 수동 활성화"를 참조하십시오. 기능을 비활성화해야 하는 경우 "호스트된 컨트롤 플레인 기능 비활성화"를 참조하십시오.
4.7.2. IBM Power 인프라 요구사항 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 플랫폼은 인프라를 생성하지 않지만 인프라에 대한 리소스가 필요합니다.
- 에이전트: 에이전트 는 검색 이미지로 부팅되고 OpenShift Container Platform 노드로 프로비저닝할 수 있는 호스트를 나타냅니다.
- DNS: API 및 Ingress 끝점은 라우팅할 수 있어야 합니다.
4.7.3. IBM Power에서 호스팅된 컨트롤 플레인에 대한 DNS 구성 링크 복사링크가 클립보드에 복사되었습니다!
네트워크 외부의 클라이언트는 호스팅된 클러스터의 API 서버에 액세스할 수 있습니다. API 서버에 연결할 수 있는 대상을 가리키는 api.<hosted_cluster_name>.<basedomain > 항목에 대한 DNS 항목이 있어야 합니다.
DNS 항목은 호스팅된 컨트롤 플레인을 실행하는 관리 클러스터의 노드 중 하나를 가리키는 레코드만큼 단순할 수 있습니다.
이 항목은 배포된 로드 밸런서를 가리키며 들어오는 트래픽을 인그레스 포드로 리디렉션할 수도 있습니다.
DNS 구성의 다음 예제를 참조하십시오.
$ cat /var/named/<example.krnl.es.zone>
출력 예
$ TTL 900
@ IN SOA bastion.example.krnl.es.com. hostmaster.example.krnl.es.com. (
2019062002
1D 1H 1W 3H )
IN NS bastion.example.krnl.es.com.
;
;
api IN A 1xx.2x.2xx.1xx
api-int IN A 1xx.2x.2xx.1xx
;
;
*.apps.<hosted_cluster_name>.<basedomain> IN A 1xx.2x.2xx.1xx
;
;EOF
api 레코드는 호스팅된 컨트롤 플레인의 수신 및 송신 트래픽을 처리하는 API 로드 밸런서의 IP 주소를 나타냅니다.
IBM Power의 경우 에이전트의 IP 주소에 해당하는 IP 주소를 추가합니다.
설정 예
compute-0 IN A 1xx.2x.2xx.1yy
compute-1 IN A 1xx.2x.2xx.1yy
4.7.3.1. 사용자 정의 DNS 이름 정의 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 노드 부트스트랩 및 컨트롤 플레인 통신에 사용되는 내부 끝점과 다른 외부 API DNS 이름을 사용하여 호스팅 클러스터를 생성할 수 있습니다.
다음과 같은 이유로 다른 DNS 이름을 정의할 수 있습니다.
- 내부 루트 CA에 바인딩되는 컨트롤 플레인 기능을 중단하지 않고 사용자용 TLS 인증서를 공용 CA의 인증서로 교체
- 분할 수평 DNS 및 NAT 시나리오 지원
-
올바른
kubeconfig및 DNS 구성으로Show Login Command기능과 같은 기능을 사용할 수 있는 독립 실행형 컨트롤 플레인과 유사한 환경을 보장하기 위해
HostedCluster 오브젝트의 kubeAPIServerDNSName 매개변수에 도메인 이름을 입력하여 초기 설정 중 또는 설치 후 작업 중에 DNS 이름을 정의할 수 있습니다.
사전 요구 사항
-
kubeAPIServerDNSName매개변수에 설정한 DNS 이름을 다루는 유효한 TLS 인증서가 있습니다. - 올바른 주소에 도달하고 가리킬 수 있는 확인 가능한 DNS 이름 URI가 있습니다.
프로세스
HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수와 도메인의 주소를 추가하고 다음 예와 같이 사용할 인증서를 지정합니다.#... spec: configuration: apiServer: servingCerts: namedCertificates: - names: - xxx.example.com - yyy.example.com servingCertificate: name: <my_serving_certificate> kubeAPIServerDNSName: <custom_address>kubeAPIServerDNSName매개변수의 값은 유효한 도메인이어야 합니다.kubeAPIServerDNSName매개변수를 정의하고 인증서를 지정하면 Control Plane Operator 컨트롤러에서custom-admin-라는 kubeconfig 파일을 생성합니다. 여기서 파일이kubeconfigHostedControlPlane네임스페이스에 저장됩니다. 인증서 생성은 루트 CA에서 발생하며HostedControlPlane네임스페이스는 만료 및 갱신을 관리합니다.Control Plane Operator는
HostedControlPlane네임스페이스에서CustomKubeconfig라는 새kubeconfig파일을 보고합니다. 해당 파일은kubeAPIServerDNSName매개변수에서 정의된 새 서버를 사용합니다.사용자 정의
kubeconfig파일에 대한 참조는HostedCluster오브젝트의CustomKubeconfig로status매개변수에 있습니다.CustomKubeConfig매개변수는 선택 사항이며kubeAPIServerDNSName매개변수가 비어 있지 않은 경우에만 매개변수를 추가할 수 있습니다.CustomKubeConfig매개변수를 설정한 후 매개변수는HostedCluster네임스페이스에서 <hosted_cluster_name>-custom-admin-kubeconfig라는 보안 생성을 트리거합니다. 시크릿을 사용하여HostedClusterAPI 서버에 액세스할 수 있습니다. 설치 후 작업 중에CustomKubeConfig매개변수를 제거하면 모든 관련 보안 및 상태 참조가 삭제됩니다.참고사용자 정의 DNS 이름을 정의해도 데이터 플레인에 직접적인 영향을 미치지 않으므로 예상되는 롤아웃이 발생하지 않습니다.
HostedControlPlane네임스페이스는 HyperShift Operator에서 변경 사항을 수신하고 해당 매개변수를 삭제합니다.HostedCluster오브젝트의 사양에서kubeAPIServerDNSName매개변수를 제거하면 새로 생성된 모든 보안 및CustomKubeconfig참조가 클러스터 및status매개변수에서 제거됩니다.
4.7.4. CLI를 사용하여 호스트된 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 인프라에서는 CLI(명령줄 인터페이스)를 사용하여 호스팅된 클러스터를 가져오거나 생성할 수 있습니다.
지원 설치 관리자를 다중 클러스터 엔진 Operator에 대한 애드온으로 활성화하고 에이전트 플랫폼을 사용하여 호스팅된 클러스터를 생성한 후 HyperShift Operator는 호스팅된 컨트롤 플레인 네임스페이스에 에이전트 클러스터 API 공급자를 설치합니다. 에이전트 클러스터 API 공급자는 컨트롤 플레인과 컴퓨팅 노드로 구성된 호스팅 클러스터를 호스팅하는 관리 클러스터를 연결합니다.
사전 요구 사항
- 각 호스트 클러스터에는 클러스터 전체 이름이 있어야 합니다. 호스팅된 클러스터 이름은 기존 관리 클러스터와 같을 수 없습니다. 그러지 않으면 다중 클러스터 엔진 Operator가 호스팅된 클러스터를 관리할 수 없습니다.
-
클러스터를 호스팅
클러스터이름으로 사용하지 마십시오. - 다중 클러스터 엔진 Operator 관리 클러스터의 네임스페이스에 호스팅 클러스터를 생성할 수 없습니다.
- 최상의 보안 및 관리 관행을 위해 다른 호스팅 클러스터와 별도로 호스팅 클러스터를 생성합니다.
- 클러스터에 대해 기본 스토리지 클래스가 구성되어 있는지 확인합니다. 그러지 않으면 보류 중인 PVC(영구 볼륨 클레임)가 표시될 수 있습니다.
-
기본적으로
hcp create cluster agent명령을 사용하면 명령이 구성된 노드 포트로 호스팅된 클러스터를 생성합니다. 베어 메탈의 호스트 클러스터의 기본 게시 전략은 로드 밸런서를 통해 서비스를 노출합니다. 웹 콘솔을 사용하거나 Red Hat Advanced Cluster Management를 사용하여 호스팅 클러스터를 생성하는 경우 Kubernetes API 서버 이외의 서비스에 게시 전략을 설정하려면HostedCluster사용자 정의 리소스에서servicePublishingStrategy정보를 수동으로 지정해야 합니다. 인프라, 방화벽, 포트 및 서비스와 관련된 요구 사항이 포함된 "하위 메탈의 호스팅 컨트롤 플레인에 대한 요구 사항 필요"에 설명된 요구 사항을 충족해야 합니다. 예를 들어, 이러한 요구 사항은 다음 예제 명령과 같이 관리 클러스터의 베어 메탈 호스트에 적절한 영역 레이블을 추가하는 방법을 설명합니다.
$ oc label node [compute-node-1] topology.kubernetes.io/zone=zone1$ oc label node [compute-node-2] topology.kubernetes.io/zone=zone2$ oc label node [compute-node-3] topology.kubernetes.io/zone=zone3- 하드웨어 인벤토리에 베어 메탈 노드를 추가해야 합니다.
프로세스
다음 명령을 입력하여 네임스페이스를 생성합니다.
$ oc create ns <hosted_cluster_namespace>&
lt;hosted_cluster_namespace>를 호스팅된 클러스터 네임스페이스의 식별자로 바꿉니다. HyperShift Operator는 네임스페이스를 생성합니다. 베어 메탈 인프라에서 호스팅된 클러스터 생성 프로세스 중에 생성된 Cluster API 공급자 역할에 네임스페이스가 이미 있어야 합니다.다음 명령을 입력하여 호스팅된 클러스터에 대한 구성 파일을 생성합니다.
$ hcp create cluster agent \ --name=<hosted_cluster_name> \ --pull-secret=<path_to_pull_secret> \ --agent-namespace=<hosted_control_plane_namespace> \ --base-domain=<base_domain> \ --api-server-address=api.<hosted_cluster_name>.<base_domain> \ --etcd-storage-class=<etcd_storage_class> \ --ssh-key=<path_to_ssh_key> \ --namespace=<hosted_cluster_namespace> \ --control-plane-availability-policy=HighlyAvailable \ --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release_image>-multi \ --node-pool-replicas=<node_pool_replica_count> \ --disable-cluster-capabilities=<capability> \ --enable-cluster-capabilities=<capability> \ --render \ --render-sensitive > hosted-cluster-config.yaml다음과 같습니다.
-
--name은 호스트된 클러스터의 이름을 지정합니다(예: ). -
--pull-secret은/user/name/pullsecret과 같은 풀 시크릿의 경로를 지정합니다. -
--agent-namespace는 호스트된 컨트롤 플레인 네임스페이스(예: cluster-example)를 지정합니다.oc get agent -n <hosted_control_plane_namespace> 명령을 사용하여 이 네임스페이스에서 에이전트를 사용할 수 있는지 확인합니다. -
--base-domain은krnl.es와 같은 기본 도메인을 지정합니다. -
--API-server-address는 호스팅된 클러스터의 Kubernetes API 통신에 사용할 IP 주소를 지정합니다.--api-server-address플래그를 설정하지 않으면 관리 클러스터에 연결하려면 로그인해야 합니다. -
--etcd-storage-class는lvm-storageclass와 같은 etcd 스토리지 클래스 이름을 지정합니다. -
--SSH-key는 SSH 공개 키의 경로를 지정합니다. 기본 파일 경로는~/.ssh/id_rsa.pub입니다. -
--namespace는 호스팅된 클러스터 네임스페이스를 지정합니다. -
--control-plane-availability-policy는 호스팅된 컨트롤 플레인 구성 요소에 대한 가용성 정책을 지정합니다. 지원되는 옵션은SingleReplica및HighlyAvailable입니다. 기본값은HighlyAvailable입니다. -
--release-image는 사용하려는 지원되는 OpenShift Container Platform 버전 (예:5.0.0-multi)을 지정합니다. 연결이 끊긴 환경을 사용하는 경우 <ocp_release_image>를 다이제스트 이미지로 교체합니다. OpenShift Container Platform 릴리스 이미지 다이제스트를 추출하려면 "릴리스 이미지 다이제스트 추출"을 참조하십시오. -
--node-pool-replicas는3과 같은 노드 풀 복제본 수를 지정합니다. 동일한 수의 복제본을 생성하려면 복제본 수를0이상으로 지정해야 합니다. 그렇지 않으면 노드 풀을 생성하지 않습니다. -
--disable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 비활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--enable-cluster-capabilities는 호스팅 클러스터에서 선택적 기능을 활성화하도록 지정합니다. 이 플래그는 선택 사항입니다. 자세한 내용은 "호스트 클러스터의 기능"을 참조하십시오. -
--render는 클러스터에 리소스를 적용하는 대신 출력을 stdout에 YAML로 렌더링합니다. 기본적으로 보안은 렌더링된 출력에 포함되지 않습니다. -
--render-sensitive에는--render플래그와 함께 사용할 때 렌더링된 출력에 시크릿이 포함됩니다.
-
서비스 게시 전략을 구성합니다. 노드 포트는 추가 인프라 없이 항상 사용할 수 있으므로 호스트된 클러스터는
NodePort서비스 게시 전략을 사용합니다. 그러나 로드 밸런서를 사용하도록 서비스 게시 전략을 구성할 수 있습니다.-
기본
NodePort전략을 사용하는 경우 관리 클러스터 노드가 아닌 호스팅 클러스터 컴퓨팅 노드를 가리키도록 DNS를 구성합니다. 자세한 내용은 " bare metal의 DNS 구성"을 참조하십시오. 프로덕션 환경의 경우 이 전략이 인증서 처리 및 자동 DNS 확인을 제공하므로
LoadBalancer전략을 사용합니다. 다음 예제에서는 호스팅된 클러스터 구성 파일에서LoadBalancer전략을 변경하는 방법을 보여줍니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: # ... spec: services: - service: APIServer servicePublishingStrategy: type: LoadBalancer - service: Ignition servicePublishingStrategy: type: Route - service: Konnectivity servicePublishingStrategy: type: Route - service: OAuthServer servicePublishingStrategy: type: Route - service: OIDC servicePublishingStrategy: type: Route sshKey: name: <ssh_key> # ...LoadBalancer를 API 서버 유형으로 지정합니다. 기타 모든 서비스에 대해Route를 유형으로 지정합니다.
-
기본
외부 로드 밸런서를 사용하는 경우 다음 예에 표시된 대로 Ingress 끝점을 구성합니다. 끝점을 구성하지 않으면 기본 동작은 서비스에서 수신을 노출하는 노드 포트를 임의화하는 것입니다. Ingress 컨트롤러에서 기본 수신 경로를 게시하는 방법을 구성하려면
HostedCluster리소스를 편집하여endpointPublishingStrategy매개변수 및 기본 기능을 설정합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: #... spec: operatorConfiguration: ingressOperator: endpointPublishingStrategy: hostNetwork: httpPort: 80 httpsPort: 443 protocol: TCP statsPort: 1936 type: HostNetwork #...spec.operatorConfiguration.ingressOperator.endPointPublishingStrategy.type매개변수는 로드 밸런서의 끝점을 지정합니다. 베어 메탈 설치의 경우HostNetwork유형을 사용합니다.다음 명령을 입력하여 호스팅 클러스터 구성 파일에 변경 사항을 적용합니다.
$ oc apply -f hosted_cluster_config.yaml다음 명령을 입력하여 호스팅된 클러스터, 노드 풀 및 Pod 생성을 확인합니다.
$ oc get hostedcluster \ <hosted_cluster_namespace> -n \ <hosted_cluster_namespace> -o \ jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .$ oc get nodepool \ <hosted_cluster_namespace> -n \ <hosted_cluster_namespace> -o \ jsonpath='{.status.conditions[?(@.status=="False")]}' | jq .$ oc get pods -n <hosted_cluster_namespace>-
호스트 클러스터가 준비되었는지 확인합니다.
Available: True는 클러스터의 준비 상태를 나타내며 노드 풀 상태에AllMachinesReady: True가 표시됩니다. 이러한 상태는 모든 클러스터 Operator의 상태를 나타냅니다. 호스팅된 클러스터에 MetalLB를 설치합니다.
호스트 클러스터에서
kubeconfig파일을 추출하고 다음 명령을 입력하여 호스팅된 클러스터 액세스의 환경 변수를 설정합니다.$ oc get secret \ <hosted_cluster_namespace>-admin-kubeconfig \ -n <hosted_cluster_namespace> \ -o jsonpath='{.data.kubeconfig}' \ | base64 -d > \ kubeconfig-<hosted_cluster_namespace>.yaml$ export KUBECONFIG="/path/to/kubeconfig-<hosted_cluster_namespace>.yaml"install-metallb-operator.yaml파일을 생성하여 MetalLB Operator를 설치합니다.apiVersion: v1 kind: Namespace metadata: name: metallb-system --- apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: metallb-operator namespace: metallb-system --- apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: metallb-operator namespace: metallb-system spec: channel: "stable" name: metallb-operator source: redhat-operators sourceNamespace: openshift-marketplace installPlanApproval: Automatic # ...다음 명령을 입력하여 파일을 적용합니다.
$ oc apply -f install-metallb-operator.yamldeploy-metallb-ipaddresspool.yaml파일을 생성하여 MetalLB IP 주소 풀을 구성합니다.apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: metallb namespace: metallb-system spec: autoAssign: true addresses: - 10.11.176.71-10.11.176.75 --- apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: l2advertisement namespace: metallb-system spec: ipAddressPools: - metallb # ...다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f deploy-metallb-ipaddresspool.yaml다음 명령을 입력하여 Operator 상태, IP 주소 풀,
L2Advertisement리소스를 확인하여 MetalLB의 설치를 확인합니다.$ oc get pods -n metallb-system$ oc get ipaddresspool -n metallb-system$ oc get l2advertisement -n metallb-system
Ingress에 대한 로드 밸런서를 구성합니다.
ingress-loadbalancer.yaml파일을 생성합니다.apiVersion: v1 kind: Service metadata: annotations: metallb.universe.tf/address-pool: metallb name: metallb-ingress namespace: openshift-ingress spec: ports: - name: http protocol: TCP port: 80 targetPort: 80 - name: https protocol: TCP port: 443 targetPort: 443 selector: ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default type: LoadBalancer # ...다음 명령을 입력하여 구성을 적용합니다.
$ oc apply -f ingress-loadbalancer.yaml다음 명령을 입력하여 로드 밸런서 서비스가 예상대로 작동하는지 확인합니다.
$ oc get svc metallb-ingress -n openshift-ingress출력 예
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE metallb-ingress LoadBalancer 172.31.127.129 10.11.176.71 80:30961/TCP,443:32090/TCP 16h
로드 밸런서에서 작동하도록 DNS를 구성합니다.
-
로드 밸런서 IP 주소에
*.> 와일드카드 DNS 레코드를 가리켜 apps 도메인의 DNS를 구성합니다.apps.<hosted_cluster_namespace>.<base_domain 다음 명령을 입력하여 DNS 확인을 확인합니다.
$ nslookup console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain> <load_balancer_ip_address>출력 예
Server: 10.11.176.1 Address: 10.11.176.1#53 Name: console-openshift-console.apps.my-hosted-cluster.sample-base-domain.com Address: 10.11.176.71
-
로드 밸런서 IP 주소에
검증
다음 명령을 입력하여 클러스터 Operator를 확인합니다.
$ oc get clusteroperators모든 Operator에
AVAILABLE: True,PROGRESSING: False,DEGRADED: False가 표시되는지 확인합니다.다음 명령을 입력하여 노드를 확인합니다.
$ oc get nodes각 노드에
READY상태가 있는지 확인합니다.웹 브라우저에 다음 URL을 입력하여 콘솔에 대한 액세스를 테스트합니다.
https://console-openshift-console.apps.<hosted_cluster_namespace>.<base_domain>
4.7.5. 호스트된 클러스터의 기능 링크 복사링크가 클립보드에 복사되었습니다!
리소스 사용을 줄이고 불필요한 Operator 및 피연산자가 배포되지 않도록 하려면 관리자는 호스트 클러스터를 생성할 때 선택적 OpenShift Container Platform 구성 요소를 활성화하거나 비활성화할 수 있습니다.
HostedCluster 리소스에 기능이 지정되지 않은 경우 클러스터는 baremetal 기능을 제외한 OpenShift Container Platform 버전의 DefaultCapabilitySet 설정을 사용합니다. 결과적으로 대부분의 선택적 구성 요소가 기본적으로 활성화됩니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
4.7.5.1. 호스팅된 클러스터에 대해 활성화 또는 비활성화할 수 있는 기능 링크 복사링크가 클립보드에 복사되었습니다!
HostedCluster 리소스에 대해 활성화 또는 비활성화할 수 있는 지원되는 기능을 숙지합니다.
기능은 다음 표에 설명되어 있습니다.
| 기능 | 설명 |
|---|---|
|
| S3 버킷 및 IAM(Identity and Access Management) 사용자와 같은 클라우드 스토리지 인프라를 포함한 OpenShift Image Registry Operator 및 해당 피연산자입니다. |
|
|
이미지 스트림 및 템플릿 예제를 관리하는 OpenShift Samples Operator |
|
| Insights Operator: 클러스터 Telemetry 데이터를 수집하고 업로드합니다. |
|
| Bare Metal Infrastructure Operator입니다. 이 기능은 기본 세트에서 제외됩니다. 필요한 경우 명시적으로 활성화해야 합니다. |
|
| OpenShift Web Console Operator 및 해당 피연산자. |
|
| TuneD 및 성능 프로필을 사용하여 노드 수준 성능 튜닝을 관리하는 Node Tuning Operator입니다. |
|
| 클러스터의 기본 라우터를 관리하는 OpenShift Ingress Operator입니다. |
기능 설정을 결합할 때 다음 규칙이 적용됩니다.
- 겹치지 않음
-
기능은
enabled및disabled목록에 동시에 있을 수 없습니다. - 콘솔에는 인그레스가 필요합니다.
-
콘솔 기능이
Ingress에 따라 다르기 때문에콘솔기능이 비활성화된 경우에만 Ingress 기능을 비활성화할 수 있습니다. - 버전 요구 사항
-
OpenShift Container Platform 4.20 이상을 사용하여
openshift-samples,Insights,Console,NodeTuning등의 기능을 비활성화해야합니다. 4.20 이전 버전에서ImageRegistry및baremetal을 비활성화할 수 있습니다. - 베어 메탈 기본 제외
-
baremetal기능은 기본 세트에서 제외됩니다. 명시적으로 활성화하여 클러스터에 추가할 수 있습니다.
4.7.5.2. 호스트 클러스터의 기능 설정 링크 복사링크가 클립보드에 복사되었습니다!
불필요한 리소스 사용을 줄이기 위해 클러스터를 생성할 때 호스트 클러스터에 대해 활성화된 선택적 기능을 제어할 수 있습니다.
기능은 클러스터 생성 후 변경할 수 없습니다. HostedCluster 리소스를 생성한 후에는 변경할 수 없습니다.
hcp CLI(명령줄 인터페이스)를 사용하거나 HostedCluster 매니페스트를 설정하여 활성화할 기능을 지정할 수 있습니다.
절차
CLI를 사용하여 호스트 클러스터에서 활성화되는 기능을 지정하려면
--disable-cluster-capabilities플래그,--enable-cluster-capabilities플래그 또는 둘 다 추가할 수 있습니다. 다음 예제에서는hcp명령줄 인터페이스를 사용하여ImageRegistry,Console,Ingress기능을 비활성화하고baremetal기능을 활성화하는 방법을 보여줍니다.$ hcp create cluster aws \ --name my-hosted-cluster \ --disable-cluster-capabilities=ImageRegistry,Console,Ingress \ --enable-cluster-capabilities=baremetal여러 기능을 쉼표로 구분된 목록으로 지정할 수 있습니다. 지원되는 값은 다음과 같습니다.
-
imageregistry -
openshift-samples -
Insights -
baremetal -
콘솔 -
NodeTuning -
Ingress
-
클러스터 생성 시
HostedCluster매니페스트를 사용하여 호스팅 클러스터에서 활성화되는 기능을 지정하려면 다음 예제를 참조하십시오.호스트 클러스터에서 기능을 직접 비활성화하려면
HostedCluster리소스에서spec.capabilities.disabled섹션을 추가합니다.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: disabled: - ImageRegistry - Console - Ingress # ...baremetal기능과 같은 기본 기능 세트의 일부가 아닌 기능을 명시적으로 활성화하려면 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal # ...두 목록에 기능이 없는 경우
enabled및disabled를 모두 사용할 수 있습니다. 다음 예제를 참조하십시오.apiVersion: hypershift.openshift.io/v1beta1 kind: HostedCluster metadata: name: my-hosted-cluster namespace: my-cluster-namespace spec: capabilities: enabled: - baremetal disabled: - ImageRegistry - openshift-samples # ...
4.7.6. 에이전트 호스트 클러스터에서 이기종 노드 풀 생성 정보 링크 복사링크가 클립보드에 복사되었습니다!
노드 풀은 동일한 구성을 공유하는 클러스터 내의 노드 그룹입니다. 이기종 노드 풀은 다양한 워크로드에 대해 풀을 생성하고 최적화할 수 있도록 다양한 구성을 제공합니다.
에이전트 플랫폼에서 이기종 노드 풀을 생성할 수 있습니다. 이 플랫폼을 사용하면 클러스터에서 단일 호스트 클러스터 내에서 x86_64 또는 ppc64le 과 같은 다양한 머신 유형을 실행할 수 있습니다.
이기종 노드 풀을 생성하려면 다음 일반 단계를 완료해야 합니다.
-
AgentServiceConfigCR(사용자 정의 리소스)을 생성하여 Operator에 데이터베이스 및 파일 시스템과 같은 구성 요소에 필요한 스토리지 양을 알려줍니다. CR은 지원할 OpenShift Container Platform 버전도 정의합니다. - 에이전트 클러스터를 생성합니다.
- 이기종 노드 풀을 생성합니다.
- 호스팅된 컨트롤 플레인의 DNS 구성
-
각 아키텍처에 대한
InfraEnvCR(사용자 정의 리소스)을 생성합니다. - 이기종 클러스터에 에이전트를 추가합니다.
4.7.6.1. AgentServiceConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 호스트 클러스터에서 이기종 노드 풀을 생성하려면 두 가지 이기종 아키텍처 운영 체제(OS) 이미지로 AgentServiceConfig CR을 생성해야 합니다.
프로세스
다음 명령을 실행합니다.
$ envsubst <<"EOF" | oc apply -f - apiVersion: agent-install.openshift.io/v1beta1 kind: AgentServiceConfig metadata: name: agent spec: databaseStorage: accessModes: - ReadWriteOnce resources: requests: storage: <db_volume_name> filesystemStorage: accessModes: - ReadWriteOnce resources: requests: storage: <fs_volume_name> osImages: - openshiftVersion: <ocp_version> version: <ocp_release_version_x86> url: <iso_url_x86> rootFSUrl: <root_fs_url_x86> cpuArchitecture: <arch_x86> - openshiftVersion: <ocp_version> version: <ocp_release_version_ppc64le> url: <iso_url_ppc64le> rootFSUrl: <root_fs_url_ppc64le> cpuArchitecture: <arch_ppc64le> EOF다음과 같습니다.
<db_volume_name>-
Kubernetes Operator
agentserviceconfig구성의 다중 클러스터 엔진, 데이터베이스 볼륨 이름을 지정합니다. <fs_volume_name>-
다중 클러스터 엔진 Operator
agentserviceconfig구성, 파일 시스템 볼륨 이름을 지정합니다. <ocp_version>- OpenShift Container Platform의 현재 버전을 지정합니다.
<ocp_release_version_x86>- x86의 현재 OpenShift Container Platform 릴리스 버전을 지정합니다.
<iso_url_x86>- x86의 ISO URL을 지정합니다.
<root_fs_url_x86>- x86의 루트 파일 시스템 URL을 지정합니다.
<arch_x86>- x86의 CPU 아키텍처를 지정합니다.
<ocp_release_version_ppc64le>-
ppc64le의 OpenShift Container Platform 릴리스 버전을 지정합니다. <iso_url_ppc64le>-
ppc64le의 ISO URL을 지정합니다. <root_fs_url_ppc64le>-
ppc64le의 루트 파일 시스템 URL을 지정합니다. <arch_ppc64le>-
ppc64le의 CPU 아키텍처를 지정합니다.
4.7.6.2. 에이전트 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
에이전트 기반 접근 방식은 에이전트 클러스터를 관리하고 프로비저닝합니다. 에이전트 클러스터는 이기종 노드 풀을 사용하여 동일한 클러스터 내에서 다양한 유형의 컴퓨팅 노드를 사용할 수 있습니다.
사전 요구 사항
- 호스트된 클러스터를 생성할 때 이기종 노드 풀을 지원할 수 있도록 다중 아키텍처 릴리스 이미지를 사용했습니다. "Multi-arch 릴리스 이미지" 페이지에서 최신 다중 아키텍처 이미지를 찾습니다.
절차
다음 명령을 실행하여 클러스터 네임스페이스의 환경 변수를 생성합니다.
$ export CLUSTERS_NAMESPACE=<hosted_cluster_namespace>다음 명령을 실행하여 시스템 클래스리스 도메인 간 라우팅(CIDR) 표기법에 대한 환경 변수를 생성합니다.
$ export MACHINE_CIDR=192.168.122.0/24다음 명령을 실행하여 호스팅된 제어 네임스페이스를 생성합니다.
$ oc create ns <hosted_control_plane_namespace>다음 명령을 실행하여 클러스터를 생성합니다.
$ hcp create cluster agent \ --name=<hosted_cluster_name> \ --pull-secret=<pull_secret_file> \ --agent-namespace=<hosted_control_plane_namespace> \ --base-domain=<base_domain> \ --api-server-address=api.<hosted_cluster_name>.<basedomain> \ --release-image=quay.io/openshift-release-dev/ocp-release:<ocp_release>다음과 같습니다.
<hosted_cluster_name>- 호스팅된 클러스터 이름을 지정합니다.
<pull_secret_file>- 풀 시크릿 파일 경로를 지정합니다.
<hosted_control_plane_namespace>- 호스팅된 컨트롤 플레인의 네임스페이스를 지정합니다.
<base_domain>- 호스팅된 클러스터의 기본 도메인을 지정합니다.
<ocp_release>- 현재 OpenShift Container Platform 릴리스 버전을 지정합니다.
4.7.6.3. 이기종 노드 풀 생성 링크 복사링크가 클립보드에 복사되었습니다!
NodePool CR(사용자 정의 리소스)을 사용하여 이기종 노드 풀을 생성하여 다른 워크로드를 특정 하드웨어와 연결하여 비용 및 성능을 최적화할 수 있습니다.
프로세스
NodePoolCR을 정의하려면 다음 예와 유사한 YAML 파일을 생성합니다.envsubst <<"EOF" | oc apply -f - apiVersion:apiVersion: hypershift.openshift.io/v1beta1 kind: NodePool metadata: name: <hosted_cluster_name> namespace: <clusters_namespace> spec: arch: <arch_ppc64le> clusterName: <hosted_cluster_name> management: autoRepair: false upgradeType: InPlace nodeDrainTimeout: 0s nodeVolumeDetachTimeout: 0s platform: agent: agentLabelSelector: matchLabels: inventory.agent-install.openshift.io/cpu-architecture: <arch_ppc64le> type: Agent release: image: quay.io/openshift-release-dev/ocp-release:<ocp_release> replicas: 0 EOF<arch_ppc64le>: selector 블록은 지정된 라벨과 일치하는 에이전트를 선택합니다. 복제본이 0인 아키텍처ppc64le의 노드 풀을 생성하려면ppc64le을 지정합니다. 이렇게 하면 선택기 블록이 확장 작업 중에ppc64le아키텍처에서 에이전트만 선택합니다.
4.7.6.4. 호스트된 컨트롤 플레인의 DNS 구성 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인의 DNS(Domain Name Service) 구성은 클라이언트가 내부 구성 요소로 트래픽을 라우팅할 수 있도록 외부 클라이언트가 Ingress 컨트롤러에 도달할 수 있음을 의미합니다. 이 설정을 구성하면 트래픽이 ppc64le 또는 x86_64 컴퓨팅 노드로 라우팅됩니다.
수신 애플리케이션을 호스팅하는 컴퓨팅 노드 중 하나에 *.apps.<cluster_name > 레코드를 가리킬 수 있습니다. 또는 컴퓨팅 노드 상단에 로드 밸런서를 설정할 수 있는 경우 이 로드 밸런서에 레코드를 지정합니다. 이기종 노드 풀을 생성할 때 컴퓨팅 노드가 서로 도달하거나 동일한 네트워크에 유지할 수 있는지 확인합니다.
4.7.6.5. 인프라 환경 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
이기종 노드 풀의 경우 각 아키텍처에 대해 infraEnv CR(사용자 정의 리소스)을 생성해야 합니다. 이 구성을 사용하면 노드 프로비저닝 프로세스 중에 올바른 아키텍처별 운영 체제 및 부팅 아티팩트를 사용할 수 있습니다.
예를 들어 x86_64 및 ppc64le 아키텍처가 있는 노드 풀의 경우 x86_64 및 ppc64le 에 대한 InfraEnv CR을 생성합니다.
절차를 시작하기 전에 x86_64 및 ppc64le 아키텍처의 운영 체제 이미지를 AgentServiceConfig 리소스에 추가합니다. 이 후 InfraEnv 리소스를 사용하여 최소 ISO 이미지를 가져올 수 있습니다.
프로세스
다음 명령을 실행하여 이기종 노드 풀용
x86_64아키텍처를 사용하여InfraEnv리소스를 생성합니다.$ envsubst <<"EOF" | oc apply -f - apiVersion: agent-install.openshift.io/v1beta1 kind: InfraEnv metadata: name: <hosted_cluster_name>-<arch_x86> namespace: <hosted_control_plane_namespace> spec: cpuArchitecture: <arch_x86> pullSecretRef: name: pull-secret sshAuthorizedKey: <ssh_pub_key> EOF다음과 같습니다.
<hosted_cluster_name>- 호스팅된 클러스터 이름을 지정합니다.
<arch_x86>-
x86_64아키텍처를 지정합니다. <hosted_control_plane_namespace>- 호스팅된 컨트롤 플레인 네임스페이스를 지정합니다.
<ssh_pub_key>- SSH 공개 키를 지정합니다.
다음 명령을 실행하여 이기종 노드 풀에 대한
ppc64le아키텍처를 사용하여InfraEnv리소스를 생성합니다.envsubst <<"EOF" | oc apply -f - apiVersion: agent-install.openshift.io/v1beta1 kind: InfraEnv metadata: name: <hosted_cluster_name>-<arch_ppc64le> namespace: <hosted_control_plane_namespace> spec: cpuArchitecture: <arch_ppc64le> pullSecretRef: name: pull-secret sshAuthorizedKey: <ssh_pub_key> EOF다음과 같습니다.
<hosted_cluster_name>- 호스팅된 클러스터 이름을 지정합니다.
<arch_ppc64le>-
ppc64le아키텍처를 지정합니다. <hosted_control_plane_namespace>- 호스팅된 컨트롤 플레인 네임스페이스를 지정합니다.
<ssh_pub_key>- SSH 공개 키를 지정합니다.
다음 명령을 실행하여
InfraEnv리소스가 성공적으로 생성되었는지 확인합니다.x86_64InfraEnv리소스가 성공적으로 생성되었는지 확인합니다.$ oc describe InfraEnv <hosted_cluster_name>-<arch_x86>ppc64leInfraEnv리소스가 성공적으로 생성되었는지 확인합니다.$ oc describe InfraEnv <hosted_cluster_name>-<arch_ppc64le>
다음 명령을 실행하여 가상 머신 또는 베어 메탈 머신이 에이전트로 결합할 수 있는 라이브 ISO를 생성합니다.
x86_64용 라이브 ISO를 생성합니다.$ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name>-<arch_x86> -ojsonpath="{.status.isoDownloadURL}"ppc64le의 라이브 ISO를 생성합니다.$ oc -n <hosted_control_plane_namespace> get InfraEnv <hosted_cluster_name>-<arch_ppc64le> -ojsonpath="{.status.isoDownloadURL}"
4.7.6.6. 이기종 클러스터에 에이전트 추가 링크 복사링크가 클립보드에 복사되었습니다!
라이브 ISO로 부팅하도록 시스템을 수동으로 구성하여 에이전트를 추가합니다. 라이브 ISO를 다운로드하여 베어 메탈 노드 또는 가상 머신을 부팅하는 데 사용할 수 있습니다.
부팅 시 노드는 assisted-service 와 통신하고 InfraEnv 리소스와 동일한 네임스페이스에 에이전트로 등록합니다. 각 에이전트를 생성한 후 사양에 installation_disk_id 및 hostname 매개변수를 선택적으로 설정할 수 있습니다. 그런 다음 에이전트를 승인하여 에이전트를 사용할 준비가 되었다고 표시할 수 있습니다.
프로세스
다음 명령을 실행하여 에이전트 목록을 가져옵니다.
$ oc -n <hosted_control_plane_namespace> get agents출력 예
NAME CLUSTER APPROVED ROLE STAGE 86f7ac75-4fc4-4b36-8130-40fa12602218 auto-assign e57a637f-745b-496e-971d-1abbf03341ba auto-assign다음 명령을 실행하여 에이전트를 패치합니다.
$ oc -n <hosted_control_plane_namespace> patch agent 86f7ac75-4fc4-4b36-8130-40fa12602218 -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-0.example.krnl.es"}}' --type merge다음 명령을 실행하여 두 번째 에이전트를 패치합니다.
$ oc -n <hosted_control_plane_namespace> patch agent 23d0c614-2caa-43f5-b7d3-0b3564688baa -p '{"spec":{"installation_disk_id":"/dev/sda","approved":true,"hostname":"worker-1.example.krnl.es"}}' --type merge다음 명령을 실행하여 에이전트 승인 상태를 확인합니다.
$ oc -n <hosted_control_plane_namespace> get agents출력 예
NAME CLUSTER APPROVED ROLE STAGE 86f7ac75-4fc4-4b36-8130-40fa12602218 true auto-assign e57a637f-745b-496e-971d-1abbf03341ba true auto-assign
4.7.6.7. 노드 풀 확장 링크 복사링크가 클립보드에 복사되었습니다!
에이전트를 승인한 후 노드 풀을 확장할 수 있습니다. 노드 풀에서 구성한 agentLabelSelector 값은 일치하는 에이전트만 클러스터에 추가되도록 합니다. 또한 노드 풀을 축소하는 데 도움이 됩니다.
클러스터에서 특정 아키텍처 노드를 제거하려면 해당 노드 풀을 축소합니다.
프로세스
다음 명령을 실행하여 노드 풀을 확장합니다.
$ oc -n <clusters_namespace> scale nodepool <nodepool_name> --replicas 2참고Cluster API 에이전트 공급자는 두 에이전트를 임의로 선택하여 호스팅된 클러스터에 할당합니다. 이러한 에이전트는 다른 상태를 통과한 다음 호스팅된 클러스터에 OpenShift Container Platform 노드로 참여합니다. 다양한 에이전트 상태는
바인딩이며,검색,충분하지 않음,,설치중 , 진행 중추가-기존-클러스터.
검증
다음 명령을 실행하여 에이전트를 나열합니다.
$ oc -n <hosted_control_plane_namespace> get agent출력 예
NAME CLUSTER APPROVED ROLE STAGE 4dac1ab2-7dd5-4894-a220-6a3473b67ee6 hypercluster1 true auto-assign d9198891-39f4-4930-a679-65fb142b108b true auto-assign da503cf1-a347-44f2-875c-4960ddb04091 hypercluster1 true auto-assign다음 명령을 실행하여 특정 확장 에이전트의 상태를 확인합니다.
$ oc -n <hosted_control_plane_namespace> get agent -o jsonpath='{range .items[*]}BMH: {@.metadata.labels.agent-install\.openshift\.io/bmh} Agent: {@.metadata.name} State: {@.status.debugInfo.state}{"\n"}{end}'출력 예
BMH: ocp-worker-2 Agent: 4dac1ab2-7dd5-4894-a220-6a3473b67ee6 State: binding BMH: ocp-worker-0 Agent: d9198891-39f4-4930-a679-65fb142b108b State: known-unbound BMH: ocp-worker-1 Agent: da503cf1-a347-44f2-875c-4960ddb04091 State: insufficient에이전트가
add-to-existing-cluster상태에 도달한 후 다음 명령을 실행하여 OpenShift Container Platform 노드가 준비되었는지 확인합니다.$ oc --kubeconfig <hosted_cluster_name>.kubeconfig get nodes출력 예
NAME STATUS ROLES AGE VERSION ocp-worker-1 Ready worker 5m41s v1.24.0+3882f8f ocp-worker-2 Ready worker 6m3s v1.24.0+3882f8f노드에 워크로드를 추가하면 일부 클러스터 Operator를 조정할 수 있습니다. 다음 명령은 노드 풀을 확장한 후 발생한 두 개의 머신 생성을 표시합니다.
$ oc -n <hosted_control_plane_namespace> get machines출력 예
NAME CLUSTER NODENAME PROVIDERID PHASE AGE VERSION hypercluster1-c96b6f675-m5vch hypercluster1-b2qhl ocp-worker-1 agent://da503cf1-a347-44f2-875c-4960ddb04091 Running 15m 4.11.5 hypercluster1-c96b6f675-tl42p hypercluster1-b2qhl ocp-worker-2 agent://4dac1ab2-7dd5-4894-a220-6a3473b67ee6 Running 15m 4.11.5
4.8. OpenStack에 호스팅된 컨트롤 플레인 배포 링크 복사링크가 클립보드에 복사되었습니다!
RHOSP(Red Hat OpenStack Platform)에 호스팅된 컨트롤 플레인 클러스터를 배포하는 것은 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
RHOSP(Red Hat OpenStack Platform) 17.1에서 실행되는 호스팅된 클러스터로 호스팅되는 컨트롤 플레인을 배포할 수 있습니다.
호스팅 클러스터는 관리 클러스터에서 호스팅되 는 API 끝점 및 컨트롤 플레인이 있는 OpenShift Container Platform 클러스터입니다. 호스트된 컨트롤 플레인을 사용하면 각 컨트롤 플레인의 전용 가상 또는 물리적 시스템 필요 없이 컨트롤 플레인이 관리 클러스터에 Pod로 존재합니다.
4.8.1. OpenStack 사전 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
RHOSP(Red Hat OpenStack Platform)에서 호스트된 클러스터를 생성하기 전에 사전 요구 사항을 충족해야 합니다.
- 관리 OpenShift Container Platform 클러스터 버전 4.17 이상에 대한 관리자 액세스 권한이 있어야 합니다. 이 클러스터는 베어 메탈, RHOSP 또는 지원되는 퍼블릭 클라우드에서 실행할 수 있습니다.
- HyperShift Operator는 "호스팅된 컨트롤 플레인 배포 준비"에 지정된 관리 클러스터에 설치됩니다.
- 관리 클러스터는 OVN-Kubernetes를 기본 Pod 네트워크 CNI로 사용하여 구성됩니다.
-
OpenShift CLI(
oc) 및 호스팅된 컨트롤 플레인 CLI,hcp가 설치됩니다. 로드 밸런서 백엔드(예: Octavia)는 관리 OCP 클러스터에 설치됩니다. 호스트된 각 클러스터에 대해
kube-api서비스를 생성하려면 로드 밸런서가 필요합니다.- ingress가 Octavia 로드 밸런싱으로 구성되면 RHOSP Octavia 서비스가 게스트 클러스터를 호스팅하는 클라우드에서 실행되고 있습니다.
-
quay.io/openshift-release-dev리포지토리에 유효한 풀 시크릿 파일이 있습니다. -
게스트 클러스터에서 관리 클러스터의 기본 외부 네트워크에 연결할 수 있습니다. 이 네트워크에
kube-apiserver로드 밸런서 유형 서비스가 생성됩니다. 수신에 사전 정의된 유동 IP 주소를 사용하는 경우 다음 와일드카드 도메인에 대한 DNS 레코드를 생성했습니다
. *.apps.<cluster_name>.<base_domain> .-
<CLUSTER_NAME>은 관리 클러스터의 이름입니다. -
<base_domain>은 클러스터의 애플리케이션이 있는 상위 DNS 도메인입니다.
-
추가 리소스
4.8.2. etcd 로컬 스토리지를 위한 관리 클러스터 준비 링크 복사링크가 클립보드에 복사되었습니다!
RHOSP(Red Hat OpenStack Platform)에 호스트된 컨트롤 플레인 배포에서는 기본 Cinder 기반 PVC(영구 볼륨 클레임)를 사용하는 대신 TopoLVM CSI 드라이버로 프로비저닝된 로컬 임시 스토리지를 사용하여 etcd 성능을 향상시킬 수 있습니다.
사전 요구 사항
- HyperShift가 설치된 관리 클러스터에 액세스할 수 있습니다.
- RHOSP 플레이버 및 머신 세트를 생성하고 관리할 수 있습니다.
-
oc및openstackCLI 툴이 설치되어 구성되어 있습니다. - TopoLVM 및 LVM(Logical Volume Manager) 스토리지 개념에 대해 잘 알고 있습니다.
- 관리 클러스터에 LVM Storage Operator가 설치되어 있어야 합니다. 자세한 내용은 OpenShift Container Platform 설명서의 스토리지 섹션에서 "CLI를 사용하여 LVM 스토리지 설치"를 참조하십시오.
프로세스
openstackCLI를 사용하여 추가 임시 디스크로 Nova 플레이버를 만듭니다. 예를 들면 다음과 같습니다.$ openstack flavor create \ --id auto \ --ram 8192 \ --disk 0 \ --ephemeral 100 \ --vcpus 4 \ --public \ hcp-etcd-ephemeral참고해당 플레이버를 사용하여 서버를 생성할 때 Nova에서 임시 디스크를 인스턴스에 자동으로 연결하고
vfat로 포맷합니다.- 새 플레이버를 사용하는 컴퓨팅 시스템 세트를 생성합니다. 자세한 내용은 OpenShift Container Platform 설명서의 "OpenStack에서 컴퓨팅 머신 세트 생성"을 참조하십시오.
- 요구 사항에 맞게 머신 세트를 확장합니다. 고가용성을 위해 클러스터를 배포하는 경우 포드를 적절하게 배포할 수 있도록 최소 3개의 작업자를 배포해야 합니다.
새 작업자 노드에 레이블을 지정하여 etcd 사용을 식별합니다. 예를 들면 다음과 같습니다.
$ oc label node <node_name> hypershift-capable=true이 레이블은 임의의 레이블입니다. 나중에 업데이트할 수 있습니다.
lvmcluster.yaml이라는 파일에서 etcd의 로컬 스토리지 구성에 다음LVMCluster사용자 지정 리소스를 생성합니다.apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: etcd-hcp namespace: openshift-storage spec: storage: deviceClasses: - name: etcd-class default: true nodeSelector: nodeSelectorTerms: - matchExpressions: - key: hypershift-capable operator: In values: - "true" deviceSelector: forceWipeDevicesAndDestroyAllData: true paths: - /dev/vdb이 예에서 resource는 다음과 같습니다.
-
임시 디스크 위치는 대부분의 경우
/dev/vdb입니다. 경우에 따라 이 위치가 true인지 확인하고 심볼릭 링크가 지원되지 않습니다. -
기본 Nova 임시 디스크가 VFAT 형식으로 포맷되므로 매개 변수
forceWipeDevicesAndDestroyAllData가True값으로 설정됩니다.
-
임시 디스크 위치는 대부분의 경우
다음 명령을 실행하여
LVMCluster리소스를 적용합니다.oc apply -f lvmcluster.yaml다음 명령을 실행하여
LVMCluster리소스를 확인합니다.$ oc get lvmcluster -A출력 예
NAMESPACE NAME STATUS openshift-storage etcd-hcp Ready다음 명령을 실행하여
StorageClass리소스를 확인합니다.$ oc get storageclass출력 예
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE lvms-etcd-class topolvm.io Delete WaitForFirstConsumer true 23m standard-csi (default) cinder.csi.openstack.org Delete WaitForFirstConsumer true 56m이제 성능이 높은 etcd 구성으로 호스팅 클러스터를 배포할 수 있습니다. 배포 프로세스는 "OpenStack에서 호스트된 클러스터 생성"에 설명되어 있습니다.
4.8.3. Ingress를 위한 유동 IP 생성 링크 복사링크가 클립보드에 복사되었습니다!
수동으로 개입하지 않고 호스팅 클러스터에서 수신을 사용하려면 유동 IP 주소를 미리 생성할 수 있습니다.
사전 요구 사항
- RHOSP(Red Hat OpenStack Platform) 클라우드에 액세스할 수 있습니다.
수신에 사전 정의된 유동 IP 주소를 사용하는 경우 다음 와일드카드 도메인에 대한 DNS 레코드를 생성했습니다
. *.apps.<cluster_name>.<base_domain> .-
<CLUSTER_NAME>은 관리 클러스터의 이름입니다. -
<base_domain>은 클러스터의 애플리케이션이 있는 상위 DNS 도메인입니다.
-
프로세스
다음 명령을 실행하여 유동 IP 주소를 만듭니다.
$ openstack floating ip create <external_network_id>다음과 같습니다.
<external_network_id>- 외부 네트워크의 ID를 지정합니다.
참고미리 생성하지 않고
--openstack-ingress-floating-ip플래그를 사용하여 유동 IP 주소를 지정하면cloud-provider-openstack구성 요소가 자동으로 생성하려고 합니다. 이 프로세스는 Neutron API 정책에서 특정 IP 주소로 유동 IP 주소를 생성할 수 있는 경우에만 성공합니다.
4.8.4. OpenStack에 RHCOS 이미지 업로드 링크 복사링크가 클립보드에 복사되었습니다!
호스팅된 컨트롤 플레인 및 RHOSP(Red Hat OpenStack Platform) 배포에 노드 풀을 배포할 때 사용할 RHCOS 이미지를 지정하려면 이미지를 RHOSP 클라우드에 업로드합니다.
이미지를 업로드하지 않으면ORC(OpenStack Resource Controller)가 OpenShift Container Platform 미러에서 이미지를 다운로드하고 호스팅된 클러스터를 삭제한 후 이미지를 삭제합니다.
사전 요구 사항
- OpenShift Container Platform 미러에서 RHCOS 이미지를 다운로드했습니다.
- RHOSP 클라우드에 액세스할 수 있습니다.
프로세스
다음 명령을 실행하여 RHOSP에 RHCOS 이미지를 업로드합니다.
$ openstack image create --disk-format qcow2 --file <image_file_name> rhcos다음과 같습니다.
<image_file_name>- RHCOS 이미지의 파일 이름을 지정합니다.
4.8.5. OpenStack에서 호스트된 클러스터 생성 링크 복사링크가 클립보드에 복사되었습니다!
hcp CLI를 사용하여 RHOSP(Red Hat OpenStack Platform)에서 호스팅 클러스터를 생성할 수 있습니다.
사전 요구 사항
- "호스트된 컨트롤 플레인 배포 준비"에서 모든 사전 요구 사항 단계를 완료했습니다.
- "OpenStack 사전 요구 사항"을 검토했습니다.
- " etcd 로컬 스토리지용 관리 클러스터 준비"의 모든 단계를 완료했습니다.
- 관리 클러스터에 액세스할 수 있습니다.
- RHOSP 클라우드에 액세스할 수 있습니다.
프로세스
hcp create명령을 실행하여 호스트된 클러스터를 생성합니다. 예를 들어 " etcd 로컬 스토리지의 관리 클러스터 준비"에 설명된 수행 중인 etcd 구성을 활용하는 클러스터는 다음을 입력합니다.$ hcp create cluster openstack \ --name my-hcp-cluster \ --openstack-node-flavor m1.xlarge \ --base-domain example.com \ --pull-secret /path/to/pull-secret.json \ --release-image quay.io/openshift-release-dev/ocp-release:4.22.0-x86_64 \ --node-pool-replicas 3 \ --etcd-storage-class lvms-etcd-class참고클러스터 생성 시 많은 옵션을 사용할 수 있습니다. RHOSP 관련 옵션은 "OpenStack에서 호스팅된 컨트롤 플레인 클러스터를 생성하는 옵션"을 참조하십시오. 일반적인 옵션은
hcp문서를 참조하십시오.
검증
호스트에서 다음 명령을 실행하여 호스팅 클러스터가 준비되었는지 확인합니다.
$ oc -n clusters-<cluster_name> get pods다음과 같습니다.
<cluster_name>- 클러스터 이름을 지정합니다.
몇 분 후에 호스팅된 컨트롤 플레인 포드가 실행 중임을 출력에 표시되어야 합니다.
출력 예
NAME READY STATUS RESTARTS AGE capi-provider-5cc7b74f47-n5gkr 1/1 Running 0 3m catalog-operator-5f799567b7-fd6jw 2/2 Running 0 69s certified-operators-catalog-784b9899f9-mrp6p 1/1 Running 0 66s cluster-api-6bbc867966-l4dwl 1/1 Running 0 66s ... ... ... redhat-operators-catalog-9d5fd4d44-z8qqk 1/1 Running 0클러스터의 etcd 구성을 확인하려면 다음을 수행합니다.
다음 명령을 실행하여 etcd PVC(영구 볼륨 클레임)를 확인합니다.
$ oc get pvc -A호스팅된 컨트롤 플레인 etcd pod 내에서 다음 명령을 실행하여 마운트 경로와 장치를 확인합니다.
$ df -h /var/lib참고클러스터 API 공급자가 생성하는 RHOSP 리소스에는
openshiftClusterID=<infraID> 레이블이 지정됩니다.호스팅된 클러스터를 생성하는 데 사용하는 YAML 매니페스트의
HostedCluster.Spec.Platform.OpenStack.Tags필드에 있는 값으로 리소스에 대한 추가 태그를 정의할 수 있습니다. 노드 풀을 확장한 후 태그가 리소스에 적용됩니다.
4.8.5.1. OpenStack에서 호스팅 컨트롤 플레인 클러스터를 생성하는 옵션 링크 복사링크가 클립보드에 복사되었습니다!
RHOSP(Red Hat OpenStack Platform)에 호스팅 컨트롤 플레인 클러스터를 배포하는 동안 hcp CLI에 여러 옵션을 제공할 수 있습니다.
| 옵션 | 설명 | 필수 항목 |
|---|---|---|
|
|
OpenStack CA 인증서 파일의 경로입니다. 제공하지 않으면 | 없음 |
|
|
| 없음 |
|
|
OpenStack 자격 증명 파일의 경로입니다. 제공되지 않는 경우
| 없음 |
|
| 서브넷을 만들 때 제공되는 DNS 서버 주소 목록입니다. | 없음 |
|
| OpenStack 외부 네트워크의 ID입니다. | 없음 |
|
| OpenShift 인그레스의 유동 IP입니다. | 없음 |
|
|
노드에 연결할 추가 포트입니다. 유효한 값은 | 없음 |
|
| 노드 풀의 가용성 영역입니다. | 없음 |
|
| 노드 풀에 플레이버입니다. | 제공됨 |
|
| 노드 풀의 이미지 이름입니다. | 없음 |