클러스터 업데이트

1. 대상 버전은 ClusterVersion 리소스의 spec.desiredUpdate.version 필드에 저장되며, 웹 콘솔이나 CLI를 통해 관리할 수 있습니다.
2. 클러스터 버전 운영자(CVO)는 ClusterVersion 리소스의 desiredUpdate 가 현재 클러스터 버전과 다르다는 것을 감지합니다. CVO는 OpenShift 업데이트 서비스의 그래프 데이터를 사용하여 원하는 클러스터 버전을 릴리스 이미지에 대한 풀 사양으로 변환합니다.
3. CVO는 릴리스 이미지의 무결성과 진위성을 검증합니다. Red Hat은 이미지 SHA 다이제스트를 고유하고 변경할 수 없는 릴리스 이미지 식별자로 사용하여 사전 정의된 위치에 게시된 릴리스 이미지에 대한 암호화된 서명된 진술을 게시합니다. CVO는 내장된 공개 키 목록을 활용하여 검사된 릴리스 이미지와 일치하는 진술의 존재와 서명을 검증합니다.
4. CVO는 openshift-cluster-version 네임스페이스에 version-$version-$hash라는 이름의 작업을 생성합니다. 이 작업은 릴리스 이미지를 실행하는 컨테이너를 사용하므로 클러스터는 컨테이너 런타임을 통해 이미지를 다운로드합니다. 그런 다음 작업은 릴리스 이미지에서 매니페스트와 메타데이터를 추출하여 CVO에서 액세스할 수 있는 공유 볼륨으로 보냅니다.
5. CVO는 추출된 매니페스트 및 메타데이터의 유효성을 검사합니다.
6. CVO는 클러스터에서 문제 조건이 감지되지 않는지 확인하기 위해 몇 가지 전제 조건을 확인합니다. 특정 조건으로 인해 업데이트가 진행되지 않을 수 있습니다. 이러한 조건은 CVO 자체에서 결정하거나, 클러스터 운영자가 업데이트를 위해 문제가 있다고 생각하는 클러스터에 대한 세부 정보를 감지하여 보고합니다.
7. CVO는 승인된 릴리스를 status.desired 에 기록하고 새 업데이트에 대한 status.history 항목을 만듭니다.
8. CVO가 릴리스 이미지에서 매니페스트를 조정하기 시작합니다. 클러스터 연산자는 런레벨이라고 하는 별도의 단계로 업데이트되며, CVO는 런레벨에 있는 모든 연산자가 다음 레벨로 넘어가기 전에 업데이트를 완료하도록 보장합니다.
9. CVO 자체에 대한 매니페스트는 프로세스 초기에 적용됩니다. CVO 배포가 적용되면 현재 CVO 포드가 중지되고 새 버전을 사용하는 CVO 포드가 시작됩니다. 새 CVO는 나머지 매니페스트를 조정합니다.
10. 업데이트는 전체 제어 평면이 새 버전으로 업데이트될 때까지 진행됩니다. 개별 클러스터 운영자는 클러스터의 해당 도메인에서 업데이트 작업을 수행할 수 있으며, 작업을 수행하는 동안 Progressing=True 조건을 통해 상태를 보고합니다.
11. MCO(Machine Config Operator) 매니페스트는 프로세스의 마지막에 적용됩니다. 업데이트된 MCO는 모든 노드의 시스템 구성과 운영 체제 업데이트를 시작합니다. 각 노드는 다시 작업 부하를 수용하기 전에 비워지고, 업데이트되고, 재부팅될 수 있습니다.

1. 노드를 봉쇄하고 배수합니다.

   참고

   노드가 격리되면 해당 노드에 작업 부하를 예약할 수 없습니다.

2. 노드의 시스템 구성 및 운영 체제(OS)를 업데이트합니다.
3. 노드를 재부팅하세요
4. 노드를 차단 해제합니다

1. MCO는 노드 1, 2, 3을 봉쇄하고 배수를 시작합니다.
2. 노드 2의 배수가 완료되고 재부팅되어 다시 사용 가능해집니다. MCO가 노드 4를 봉쇄하고 배수를 시작합니다.
3. 노드 1의 드레이닝이 완료되고 재부팅되어 다시 사용 가능해집니다. MCO가 노드 5를 봉쇄하고 배수를 시작합니다.
4. 노드 3의 배수가 완료되고 재부팅되어 다시 사용 가능해집니다.
5. 노드 5의 배수가 완료되고 재부팅되어 다시 사용 가능해집니다.
6. 노드 4의 배수가 완료되고 재부팅되어 다시 사용 가능해집니다.

프로세스

1. 다음 명령을 실행하여 제거해야 할 모든 Gateway API CRD를 나열하세요.

   $ oc get crd | grep -F -e gateway.networking.k8s.io -e gateway.networking.x-k8s.io

   Copy to Clipboard Toggle word wrap

   출력 예

   gatewayclasses.gateway.networking.k8s.io
   gateways.gateway.networking.k8s.io
   grpcroutes.gateway.networking.k8s.io
   httproutes.gateway.networking.k8s.io
   referencegrants.gateway.networking.k8s.io

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 이전 단계의 Gateway API CRD를 삭제합니다.

   $ oc delete crd gatewayclasses.networking.k8s.io && \
   oc delete crd gateways.networking.k8s.io && \
   oc delete crd grpcroutes.gateway.networking.k8s.io && \
   oc delete crd httproutes.gateway.networking.k8s.io && \
   oc delete crd referencesgrants.gateway.networking.k8s.io

   Copy to Clipboard Toggle word wrap
   중요

   CRD를 삭제하면 해당 CRD에 의존하는 모든 사용자 정의 리소스가 제거되고 데이터 손실이 발생할 수 있습니다. Gateway API CRD를 삭제하기 전에 필요한 데이터를 백업하세요. 이전에 Gateway API CRD의 수명 주기를 관리하던 모든 컨트롤러는 제대로 작동하지 않게 됩니다. Ingress Operator와 함께 강제로 사용하여 Gateway API CRD를 관리하려고 하면 클러스터 업데이트가 성공하지 못할 수 있습니다.

3. 다음 명령을 실행하여 지원되는 Gateway API CRD를 가져옵니다.

   $ oc apply -f https://github.com/kubernetes-sigs/gateway-api/releases/download/v1.2.1/standard-install.yaml

   Copy to Clipboard Toggle word wrap
   주의

   CRD를 삭제하지 않고도 이 단계를 수행할 수 있습니다. CRD를 업데이트하면 사용자 지정 리소스에서 사용되는 필드가 제거되므로 데이터가 손실될 수 있습니다. CRD를 두 번째로 업데이트하여 필드를 다시 추가하는 버전을 사용하면 이전에 삭제한 데이터가 다시 나타날 수 있습니다. OpenShift Container Platform 4.19에서 지원되지 않는 특정 Gateway API CRD 버전에 의존하는 모든 타사 컨트롤러는 해당 CRD를 Red Hat에서 지원하는 버전으로 업데이트하면 중단됩니다.

   OpenShift Container Platform 구현 및 데드 필드 문제에 대한 자세한 내용은 OpenShift Container Platform을 위한 Gateway API 구현을 참조하세요.

프로세스

1. 다음 명령을 실행하여 적용하려는 업데이트에 대한 풀 사양을 가져옵니다.

   $ oc adm upgrade

   Copy to Clipboard Toggle word wrap

   이 명령의 출력에는 다음과 유사한 사용 가능한 업데이트에 대한 풀 사양이 포함됩니다.

   부분적인 예제 출력

   ...
   Recommended updates:
   
   VERSION IMAGE
   4.19.0  quay.io/openshift-release-dev/ocp-release@sha256:6a899c54dda6b844bb12a247e324a0f6cde367e880b73ba110c056df6d018032
   ...

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 사용하려는 릴리스 이미지로 $RELEASE_IMAGE 변수를 설정합니다.

   $ RELEASE_IMAGE=<update_pull_spec>

   Copy to Clipboard Toggle word wrap

   여기서 <update_pull_spec>은 사용하려는 릴리스 이미지에 대한 풀 사양입니다. 예를 들면 다음과 같습니다.

   quay.io/openshift-release-dev/ocp-release@sha256:6a899c54dda6b844bb12a247e324a0f6cde367e880b73ba110c056df6d018032

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 OpenShift Container Platform 릴리스 이미지에서 CredentialsRequest 사용자 정의 리소스(CR) 목록을 추출합니다.

   $ oc adm release extract \
     --from=$RELEASE_IMAGE \
     --credentials-requests \
     --included \

   1

   
     --to=<path_to_directory_for_credentials_requests> 

   2

   Copy to Clipboard Toggle word wrap

   1

   --included 매개변수에는 대상 릴리스에 필요한 특정 클러스터 구성에 필요한 매니페스트만 포함됩니다.

   2

   CredentialsRequest 객체를 저장할 디렉토리의 경로를 지정합니다. 지정된 디렉토리가 존재하지 않으면 이 명령은 디렉토리를 생성합니다.

   이 명령을 수행하면 각 CredentialsRequest 오브젝트에 대해 YAML 파일이 생성됩니다.

4. 릴리스 이미지의 각 CredentialsRequest CR에 대해 spec.secretRef.namespace 필드의 텍스트와 일치하는 네임스페이스가 클러스터에 있는지 확인합니다. 이 필드에는 인증 정보 구성을 보유하는 생성된 시크릿이 저장됩니다.

   샘플 AWS CredentialsRequest 오브젝트

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: cloud-credential-operator-iam-ro
     namespace: openshift-cloud-credential-operator
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AWSProviderSpec
       statementEntries:
       - effect: Allow
         action:
         - iam:GetUser
         - iam:GetUserPolicy
         - iam:ListAccessKeys
         resource: "*"
     secretRef:
       name: cloud-credential-operator-iam-ro-creds
       namespace: openshift-cloud-credential-operator 

   1

   Copy to Clipboard Toggle word wrap

   1

   이 필드는 생성된 비밀을 보관하기 위해 존재해야 하는 네임스페이스를 나타냅니다.

   다른 플랫폼의 CredentialsRequest CR은 플랫폼별 값만 다를 뿐 형식은 비슷합니다.

5. spec.secretRef.namespace 에 지정된 이름을 가진 네임스페이스가 클러스터에 아직 없는 CredentialsRequest CR의 경우 다음 명령을 실행하여 네임스페이스를 만듭니다.

   $ oc create namespace <component_namespace>

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 OpenShift Container Platform 릴리스 이미지에 대한 변수를 설정합니다.

   $ RELEASE_IMAGE=$(oc get clusterversion -o jsonpath={..desired.image})

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 OpenShift Container Platform 릴리스 이미지에서 CCO 컨테이너 이미지를 가져옵니다.

   $ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)

   Copy to Clipboard Toggle word wrap
   참고

   $RELEASE_IMAGE 의 아키텍처가 ccoctl 툴을 사용할 환경의 아키텍처와 일치하는지 확인합니다.

3. 다음 명령을 실행하여 OpenShift Container Platform 릴리스 이미지 내에서 ccoctl 바이너리를 추출합니다.

   $ oc image extract $CCO_IMAGE \
     --file="/usr/bin/ccoctl.<rhel_version>" \

   1

   
     -a ~/.pull-secret

   Copy to Clipboard Toggle word wrap

   1

   <rhel_version> 의 경우 호스트가 사용하는 Red Hat Enterprise Linux(RHEL) 버전에 해당하는 값을 지정합니다. 값을 지정하지 않으면 기본적으로 ccoctl.rhel8 이 사용됩니다. 유효한 값은 다음과 같습니다.

   • rhel8 : RHEL 8을 사용하는 호스트의 경우 이 값을 지정합니다.
   • rhel9 : RHEL 9를 사용하는 호스트에 대해 이 값을 지정합니다.

4. 다음 명령을 실행하여 ccoctl 을 실행할 수 있도록 권한을 변경합니다.

   $ chmod 775 ccoctl.<rhel_version>

   Copy to Clipboard Toggle word wrap

프로세스

1. 클라우드 공급자에 대한 명령을 실행하여 ccoctl 도구를 사용하여 모든 CredentialsRequest 객체를 처리합니다. 다음 명령은 CredentialsRequest 객체를 처리합니다.

   예 2.1. AWS(Amazon Web Services)

   $ ccoctl aws create-all \

   1

   
     --name=<name> \

   2

   
     --region=<aws_region> \

   3

   
     --credentials-requests-dir=<path_to_credentials_requests_directory> \

   4

   
     --output-dir=<path_to_ccoctl_output_dir> \

   5

   
     --create-private-s3-bucket 

   6

   Copy to Clipboard Toggle word wrap

   1

   AWS 리소스를 개별적으로 생성하려면 "사용자 지정을 사용하여 AWS에 클러스터 설치" 콘텐츠의 "AWS 리소스를 개별적으로 생성" 절차를 사용하세요. 이 옵션은 AWS 리소스를 수정하기 전에 ccoctl 도구가 생성하는 JSON 파일을 검토해야 하는 경우 또는 ccoctl 도구가 자동으로 AWS 리소스를 생성하는 데 사용하는 프로세스가 조직의 요구 사항을 충족하지 못하는 경우 유용할 수 있습니다.

   2

   추적을 위해 생성된 클라우드 리소스에 태그를 지정하는 데 사용되는 이름을 지정합니다.

   3

   클라우드 리소스가 생성될 AWS 리전을 지정합니다.

   4

   구성 요소 CredentialsRequest 오브젝트에 대한 파일이 포함된 디렉터리를 지정합니다.

   5

   선택 사항: ccoctl 유틸리티에서 오브젝트를 생성할 디렉터리를 지정합니다. 기본적으로 유틸리티는 명령이 실행되는 디렉터리에 오브젝트를 생성합니다.

   6

   선택사항: 기본적으로 ccoctl 유틸리티는 공개 S3 버킷에 OIDC(OpenID Connect) 구성 파일을 저장하고 공개 OIDC 엔드포인트로 S3 URL을 사용합니다. OIDC 구성을 공용 CloudFront 배포 URL을 통해 IAM ID 공급자가 액세스하는 개인 S3 버킷에 저장하려면 --create-private-s3-bucket 매개변수를 사용합니다.

   예 2.2. GCP(Google Cloud Platform)

   $ ccoctl gcp create-all \
     --name=<name> \

   1

   
     --region=<gcp_region> \

   2

   
     --project=<gcp_project_id> \

   3

   
     --credentials-requests-dir=<path_to_credentials_requests_directory> \

   4

   
     --output-dir=<path_to_ccoctl_output_dir> 

   5

   Copy to Clipboard Toggle word wrap

   1

   추적에 사용되는 모든 GCP 리소스에 대한 사용자 정의 이름을 지정합니다.

   2

   클라우드 리소스가 생성될 GCP 지역을 지정합니다.

   3

   클라우드 리소스가 생성될 GCP 프로젝트 ID를 지정합니다.

   4

   GCP 서비스 계정을 생성하려면 CredentialsRequest 매니페스트 파일이 포함된 디렉토리를 지정하세요.

   5

   선택 사항: ccoctl 유틸리티에서 오브젝트를 생성할 디렉터리를 지정합니다. 기본적으로 유틸리티는 명령이 실행되는 디렉터리에 오브젝트를 생성합니다.

   예 2.3. IBM Cloud

   $ ccoctl ibmcloud create-service-id \
     --credentials-requests-dir=<path_to_credential_requests_directory> \

   1

   
     --name=<cluster_name> \

   2

   
     --output-dir=<installation_directory> \

   3

   
     --resource-group-name=<resource_group_name> 

   4

   Copy to Clipboard Toggle word wrap

   1

   구성 요소 CredentialsRequest 오브젝트에 대한 파일이 포함된 디렉터리를 지정합니다.

   2

   OpenShift Container Platform 클러스터의 이름을 지정합니다.

   3

   선택 사항: ccoctl 유틸리티에서 오브젝트를 생성할 디렉터리를 지정합니다. 기본적으로 유틸리티는 명령이 실행되는 디렉터리에 오브젝트를 생성합니다.

   4

   선택 사항: 액세스 정책 범위를 지정하는 데 사용되는 리소스 그룹의 이름을 지정합니다.

   예 2.4. Microsoft Azure

   $ ccoctl azure create-managed-identities \
     --name <azure_infra_name> \

   1

   
     --output-dir ./output_dir \
     --region <azure_region> \

   2

   
     --subscription-id <azure_subscription_id> \

   3

   
     --credentials-requests-dir <path_to_directory_for_credentials_requests> \
     --issuer-url "${OIDC_ISSUER_URL}" \

   4

   
     --dnszone-resource-group-name <azure_dns_zone_resourcegroup_name> \

   5

   
     --installation-resource-group-name "${AZURE_INSTALL_RG}" 

   6

   Copy to Clipboard Toggle word wrap

   1

   name 매개 변수의 값은 Azure 리소스 그룹을 만드는 데 사용됩니다. 새 Azure 리소스 그룹을 만드는 대신 기존 Azure 리소스 그룹을 사용하려면 기존 그룹 이름을 값으로 사용하여 --oidc-resource-group-name 인수를 지정합니다.

   2

   기존 클러스터의 지역을 지정합니다.

   3

   기존 클러스터의 구독 ID를 지정합니다.

   4

   기존 클러스터의 OIDC 발급자 URL을 지정합니다. 다음 명령을 실행하면 이 값을 얻을 수 있습니다.

   $ oc get authentication cluster \
     -o jsonpath \
     --template='{ .spec.serviceAccountIssuer }'

   Copy to Clipboard Toggle word wrap

   5

   DNS 영역이 포함된 리소스 그룹의 이름을 지정합니다.

   6

   Azure 리소스 그룹 이름을 지정합니다. 다음 명령을 실행하면 이 값을 얻을 수 있습니다.

   $ oc get infrastructure cluster \
     -o jsonpath \
     --template '{ .status.platformStatus.azure.resourceGroupName }'

   Copy to Clipboard Toggle word wrap

   예 2.5. Nutanix

   $ ccoctl nutanix create-shared-secrets \
     --credentials-requests-dir=<path_to_credentials_requests_directory> \

   1

   
     --output-dir=<ccoctl_output_dir> \

   2

   
     --credentials-source-filepath=<path_to_credentials_file> 

   3

   Copy to Clipboard Toggle word wrap

   1

   CredentialsRequests 개체의 파일이 포함된 디렉토리의 경로를 지정합니다.

   2

   선택 사항: ccoctl 유틸리티에서 오브젝트를 생성할 디렉터리를 지정합니다. 기본적으로 유틸리티는 명령이 실행되는 디렉터리에 오브젝트를 생성합니다.

   3

   선택 사항: 자격 증명 데이터 YAML 파일이 포함된 디렉토리를 지정합니다. 기본적으로 ccoctl은 이 파일이 <home_directory>/.nutanix/credentials 에 있을 것으로 예상합니다.

   각 CredentialsRequest 개체에 대해 ccoctl은 OpenShift Container Platform 릴리스 이미지의 각 CredentialsRequest 개체에 정의된 대로 필요한 공급자 리소스와 권한 정책을 생성합니다.

2. 다음 명령을 실행하여 클러스터에 비밀을 적용합니다.

   $ ls <path_to_ccoctl_output_dir>/manifests/*-credentials.yaml | xargs -I{} oc apply -f {}

   Copy to Clipboard Toggle word wrap

프로세스

1. 새로운 릴리스 이미지가 추가하는 모든 CredentialsRequest 사용자 정의 리소스에 대한 비밀을 담은 YAML 파일을 만듭니다. 시크릿은 각 CredentialsRequest 오브젝트의 spec.secretRef에 정의된 네임 스페이스 및 시크릿 이름을 사용하여 저장해야 합니다.

   예 2.6. 샘플 AWS YAML 파일

   비밀이 포함된 AWS CredentialsRequest 객체 샘플

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AWSProviderSpec
       statementEntries:
       - effect: Allow
         action:
         - s3:CreateBucket
         - s3:DeleteBucket
         resource: "*"
         ...
     secretRef:
       name: <component_secret>
       namespace: <component_namespace>
     ...

   Copy to Clipboard Toggle word wrap

   AWS Secret 객체 샘플

   apiVersion: v1
   kind: Secret
   metadata:
     name: <component_secret>
     namespace: <component_namespace>
   data:
     aws_access_key_id: <base64_encoded_aws_access_key_id>
     aws_secret_access_key: <base64_encoded_aws_secret_access_key>

   Copy to Clipboard Toggle word wrap

   예 2.7. Azure YAML 파일 샘플

   참고

   글로벌 Azure와 Azure Stack Hub는 동일한 CredentialsRequest 개체와 비밀 형식을 사용합니다.

   비밀이 포함된 Azure CredentialsRequest 개체 샘플

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AzureProviderSpec
       roleBindings:
       - role: Contributor
         ...
     secretRef:
       name: <component_secret>
       namespace: <component_namespace>
     ...

   Copy to Clipboard Toggle word wrap

   Azure Secret 개체 샘플

   apiVersion: v1
   kind: Secret
   metadata:
     name: <component_secret>
     namespace: <component_namespace>
   data:
     azure_subscription_id: <base64_encoded_azure_subscription_id>
     azure_client_id: <base64_encoded_azure_client_id>
     azure_client_secret: <base64_encoded_azure_client_secret>
     azure_tenant_id: <base64_encoded_azure_tenant_id>
     azure_resource_prefix: <base64_encoded_azure_resource_prefix>
     azure_resourcegroup: <base64_encoded_azure_resourcegroup>
     azure_region: <base64_encoded_azure_region>

   Copy to Clipboard Toggle word wrap

   예 2.8. 샘플 GCP YAML 파일

   비밀이 포함된 GCP CredentialsRequest 객체 샘플

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: <component_credentials_request>
     namespace: openshift-cloud-credential-operator
     ...
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: GCPProviderSpec
         predefinedRoles:
         - roles/iam.securityReviewer
         - roles/iam.roleViewer
         skipServiceCheck: true
         ...
     secretRef:
       name: <component_secret>
       namespace: <component_namespace>
     ...

   Copy to Clipboard Toggle word wrap

   샘플 GCP Secret 객체

   apiVersion: v1
   kind: Secret
   metadata:
     name: <component_secret>
     namespace: <component_namespace>
   data:
     service_account.json: <base64_encoded_gcp_service_account_file>

   Copy to Clipboard Toggle word wrap

2. 시크릿에 저장된 기존 인증 정보에 대한 CredentialsRequest 사용자 정의 리소스에 변경된 권한 요구 사항이 있는 경우 필요에 따라 권한을 업데이트합니다.

프로세스

1. cluster-admin 역할의 사용자로 클러스터에서 oc 에 로그인합니다.

2. CloudCredential 리소스를 편집하여 다음 명령을 실행하여 metadata 필드 내에 upgradeable-to 주석을 추가합니다.

   $ oc edit cloudcredential cluster

   Copy to Clipboard Toggle word wrap

   추가할 텍스트

   ...
     metadata:
       annotations:
         cloudcredential.openshift.io/upgradeable-to: <version_number>
   ...

   Copy to Clipboard Toggle word wrap

   여기서 <version_number>는 x.y.z 형식으로 업그레이드할 버전입니다. 예를 들어 OpenShift Container Platform 4.12.2에는 4.12.2를 사용합니다.

   주석을 추가한 후 업그레이드 가능 상태가 변경되는 데 몇 분이 소요될 수 있습니다.

검증

1. 웹 콘솔의 관리자 화면에서 관리자 → 클러스터 설정으로 이동합니다.

2. CCO 상태 세부 정보를 보려면 Cluster Operators 목록에서 cloud-credential을 클릭합니다.

   • Conditions 섹션의 Upgradeable 상태가 False인 경우 upgradeable-to 주석에 오타 오류가 없는지 확인합니다.
3. Conditions 섹션의 Upgradeable 상태가 True 인 경우 OpenShift Container Platform 업그레이드를 시작합니다.

프로세스

1. 다음 명령을 입력하여 현재 기존 Pod를 실행하는 RHEL 노드를 예약합니다.

   $ oc adm cordon <rhel-node>

   Copy to Clipboard Toggle word wrap

2. Pod에 rhcos 노드 선택기를 추가합니다.

   • 기존 및 향후 Pod에 노드 선택기를 추가하려면 다음 명령을 입력하여 Pod의 컨트롤러 오브젝트에 노드 선택기를 추가합니다.

     rhcos 레이블이 있는 Deployment 오브젝트의 예

     $ oc patch dc <my-app> -p '{"spec":{"template":{"spec":{"nodeSelector":{"node.openshift.io/os_id":"rhcos"}}}}}'

     Copy to Clipboard Toggle word wrap

     Deployment Control 오브젝트 아래의 기존 Pod는 RHCOS 노드에 다시 생성됩니다.

   • 특정 새 Pod에 노드 선택기를 추가하려면 선택기를 Pod 오브젝트에 직접 추가합니다.

     rhcos 라벨이 있는 Pod 오브젝트의 예

     apiVersion: v1
     kind: Pod
     metadata:
       name: <my-app>
     #...
     spec:
       nodeSelector:
         node.openshift.io/os_id: rhcos
     #...

     Copy to Clipboard Toggle word wrap

     Pod에도 제어 오브젝트가 있다고 가정하면 새 Pod가 RHCOS 노드에 생성됩니다.

프로세스

1. 다음 명령을 입력하여 RHEL을 실행하는 클러스터의 노드를 식별합니다.

   $ oc get -l node.openshift.io/os_id=rhel

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                        STATUS    ROLES     AGE       VERSION
   rhel-node1.example.com      Ready     worker    7h        v1.32.3
   rhel-node2.example.com      Ready     worker    7h        v1.32.3
   rhel-node3.example.com      Ready     worker    7h        v1.32.3

   Copy to Clipboard Toggle word wrap

2. 노드 제거 프로세스를 계속합니다. RHEL 노드는 Machine API에서 관리되지 않으며 컴퓨팅 머신 세트가 연결되어 있지 않습니다. 클러스터에서 수동으로 삭제하기 전에 일정을 취소하고 노드를 드레이닝해야 합니다.

   이 프로세스에 대한 자세한 내용은 Red Hat OpenShift Container Platform 4 UPI에서 작업자 노드를 제거하는 방법을 참조하십시오.

프로세스

1. 일시 중지하려는 사용 가능한 MachineHealthCheck 리소스를 모두 나열하려면 다음 명령을 실행합니다.

   $ oc get machinehealthcheck -n openshift-machine-api

   Copy to Clipboard Toggle word wrap

2. 머신 상태 점검을 일시 중지하려면 cluster.x-k8s.io/paused="" 주석을 MachineHealthCheck 리소스에 추가합니다. 다음 명령을 실행합니다.

   $ oc -n openshift-machine-api annotate mhc <mhc-name> cluster.x-k8s.io/paused=""

   Copy to Clipboard Toggle word wrap

   주석이 지정된 MachineHealthCheck 리소스는 다음 YAML 파일과 유사합니다.

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineHealthCheck
   metadata:
     name: example
     namespace: openshift-machine-api
     annotations:
       cluster.x-k8s.io/paused: ""
   spec:
     selector:
       matchLabels:
         role: worker
     unhealthyConditions:
     - type:    "Ready"
       status:  "Unknown"
       timeout: "300s"
     - type:    "Ready"
       status:  "False"
       timeout: "300s"
     maxUnhealthy: "40%"
   status:
     currentHealthy: 5
     expectedMachines: 5

   Copy to Clipboard Toggle word wrap
   중요

   클러스터를 업데이트한 후 머신 상태 점검을 다시 시작합니다. 검사를 다시 시작하려면 다음 명령을 실행하여 MachineHealthCheck 리소스에서 일시 중지 주석을 제거합니다.

   $ oc -n openshift-machine-api annotate mhc <mhc-name> cluster.x-k8s.io/paused-

   Copy to Clipboard Toggle word wrap

프로세스

1. 사용 가능한 업데이트를 확인하고 적용하려는 업데이트의 버전 번호를 기록해 둡니다.

   $ oc adm upgrade

   Copy to Clipboard Toggle word wrap

   출력 예

   Cluster version is 4.13.10
   Upstream is unset, so the cluster will use an appropriate default.
   Channel: stable-4.13 (available channels: candidate-4.13, candidate-4.14, fast-4.13, stable-4.13)
   Recommended updates:
     VERSION     IMAGE
     4.13.14     quay.io/openshift-release-dev/ocp-release@sha256:406fcc160c097f61080412afcfa7fd65284ac8741ac7ad5b480e304aba73674b
     4.13.13     quay.io/openshift-release-dev/ocp-release@sha256:d62495768e335c79a215ba56771ff5ae97e3cbb2bf49ed8fb3f6cefabcdc0f17
     4.13.12     quay.io/openshift-release-dev/ocp-release@sha256:73946971c03b43a0dc6f7b0946b26a177c2f3c9d37105441315b4e3359373a55
     4.13.11     quay.io/openshift-release-dev/ocp-release@sha256:e1c2377fdae1d063aaddc753b99acf25972b6997ab9a0b7e80cfef627b9ef3dd

   Copy to Clipboard Toggle word wrap

   참고
   • 권장 업데이트가 없더라도 알려진 문제가 있는 업데이트는 여전히 사용 가능할 수 있습니다. 자세한 내용은 조건부 업데이트 경로를 따라업데이트를 참조하십시오.
   • 제어 평면 전용 업데이트를 수행하는 방법에 대한 자세한 내용과 정보는 추가 리소스 섹션에 나열된 제어 평면 전용 업데이트 수행 준비 페이지를 참조하세요.

2. 조직의 요구 사항에 따라 적절한 업데이트 채널을 설정하세요. 예를 들어 채널을 stable-4.13 또는 fast-4.13 으로 설정할 수 있습니다. 채널에 대한 자세한 내용은 추가 리소스 섹션에 나열된 업데이트 채널 및 릴리스 이해를 참조하세요.

   $ oc adm upgrade channel <channel>

   Copy to Clipboard Toggle word wrap

   예를 들어, 채널을 stable-4.19 로 설정하려면 다음을 실행합니다.

   $ oc adm upgrade channel stable-4.19

   Copy to Clipboard Toggle word wrap
   중요

   프로덕션 클러스터의 경우 stable-* , eus-* 또는 fast-* 채널을 구독해야 합니다.

   참고

   다음 마이너 버전으로 넘어갈 준비가 되면 해당 마이너 버전에 해당하는 채널을 선택하세요. 업데이트 채널이 빨리 선언될수록 클러스터가 대상 버전에 대한 업데이트 경로를 더 효과적으로 추천할 수 있습니다. 클러스터가 사용 가능한 모든 업데이트를 평가하고 선택할 수 있는 최상의 업데이트 권장 사항을 제공하는 데 시간이 걸릴 수 있습니다. 업데이트 권장 사항은 당시에 사용 가능한 업데이트 옵션에 따라 달라지므로 시간이 지남에 따라 변경될 수 있습니다.

   대상 마이너 버전에 대한 업데이트 경로가 보이지 않으면 경로에 다음 마이너 버전이 나올 때까지 현재 버전의 최신 패치 릴리스로 클러스터를 계속 업데이트하세요.

3. 업데이트를 적용합니다.

   • 최신 버전으로 업데이트하려면 다음을 수행합니다.

     $ oc adm upgrade --to-latest=true 

     1

     Copy to Clipboard Toggle word wrap

   • 특정 버전으로 업데이트하려면 다음을 수행합니다.

     $ oc adm upgrade --to=<version> 

     1

     Copy to Clipboard Toggle word wrap

     1 1

     <버전> 은 oc adm upgrade 명령의 출력에서 얻은 업데이트 버전입니다.

     중요

     oc adm upgrade --help 를 사용하면 --force 에 대한 옵션이 나열됩니다. --force 옵션을 사용하면 릴리스 검증 및 사전 조건 확인을 포함한 클러스터 측 보호 조치를 우회하므로 이 방법은 권장되지 않습니다 . --force를 사용해도 업데이트가 성공적으로 이루어진다는 보장은 없습니다. 경비원을 우회하면 클러스터가 위험에 처하게 됩니다.

4. 클러스터 버전 Operator의 상태를 확인합니다.

   $ oc adm upgrade

   Copy to Clipboard Toggle word wrap

5. 업데이트가 완료되면 클러스터 버전이 새 버전으로 업데이트되었는지 확인합니다.

   $ oc adm upgrade

   Copy to Clipboard Toggle word wrap

   출력 예

   Cluster version is <version>
   
   Upstream is unset, so the cluster will use an appropriate default.
   Channel: stable-<version> (available channels: candidate-<version>, eus-<version>, fast-<version>, stable-<version>)
   
   No updates available. You may force an update to a specific release image, but doing so might not be supported and might result in downtime or data loss.

   Copy to Clipboard Toggle word wrap

6. 클러스터를 다음 마이너 버전(예: 버전 Xy에서 X.(y+1))으로 업데이트하는 경우 새 기능에 의존하는 워크로드를 배포하기 전에 노드가 업데이트되었는지 확인하는 것이 좋습니다.

   $ oc get nodes

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                           STATUS   ROLES    AGE   VERSION
   ip-10-0-168-251.ec2.internal   Ready    master   82m   v1.32.3
   ip-10-0-170-223.ec2.internal   Ready    master   82m   v1.32.3
   ip-10-0-179-95.ec2.internal    Ready    worker   70m   v1.32.3
   ip-10-0-182-134.ec2.internal   Ready    worker   70m   v1.32.3
   ip-10-0-211-16.ec2.internal    Ready    master   82m   v1.32.3
   ip-10-0-250-100.ec2.internal   Ready    worker   69m   v1.32.3

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 OC_ENABLE_CMD_UPGRADE_RECOMMEND 환경 변수를 true 로 설정합니다.

   $ export OC_ENABLE_CMD_UPGRADE_RECOMMEND=true

   Copy to Clipboard Toggle word wrap

2. 다음 명령 중 하나를 실행합니다.

   • 업데이트에 권장되는 버전을 나열하려면 oc adm upgrade recommend 명령을 실행하세요.

     $ oc adm upgrade recommend

     Copy to Clipboard Toggle word wrap

     출력 예

     Upstream is unset, so the cluster will use an appropriate default.
     Channel: stable-4.13 (available channels: candidate-4.12, candidate-4.13, eus-4.12, eus-4.14, fast-4.12, fast-4.13, stable-4.12, stable-4.13)
     
     Updates to 4.13:
     
     Version: 4.13.50
     Image: quay.io/openshift-release-dev/ocp-release@sha256:6afb11e1cac46fd26476ca134072937115256b9c6360f7a1cd1812992c065f02
     Reason: AdminAckRequired
     Message: Kubernetes 1.26 and therefore OpenShift 4.13 remove several APIs which require admin consideration. Please see the knowledge article https://access.redhat.com/articles/6958394 for details and instructions.
     
     Version: 4.13.49
     Image: quay.io/openshift-release-dev/ocp-release@sha256:ab6f574665395d809511db9dc57764358278538eaae248c6d199208b3c30ab7d
     Reason: AdminAckRequired
     Message: Kubernetes 1.26 and therefore OpenShift 4.13 remove several APIs which require admin consideration. Please see the knowledge article https://access.redhat.com/articles/6958394 for details and instructions.
     
     Updates to 4.12:
     VERSION     ISSUES
     4.12.64     no known issues
     4.12.63     no known issues
     And 43 older 4.12 updates you can see with '--show-outdated-releases' or '--version VERSION'.

     Copy to Clipboard Toggle word wrap

   • 업데이트에 특정 버전이 권장되는지 확인하려면 oc adm upgrade recommend --version 명령을 실행하세요.

     $ oc adm upgrade recommend --version 4.12.51

     Copy to Clipboard Toggle word wrap

     출력 예

     Upstream is unset, so the cluster will use an appropriate default.
     Channel: stable-4.13 (available channels: candidate-4.12, candidate-4.13, eus-4.12, eus-4.14, fast-4.12, fast-4.13, stable-4.12, stable-4.13)
     
     Update to 4.12.51 Recommended=False:
     Image: quay.io/openshift-release-dev/ocp-release@sha256:158ced797e49f6caf7862acccef58484be63b642fdd2f66e6416295fa7958ab0
     Release URL: https://access.redhat.com/errata/RHSA-2024:1052
     Reason: MultipleReasons
     Message: An unintended reversion to the default kubelet nodeStatusReportFrequency can cause significant load on the control plane. https://issues.redhat.com/browse/MCO-1094
     
     After rebooting into kernel-4.18.0-372.88.1.el8_6 or later, kernel nodes experience high load average and io_wait times. The nodes might fail to start or stop pods and probes may fail. Workload and host processes may become unresponsive and workload may be disrupted. https://issues.redhat.com/browse/COS-2705

     Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 OC_ENABLE_CMD_UPGRADE_STATUS 환경 변수를 true 로 설정합니다.

   $ export OC_ENABLE_CMD_UPGRADE_STATUS=true

   Copy to Clipboard Toggle word wrap

2. oc adm upgrade status 명령을 실행합니다.

   $ oc adm upgrade status

   Copy to Clipboard Toggle word wrap

   업데이트가 성공적으로 진행됨에 대한 예시 출력

   = Control Plane =
   Assessment:      Progressing
   Target Version:  4.17.1 (from 4.17.0)
   Updating:        machine-config
   Completion:      97% (32 operators updated, 1 updating, 0 waiting)
   Duration:        54m (Est. Time Remaining: <10m)
   Operator Status: 32 Healthy, 1 Unavailable
   
   Control Plane Nodes
   NAME                                        ASSESSMENT    PHASE      VERSION   EST    MESSAGE
   ip-10-0-53-40.us-east-2.compute.internal    Progressing   Draining   4.17.0    +10m
   ip-10-0-30-217.us-east-2.compute.internal   Outdated      Pending    4.17.0    ?
   ip-10-0-92-180.us-east-2.compute.internal   Outdated      Pending    4.17.0    ?
   
   = Worker Upgrade =
   
   WORKER POOL   ASSESSMENT    COMPLETION   STATUS
   worker        Progressing   0% (0/2)     1 Available, 1 Progressing, 1 Draining
   infra         Progressing   50% (1/2)    1 Available, 1 Progressing, 1 Draining
   
   Worker Pool Nodes: Worker
   NAME                                       ASSESSMENT    PHASE      VERSION   EST    MESSAGE
   ip-10-0-4-159.us-east-2.compute.internal   Progressing   Draining   4.17.0    +10m
   ip-10-0-99-40.us-east-2.compute.internal   Outdated      Pending    4.17.0    ?
   
   Worker Pool Nodes: infra
   NAME                                             ASSESSMENT    PHASE      VERSION   EST    MESSAGE
   ip-10-0-4-159-infra.us-east-2.compute.internal   Progressing   Draining   4.17.0    +10m
   ip-10-0-20-162.us-east-2.compute.internal        Completed     Updated    4.17.1    -
   
   = Update Health =
   SINCE   LEVEL   IMPACT   MESSAGE
   54m4s   Info    None     Update is proceeding well

   Copy to Clipboard Toggle word wrap

프로세스

1. 위험이 적용될 수 있어 업데이트가 권장되지 않는 경우 해당 업데이트에 대한 설명을 보려면 다음 명령을 실행하세요.

   $ oc adm upgrade --include-not-recommended

   Copy to Clipboard Toggle word wrap

2. 클러스터 관리자가 잠재적으로 알려진 위험을 평가하고 현재 클러스터에 허용 가능하다고 판단하는 경우 관리자는 다음 명령을 실행하여 보안 가드를 해제하고 업데이트를 진행할 수 있습니다.

   $ oc adm upgrade --allow-not-recommended --to <version> <.>

   Copy to Clipboard Toggle word wrap

   <.> <version>은 이전 명령의 출력에서 얻은 업데이트 버전입니다. 이는 지원되지만 알려진 문제 또는 위험도 있습니다.

프로세스

1. 관리 → 클러스터 설정으로 이동하여 버전을 클릭합니다.

2. YAML 탭을 클릭한 다음 업스트림 매개변수 값을 편집합니다.

   출력 예

     ...
     spec:
       clusterID: db93436d-7b05-42cc-b856-43e11ad2d31a
       upstream: '<update-server-url>' 

   1

   
     ...

   Copy to Clipboard Toggle word wrap

   1

   <update-server-url> 변수는 업데이트 서버의 URL을 지정합니다.

   기본 upstream은 https://api.openshift.com/api/upgrades_info/v1/graph입니다.

3. 저장을 클릭합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Compute → MachineHealthChecks 로 이동합니다.

3. 머신 상태 검사를 일시 중지하려면 각 MachineHealthCheck 리소스에 cluster.x-k8s.io/paused="" 주석을 추가합니다. 예를 들어, machine-api-termination-handler 리소스에 주석을 추가하려면 다음 단계를 완료하세요.

   1. 옵션 메뉴를 클릭하세요 machine-api-termination-handler 옆에 있는 Edit annotations를 클릭하세요.
   2. 주석 편집 대화 상자에서 추가 를 클릭합니다.
   3. 키 및 값 필드에 cluster.x-k8s.io/paused 및 "" 값을 각각 추가하고 저장을 클릭합니다.

프로세스

1. 웹 콘솔에서 Administration → Cluster Settings을 클릭하고 Details 탭의 내용을 확인합니다.

2. 프로덕션 클러스터의 경우 업데이트하려는 버전에 맞는 올바른 채널(예: stable-4.19) 로 채널이 설정되어 있는지 확인하세요.

   중요

   프로덕션 클러스터의 경우 stable-* , eus-* 또는 fast-* 채널을 구독해야 합니다.

   참고

   다음 마이너 버전으로 넘어갈 준비가 되면 해당 마이너 버전에 해당하는 채널을 선택하세요. 업데이트 채널이 빨리 선언될수록 클러스터가 대상 버전에 대한 업데이트 경로를 더 효과적으로 추천할 수 있습니다. 클러스터가 사용 가능한 모든 업데이트를 평가하고 선택할 수 있는 최상의 업데이트 권장 사항을 제공하는 데 시간이 걸릴 수 있습니다. 업데이트 권장 사항은 당시에 사용 가능한 업데이트 옵션에 따라 달라지므로 시간이 지남에 따라 변경될 수 있습니다.

   대상 마이너 버전에 대한 업데이트 경로가 보이지 않으면 경로에 다음 마이너 버전이 나올 때까지 현재 버전의 최신 패치 릴리스로 클러스터를 계속 업데이트하세요.

   • 업데이트 상태가 업데이트 가능이 아닌 경우 클러스터를 업데이트할 수 없습니다.
   • Select channel은 클러스터가 실행 중이거나 업데이트 중인 클러스터 버전을 나타냅니다.

3. 업데이트할 버전을 선택하고 '저장'을 클릭하세요.

   입력 채널 Update Status가 Update to <product-version> in progress로 변경되고 Operator 및 노드의 진행률을 확인하여 클러스터 업데이트의 진행 상황을 검토할 수 있습니다.

   참고

   예를 들어 4.10에서 4.11로 클러스터를 다음 마이너 버전으로 업데이트하는 경우, 새로운 기능에 의존하는 워크로드를 배포하기 전에 노드가 업데이트되었는지 확인하세요. 아직 업데이트되지 않은 작업자 노드가 있는 풀은 클러스터 설정 페이지에 표시됩니다.

4. 업데이트가 완료되고 Cluster Version Operator가 사용 가능한 업데이트를 새로 고침한 후 현재 채널에서 사용 가능한 추가 업데이트가 있는지 확인합니다.

   • 업데이트가 있는 경우 더 이상 업데이트할 수 없을 때까지 현재 채널에서 업데이트를 계속 수행합니다.
   • 업데이트가 없는 경우 채널을 다음 마이너 버전에 대한 stable-* , eus-* 또는 fast-* 채널로 변경하고 해당 채널에서 원하는 버전으로 업데이트합니다.

   필요한 버전에 도달할 때까지 여러 중간 업데이트를 수행해야 할 수도 있습니다.

프로세스

1. 웹 콘솔에서 관리 → 클러스터 설정 페이지를 클릭하고 세부 정보 탭의 내용을 검토합니다.

2. 업데이트 클러스터 모달의 새 버전 선택 드롭다운에서 알려진 문제 기능이 있는 버전 포함 기능을 활성화하여 드롭다운 목록을 조건부 업데이트로 채울 수 있습니다.

   참고

   알려진 문제가 있는 버전을 선택하면 해당 버전과 관련된 잠재적 위험에 대한 자세한 정보가 제공됩니다.

3. 업데이트에 따른 잠재적 위험을 자세히 설명한 알림을 검토하세요.