12장. 토폴로지 Aware Lifecycle Manager를 사용하여 연결이 끊긴 환경에서 관리형 클러스터 업데이트

프로세스

1. 플랫폼 업데이트에 대한 PolicyGenTemplate CR을 생성합니다.

   1. PolicyGenTemplate CR의 다음 내용을 du-upgrade.yaml 파일에 저장합니다.

      플랫폼 업데이트를 위한 PolicyGenTemplate 예

      apiVersion: ran.openshift.io/v1
      kind: PolicyGenTemplate
      metadata:
        name: "du-upgrade"
        namespace: "ztp-group-du-sno"
      spec:
        bindingRules:
          group-du-sno: ""
        mcp: "master"
        remediationAction: inform
        sourceFiles:
          - fileName: ImageSignature.yaml 1
            policyName: "platform-upgrade-prep"
            binaryData:
              ${DIGEST_ALGO}-${DIGEST_ENCODED}: ${SIGNATURE_BASE64} 2
          - fileName: DisconnectedICSP.yaml
            policyName: "platform-upgrade-prep"
            metadata:
              name: disconnected-internal-icsp-for-ocp
            spec:
              repositoryDigestMirrors: 3
                - mirrors:
                  - quay-intern.example.com/ocp4/openshift-release-dev
                  source: quay.io/openshift-release-dev/ocp-release
                - mirrors:
                  - quay-intern.example.com/ocp4/openshift-release-dev
                  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
          - fileName: ClusterVersion.yaml 4
            policyName: "platform-upgrade"
            metadata:
              name: version
            spec:
              channel: "stable-4.15"
              upstream: http://upgrade.example.com/images/upgrade-graph_stable-4.15
              desiredUpdate:
                version: 4.15.4
            status:
              history:
                - version: 4.15.4
                  state: "Completed"

      1

      ConfigMap CR에는 업데이트할 원하는 릴리스 이미지의 서명이 포함되어 있습니다.

      2

      원하는 OpenShift Container Platform 릴리스의 이미지 서명을 표시합니다. "환경 설정" 섹션의 절차에 따라 저장한 checksum-${OCP_RELEASE_NUMBER}.yaml 파일에서 서명을 가져옵니다.

      3

      원하는 OpenShift Container Platform 이미지가 포함된 미러 저장소를 표시합니다. "환경 설정" 섹션의 절차를 따를 때 저장한 imageContentSources.yaml 파일에서 미러를 가져옵니다.

      4

      업데이트를 트리거할 ClusterVersion CR을 표시합니다. 채널,업스트림 및 desiredVersion 필드는 모두 이미지 사전 캐싱에 필요합니다.

      PolicyGenTemplate CR은 다음 두 가지 정책을 생성합니다.

      • du-upgrade-platform-prep 정책은 플랫폼 업데이트에 대한 준비 작업을 수행합니다. 원하는 릴리스 이미지 서명에 대한 ConfigMap CR을 생성하고 미러링된 릴리스 이미지 저장소의 이미지 콘텐츠 소스를 생성하고, 원하는 업데이트 채널 및 연결이 끊긴 환경에서 관리 클러스터에서 연결할 수 있는 업데이트 그래프로 클러스터 버전을 업데이트합니다.
      • du-upgrade-platform-upgrade 정책은 플랫폼 업그레이드를 수행하는 데 사용됩니다.

   2. PolicyGenTemplate CR의 GitOps ZTP Git 리포지토리에 있는 kustomization.yaml 파일에 du-upgrade.yaml 파일 내용을 추가하고 Git 리포지토리로 변경 사항을 내보냅니다.

      rgocd는 Git 리포지토리에서 변경 사항을 가져와서 hub 클러스터에 정책을 생성합니다.

   3. 다음 명령을 실행하여 생성된 정책을 확인합니다.

      $ oc get policies -A | grep platform-upgrade

2. spec.enable 필드가 false 로 설정된 상태에서 플랫폼 업데이트에 대한 ClusterGroupUpdate CR을 생성합니다.

   1. du-upgrade-platform-upgrade - prep 및 du-upgrade-platform-upgrade 정책 및 대상 클러스터를 다음 예와 같이 cgu-platform-upgrade.yml 파일에 사용하여 플랫폼 업데이트 ClusterGroupUpdate CR의 콘텐츠를 저장합니다.

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-platform-upgrade
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-platform-upgrade-prep
        - du-upgrade-platform-upgrade
        preCaching: false
        clusters:
        - spoke1
        remediationStrategy:
          maxConcurrency: 1
        enable: false

   2. 다음 명령을 실행하여 Hub 클러스터에 ClusterGroupUpdate CR을 적용합니다.

      $ oc apply -f cgu-platform-upgrade.yml

3. 선택 사항: 플랫폼 업데이트의 이미지를 사전 캐시합니다.

   1. 다음 명령을 실행하여 ClusterGroupUpdate CR에서 사전 캐싱을 활성화합니다.

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-platform-upgrade \
      --patch '{"spec":{"preCaching": true}}' --type=merge

   2. 업데이트 프로세스를 모니터링하고 사전 캐싱이 완료될 때까지 기다립니다. hub 클러스터에서 다음 명령을 실행하여 사전 캐싱 상태를 확인합니다.

      $ oc get cgu cgu-platform-upgrade -o jsonpath='{.status.precaching.status}'

4. 플랫폼 업데이트를 시작합니다.

   1. 다음 명령을 실행하여 cgu-platform-upgrade 정책을 활성화하고 사전 캐싱을 비활성화합니다.

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-platform-upgrade \
      --patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge

   2. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다.

      $ oc get policies --all-namespaces

프로세스

1. Operator 업데이트의 PolicyGenTemplate CR을 업데이트합니다.

   1. du-upgrade.yaml 파일의 다음과 같은 추가 콘텐츠를 사용하여 du-upgrade PolicyGenTemplate CR을 업데이트합니다.

      apiVersion: ran.openshift.io/v1
      kind: PolicyGenTemplate
      metadata:
        name: "du-upgrade"
        namespace: "ztp-group-du-sno"
      spec:
        bindingRules:
          group-du-sno: ""
        mcp: "master"
        remediationAction: inform
        sourceFiles:
          - fileName: DefaultCatsrc.yaml
            remediationAction: inform
            policyName: "operator-catsrc-policy"
            metadata:
              name: redhat-operators-disconnected
            spec:
              displayName: Red Hat Operators Catalog
              image: registry.example.com:5000/olm/redhat-operators-disconnected:v4.15 1
              updateStrategy: 2
                registryPoll:
                  interval: 1h
            status:
              connectionState:
                  lastObservedState: READY 3

      1

      인덱스 이미지 URL에는 원하는 Operator 이미지가 포함되어 있습니다. 인덱스 이미지가 항상 동일한 이미지 이름 및 태그로 푸시되는 경우 이 변경이 필요하지 않습니다.

      2

      OLM(Operator Lifecycle Manager)에서 registryPoll.interval 필드를 사용하여 새 Operator 버전의 인덱스 이미지를 폴링하는 빈도를 설정합니다. 이 변경 사항은 y-stream 및 z-stream Operator 업데이트를 위해 새 인덱스 이미지 태그가 항상 푸시되는 경우 필요하지 않습니다. registryPoll.interval 필드는 업데이트를 신속하게 처리하기 위해 더 짧은 간격으로 설정할 수 있지만 더 짧은 간격은 계산 부하를 늘리십시오. 이 문제를 대응하려면 업데이트가 완료되면 registryPoll.interval 을 기본값으로 복원할 수 있습니다.

      3

      카탈로그 연결의 마지막으로 관찰된 상태입니다. READY 값을 사용하면 CatalogSource 정책이 준비되어 인덱스 Pod를 가져와 실행 중임을 나타냅니다. 이렇게 하면 TALM이 최신 정책 준수 상태를 기반으로 Operator를 업그레이드합니다.

   2. 이번 업데이트에서는 원하는 Operator 이미지가 포함된 새 인덱스 이미지로 redhat-operators-disconnected 카탈로그 소스를 업데이트하기 위해 하나의 정책인 du-upgrade-operator-catsrc-policy 를 생성합니다.

      참고

      Operator에 이미지 사전 캐싱을 사용하고 redhat-operators-disconnected 이외의 다른 카탈로그 소스의 Operator가 있는 경우 다음 작업을 수행해야 합니다.

      • 다른 카탈로그 소스에 대해 새 인덱스 이미지 또는 레지스트리 폴링 간격 업데이트를 사용하여 별도의 카탈로그 소스 정책을 준비합니다.
      • 다른 카탈로그 소스의 Operator에 대해 별도의 서브스크립션 정책을 준비합니다.

      예를 들어 원하는 SRIOV-FEC Operator는 certified-operators 카탈로그 소스에서 사용할 수 있습니다. 카탈로그 소스 및 Operator 서브스크립션을 업데이트하려면 다음 내용을 추가하여 du-upgrade-fec-catsrc-policy 및 du-upgrade-subscriptions-fec-policy: 두 가지 정책을 생성합니다.

      apiVersion: ran.openshift.io/v1
      kind: PolicyGenTemplate
      metadata:
        name: "du-upgrade"
        namespace: "ztp-group-du-sno"
      spec:
        bindingRules:
          group-du-sno: ""
        mcp: "master"
        remediationAction: inform
        sourceFiles:
             …
          - fileName: DefaultCatsrc.yaml
            remediationAction: inform
            policyName: "fec-catsrc-policy"
            metadata:
              name: certified-operators
            spec:
              displayName: Intel SRIOV-FEC Operator
              image: registry.example.com:5000/olm/far-edge-sriov-fec:v4.10
              updateStrategy:
                registryPoll:
                  interval: 10m
          - fileName: AcceleratorsSubscription.yaml
            policyName: "subscriptions-fec-policy"
            spec:
              channel: "stable"
              source: certified-operators

   3. Common PolicyGenTemplate CR이 있는 경우 지정된 서브스크립션 채널을 제거합니다. GitOps ZTP 이미지의 기본 서브스크립션 채널은 업데이트에 사용됩니다.

      참고

      GitOps ZTP 4.15를 통해 적용되는 Operator의 기본 채널은 performance-addon-operator 를 제외하고 안정적입니다. OpenShift Container Platform 4.11부터 performance-addon-operator 기능이 node-tuning-operator 로 이동되었습니다. 4.10 릴리스의 경우 PAO의 기본 채널은 v4.10 입니다. 공통 PolicyGenTemplate CR에서 기본 채널을 지정할 수도 있습니다.

   4. PolicyGenTemplate CR 업데이트를 GitOps ZTP Git 리포지토리로 내보냅니다.

      rgocd는 Git 리포지토리에서 변경 사항을 가져와서 hub 클러스터에 정책을 생성합니다.

   5. 다음 명령을 실행하여 생성된 정책을 확인합니다.

      $ oc get policies -A | grep -E "catsrc-policy|subscription"

2. Operator 업데이트를 시작하기 전에 필요한 카탈로그 소스 업데이트를 적용합니다.

   1. 카탈로그 소스 정책 및 대상 관리 클러스터를 cgu- operator-upgrade-prep 파일에 사용하여 operator-upgrade-prep라는 ClusterGroupUpgrade CR의 콘텐츠를 저장합니다.

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-operator-upgrade-prep
        namespace: default
      spec:
        clusters:
        - spoke1
        enable: true
        managedPolicies:
        - du-upgrade-operator-catsrc-policy
        remediationStrategy:
          maxConcurrency: 1

   2. 다음 명령을 실행하여 허브 클러스터에 정책을 적용합니다.

      $ oc apply -f cgu-operator-upgrade-prep.yml

   3. 업데이트 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다.

      $ oc get policies -A | grep -E "catsrc-policy"

3. spec.enable 필드를 false 로 설정하여 Operator 업데이트에 대한 ClusterGroupUpgrade CR을 생성합니다.

   1. 다음 예와 같이 Operator 업데이트 ClusterGroupUpgrade CR의 콘텐츠를 du-upgrade-operator-catsrc-policy 정책 및 공통 PolicyGenTemplate 에서 생성한 서브스크립션 정책과 대상 클러스터에서 cgu-operator-upgrade.yml 파일에 저장합니다.

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-operator-upgrade
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-operator-catsrc-policy 1
        - common-subscriptions-policy 2
        preCaching: false
        clusters:
        - spoke1
        remediationStrategy:
          maxConcurrency: 1
        enable: false

      1

      이 정책은 카탈로그 소스에서 Operator 이미지를 검색하려면 이미지 사전 캐싱 기능에 필요합니다.

      2

      정책에는 Operator 서브스크립션이 포함되어 있습니다. 참조 PolicyGenTemplates 의 구조와 내용을 따르는 경우 모든 Operator 서브스크립션이 common-subscriptions-policy 정책으로 그룹화됩니다.

      참고

      하나의 ClusterGroupUpgrade CR은 ClusterGroupUpgrade CR에 포함된 하나의 카탈로그 소스에서 서브스크립션 정책에 정의된 Operator의 이미지만 사전 캐시할 수 있습니다. SRIOV-FEC Operator의 예와 같이 원하는 Operator가 다양한 카탈로그 소스의 경우 SRIOV-FEC Operator 이미지에 대한 du-upgrade-fec-catsrc-policy 및 du-upgrade-subscriptions-fec-policy 정책을 사용하여 다른 ClusterGroupUpgrade CR을 생성해야 합니다.

   2. 다음 명령을 실행하여 hub 클러스터에 ClusterGroupUpgrade CR을 적용합니다.

      $ oc apply -f cgu-operator-upgrade.yml

4. 선택 사항: Operator 업데이트의 이미지를 사전 캐시합니다.

   1. 이미지 사전 캐싱을 시작하기 전에 다음 명령을 실행하여 서브스크립션 정책이 이 시점에서 NonCompliant 인지 확인합니다.

      $ oc get policy common-subscriptions-policy -n <policy_namespace>

      출력 예

      NAME                          REMEDIATION ACTION   COMPLIANCE STATE     AGE
      common-subscriptions-policy   inform               NonCompliant         27d

   2. 다음 명령을 실행하여 ClusterGroupUpgrade CR에서 pre-caching을 활성화합니다.

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-operator-upgrade \
      --patch '{"spec":{"preCaching": true}}' --type=merge

   3. 프로세스를 모니터링하고 사전 캐싱이 완료될 때까지 기다립니다. 관리 클러스터에서 다음 명령을 실행하여 사전 캐싱 상태를 확인합니다.

      $ oc get cgu cgu-operator-upgrade -o jsonpath='{.status.precaching.status}'

   4. 다음 명령을 실행하여 업데이트를 시작하기 전에 사전 캐싱이 완료되었는지 확인합니다.

      $ oc get cgu -n default cgu-operator-upgrade -ojsonpath='{.status.conditions}' | jq

      출력 예

      [
          {
            "lastTransitionTime": "2022-03-08T20:49:08.000Z",
            "message": "The ClusterGroupUpgrade CR is not enabled",
            "reason": "UpgradeNotStarted",
            "status": "False",
            "type": "Ready"
          },
          {
            "lastTransitionTime": "2022-03-08T20:55:30.000Z",
            "message": "Precaching is completed",
            "reason": "PrecachingCompleted",
            "status": "True",
            "type": "PrecachingDone"
          }
      ]

5. Operator 업데이트를 시작합니다.

   1. cgu-operator-upgrade ClusterGroupUpgrade CR을 활성화하고 다음 명령을 실행하여 Operator 업데이트를 시작하도록 사전 캐싱을 비활성화합니다.

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-operator-upgrade \
      --patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge

   2. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다.

      $ oc get policies --all-namespaces

프로세스

1. "플랫폼 업데이트 수행" 및 "Operator 업데이트 수행" 섹션에 설명된 단계에 따라 업데이트에 대한 PolicyGenTemplate CR을 생성합니다.

2. 플랫폼 및 Operator 업데이트에 대한 prep 작업을 적용합니다.

   1. 플랫폼 업데이트 준비 작업, 카탈로그 소스 업데이트 및 대상 클러스터에 대한 정책을 사용하여 ClusterGroupUpgrade CR의 콘텐츠를 cgu-platform-operator-upgrade-prep.yml 파일에 저장합니다. 예를 들면 다음과 같습니다.

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-platform-operator-upgrade-prep
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-platform-upgrade-prep
        - du-upgrade-operator-catsrc-policy
        clusterSelector:
        - group-du-sno
        remediationStrategy:
          maxConcurrency: 10
        enable: true

   2. 다음 명령을 실행하여 cgu-platform-operator-upgrade-prep.yml 파일을 hub 클러스터에 적용합니다.

      $ oc apply -f cgu-platform-operator-upgrade-prep.yml

   3. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다.

      $ oc get policies --all-namespaces

3. 플랫폼에 대한 ClusterGroupUpdate CR을 생성하고 spec.enable 필드를 false 로 설정하여 Operator를 업데이트합니다.

   1. 다음 예와 같이 플랫폼 및 Operator의 콘텐츠를 정책 및 대상 클러스터를 사용하여 cgu-platform-operator-upgrade.yml 파일에 저장합니다.

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-du-upgrade
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-platform-upgrade 1
        - du-upgrade-operator-catsrc-policy 2
        - common-subscriptions-policy 3
        preCaching: true
        clusterSelector:
        - group-du-sno
        remediationStrategy:
          maxConcurrency: 1
        enable: false

      1

      이는 플랫폼 업데이트 정책입니다.

      2

      이는 Operator를 업데이트할 카탈로그 소스 정보가 포함된 정책입니다. 관리 클러스터로 다운로드할 Operator 이미지를 결정하는 데 사전 캐싱 기능이 필요합니다.

      3

      Operator를 업데이트하는 정책입니다.

   2. 다음 명령을 실행하여 cgu-platform-operator-upgrade.yml 파일을 hub 클러스터에 적용합니다.

      $ oc apply -f cgu-platform-operator-upgrade.yml

4. 선택 사항: 플랫폼 및 Operator 업데이트의 이미지를 사전 캐시합니다.

   1. 다음 명령을 실행하여 ClusterGroupUpgrade CR에서 pre-caching을 활성화합니다.

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-du-upgrade \
      --patch '{"spec":{"preCaching": true}}' --type=merge

   2. 업데이트 프로세스를 모니터링하고 사전 캐싱이 완료될 때까지 기다립니다. 관리 클러스터에서 다음 명령을 실행하여 사전 캐싱 상태를 확인합니다.

      $ oc get jobs,pods -n openshift-talm-pre-cache

   3. 다음 명령을 실행하여 업데이트를 시작하기 전에 사전 캐싱이 완료되었는지 확인합니다.

      $ oc get cgu cgu-du-upgrade -ojsonpath='{.status.conditions}'

5. 플랫폼 및 Operator 업데이트를 시작합니다.

   1. 다음 명령을 실행하여 cgu-du-upgrade ClusterGroupUpgrade CR을 활성화하여 플랫폼 및 Operator 업데이트를 시작합니다.

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-du-upgrade \
      --patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge

   2. 프로세스를 모니터링합니다. 완료되면 다음 명령을 실행하여 정책을 준수하는지 확인합니다.

      $ oc get policies --all-namespaces

      참고

      플랫폼 및 Operator 업데이트의 CR은 설정을 spec.enable: true 로 구성하여 처음부터 생성할 수 있습니다. 이 경우 업데이트는 사전 캐싱이 완료된 직후 시작되어 CR을 수동으로 활성화할 필요가 없습니다.

      사전 캐싱과 업데이트 모두 정책, 배치 바인딩, 배치 규칙, 관리 클러스터 작업 및 관리 클러스터 뷰와 같은 추가 리소스를 생성하여 절차를 완료하는 데 도움이 됩니다. afterCompletion.deleteObjects 필드를 true 로 설정하면 업데이트가 완료된 후 이러한 리소스가 모두 삭제됩니다.

프로세스

1. common-ranGen.yaml 파일에서 Performance Addon Operator 네임스페이스, Operator group 및 서브스크립션에 대해 complianceType 을 mustnothave 로 변경합니다.

    -  fileName: PaoSubscriptionNS.yaml
       policyName: "subscriptions-policy"
       complianceType: mustnothave
    -  fileName: PaoSubscriptionOperGroup.yaml
       policyName: "subscriptions-policy"
       complianceType: mustnothave
    -  fileName: PaoSubscription.yaml
       policyName: "subscriptions-policy"
       complianceType: mustnothave

2. 사용자 정의 사이트 리포지토리와 변경 사항을 병합하고 ArgoCD 애플리케이션이 변경 사항을 허브 클러스터에 동기화할 때까지 기다립니다. common-subscriptions-policy 정책의 상태는 비준 수.
3. 토폴로지 Aware Lifecycle Manager를 사용하여 대상 클러스터에 변경 사항을 적용합니다. 구성 변경 사항 롤아웃에 대한 자세한 내용은 "추가 리소스" 섹션을 참조하십시오.

4. 프로세스를 모니터링합니다. 대상 클러스터의 common-subscriptions-policy 정책이 Compliant 인 경우 Performance Addon Operator가 클러스터에서 제거되었습니다. 다음 명령을 실행하여 common-subscriptions-policy 의 상태를 가져옵니다.

   $ oc get policy -n ztp-common common-subscriptions-policy

5. common-ranGen.yaml 파일의 .spec.sourceFiles 에서 Performance Addon Operator 네임스페이스, Operator group 및 서브스크립션 CR을 삭제합니다.
6. 사용자 정의 사이트 리포지토리와 변경 사항을 병합하고 ArgoCD 애플리케이션이 변경 사항을 허브 클러스터에 동기화할 때까지 기다립니다. 정책은 그대로 유지됩니다.