9.3. 使用 PolicyGenerator 资源和 TALM 在断开连接的环境中更新受管集群

流程

1. 为平台更新创建一个 PolicyGenerator CR：

   1. 将以下 PolicyGenerator CR 保存到 du-upgrade.yaml 文件中：

      平台更新的 PolicyGenerator 示例

      apiVersion: policy.open-cluster-management.io/v1
      kind: PolicyGenerator
      metadata:
          name: du-upgrade
      placementBindingDefaults:
          name: du-upgrade-placement-binding
      policyDefaults:
          namespace: ztp-group-du-sno
          placement:
              labelSelector:
                  matchExpressions:
                      - key: group-du-sno
                        operator: Exists
          remediationAction: inform
          severity: low
          namespaceSelector:
              exclude:
                  - kube-*
              include:
                  - '*'
          evaluationInterval:
              compliant: 10m
              noncompliant: 10s
      policies:
          - name: du-upgrade-platform-upgrade
            policyAnnotations:
              ran.openshift.io/ztp-deploy-wave: "100"
            manifests:
              - path: source-crs/ClusterVersion.yaml 1
                patches:
                  - metadata:
                      name: version
                    spec:
                      channel: stable-4.16
                      desiredUpdate:
                          version: 4.16.4
                      upstream: http://upgrade.example.com/images/upgrade-graph_stable-4.16
                    status:
                      history:
                          - state: Completed
                            version: 4.16.4
          - name: du-upgrade-platform-upgrade-prep
            policyAnnotations:
              ran.openshift.io/ztp-deploy-wave: "1"
            manifests:
              - path: source-crs/ImageSignature.yaml 2
              - path: source-crs/DisconnectedICSP.yaml
                patches:
                  - metadata:
                      name: disconnected-internal-icsp-for-ocp
                    spec:
                      repositoryDigestMirrors: 3
                          - mirrors:
                              - quay-intern.example.com/ocp4/openshift-release-dev
                            source: quay.io/openshift-release-dev/ocp-release
                          - mirrors:
                              - quay-intern.example.com/ocp4/openshift-release-dev
                            source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

      1

      显示触发更新的 ClusterVersion CR。对于预缓存，channel, upstream, 和 desiredVersion 项都是必需的。

      2

      ImageSignature.yaml 包含所需的发行镜像的镜像签名。镜像签名用于在应用平台更新前验证镜像。

      3

      显示包含所需 OpenShift Container Platform 镜像的镜像存储库。获取在"设置 environment"部分中的步骤时所保存的 imageContentSources.yaml 文件中的镜像。

      PolicyGenerator CR 生成两个策略：

      • du-upgrade-platform-upgrade-prep 策略为平台更新做准备。它为所需的发行版本镜像签名创建 ConfigMap CR，创建镜像的发行镜像存储库的镜像内容源，并使用所需的更新频道更新集群版本，以及在断开连接的环境中由 spoke 集群访问的更新图。
      • du-upgrade-platform-upgrade 策略用于执行平台升级。

   2. 将 du-upgrade.yaml 文件内容添加到 kustomization.yaml 文件中，位于 PolicyGenerator CR 的 GitOps ZTP Git 存储库中，并将更改推送到 Git 存储库。

      ArgoCD 从 Git 存储库拉取更改并在 hub 集群上生成策略。

   3. 运行以下命令检查创建的策略：

      $ oc get policies -A | grep platform-upgrade

2. 为平台更新创建 ClusterGroupUpdate CR，将 spec.enable 项设置为 false。

   1. 将平台更新 ClusterGroupUpdate CR 的内容，带有 du-upgrade-platform-upgrade-prep 和 du-upgrade-platform-upgrade 策略，以及目标集群保存到 cgu-platform-upgrade.yml 文件，如以下示例所述：

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-platform-upgrade
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-platform-upgrade-prep
        - du-upgrade-platform-upgrade
        preCaching: false
        clusters:
        - spoke1
        remediationStrategy:
          maxConcurrency: 1
        enable: false

   2. 运行以下命令，将 ClusterGroupUpdate CR 应用到 hub 集群：

      $ oc apply -f cgu-platform-upgrade.yml

3. 可选：缓存平台更新的镜像。

   1. 运行以下命令，在 ClusterGroupUpdate CR 中启用预缓存：

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-platform-upgrade \
      --patch '{"spec":{"preCaching": true}}' --type=merge

   2. 监控更新过程，并等待预缓存完成。在 hub 集群中运行以下命令来检查预缓存的状态：

      $ oc get cgu cgu-platform-upgrade -o jsonpath='{.status.precaching.status}'

4. 启动平台更新：

   1. 运行以下命令启用 cgu-platform-upgrade 策略并禁用预缓存：

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-platform-upgrade \
      --patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge

   2. 监控进程。在完成后，运行以下命令来确保策略兼容：

      $ oc get policies --all-namespaces

流程

1. 更新 PolicyGenerator CR 用于 Operator 更新。

   1. 使用 du-upgrade.yaml 文件中的以下额外内容更新 du-upgrade PolicyGenerator CR：

      apiVersion: policy.open-cluster-management.io/v1
      kind: PolicyGenerator
      metadata:
          name: du-upgrade
      placementBindingDefaults:
          name: du-upgrade-placement-binding
      policyDefaults:
          namespace: ztp-group-du-sno
          placement:
              labelSelector:
                  matchExpressions:
                      - key: group-du-sno
                        operator: Exists
          remediationAction: inform
          severity: low
          namespaceSelector:
              exclude:
                  - kube-*
              include:
                  - '*'
          evaluationInterval:
              compliant: 10m
              noncompliant: 10s
      policies:
          - name: du-upgrade-operator-catsrc-policy
            policyAnnotations:
              ran.openshift.io/ztp-deploy-wave: "1"
            manifests:
              - path: source-crs/DefaultCatsrc.yaml
                patches:
                  - metadata:
                      name: redhat-operators-disconnected
                    spec:
                      displayName: Red Hat Operators Catalog
                      image: registry.example.com:5000/olm/redhat-operators-disconnected:v4.16 1
                      updateStrategy: 2
                          registryPoll:
                              interval: 1h
                    status:
                      connectionState:
                          lastObservedState: READY 3

      1

      包含所需的 Operator 镜像。如果索引镜像始终推送到相同的镜像名称和标签，则不需要此更改。

      2

      使用 registryPoll.interval 字段设置 Operator Lifecycle Manager(OLM)轮询新 Operator 版本的索引镜像。如果为 y-stream 和 z-stream Operator 更新而总是推送新的索引镜像标签，则不需要此更改。registryPoll.interval 字段可以设置为较短的间隔，以加快更新，但较短的间隔会增大计算负载。要影响这个问题，您可以在更新完成后将 registryPoll.interval 恢复到默认值。

      3

      显示目录连接的观察状态。READY 值确保 CatalogSource 策略已就绪，表示索引 Pod 已拉取并在运行。这样，TALM 根据最新的策略合规性状态升级 Operator。

   2. 在这个版本中，生成一个策略 du-upgrade-operator-catsrc-policy，以使用包含所需 Operator 镜像的新索引镜像更新 redhat-operators-disconnected 目录源。

      注意

      如果要将镜像预缓存用于 Operator，并且来自 redhat-operators-disconnected 以外的其他目录源的 Operator，您必须执行以下任务：

      • 使用新的索引镜像或 registry 轮询间隔更新准备单独的目录源策略。
      • 为来自不同目录源的所需 Operator 准备单独的订阅策略。

      例如，所需的 SRIOV-FEC Operator 在 certified-operators 目录源中提供。要更新目录源和 Operator 订阅，请添加以下内容来生成两个策略： du-upgrade-fec-catsrc-policy 和 du-upgrade-subscriptions-fec-policy ：

      apiVersion: policy.open-cluster-management.io/v1
      kind: PolicyGenerator
      metadata:
          name: du-upgrade
      placementBindingDefaults:
          name: du-upgrade-placement-binding
      policyDefaults:
          namespace: ztp-group-du-sno
          placement:
              labelSelector:
                  matchExpressions:
                      - key: group-du-sno
                        operator: Exists
          remediationAction: inform
          severity: low
          namespaceSelector:
              exclude:
                  - kube-*
              include:
                  - '*'
          evaluationInterval:
              compliant: 10m
              noncompliant: 10s
      policies:
          - name: du-upgrade-fec-catsrc-policy
            policyAnnotations:
              ran.openshift.io/ztp-deploy-wave: "1"
            manifests:
              - path: source-crs/DefaultCatsrc.yaml
                patches:
                  - metadata:
                      name: certified-operators
                    spec:
                      displayName: Intel SRIOV-FEC Operator
                      image: registry.example.com:5000/olm/far-edge-sriov-fec:v4.10
                      updateStrategy:
                          registryPoll:
                              interval: 10m
          - name: du-upgrade-subscriptions-fec-policy
            policyAnnotations:
              ran.openshift.io/ztp-deploy-wave: "2"
            manifests:
              - path: source-crs/AcceleratorsSubscription.yaml
                patches:
                  - spec:
                      channel: stable
                      source: certified-operators

   3. 如果存在，在通用 PolicyGenerator CR 中删除指定的订阅频道。GitOps ZTP 镜像的默认订阅频道用于更新。

      注意

      通过 GitOps ZTP 4.16 应用的 Operator 的默认频道是 stable，但 performance-addon-operator 除外。从 OpenShift Container Platform 4.11 开始，performance-addon-operator 功能被移到 node-tuning-operator 中。对于 4.10 发行版本，PAO 的默认频道是 v4.10。您还可以在常规 PolicyGenerator CR 中指定默认频道。

   4. 将 PolicyGenerator CR 更新推送到 GitOps ZTP Git 存储库。

      ArgoCD 从 Git 存储库拉取更改并在 hub 集群上生成策略。

   5. 运行以下命令检查创建的策略：

      $ oc get policies -A | grep -E "catsrc-policy|subscription"

2. 在启动 Operator 更新前，应用所需的目录源更新。

   1. 使用目录源策略将名为 operator-upgrade-prep 的 ClusterGroupUpgrade CR 的内容保存到 cgu-operator-upgrade-prep.yml 文件中：

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-operator-upgrade-prep
        namespace: default
      spec:
        clusters:
        - spoke1
        enable: true
        managedPolicies:
        - du-upgrade-operator-catsrc-policy
        remediationStrategy:
          maxConcurrency: 1

   2. 运行以下命令，将策略应用到 hub 集群：

      $ oc apply -f cgu-operator-upgrade-prep.yml

   3. 监控更新过程。在完成后，运行以下命令来确保策略兼容：

      $ oc get policies -A | grep -E "catsrc-policy"

3. 为 Operator 更新创建 ClusterGroupUpgrade CR，并将 spec.enable 字段设置为 false。

   1. 使用 du-upgrade-operator-catsrc-policy 策略和从常规 PolicyGenerator 创建的订阅策略，将 Operator 更新 ClusterGroupUpgrade CR 的内容保存到 cgu-operator-upgrade.yml 文件，如下例所示：

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-operator-upgrade
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-operator-catsrc-policy 1
        - common-subscriptions-policy 2
        preCaching: false
        clusters:
        - spoke1
        remediationStrategy:
          maxConcurrency: 1
        enable: false

      1

      镜像预缓存功能需要该策略，以便从目录源检索 Operator 镜像。

      2

      策略包含 Operator 订阅。如果您遵循了参考 PolicyGenTemplates 的结构和内容，则所有 Operator 订阅都分组到 common-subscriptions-policy 策略中。

      注意

      一个 ClusterGroupUpgrade CR 只能从 ClusterGroupUpgrade CR 中包含的一个目录源中预缓存订阅策略中定义的 Operator 镜像。如果所需的 Operator 来自不同目录源，如 SRIOV-FEC Operator 示例，则必须使用 du-upgrade-fec-catsrc-policy 和 du-upgrade-subscriptions-fec-policy 镜像（pre-FEC Operator 镜像）创建另一个 ClusterGroupUpgrade CR。

   2. 运行以下命令，将 ClusterGroupUpgrade CR 应用到 hub 集群：

      $ oc apply -f cgu-operator-upgrade.yml

4. 可选：缓存 Operator 更新的镜像。

   1. 在启动镜像预缓存前，运行以下命令验证订阅策略在此时是否是 NonCompliant ：

      $ oc get policy common-subscriptions-policy -n <policy_namespace>

      输出示例

      NAME                          REMEDIATION ACTION   COMPLIANCE STATE     AGE
      common-subscriptions-policy   inform               NonCompliant         27d

   2. 运行以下命令，在 ClusterGroupUpgrade CR 中启用预缓存：

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-operator-upgrade \
      --patch '{"spec":{"preCaching": true}}' --type=merge

   3. 监控进程并等待预缓存完成。在受管集群中运行以下命令来检查预缓存的状态：

      $ oc get cgu cgu-operator-upgrade -o jsonpath='{.status.precaching.status}'

   4. 运行以下命令，检查预缓存是否在启动更新前完成：

      $ oc get cgu -n default cgu-operator-upgrade -ojsonpath='{.status.conditions}' | jq

      输出示例

      [
          {
            "lastTransitionTime": "2022-03-08T20:49:08.000Z",
            "message": "The ClusterGroupUpgrade CR is not enabled",
            "reason": "UpgradeNotStarted",
            "status": "False",
            "type": "Ready"
          },
          {
            "lastTransitionTime": "2022-03-08T20:55:30.000Z",
            "message": "Precaching is completed",
            "reason": "PrecachingCompleted",
            "status": "True",
            "type": "PrecachingDone"
          }
      ]

5. 启动 Operator 更新。

   1. 运行以下命令，启用 cgu-operator-upgrade ClusterGroupUpgrade CR，并禁用预缓存来启动 Operator 更新：

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-operator-upgrade \
      --patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge

   2. 监控进程。在完成后，运行以下命令来确保策略兼容：

      $ oc get policies --all-namespaces

流程

1. 在 PolicyGenerator 资源中添加目录源配置：

   manifests:
   - path: source-crs/DefaultCatsrc.yaml
     patches:
       - metadata:
           name: redhat-operators-disconnected
         spec:
           displayName: Red Hat Operators Catalog
           image: registry.example.com:5000/olm/redhat-operators-disconnected:v{product-version}
           updateStrategy:
               registryPoll:
                   interval: 1h
         status:
           connectionState:
               lastObservedState: READY
   - path: source-crs/DefaultCatsrc.yaml
     patches:
       - metadata:
           name: redhat-operators-disconnected-v2 1
         spec:
           displayName: Red Hat Operators Catalog v2 2
           image: registry.example.com:5000/olm/redhat-operators-disconnected:<version> 3
           updateStrategy:
               registryPoll:
                   interval: 1h
         status:
           connectionState:
               lastObservedState: READY

   1

   更新新配置的名称。

   2

   更新新配置的显示名称。

   3

   更新索引镜像 URL。此 policies.manifests.patches.spec.image 字段覆盖 DefaultCatsrc.yaml 文件中的任何配置。

2. 更新 Subscription 资源，以指向需要更新的 Operator 的新配置：

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: operator-subscription
     namespace: operator-namspace
   # ...
   spec:
     source: redhat-operators-disconnected-v2 1
   # ...

   1

   输入您在 PolicyGenerator 资源中定义的额外目录源配置的名称。

流程

1. 按照 "forming a platform update" 和 "Performing an Operator update" 部分所述的步骤为更新创建 PolicyGenerator CR。

2. 为平台和 Operator 更新应用准备工作。

   1. 使用平台更新准备工作、目录源更新和目标集群的 ClusterGroupUpgrade CR 将内容保存到 cgu-platform-operator-upgrade-prep.yml 文件中，例如：

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-platform-operator-upgrade-prep
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-platform-upgrade-prep
        - du-upgrade-operator-catsrc-policy
        clusterSelector:
        - group-du-sno
        remediationStrategy:
          maxConcurrency: 10
        enable: true

   2. 运行以下命令，将 cgu-platform-operator-upgrade-prep.yml 文件应用到 hub 集群：

      $ oc apply -f cgu-platform-operator-upgrade-prep.yml

   3. 监控进程。在完成后，运行以下命令来确保策略兼容：

      $ oc get policies --all-namespaces

3. 为平台创建 ClusterGroupUpdate CR，并将 spec.enable 字段设置为 false 的 Operator 更新。

   1. 将平台的内容和带有策略和目标集群的 Operator 更新 ClusterGroupUpdate CR 保存为 cgu-platform-operator-upgrade.yml 文件，如下例所示：

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: cgu-du-upgrade
        namespace: default
      spec:
        managedPolicies:
        - du-upgrade-platform-upgrade 1
        - du-upgrade-operator-catsrc-policy 2
        - common-subscriptions-policy 3
        preCaching: true
        clusterSelector:
        - group-du-sno
        remediationStrategy:
          maxConcurrency: 1
        enable: false

      1

      这是平台更新策略。

      2

      这是包含要更新 Operator 的目录源信息的策略。预缓存功能需要它来确定要下载至受管集群的 Operator 镜像。

      3

      这是更新 Operator 的策略。

   2. 运行以下命令，将 cgu-platform-operator-upgrade.yml 文件应用到 hub 集群：

      $ oc apply -f cgu-platform-operator-upgrade.yml

4. 可选：为平台和 Operator 更新缓存镜像。

   1. 运行以下命令，在 ClusterGroupUpgrade CR 中启用预缓存：

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-du-upgrade \
      --patch '{"spec":{"preCaching": true}}' --type=merge

   2. 监控更新过程，并等待预缓存完成。在受管集群中运行以下命令来检查预缓存的状态：

      $ oc get jobs,pods -n openshift-talm-pre-cache

   3. 运行以下命令，检查预缓存是否在启动更新前完成：

      $ oc get cgu cgu-du-upgrade -ojsonpath='{.status.conditions}'

5. 启动平台和 Operator 更新。

   1. 运行以下命令，启用 cgu-du-upgrade ClusterGroupUpgrade CR 来启动平台和 Operator 更新：

      $ oc --namespace=default patch clustergroupupgrade.ran.openshift.io/cgu-du-upgrade \
      --patch '{"spec":{"enable":true, "preCaching": false}}' --type=merge

   2. 监控进程。在完成后，运行以下命令来确保策略兼容：

      $ oc get policies --all-namespaces

      注意

      可通过将设置配置为 spec.enable: true，从开始创建平台和 Operator 更新 CR。在这种情况下，更新会在预缓存完成后立即启动，且不需要手动启用 CR。

      预缓存和更新都创建额外的资源，如策略、放置规则、放置规则、受管集群操作和受管集群视图，以帮助完成这个过程。将 afterCompletion.deleteObjects 字段设置为 true 在更新完成后删除所有这些资源。

流程

1. 在 acm-common-ranGen.yaml 文件中，将 Performance Addon Operator 命名空间、Operator 组和订阅的 complianceType 更改为 mustnothave。

   - name: group-du-sno-pg-subscriptions-policy
     policyAnnotations:
       ran.openshift.io/ztp-deploy-wave: "2"
     manifests:
       - path: source-crs/PaoSubscriptionNS.yaml
       - path: source-crs/PaoSubscriptionOperGroup.yaml
       - path: source-crs/PaoSubscription.yaml

2. 将更改与自定义站点存储库合并，并等待 ArgoCD 应用程序对 hub 集群同步更改。common-subscriptions-policy 策略的状态更改为 Non-Compliant。
3. 使用 Topology Aware Lifecycle Manager 将更改应用到您的目标集群。有关滚动配置更改的更多信息，请参阅“附加资源”部分。

4. 监控进程。当目标集群的 common-subscriptions-policy 策略的状态为 Compliant 时，Performance Addon Operator 已从集群中移除。运行以下命令，获取 common-subscriptions-policy 的状态：

   $ oc get policy -n ztp-common common-subscriptions-policy

5. 从 acm-common-ranGen.yaml 文件中的 policies.manifests 中删除 Performance Addon Operator 命名空间、Operator 组和订阅 CR。
6. 将更改与自定义站点存储库合并，并等待 ArgoCD 应用程序对 hub 集群同步更改。策略保持合规。