18.2. 为 ZTP 准备 hub 集群

流程

1. 登录到镜像主机。

2. 从 mirror.openshift.com 获取 RHCOS ISO 和 RootFS 镜像，例如：

   1. 将所需的镜像名称和 OpenShift Container Platform 版本导出为环境变量：

      $ export ISO_IMAGE_NAME=<iso_image_name> 1

      $ export ROOTFS_IMAGE_NAME=<rootfs_image_name> 1

      $ export OCP_VERSION=<ocp_version> 1

      1

      ISO 镜像名称，如 rhcos-4.14.1-x86_64-live.x86_64.iso

      1

      rootfs 镜像名称，如 rhcos-4.14.1-x86_64-live-rootfs.x86_64.img

      1

      OpenShift Container Platform 版本，如 4.14.1

   2. 下载所需的镜像：

      $ sudo wget https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.14/${OCP_VERSION}/${ISO_IMAGE_NAME} -O /var/www/html/${ISO_IMAGE_NAME}

      $ sudo wget https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.14/${OCP_VERSION}/${ROOTFS_IMAGE_NAME} -O /var/www/html/${ROOTFS_IMAGE_NAME}

流程

1. 启用 Provisioning 资源，以监视所有命名空间并为断开连接的环境配置镜像。如需更多信息，请参阅启用中央基础架构管理服务。

2. 运行以下命令来更新 AgentServiceConfig CR：

   $ oc edit AgentServiceConfig

3. 在 CR 的 items.spec.osImages 字段中添加以下条目：

   - cpuArchitecture: x86_64
       openshiftVersion: "4.14"
       rootFSUrl: https://<host>/<path>/rhcos-live-rootfs.x86_64.img
       url: https://<host>/<path>/rhcos-live.x86_64.iso

   其中：

   <host>

   是目标镜像 registry HTTP 服务器的完全限定域名 (FQDN)。

   <path>

   是目标镜像 registry 上镜像的路径。

   保存并退出编辑器以应用更改。

流程

1. 创建包含镜像 registry 配置的 ConfigMap：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: assisted-installer-mirror-config
     namespace: multicluster-engine 1
     labels:
       app: assisted-service
   data:
     ca-bundle.crt: | 2
       -----BEGIN CERTIFICATE-----
       <certificate_contents>
       -----END CERTIFICATE-----
   
     registries.conf: | 3
       unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
   
       [[registry]]
          prefix = ""
          location = "quay.io/example-repository" 4
          mirror-by-digest-only = true
   
          [[registry.mirror]]
          location = "mirror1.registry.corp.com:5000/example-repository" 5

   1

   ConfigMap 命名空间必须设置为 multicluster-engine。

   2

   创建镜像 registry 时使用的镜像 registry 证书。

   3

   镜像 registry 的配置文件。镜像 registry 配置将镜像信息添加到发现镜像的 /etc/containers/registries.conf 文件中。当信息传递给安装程序时，镜像信息会存储在 install-config.yaml 文件的 imageContentSources 部分中。在 hub 集群上运行的 Assisted Service pod 从配置的镜像 registry 获取容器镜像。

   4

   镜像 registry 的 URL。在配置镜像 registry 时，您必须运行 oc adm release mirror 命令使用 imageContentSources 部分中的 URL。如需更多信息，请参阅 Mirroring the OpenShift Container Platform image repository 部分。

   5

   registries.conf 文件中定义的 registry 必须由存储库范围，而不是由 registry 范围。在本例中，quay.io/example-repository 和 mirror1.registry.corp.com:5000/example-repository 存储库都限定了 example-repository 存储库。

   这会更新 AgentServiceConfig 自定义资源中的 mirrorRegistryRef，如下所示：

   输出示例

   apiVersion: agent-install.openshift.io/v1beta1
   kind: AgentServiceConfig
   metadata:
     name: agent
     namespace: multicluster-engine 1
   spec:
     databaseStorage:
       volumeName: <db_pv_name>
       accessModes:
       - ReadWriteOnce
       resources:
         requests:
           storage: <db_storage_size>
     filesystemStorage:
       volumeName: <fs_pv_name>
       accessModes:
       - ReadWriteOnce
       resources:
         requests:
           storage: <fs_storage_size>
     mirrorRegistryRef:
       name: assisted-installer-mirror-config 2
     osImages:
       - openshiftVersion: <ocp_version> 3
         url: <iso_url> 4

   1

   将 AgentServiceConfig 命名空间设置为 multicluster-engine 以匹配 ConfigMap 命名空间。

   2

   设置 mirrorRegistryRef.name，以匹配相关 ConfigMap CR 中指定的定义。

   3

   将 OpenShift Container Platform 版本设置为 x.y 或 x.y.z 格式。

   4

   设置托管在 httpd 服务器上的 ISO 的 URL。

流程

1. 运行以下命令来更新 AgentServiceConfig 自定义资源 (CR)：

   $ oc edit AgentServiceConfig agent

2. 在 CR 中添加 unauthenticatedRegistries 字段：

   apiVersion: agent-install.openshift.io/v1beta1
   kind: AgentServiceConfig
   metadata:
     name: agent
   spec:
     unauthenticatedRegistries:
     - example.registry.com
     - example.registry2.com
     ...

   未经身份验证的 registry 在 AgentServiceConfig 资源的 spec.unauthenticatedRegistries 下列出。任何此列表中的 registry 都不需要在用于 spoke 集群安装的 pull secret 中有一个条目。assisted-service 通过确保包含用于安装的每个镜像 registry 的身份验证信息来验证 pull secret。

1. 在 hub 集群中打开一个 debug shell 提示符：

   $ oc debug node/<node_name>

2. 运行以下命令测试对未经身份验证的 registry 的访问：

   sh-4.4# podman login -u kubeadmin -p $(oc whoami -t) <unauthenticated_registry>

   其中：

   <unauthenticated_registry>

   新的 registry，如 unauthenticated-image-registry.openshift-image-registry.svc:5000。

   输出示例

   Login Succeeded!

流程

1. 准备 ArgoCD 管道配置：

   1. 创建 Git 存储库，其目录结构类似于 example 目录。如需更多信息，请参阅"准备 GitOps ZTP 站点配置存储库"。

   2. 使用 ArgoCD UI 配置对存储库的访问。在 Settings 下配置以下内容：

      • Repositories - 添加连接信息。URL 必须以 .git 结尾，例如 https://repo.example.com/repo.git 和凭证。
      • 证书 - 如果需要，为存储库添加公共证书。

   3. 根据您的 Git 仓库修改两个 ArgoCD 应用程序, out/argocd/deployment/clusters-app.yaml 和 out/argocd/deployment/policies-app.yaml ：

      • 更新 URL 以指向 Git 存储库。URL 以 .git 结尾，例如 https://repo.example.com/repo.git。
      • targetRevision 表示要监控的 Git 存储库分支。
      • path 指定到 SiteConfig 和 PolicyGenTemplate CR 的路径。

2. 要安装 GitOps ZTP 插件，使用相关多集群引擎 (MCE) 订阅镜像对 hub 集群中的 ArgoCD 实例进行补丁。自定义您解压到环境的 out/argocd/deployment/ 目录中的补丁文件。

   1. 选择与您的 RHACM 版本匹配的 multicluster-operators-subscription 镜像。

      表 18.6. multicluster-operators-subscription 镜像版本

      OpenShift Container Platform 版本	RHACM 版本	MCE 版本	MCE RHEL 版本	MCE 镜像
      4.14, 4.15, 4.16	2.8, 2.9	2.8, 2.9	RHEL 8	registry.redhat.io/rhacm2/multicluster-operators-subscription-rhel8:v2.8 registry.redhat.io/rhacm2/multicluster-operators-subscription-rhel8:v2.9
      4.14, 4.15, 4.16	2.10	2.10	RHEL 9	registry.redhat.io/rhacm2/multicluster-operators-subscription-rhel9:v2.10

      重要

      multicluster-operators-subscription 镜像的版本应与 RHACM 版本匹配。从 MCE 2.10 发行版本开始，RHEL 9 是 multicluster-operators-subscription 镜像的基础镜像。

   2. 在 out/argocd/deployment/argocd-openshift-gitops-patch.json 文件中添加以下配置：

      {
        "args": [
          "-c",
          "mkdir -p /.config/kustomize/plugin/policy.open-cluster-management.io/v1/policygenerator && cp /policy-generator/PolicyGenerator-not-fips-compliant /.config/kustomize/plugin/policy.open-cluster-management.io/v1/policygenerator/PolicyGenerator" 1
        ],
        "command": [
          "/bin/bash"
        ],
        "image": "registry.redhat.io/rhacm2/multicluster-operators-subscription-rhel9:v2.10", 2 3
        "name": "policy-generator-install",
        "imagePullPolicy": "Always",
        "volumeMounts": [
          {
            "mountPath": "/.config",
            "name": "kustomize"
          }
        ]
      }

      1

      可选： 对于 RHEL 9 镜像，在 ArgoCD 版本的 /policy-generator/PolicyGenerator-not-fips-compliant 文件夹中复制所需的通用可执行文件。

      2

      将 multicluster-operators-subscription 镜像与 RHACM 版本匹配。

      3

      在断开连接的环境中，将 multicluster-operators-subscription 镜像的 URL 替换为与您的环境中使用的断开连接的 registry。

   3. 对 ArgoCD 实例进行补丁。运行以下命令:

      $ oc patch argocd openshift-gitops \
      -n openshift-gitops --type=merge \
      --patch-file out/argocd/deployment/argocd-openshift-gitops-patch.json

3. 在 RHACM 2.7 及更高版本中，多集群引擎默认启用 cluster-proxy-addon 功能。应用以下补丁来禁用 cluster-proxy-addon 功能，并删除负责此附加组件的相关 hub 集群和受管 pod。运行以下命令:

   $ oc patch multiclusterengines.multicluster.openshift.io multiclusterengine --type=merge --patch-file out/argocd/deployment/disable-cluster-proxy-addon.json

4. 运行以下命令，将管道配置应用到 hub 集群：

   $ oc apply -k out/argocd/deployment

5. 可选：如果您已有 ArgoCD 应用程序，请运行以下命令验证在 应用程序资源 中设置 PrunePropagationPolicy=background 策略：

   $ oc -n openshift-gitops get applications.argoproj.io  \
   clusters -o jsonpath='{.spec.syncPolicy.syncOptions}' |jq

   现有策略的输出示例

   [
     "CreateNamespace=true",
     "PrunePropagationPolicy=background",
     "RespectIgnoreDifferences=true"
   ]

   1. 如果 spec.syncPolicy.syncOption 字段不包含 PrunePropagationPolicy 参数，或 PrunePropagationPolicy 设置为 foreground 值，请在 Application 资源中将策略设置为 后台。请参见以下示例：

      kind: Application
      spec:
        syncPolicy:
          syncOptions:
          - PrunePropagationPolicy=background

   设置 后台 删除策略可确保 ManagedCluster CR 及其所有相关资源都被删除。

流程

1. 使用 SiteConfig 和 PolicyGenTemplate CR 的单独路径创建一个目录结构。

   注意

   在单独的目录中，保持 SiteConfig 和 PolicyGenTemplate CR。SiteConfig 和 PolicyGenTemplate 目录必须包含一个 kustomization.yaml 文件，该文件明确包含该目录中的文件。

2. 使用以下命令，从 ztp-site-generate 容器镜像导出 argocd 目录：

   $ podman pull registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.14

   $ mkdir -p ./out

   $ podman run --log-driver=none --rm registry.redhat.io/openshift4/ztp-site-generate-rhel8:v4.14 extract /home/ztp --tar | tar x -C ./out

3. 检查 out 目录是否包含以下子目录：

   • out/extra-manifest 包含 SiteConfig 用来生成额外清单 configMap 的源 CR 文件。
   • out/source-crs 包含 PolicyGenTemplate 用来生成 Red Hat Advanced Cluster Management(RHACM)策略的源 CR 文件。
   • out/argocd/deployment 包含补丁和 YAML 文件，可在 hub 集群中应用，以便在此过程的下一步中使用。
   • out/argocd/example 包含代表推荐的配置的 siteConfig 和 PolicyGenTemplate 文件的示例。
4. 将 out/source-crs 文件夹和内容复制到 PolicyGentemplate 目录。

5. out/extra-manifests 目录包含 RAN DU 集群的参考清单。将 out/extra-manifests 目录复制到 SiteConfig 文件夹。此目录应包含来自 ztp-site-generate 容器的 CR。不要在此处添加用户提供的 CR。如果要使用用户提供的 CR，您必须为其内容创建另一个目录。例如：

   example/
     ├── policygentemplates
     │   ├── kustomization.yaml
     │   └── source-crs/
     └── siteconfig
           ├── extra-manifests
           └── kustomization.yaml

6. 提交目录结构和 kustomization.yaml 文件并推送到 Git 存储库。初始推送到 Git 的推送应包含 kustomization.yaml 文件。