8.3. 关于 on-cluster 镜像模式

• 在多架构计算机器上不支持 on-cluster 镜像模式。
• 不支持在同一机器配置池中使用多个 MachineOSConfig 对象。对于您要使用不同的自定义分层镜像的每个机器配置池，您需要单独的 MachineOSConfig CR。
• 如果您扩展使用自定义分层镜像的机器集，节点会重新引导两次。首先，节点最初使用基础镜像创建，第二次应用自定义分层镜像时。

• 使用自定义分层镜像的节点上不支持节点中断策略。因此，以下配置更改会导致节点重新引导：

  • 修改 /var 或 /etc 目录中的配置文件
  • 添加或修改 systemd 服务
  • 更改 SSH 密钥
  • 从 ICSP、ITMS 和 IDMS 对象中删除镜像规则
  • 通过更新 openshift-config 命名空间中的 user-ca-bundle configmap 来更改可信 CA
• 创建自定义分层镜像中使用的镜像在推送 registry 中占用空间。始终注意 registry 中的可用空间，并根据需要修剪镜像。您可以通过删除创建镜像的 MachineOSBuild 对象，从仓库自动删除 on-cluster 自定义分层镜像。请注意，registry push secret 提供的凭证还必须授予从 registry 中删除镜像的权限。如需更多信息，请参阅"删除集群自定义分层镜像"。

其他资源

• 使用 on-cluster 镜像模式应用自定义分层镜像
• 删除集群自定义分层镜像
• 暂停机器配置池
• 重建集群自定义分层镜像
• 恢复集群自定义分层镜像
• 修改自定义分层镜像

• 要构建的 Containerfile
• 关联构建的机器配置池
• 应该推送和拉取最终镜像的位置
• 要使用的推送和 pull secret

先决条件

• 在 openshift-machine-config-operator 命名空间中具有 Machine Config Operator (MCO) 所需的 pull secret，以便从存储库拉取基础操作系统镜像。默认情况下，MCO 使用集群全局 pull secret，它将同步到 openshift-machine-config-operator 命名空间中。您可以将 pull secret 添加到 OpenShift Container Platform 全局 pull secret 中，也可以使用不同的 pull secret。有关修改全局 pull secret 的详情，请参考"更新全局集群 pull secret"。

• 具有 MCO 将新的自定义分层镜像推送到的 registry 的推送 secret。secret 提供的凭证还必须授予从 registry 中删除镜像的权限。

  注意

  在断开连接的环境中，确保断开连接的集群可以访问您要推送镜像的 registry。Image mirroring 仅适用于拉取镜像。

• 您有一个 pull secret，节点需要从 registry 中拉取新的自定义分层镜像。这应该与用于将镜像推送到存储库的 secret 不同。
• 您熟悉如何配置 Containerfile。有关如何创建 Containerfile 的说明超出了本文档的范围。
• 可选：为要应用自定义分层镜像的节点有单独的机器配置池。为具有自定义机器配置池的节点具有其中一个好处，您可以根据需要轻松恢复到基础镜像。如需更多信息，请参阅"恢复集群分层节点"。

其他资源

• 更新全局集群 pull secret
• 恢复集群自定义分层镜像

先决条件

• 您可以通过创建 MachineOSConfig 对象来选择 on-cluster 镜像模式。

流程

• 修改对象以更新关联的自定义分层镜像：

  1. 编辑 MachineOSConfig 对象以修改自定义分层镜像。以下示例将 rngd 守护进程添加到已具有使用自定义分层镜像安装的 tree 软件包的节点。

     apiVersion: machineconfiguration.openshift.io/v1
     kind: MachineOSConfig
     metadata:
       name: layered-image
     spec:
       machineConfigPool:
         name: layered-image
       containerFile:
       - containerfileArch: noarch
         content: |- 

     1

     
           FROM configs AS final
     
           RUN rpm-ostree install rng-tools && \
               systemctl enable rngd && \
               rpm-ostree cleanup -m && \
               ostree container commit
     
           RUN rpm-ostree install tree && \
               ostree container commit
       imageBuilder:
         imageBuilderType: PodImageBuilder
       baseImagePullSecret:
         name: global-pull-secret-copy 

     2

     
       renderedImagePushspec: image-registry.openshift-image-registry.svc:5000/openshift-machine-config-operator/os-images:latest 

     3

     
       renderedImagePushSecret:  

     4

     
         name: new-secret-name

     1

     可选：修改 Containerfile，例如添加或删除软件包。

     2

     可选：更新从 registry 中拉取基础操作系统镜像所需的 secret。

     3

     可选：修改镜像 registry，将新构建的自定义分层镜像推送到。

     4

     可选：更新将新构建的自定义分层镜像推送到 registry 所需的 secret。

     当您保存更改时，MCO 会排空、封锁并重启节点。重启后，节点使用集群基本 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像。如果您的更改仅修改 secret，则不会触发新构建，且不会执行重启。

其他资源

• 暂停机器配置池

先决条件

• 您可以通过创建 MachineOSConfig 对象来选择集群镜像模式。

流程

• 编辑 MachineOSConfig 对象，使用以下命令添加 machineconfiguration.openshift.io/rebuild 注解：

  $ oc edit MachineOSConfig <object_name>

  MachineOSConfig 对象示例

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineOSConfig
  metadata:
    annotations:
      machineconfiguration.openshift.io/current-machine-os-build: layering-c26d4a003432df70ee66c83981144cfa
      machineconfiguration.openshift.io/rebuild: "" 

  1

  
  # ...
    name: layered-image
  # ...

  1

  添加此注解以触发自定义分层镜像的重新构建。

验证

• 使用以下命令检查 MachineOSBuild 对象是否已构建：

  $ oc get machineosbuild

  输出示例

  NAME                                             PREPARED   BUILDING   SUCCEEDED   INTERRUPTED   FAILED   AGE
  layered-image-d6b929a29c6dbfa8e4007c8069a2fd08   False      True       False       False         False    2m41s 

  1

  1

  BUILDING 列中的值 True 表示 MachineOSBuild 对象正在构建。

• 编辑 MachineOSConfig 对象，使用以下命令验证 MCO 是否删除了 machineconfiguration.openshift.io/rebuild 注解：

  $ oc edit MachineOSConfig <object_name>

  MachineOSConfig 对象示例

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineOSConfig
  metadata:
    annotations:
      machineconfiguration.openshift.io/current-machine-os-build: layering-c26d4a003432df70ee66c83981144cfa
  # ...
    name: layered-image
  # ...

先决条件

• 您可以通过创建 MachineOSConfig 对象来选择 On-cluster 镜像模式。
• 您已将 MachineOSConfig 对象应用到自定义机器配置池中的节点。

流程

• 使用以下命令从节点中删除该标签：

  $ oc label node/<node_name> node-role.kubernetes.io/<mcp_name>-

  当您保存更改时，MCO 会排空、封锁并重启节点。重启后，节点使用集群基本 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像。

验证

• 通过执行以下任一方式来验证自定义层次镜像是否已移除：

  • 检查 worker 机器配置池是否使用以前的机器配置更新：

    $ oc get mcp

    输出示例

    NAME      CONFIG                                              UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
    layered   rendered-layered-e8c8bc1de69777325003e80bc0c04b82   True      False      False      0              0                   0                     0                      4h20m 

    1

    
    master    rendered-master-50d7bc27ee8b9ca2250383f0647ade7f    True      False      False      3              3                   3                     0                      5h39m
    worker    rendered-worker-e8c8bc1de69777325003e80bc0c04b82    True      False      False      3              3                   3                     0                      5h39m 

    2

    1

    自定义机器配置池不再具有任何节点。

    2

    当 UPDATING 字段为 True 时，机器配置池会使用以前的机器配置进行更新。当字段变为 False 时，worker 机器配置池已应用到以前的机器配置。

  • 检查节点以查看是否禁用了在节点上调度。这表示要应用更改：

    $ oc get nodes

    输出示例

    NAME                                         STATUS                     ROLES                  AGE   VERSION
    ip-10-0-148-79.us-west-1.compute.internal    Ready                      worker                 32m   v1.32.3
    ip-10-0-155-125.us-west-1.compute.internal   Ready,SchedulingDisabled   worker                 35m   v1.32.3
    ip-10-0-170-47.us-west-1.compute.internal    Ready                      control-plane,master   42m   v1.32.3
    ip-10-0-174-77.us-west-1.compute.internal    Ready                      control-plane,master   42m   v1.32.3
    ip-10-0-211-49.us-west-1.compute.internal    Ready                      control-plane,master   42m   v1.32.3
    ip-10-0-218-151.us-west-1.compute.internal   Ready                      worker                 31m   v1.32.3

  • 当节点重新处于 Ready 状态时，检查该节点是否使用基础镜像：

    1. 打开节点的 oc debug 会话。例如：

       $ oc debug node/ip-10-0-155-125.us-west-1.compute.internal

    2. 将 /host 设置为 debug shell 中的根目录：

       sh-4.4# chroot /host

    3. 运行 rpm-ostree status 命令，以查看基础镜像正在使用：

       sh-4.4# rpm-ostree status

       输出示例

       State: idle
       Deployments:
       * ostree-unverified-registry:registry.build05.ci.openshift.org/ci-ln-qd0hmqk/stable@sha256:a8bd32573f787f6d1c23e1d669abbefd1e31339826d06e750c0ca632ad6c414f
                          Digest: sha256:a8bd32573f787f6d1c23e1d669abbefd1e31339826d06e750c0ca632ad6c414f
                         Version: 419.96.202501202201-0 (2025-01-20T22:06:13Z)