Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

OpenShift 的 Windows 容器支持

OpenShift Container Platform 4.14

Red Hat OpenShift for Windows Containers 指南

Red Hat OpenShift Documentation Team

摘要

Red Hat OpenShift for Windows Containers 为在 OpenShift Container Platform 上运行 Microsoft Windows Server 容器提供了内置的支持。本指南提供所有详细信息。

Red Hat OpenShift for Windows Containers 提供了在 OpenShift Container Platform 集群中运行 Windows 计算节点的功能。这可以通过使用 Red Hat Windows Machine Config Operator（WMCO）来安装和管理 Windows 节点来实现。通过红帽订阅，您可以获得对在 OpenShift Container Platform 中运行 Windows 工作负载的支持。WMCO 部署的 Windows 实例使用容器运行时配置。如需更多信息，请参阅 发行注记。

您可以通过创建计算机器集，或使用一个配置映射指定现有 Bring-Your-Own-Host (BYOH) Window 实例来添加 Windows 节点。

注意

裸机或供应商无关的集群不支持计算机器集。

对于 Linux 和 Windows 等工作负载，OpenShift Container Platform 允许您部署在 Windows Server 容器上运行的 Windows 工作负载，同时还提供托管在 Red Hat Enterprise Linux CoreOS (RHCOS) 或 Red Hat Enterprise Linux (RHEL) 上的传统 Linux 工作负载。如需更多信息，请参阅开始使用 Windows 容器工作负载。

您需要 WMCO 在集群中运行 Windows 工作负载。WMCO 在集群中管理部署和管理 Windows 工作负载的过程。如需更多信息，请参阅如何启用 Windows 容器工作负载。

您可以创建一个 Windows MachineSet 对象来创建基础架构 Windows 机器集和相关的机器，以便将支持的 Windows 工作负载移到新的 Windows 机器。您可以在多个平台上创建 Windows MachineSet 对象。

您可以将 Windows 工作负载调度到 Windows 计算节点。

您可以执行 Windows Machine Config Operator 升级 以确保 Windows 节点有最新的更新。

您可以通过删除特定机器来删除 Windows 节点。

您可以使用 Bring-Your-Own-Host(BYOH)Windows 实例 重新使用 Windows Server 虚拟机并将其引入 OpenShift Container Platform。BYOH Windows 实例让希望降低 Windows 服务器离线时发生重大中断的用户受益。您可以使用 BYOH Windows 实例作为 OpenShift Container Platform 4.8 及更新的版本的节点。

您可以通过执行以下操作 禁用 Windows 容器工作负载 ：

  • 卸载 Windows Machine Config Operator
  • 删除 Windows Machine Config Operator 命名空间

第 2 章 发行注记
复制链接

Windows Container Support for OpenShift Container Platform 支持在 OpenShift Container Platform 集群中运行 Windows 计算节点。通过使用 Red Hat Windows Machine Config Operator (WMCO) 来安装和管理 Windows 节点，可以运行 Windows 工作负载。在 Windows 节点可用后，您可以在 OpenShift Container Platform 中运行 Windows 容器工作负载。

本发行注记介绍了 WMCO 的开发，它在 OpenShift Container Platform 中提供所有 Windows 容器工作负载功能。

此 WMCO 发行版本为在 OpenShift Container Platform 集群中运行的 Windows 计算节点提供安全更新和程序错误修复。WMCO 9.0.3 组件在 RHSA-2024:6460 中发布。

2.1.2.1. 程序错误修复
复制链接
  • 在以前的版本中，在轮转 kube-apiserver-to-kubelet-client-ca 证书后，Windows 节点上的 kubetl-ca.crt 文件的内容不会被正确填充。在这个版本中，在证书轮转后，kubetl-ca.crt 文件包含正确的证书。(OCPBUGS-35572)
  • 在以前的版本中，如果因为错误（如反向 DNS 查找服务不可用）导致反向 DNS 查找失败，WMCO 将无法回退到使用虚拟机主机名来确定证书签名请求(CSR)是否应批准。因此，使用 IP 地址配置的 Bring-Your-Own-Host (BYOH) Windows 节点将不可用。在这个版本中，如果反向 DNS 不可用，则会正确添加 BYOH 节点。(OCPBUGS-38595)
  • 在以前的版本中，如果 WMCO 命名空间中有多个服务帐户令牌 secret，则 Windows 节点的扩展会失败。在这个版本中，WMCO 只使用它创建的 secret，忽略 WMCO 命名空间中的任何其他服务帐户令牌 secret。因此，Windows 节点可以正确扩展。(OCPBUGS-38592)

以下发行注记适用于 Windows Machine Config Operator (WMCO) 的早期版本。

有关当前版本，请参阅 Windows Machine Config Operator 发行注记。

此 WMCO 发行版本为在 OpenShift Container Platform 集群中运行 Windows 计算节点提供程序错误修正。WMCO 9.0.2 组件在 RHBA-2024:2830 中发布。

2.2.1.1. 程序错误修复
复制链接
  • 在以前的版本中，kubelet 无法使用私有 ECR registry 进行身份验证。由于这个错误，kubelet 无法从这些 registry 中拉取镜像。在这个版本中，kubelet 能够按预期从这些 registry 中拉取镜像。(OCPBUGS-32136)

此 WMCO 发行版本为在 OpenShift Container Platform 集群中运行 Windows 计算节点提供程序错误修正。WMCO 9.0.1 组件在 RHSA-2024:1203 中发布。

2.2.2.1. 程序错误修复
复制链接
  • 在以前的版本中，因为在更新机器集节点时缺少 Windows 机器集节点和 Bring-Your-Own-Host (BYOH)实例之间的同步，并且 BYOH 实例可以同时更新。这会影响运行的工作负载。在这个版本中，引入了一个锁定机制，以便机器设置节点和 BYOH 实例单独更新。(OCPBUGS-22984)
  • 在以前的版本中，因为缺少 secret，WMCO 无法为 Nutanix 集群上的 WICD 配置正确的凭证。因此，WMCO 无法创建 Windows 节点。在这个版本中，WMCO 为 WICD 服务帐户创建长期凭证。因此，WMCO 可以在 Nutanix 集群中配置 Windows 节点。(OCPBUGS-24748)
  • 在以前的版本中，由于网络配置脚本中的错误逻辑，WICD 被错误地读取 CNI 配置文件中的 carriage 返回，并将该文件标识为修改。这会导致 CNI 配置被不必要重新加载，可能会导致容器重启和短网络中断。在这个版本中，WICD 现在仅在实际修改 CNI 配置时重新载入 CNI 配置。(OCPBUGS-27046)
  • 在以前的版本中，因为 WMCO 执行了一个错误的清理步骤，该步骤使用集群范围代理配置中的分号替换逗号，所以 Windows 会忽略 noProxy 参数中指定的端点。因此，流量被错误地通过这些代理发送。在这个版本中，清理步骤已被删除。因此，从 Windows 节点到集群内部端点或 noProxy 参数中存在的端点不会通过代理。(OCPBUGS-27240)
  • 在以前的版本中，由于 Windows Server 2019 中出现的路由问题，在某些条件下，运行了一小时后，Windows Server 2019 上的工作负载在与集群中的其他容器通信时可能会出现数据包丢失的情况。在这个版本中，在 kube-proxy 中启用直接服务器返回 (DSR) 路由。因此，DSR 现在会导致请求和响应流量使用不同的网络路径，绕过 Windows Server 2019 中的 bug。(OCPBUGS-28226)

此 WMCO 发行版本为在 OpenShift Container Platform 集群中运行 Windows 计算节点提供程序错误修正。WMCO 9.0.0 组件在 RHSA-2023:1372 中发布。

2.2.3.1. 新功能及改进
复制链接
2.2.3.1.1. 支持 Windows 容器上的集群范围代理
复制链接

使用集群范围代理的集群现在支持 WMCO。从 OpenShift Container Platform 版本 4.14 开始，WMCO 可以在集群内部网络外进行外部请求时使用全局出口代理配置。如需更多信息，请参阅配置集群范围代理。

2.2.3.1.2. 支持 Nutanix 上的 Windows 容器
复制链接

在 Nutanix 上安装的集群现在支持 Windows Server 2022 节点。您可以在 Nutanix 上创建 Windows 机器集来托管 Windows Server 2022 计算节点。如需更多信息，请参阅在 Nutanix 上创建 Windows 机器集。

2.2.3.1.3. 新的调度优先级类
复制链接

WMCO 现在支持 windows-priorityclass kubelet 参数，该参数可确保运行 pod 不耗尽 CPU 周期的 kubelet。默认情况下，windows-priorityclass 参数设置为 ABOVE_NORMAL_PRIORITY_CLASS。不建议更改此设置。有关此参数的更多信息，请参阅 Kubernetes 文档中的 CPU 管理。

2.2.3.1.4. Windows Containers 的 CSI 代理支持
复制链接

WMCO 现在支持通过在每个 Windows 节点上运行 CSI Proxy 服务，在没有使用树内存储驱动程序的情况下将持久性存储用于 Windows 工作负载。每个节点上的 Windows pod 现在可通过持久性卷声明访问存储。

使用在集群 Windows 节点上运行的 CSI 代理，您可以将您选择的 Container Storage Interface (CSI) 存储驱动程序部署为 Windows 守护进程集。如需有关 CSI 代理的更多信息，请参阅 Kubernetes 文档中的 CSI Windows 支持（使用 CSI 代理）。有关 CSI 的详情，请参考 OpenShift Container Platform 文档中的配置 CSI 卷。

2.2.3.2. 主要的技术变化
复制链接

现在，所有 Windows 节点都默认禁用 SSH 密码身份验证。节点现在拒绝不使用公钥身份验证的 SSH 连接。Red Hat Enterprise Linux CoreOS (RHCOS) 需要这个更改。

2.2.3.3. 程序错误修复
复制链接

  • 在以前的版本中，在没有安装 Azure 容器服务的 Azure Windows Server 2019 平台上，WMCO 无法部署 Windows 实例，并显示以下出错信息： 

    Install-WindowsFeature : Win32 internal error "Access is denied" 0x5 occurred while reading the console output buffer
    Copy to Clipboard Toggle word wrap

    发生了故障，因为 Microsoft Install-WindowsFeature cmdlet 显示无法通过 SSH 连接发送的进度条。在这个版本中，隐藏了进度条。因此，Windows 实例可以部署为节点。(OCPBUGS-13244)

2.3. Windows Machine Config Operator 的先决条件
复制链接

以下信息详细介绍了 Windows Machine Config Operator (WMCO)支持的平台版本、Windows Server 版本和网络配置。有关仅与该平台相关的任何信息请参阅 vSphere 文档。

2.3.1. WMCO 支持的安装方法
复制链接

WMCO 完全支持将 Windows 节点安装到安装程序置备的基础架构 (IPI) 集群中。这是首选的 OpenShift Container Platform 安装方法。

对于用户置备的基础架构 (UPI) 集群，WMCO 仅支持将 Windows 节点安装到安装 platform: none 字段在 install-config.yaml 文件中设置的 UPI 集群(bare-metal 或 provider-agnostic)，且仅适用于 BYOH （您自己的主机） 用例。其他平台都不支持 UPI。

2.3.2. WMCO 9.y 支持的平台和 Windows Server 版本
复制链接

下表根据适用的平台列出了 WMCO 9.y 支持的 Windows Server 版本。不支持 Windows Server 版本，并尝试使用它们将导致错误。要防止这些错误，请为您的平台使用适当的版本。

Expand
平台支持的 Windows Server 版本

Amazon Web Services (AWS)

  • Windows Server 2022，OS Build 20348.681 或更高版本 [1]
  • Windows Server 2019，版本 1809

Microsoft Azure

  • Windows Server 2022，OS Build 20348.681 或更高版本
  • Windows Server 2019，版本 1809

VMware vSphere

Windows Server 2022，OS Build 20348.681 或更高版本

Google Cloud Platform (GCP)

Windows Server 2022，OS Build 20348.681 或更高版本

Nutanix

Windows Server 2022，OS Build 20348.681 或更高版本

裸机或供应商无关

  • Windows Server 2022，OS Build 20348.681 或更高版本
  • Windows Server 2019，版本 1809
  1. 对于断开连接的集群，Windows AMI 必须安装有 EC2LaunchV2 代理版本 2.0.1643 或更高版本。如需更多信息，请参阅 AWS 文档中的安装最新版本的 EC2Launch v2。

2.3.3. 支持的网络
复制链接

与 OVN-Kubernetes 的混合网络是唯一支持的网络配置。有关此功能的更多信息，请参见下面的其他资源。下表概述了根据您的平台使用的网络配置和 Windows Server 版本类型。安装集群时必须指定网络配置。

注意
  • WMCO 不支持没有混合网络或 OpenShift SDN 的 OVN-Kubernetes。
  • WMCO 管理的 Windows 实例不支持双 NIC。
Expand
表 2.1. 平台网络支持
平台支持的网络

Amazon Web Services (AWS)

使用 OVN-Kubernetes 的混合网络

Microsoft Azure

使用 OVN-Kubernetes 的混合网络

VMware vSphere

带有自定义 VXLAN 端口的 OVN-Kubernetes 的混合网络

Google Cloud Platform (GCP)

使用 OVN-Kubernetes 的混合网络

Nutanix

使用 OVN-Kubernetes 的混合网络

裸机或供应商无关

使用 OVN-Kubernetes 的混合网络

Expand
表 2.2. 混合 OVN-Kubernetes Windows Server 支持
使用 OVN-Kubernetes 的混合网络支持的 Windows Server 版本

默认 VXLAN 端口

  • Windows Server 2022，OS Build 20348.681 或更高版本
  • Windows Server 2019，版本 1809

自定义 VXLAN 端口

Windows Server 2022，OS Build 20348.681 或更高版本

2.4. Windows Machine Config Operator 已知的限制
复制链接

在使用由 WMCO 管理的 Windows 节点（Windows 节点）时，请注意以下限制：

  • Windows 节点上不支持以下 OpenShift Container Platform 功能：

    • 镜像构建
    • OpenShift Pipelines
    • OpenShift Service Mesh
    • OpenShift 监控用户定义的项目
    • OpenShift Serverless
    • Pod 横向自动扩展
    • Pod 垂直自动扩展

  • Windows 节点上不支持以下红帽功能：

  • WMCO 管理的 Windows 实例不支持双 NIC。
  • Windows 节点不支持使用部署配置创建的工作负载。您可以使用部署或其他方法部署工作负载。
  • 在断开连接的环境中，不支持 Windows 节点。
  • Red Hat OpenShift support for Windows Containers 不支持通过中继端口在集群中添加 Windows 节点。添加 Windows 节点唯一支持的网络配置是通过为 VLAN 传输流量的访问端口。
  • Red Hat OpenShift support for Windows Containers 不支持 English (United States)以外的任何 Windows 操作系统语言。
  • 由于 Windows 操作系统中的一个限制，类 E 的 clusterNetwork CIDR 地址（如 240.0.0.0 ）与 Windows 节点不兼容。

  • Kubernetes 有以下节点功能限制 ：

    • Windows 容器不支持巨页。
    • Windows 容器不支持特权容器。
  • Kubernetes 已发现几个 API 兼容性问题。

第 3 章 获取支持
复制链接

3.1. 获取支持
复制链接

Windows Container Support for OpenShift Container Platform 作为一个可选的、可安装的组件提供。Windows Container Support for Red Hat OpenShift 不是 OpenShift Container Platform 订阅的一部分。它需要额外的红帽订阅，并根据覆盖范围和服务等级协议进行支持。

您必须具有此单独的订阅才能获得对 Red Hat OpenShift 的 Windows Container 支持。如果没有此附加红帽订阅，则不支持在生产环境中部署 Windows 容器工作负载。您可以通过 红帽客户门户网站 请求支持。

如需更多信息，请参阅 Red Hat OpenShift Container Platform 生命周期政策文档中关于 Red Hat OpenShift support for Windows Containers 的部分。

第 4 章 了解 Windows 容器工作负载
复制链接

Red Hat OpenShift for Windows Containers 为在 OpenShift Container Platform 上运行 Microsoft Windows Server 容器提供了内置的支持。对于使用 Linux 和 Windows 工作负载管理异构环境的管理员，OpenShift Container Platform 允许您部署在 Windows Server 容器上运行的 Windows 工作负载，同时也提供托管在 Red Hat Enterprise Linux CoreOS（RHCOS）或 Red Hat Enterprise Linux（RHEL）上的传统 Linux 工作负载。

注意

不支持具有 Windows 节点的集群的多租户。当多个工作负载在共享基础架构和资源上运行时，集群被视为多租户。如果基础架构上运行的一个或多个工作负载无法信任，则多租户环境被视为 恶意。

恶意多租户集群在所有 Kubernetes 环境中都引入安全问题。额外的安全功能，如 Pod 安全策略，或节点的更精细的访问控制（RBAC），使利用安全漏洞进行工具更困难。但是，如果您选择运行托管多租户工作负载，则管理程序是唯一应使用的安全选项。Kubernetes 的安全域包括整个集群，而不是只限于单个节点。对于可能会有恶意的多租户工作负载，应该使用物理隔离的集群。

Windows 服务器容器使用共享内核提供资源隔离，但它并不适用于托管可能会有恶意的多租户工作负载。涉及主机多租户的情况应该使用 Hyper-V 隔离容器来严格隔离租户。

4.1. Windows 工作负载管理
复制链接

要在集群中运行 Windows 工作负载，必须首先安装 Windows Machine Config Operator（WMCO）。WMCO 是一个基于 Linux 的 Operator，它运行在基于 Linux 的 control plane 和计算节点上。WMCO 在集群中管理部署和管理 Windows 工作负载的过程。

图 4.1. WMCO 设计

WMCO 工作流
View larger image
WMCO 工作流

在部署 Windows 工作负载前，您必须创建一个 Windows 计算节点并加入集群。Windows 节点会在集群中托管 Windows 工作负载，并可与其他基于 Linux 的计算节点一起运行。您可以通过创建一个 Windows 计算机器设置为托管 Windows Server 计算机器来创建 Windows 计算节点。您必须将特定于 Windows 的标签应用到指定 Windows OS 镜像的计算机器集中。

WMCO 监视有 Windows 标签的机器。在检测到 Windows 计算机器并设置并置备相应机器后，WMCO 配置底层 Windows 虚拟机(VM)，以便它可以将集群作为计算节点加入。

图 4.2. 混合 Windows 和 Linux 工作负载

混合 Windows 和 Linux 工作负载
View larger image
混合 Windows 和 Linux 工作负载

WMCO 在命名空间中需要一个预先确定的 secret，该 secret 包含一个用于与 Windows 实例交互的私钥。WMCO 在引导时检查此 secret，并创建一个用户数据 secret，您必须在您创建的 Windows MachineSet 对象中引用该 secret。然后，WMCO 使用与私钥对应的公钥填充用户数据 secret。通过这些数据，集群可以使用 SSH 连接到 Windows 虚拟机。

当集群与 Windows 虚拟机建立连接后，您可以使用类似管理 Linux 节点一样的方法管理 Windows 节点。

注意

OpenShift Container Platform Web 控制台为 Linux 节点可用的 Windows 节点提供大多数相同的监控功能。但是，目前无法监控 Windows 节点上运行的 pod 的工作负载图形。

将 Windows 工作负载调度到 Windows 节点可使用典型的 pod 调度实践，如污点、容限和节点选择器。或者，您也可以使用 RuntimeClass 对象来把 Windows 工作负载与 Linux 工作负载和其他 Windows 版本工作负载进行区分。

4.2. Windows 节点服务
复制链接

每个 Windows 节点均安装以下与 Windows 相关的服务：

Expand
Service描述

kubelet

注册 Windows 节点并管理其状态。

Container Network Interface (CNI) 插件

为 Windows 节点公开网络。

Windows 实例配置守护进程 (WICD)

维护在 Windows 实例上运行的所有服务的状态，以确保实例充当 worker 节点。

Windows Exporter

从 Windows 节点导出 Prometheus 指标

Kubernetes Cloud Controller Manager (CCM)

与底层 Azure 云平台交互。

hybrid-overlay

创建 OpenShift Container Platform 主机网络服务（HNS）。

kube-proxy

在节点上维护网络规则，以允许外部通信。

容器运行时

管理完整的容器生命周期。

CSI 代理

启用 CSI 驱动程序在节点上执行存储操作，它允许容器化 CSI 驱动程序在 Windows 节点上运行。

第 5 章 启用 Windows 容器工作负载
复制链接

在向集群中添加 Windows 工作负载前，您必须安装由 OpenShift Container Platform OperatorHub 提供的 Windows Machine Config Operator（WMCO）。WMCO 在集群中管理部署和管理 Windows 工作负载的过程。

注意

WMCO 管理的 Windows 实例不支持双 NIC。

先决条件

  • 可以使用具有 cluster-admin 权限的账户访问 OpenShift Container Platform 集群。
  • 已安装 OpenShift CLI（oc）。
  • 已使用安装程序置备的基础架构安装集群，或使用用户置备的基础架构在 install-config.yaml 文件中设置了 platform: none 字段。
  • 您已为集群配置了带有 OVN-Kubernetes 的混合网络。如需更多信息，请参阅配置混合网络。
  • 运行 OpenShift Container Platform 集群版本 4.6.8 或更高版本。
注意

WMCO 部署的 Windows 实例使用容器运行时配置。因为 WMCO 安装和管理运行时，所以请不要在节点上手动安装容器。

5.1. 安装 Windows Machine Config Operator
复制链接

您可以使用 Web 控制台或 OpenShift CLI（oc）安装 Windows Machine Config Operator。

注意

由于 Windows 操作系统中的一个限制，类 E 的 clusterNetwork CIDR 地址（如 240.0.0.0 ）与 Windows 节点不兼容。

您可以使用 OpenShift Container Platform Web 控制台安装 Windows Machine Config Operator（WMCO）。

注意

WMCO 管理的 Windows 实例不支持双 NIC。

流程

  1. 从 OpenShift Container Platform Web 控制台中的 Adminstrator 视角进入 Operators → OperatorHub 页面。
  2. 使用 Filter by keyword 复选框在目录中搜索 Windows Machine Config Operator。点 Windows Machine Config Operator 标题。
  3. 查看 Operator 信息并点 Install。

  4. 在 Install Operator 页面中：

    1. 选择 stable 频道作为 更新频道。stable 频道允许安装 WMCO 的最新稳定版本。
    2. 安装模式 被预先配置，因为 WMCO 只能在单一命名空间中可用。
    3. 为 WMCO 选择 Installed Namespace。默认 Operator 建议命名空间为 openshift-windows-machine-config-operator。
    4. 点 Enable Operator recommended cluster monitoring on the Namespace 为 WMCO 启用集群监控。

    5. 选择一个批准策略。

      • Automatic 策略允许 Operator Lifecycle Manager（OLM）在有新版本可用时自动更新 Operator。
      • Manual 策略需要拥有适当凭证的用户批准 Operator 更新。

  1. 点 Install。WMCO 现在列在 Installed Operators 页中。

    注意

    WMCO 会自动安装到您定义的命名空间中，如 openshift-windows-machine-config-operator。

  2. 验证 Status 显示为 Succeeded 以确认成功安装了 WMCO。

5.1.2. 使用 CLI 安装 Windows Machine Config Operator
复制链接

您可以使用 OpenShift CLI（oc）安装 Windows Machine Config Operator（WMCO）。

注意

WMCO 管理的 Windows 实例不支持双 NIC。

流程

  1. 为 WMCO 创建命名空间。

    1. 为 WMCO 创建一个 Namespace 对象 YAML 文件。例如，wmco-namespace.yaml: 

      apiVersion: v1
kind: Namespace
metadata:
  name: openshift-windows-machine-config-operator
      1 
      
  labels:
    openshift.io/cluster-monitoring: "true"
      2
      Copy to Clipboard Toggle word wrap
      1
      建议您在 openshift-windows-machine-config-operator 命名空间中部署 WMCO。
      2
      为 WMCO 启用集群监控需要此标签。

    2. 创建命名空间： 

      $ oc create -f <file-name>.yaml
      Copy to Clipboard Toggle word wrap

      例如： 

      $ oc create -f wmco-namespace.yaml
      Copy to Clipboard Toggle word wrap

  2. 为 WMCO 创建 Operator 组。

    1. 创建 OperatorGroup 对象 YAML 文件。例如，wmco-og.yaml： 

      apiVersion: operators.coreos.com/v1
kind: OperatorGroup
metadata:
  name: windows-machine-config-operator
  namespace: openshift-windows-machine-config-operator
spec:
  targetNamespaces:
  - openshift-windows-machine-config-operator
      Copy to Clipboard Toggle word wrap

    2. 创建 Operator 组： 

      $ oc create -f <file-name>.yaml
      Copy to Clipboard Toggle word wrap

      例如： 

      $ oc create -f wmco-og.yaml
      Copy to Clipboard Toggle word wrap

  3. 为 WMCO 订阅命名空间。

    1. 创建 Subscription 对象 YAML 文件。例如，wmco-sub.yaml： 

      apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: windows-machine-config-operator
  namespace: openshift-windows-machine-config-operator
spec:
  channel: "stable"
      1 
      
  installPlanApproval: "Automatic"
      2 
      
  name: "windows-machine-config-operator"
  source: "redhat-operators"
      3 
      
  sourceNamespace: "openshift-marketplace"
      4
      Copy to Clipboard Toggle word wrap
      1
      指定 stable 作为频道。
      2
      设置批准策略。可设置 Automatic 或 Manual。
      3
      指定包含 windows-machine-config-operator 软件包清单的 redhat-operators 目录源。如果 OpenShift Container Platform 集群安装在受限网络中（也称为断开连接的集群），请指定配置 Operator LifeCycle Manager (OLM) 时创建的 CatalogSource 对象的名称。
      4
      目录源的命名空间。将 openshift-marketplace 用于默认的 OperatorHub 目录源。

    2. 创建订阅： 

      $ oc create -f <file-name>.yaml
      Copy to Clipboard Toggle word wrap

      例如： 

      $ oc create -f wmco-sub.yaml
      Copy to Clipboard Toggle word wrap

      WMCO 现已安装到 openshift-windows-machine-config-operator 中。

  4. 验证 WMCO 安装： 

    $ oc get csv -n openshift-windows-machine-config-operator
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                    DISPLAY                           VERSION   REPLACES   PHASE
windows-machine-config-operator.2.0.0   Windows Machine Config Operator   2.0.0                Succeeded
    Copy to Clipboard Toggle word wrap

5.2. 为 Windows Machine Config Operator 配置 secret
复制链接

要运行 Windows Machine Config Operator（WMCO），您必须在包含私钥的 WMCO 命名空间中创建一个 secret。这需要允许 WMCO 与 Windows 虚拟机（VM）进行通信。

先决条件

  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。
  • 您创建包含 RSA 密钥的 PEM 编码文件。

流程

  • 定义访问 Windows 虚拟机所需的 secret: 

    $ oc create secret generic cloud-private-key --from-file=private-key.pem=${HOME}/.ssh/<key> \
    -n openshift-windows-machine-config-operator
    1
    Copy to Clipboard Toggle word wrap
1
您必须在 WMCO 命名空间中创建私钥，如 openshift-windows-machine-config-operator。

建议您使用与安装集群时所用的私钥不同的私钥。

5.3. 在支持代理的集群中使用 Windows 容器
复制链接

在向集群的内部网络外发出外部请求时，Windows Machine Config Operator (WMCO) 可以使用集群范围的出口代理配置。

这可让您在支持代理的集群中添加 Windows 节点并运行工作负载，允许 Windows 节点从代理服务器后面的 registry 中拉取镜像，或者向使用自定义公钥基础架构的非集群服务和服务发出请求。

注意

集群范围的代理仅影响系统组件，而不会影响用户工作负载。

在启用了代理的集群中，WMCO 知道为集群设置的 NO_PROXY、HTTP_PROXY 和 HTTPS_PROXY 值。WMCO 定期检查代理环境变量是否已更改。如果存在差异，WMCO 会协调并更新 Windows 实例上的代理环境变量。

在支持代理的集群的 Windows 节点上创建的 Windows 工作负载不会继承节点上的代理设置，与 Linux 节点相同。另外，默认情况下，PowerShell 会话不会在启用了代理的集群中继承 Windows 节点上的代理设置。

其他资源

5.4. 正常重新引导节点
复制链接

Windows Machine Config Operator (WMCO) 尽可能最小化节点重启。但是，某些操作和更新需要重新引导，以确保正确且安全地应用更改。要安全地重新引导 Windows 节点，请使用安全重启过程。有关安全重新引导标准 OpenShift Container Platform 节点的详情，请参考节点文档中的"正常引导节点"。

在重启节点前，建议备份 etcd 数据以避免该节点上出现数据丢失。

注意

对于需要用户执行 oc login 命令而不是 kubeconfig 文件中的证书来管理集群的单节点 OpenShift 集群，oc adm 命令在封锁并排空节点后可能无法使用。这是因为 openshift-oauth-apiserver pod 没有运行，因为 cordon。您可以使用 SSH 访问节点，如以下步骤所示。

在单节点 OpenShift 集群中，在封锁和排空时无法重新调度 Pod。但是，这样做会为 pod（特别是您的工作负载 pod）提供一定的时间来正确停止和释放相关资源。

流程

执行节点正常重启：

  1. 将节点标记为不可调度： 

    $ oc adm cordon <node1>
    Copy to Clipboard Toggle word wrap

  2. 排空节点以删除所有正在运行的 pod： 

    $ oc adm drain <node1> --ignore-daemonsets --delete-emptydir-data --force
    Copy to Clipboard Toggle word wrap

    您可能会收到与自定义 pod 中断预算(PDB)关联的 pod 无法被驱除的错误。

    错误示例

    error when evicting pods/"rails-postgresql-example-1-72v2w" -n "rails" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget.
    Copy to Clipboard Toggle word wrap

    在这种情况下，再次运行 drain 命令，添加 disable-eviction 标记，这将绕过 PDB 检查： 

    $ oc adm drain <node1> --ignore-daemonsets --delete-emptydir-data --force --disable-eviction
    Copy to Clipboard Toggle word wrap

  3. SSH 到 Windows 节点，并运行以下命令来输入 PowerShell： 

    C:\> powershell
    Copy to Clipboard Toggle word wrap

  4. 运行以下命令重启节点： 

    C:\>  Restart-Computer -Force
    Copy to Clipboard Toggle word wrap

  5. Amazon Web Services (AWS) 上的 Windows 节点不会因为 EC2 实例元数据路由和主机网络服务(HNS)网络不一致而在安全重启后返回 READY 状态。

    重启后，通过 SSH 到 AWS 上的任何 Windows 节点，并在 shell 提示符中运行以下命令来添加路由： 

    C:\> route add 169.254.169.254 mask 255.255.255.0 <gateway_ip>
    Copy to Clipboard Toggle word wrap

    其中：

    169.254.169.254
    指定 EC2 实例元数据端点的地址。
    255.255.255.255
    指定 EC2 实例元数据端点的网络掩码。
    <gateway_ip>

    运行以下命令，在 Windows 实例中指定网关的对应 IP 地址，您可以找到该地址： 

    C:\> ipconfig | findstr /C:"Default Gateway"
    Copy to Clipboard Toggle word wrap

  6. 重启完成后，运行以下命令将节点标记为可以调度： 

    $ oc adm uncordon <node1>
    Copy to Clipboard Toggle word wrap

  7. 验证节点是否已就绪： 

    $ oc get node <node1>
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME    STATUS  ROLES    AGE     VERSION
<node1> Ready   worker   6d22h   v1.18.3+b0068a8
    Copy to Clipboard Toggle word wrap

其他参考资源

第 6 章 创建 Windows 机器集
复制链接

6.1. 在 AWS 上创建 Windows 机器集
复制链接

您可以在 Amazon Web Services（AWS）上的 OpenShift Container Platform 集群中创建 Windows MachineSet 对象来满足特定目的。例如，您可以创建基础架构 Windows 机器集和相关机器，以便将支持的 Windows 工作负载转移到新的 Windows 机器上。

先决条件
  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。

  • 您可以使用受支持的 Windows Server 作为操作系统镜像。

    根据您的 Windows Server 发行版本，使用以下 aws 命令之一来查询有效的 AMI 镜像：

    Windows Server 2022 命令示例

    $ aws ec2 describe-images --region <aws_region_name> --filters "Name=name,Values=Windows_Server-2022*English*Core*Base*" "Name=is-public,Values=true" --query "reverse(sort_by(Images, &CreationDate))[*].{name: Name, id: ImageId}" --output table
    Copy to Clipboard Toggle word wrap

    Windows Server 2019 命令示例

    $ aws ec2 describe-images --region <aws_region_name> --filters "Name=name,Values=Windows_Server-2019*English*Core*Base*" "Name=is-public,Values=true" --query "reverse(sort_by(Images, &CreationDate))[*].{name: Name, id: ImageId}" --output table
    Copy to Clipboard Toggle word wrap

    其中：

    <aws_region_name>
    指定 AWS 区域的名称。
  • 对于断开连接的集群，Windows AMI 必须安装有 EC2LaunchV2 代理版本 2.0.1643 或更高版本。如需更多信息，请参阅 AWS 文档中的安装最新版本的 EC2Launch v2。

6.1.1. Machine API 概述
复制链接

Machine API 将基于上游 Cluster API 项目的主要资源与自定义 OpenShift Container Platform 资源相结合。

对于 OpenShift Container Platform 4.14 集群，Machine API 在集群安装完成后执行所有节点主机置备管理操作。由于此系统的缘故，OpenShift Container Platform 4.14 在公有或私有云基础架构之上提供了一种弹性动态置备方法。

两种主要资源分别是：

Machines
描述节点主机的基本单元。机器具有 providerSpec 规格，用于描述为不同云平台提供的计算节点的类型。例如，计算节点的机器类型可能会定义特定的机器类型和所需的元数据。
机器集

MachineSet 资源是计算机器组。计算机器集适用于计算机器，因为副本集是针对 pod。如果需要更多计算机器或必须缩减规模，您可以更改 MachineSet 资源的 replicas 字段来满足您的计算需求。

警告

control plane 机器不能由计算机器集管理。

control plane 机器集为 control plane 机器提供管理功能，与为计算机器提供的计算机器集类似。

如需更多信息，请参阅"管理 control plane 机器"。

以下自定义资源可为集群添加更多功能：

机器自动扩展

MachineAutoscaler 资源自动扩展云中的计算机器。您可以为指定计算机器集中的节点设置最小和最大扩展界限，机器自动扩展则维护该范围内的节点。

ClusterAutoscaler 对象存在后，MachineAutoscaler 对象生效。ClusterAutoscaler 和 MachineAutoscaler 资源都由 ClusterAutoscalerOperator 对象提供。

集群自动扩展

此资源基于上游集群自动扩展项目。在 OpenShift Container Platform 实现中，它通过扩展计算机器设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群：

  • 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制
  • 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线
  • 设置扩展策略，以便您可以扩展节点，但不会缩减节点
机器健康检查
MachineHealthCheck 资源可检测机器何时处于不健康状态并将其删除，然后在支持的平台上生成新的机器。

在 OpenShift Container Platform 版本 3.11 中，您无法轻松地推出多区架构，因为集群不负责管理机器置备。自 OpenShift Container Platform 版本 4.1 起，此过程变得更加容易。每个计算机器集限定在一个区，因此安装程序可以代表您的可用区向计算机器集发送。然后，由于您的计算是动态的，因此在面对区域故障时，您始终都有一个区域来应对必须重新平衡机器的情况。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。自动扩展器在集群生命周期内尽可能提供平衡。

6.1.2. AWS 上 Windows MachineSet 对象的 YAML 示例
复制链接

此 YAML 示例定义了一个在 Amazon Web Services（AWS）上运行的 Windows MachineSet 对象，它可响应 Windows Machine Config Operator（WMCO）。 

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
1 

  name: <infrastructure_id>-windows-worker-<zone>
2 

  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
3 

      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-windows-worker-<zone>
4 

  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
5 

        machine.openshift.io/cluster-api-machine-role: worker
        machine.openshift.io/cluster-api-machine-type: worker
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-windows-worker-<zone>
6 

        machine.openshift.io/os-id: Windows
7 

    spec:
      metadata:
        labels:
          node-role.kubernetes.io/worker: ""
8 

      providerSpec:
        value:
          ami:
            id: <windows_container_ami>
9 

          apiVersion: awsproviderconfig.openshift.io/v1beta1
          blockDevices:
            - ebs:
                iops: 0
                volumeSize: 120
                volumeType: gp2
          credentialsSecret:
            name: aws-cloud-credentials
          deviceIndex: 0
          iamInstanceProfile:
            id: <infrastructure_id>-worker-profile
10 

          instanceType: m5a.large
          kind: AWSMachineProviderConfig
          placement:
            availabilityZone: <zone>
11 

            region: <region>
12 

          securityGroups:
            - filters:
                - name: tag:Name
                  values:
                    - <infrastructure_id>-worker-sg
13 

          subnet:
            filters:
              - name: tag:Name
                values:
                  - <infrastructure_id>-private-<zone>
14 

          tags:
            - name: kubernetes.io/cluster/<infrastructure_id>
15 

              value: owned
          userDataSecret:
            name: windows-user-data
16 

            namespace: openshift-machine-api
Copy to Clipboard Toggle word wrap
1 3 5 10 13 14 15
指定基于置备集群时所设置的集群 ID 的基础架构 ID。您可以运行以下命令来获取基础架构 ID: 
$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster
Copy to Clipboard Toggle word wrap
2 4 6
指定基础架构 ID、worker 标签和区。
7
将计算机器设置为 Windows 机器。
8
将 Windows 节点配置为计算机器。
9
指定安装了容器运行时的受支持的 Windows 镜像的 AMI ID。
注意

对于断开连接的集群，Windows AMI 必须安装有 EC2LaunchV2 代理版本 2.0.1643 或更高版本。如需更多信息，请参阅 AWS 文档中的安装最新版本的 EC2Launch v2。

11
指定 AWS 区域，如 us-east-1a。
12
指定 AWS 区域，如 us-east-1。
16
由 WMCO 配置第一个 Windows 机器时创建的。之后，所有后续计算机器集都可以使用 windows-user-data。

6.1.3. 创建计算机器集
复制链接

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 创建一个包含计算机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。

    确保设置 <clusterID> 和 <role> 参数值。

  2. 可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

    1. 要列出集群中的计算机器集，请运行以下命令： 

      $ oc get machinesets -n openshift-machine-api
      Copy to Clipboard Toggle word wrap

      输出示例

      NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
      Copy to Clipboard Toggle word wrap

    2. 要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令： 

      $ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml
      Copy to Clipboard Toggle word wrap

      输出示例

      apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      1 
      
  name: <infrastructure_id>-<role>
      2 
      
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec:
      3 
      
        ...
      Copy to Clipboard Toggle word wrap

      1
      集群基础架构 ID。
      2
      默认节点标签。
      注意

      对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。

      3
      计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

  3. 运行以下命令来创建 MachineSet CR： 

    $ oc create -f <file_name>.yaml
    Copy to Clipboard Toggle word wrap

验证

  • 运行以下命令，查看计算机器集列表： 

    $ oc get machineset -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                       DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-windows-worker-us-east-1a  1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d          0         0                             55m
agl030519-vplxk-worker-us-east-1e          0         0                             55m
agl030519-vplxk-worker-us-east-1f          0         0                             55m
    Copy to Clipboard Toggle word wrap

    当新的计算机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果 compute 机器集不可用，请等待几分钟，然后再次运行命令。

6.2. 在 Azure 上创建 Windows 机器集
复制链接

您可以在 Microsoft Azure 上的 OpenShift Container Platform 集群中创建 Windows MachineSet 对象来满足特定目的。例如，您可以创建基础架构 Windows 机器集和相关机器，以便将支持的 Windows 工作负载转移到新的 Windows 机器上。

先决条件
  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。
  • 您可以使用受支持的 Windows Server 作为操作系统镜像。

6.2.1. Machine API 概述
复制链接

Machine API 将基于上游 Cluster API 项目的主要资源与自定义 OpenShift Container Platform 资源相结合。

对于 OpenShift Container Platform 4.14 集群，Machine API 在集群安装完成后执行所有节点主机置备管理操作。由于此系统的缘故，OpenShift Container Platform 4.14 在公有或私有云基础架构之上提供了一种弹性动态置备方法。

两种主要资源分别是：

Machines
描述节点主机的基本单元。机器具有 providerSpec 规格，用于描述为不同云平台提供的计算节点的类型。例如，计算节点的机器类型可能会定义特定的机器类型和所需的元数据。
机器集

MachineSet 资源是计算机器组。计算机器集适用于计算机器，因为副本集是针对 pod。如果需要更多计算机器或必须缩减规模，您可以更改 MachineSet 资源的 replicas 字段来满足您的计算需求。

警告

control plane 机器不能由计算机器集管理。

control plane 机器集为 control plane 机器提供管理功能，与为计算机器提供的计算机器集类似。

如需更多信息，请参阅"管理 control plane 机器"。

以下自定义资源可为集群添加更多功能：

机器自动扩展

MachineAutoscaler 资源自动扩展云中的计算机器。您可以为指定计算机器集中的节点设置最小和最大扩展界限，机器自动扩展则维护该范围内的节点。

ClusterAutoscaler 对象存在后，MachineAutoscaler 对象生效。ClusterAutoscaler 和 MachineAutoscaler 资源都由 ClusterAutoscalerOperator 对象提供。

集群自动扩展

此资源基于上游集群自动扩展项目。在 OpenShift Container Platform 实现中，它通过扩展计算机器设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群：

  • 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制
  • 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线
  • 设置扩展策略，以便您可以扩展节点，但不会缩减节点
机器健康检查
MachineHealthCheck 资源可检测机器何时处于不健康状态并将其删除，然后在支持的平台上生成新的机器。

在 OpenShift Container Platform 版本 3.11 中，您无法轻松地推出多区架构，因为集群不负责管理机器置备。自 OpenShift Container Platform 版本 4.1 起，此过程变得更加容易。每个计算机器集限定在一个区，因此安装程序可以代表您的可用区向计算机器集发送。然后，由于您的计算是动态的，因此在面对区域故障时，您始终都有一个区域来应对必须重新平衡机器的情况。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。自动扩展器在集群生命周期内尽可能提供平衡。

6.2.2. Azure 上 Windows MachineSet 对象的 YAML 示例
复制链接

此 YAML 示例定义了一个在 Microsoft Azure 上运行的 Windows MachineSet 对象，Windows Machine Config Operator（WMCO）可以响应。 

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
1 

  name: <windows_machine_set_name>
2 

  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
3 

      machine.openshift.io/cluster-api-machineset: <windows_machine_set_name>
4 

  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
5 

        machine.openshift.io/cluster-api-machine-role: worker
        machine.openshift.io/cluster-api-machine-type: worker
        machine.openshift.io/cluster-api-machineset: <windows_machine_set_name>
6 

        machine.openshift.io/os-id: Windows
7 

    spec:
      metadata:
        labels:
          node-role.kubernetes.io/worker: ""
8 

      providerSpec:
        value:
          apiVersion: azureproviderconfig.openshift.io/v1beta1
          credentialsSecret:
            name: azure-cloud-credentials
            namespace: openshift-machine-api
          image:
9 

            offer: WindowsServer
            publisher: MicrosoftWindowsServer
            resourceID: ""
            sku: 2019-Datacenter-with-Containers
            version: latest
          kind: AzureMachineProviderSpec
          location: <location>
10 

          managedIdentity: <infrastructure_id>-identity
11 

          networkResourceGroup: <infrastructure_id>-rg
12 

          osDisk:
            diskSizeGB: 128
            managedDisk:
              storageAccountType: Premium_LRS
            osType: Windows
          publicIP: false
          resourceGroup: <infrastructure_id>-rg
13 

          subnet: <infrastructure_id>-worker-subnet
          userDataSecret:
            name: windows-user-data
14 

            namespace: openshift-machine-api
          vmSize: Standard_D2s_v3
          vnet: <infrastructure_id>-vnet
15 

          zone: "<zone>"
16
Copy to Clipboard Toggle word wrap
1 3 5 11 12 13 15
指定基于置备集群时所设置的集群 ID 的基础架构 ID。您可以运行以下命令来获取基础架构 ID: 
$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster
Copy to Clipboard Toggle word wrap
2 4 6
指定 Windows 计算机器设置名称。Azure 上的 Windows 机器名称不能超过 15 个字符。因此，因为机器名称的生成方式，计算机器设置名称不能超过 9 个字符。
7
将计算机器设置为 Windows 机器。
8
将 Windows 节点配置为计算机器。
9
指定一个 WindowsServer 镜像，它定义了 2019-Datacenter-with-Containers SKU。
10
指定 Azure 区域，如 centralus。
14
由 WMCO 配置第一个 Windows 机器时创建的。之后，所有后续计算机器集都可以使用 windows-user-data。
16
指定您所在地区（region）内要放置机器的区域 (zone) 。确保您的地区支持您指定的区域。

6.2.3. 创建计算机器集
复制链接

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 创建一个包含计算机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。

    确保设置 <clusterID> 和 <role> 参数值。

  2. 可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

    1. 要列出集群中的计算机器集，请运行以下命令： 

      $ oc get machinesets -n openshift-machine-api
      Copy to Clipboard Toggle word wrap

      输出示例

      NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
      Copy to Clipboard Toggle word wrap

    2. 要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令： 

      $ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml
      Copy to Clipboard Toggle word wrap

      输出示例

      apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      1 
      
  name: <infrastructure_id>-<role>
      2 
      
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec:
      3 
      
        ...
      Copy to Clipboard Toggle word wrap

      1
      集群基础架构 ID。
      2
      默认节点标签。
      注意

      对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。

      3
      计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

  3. 运行以下命令来创建 MachineSet CR： 

    $ oc create -f <file_name>.yaml
    Copy to Clipboard Toggle word wrap

验证

  • 运行以下命令，查看计算机器集列表： 

    $ oc get machineset -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                       DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-windows-worker-us-east-1a  1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d          0         0                             55m
agl030519-vplxk-worker-us-east-1e          0         0                             55m
agl030519-vplxk-worker-us-east-1f          0         0                             55m
    Copy to Clipboard Toggle word wrap

    当新的计算机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果 compute 机器集不可用，请等待几分钟，然后再次运行命令。

6.3. 在 GCP 上创建 Windows 机器集
复制链接

您可以在 Google Cloud Platform (GCP) 上的 OpenShift Container Platform 集群中创建 Windows MachineSet 对象来满足特定目的。例如，您可以创建基础架构 Windows 机器集和相关机器，以便将支持的 Windows 工作负载转移到新的 Windows 机器上。

先决条件
  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。
  • 您可以使用受支持的 Windows Server 作为操作系统镜像。

6.3.1. Machine API 概述
复制链接

Machine API 将基于上游 Cluster API 项目的主要资源与自定义 OpenShift Container Platform 资源相结合。

对于 OpenShift Container Platform 4.14 集群，Machine API 在集群安装完成后执行所有节点主机置备管理操作。由于此系统的缘故，OpenShift Container Platform 4.14 在公有或私有云基础架构之上提供了一种弹性动态置备方法。

两种主要资源分别是：

Machines
描述节点主机的基本单元。机器具有 providerSpec 规格，用于描述为不同云平台提供的计算节点的类型。例如，计算节点的机器类型可能会定义特定的机器类型和所需的元数据。
机器集

MachineSet 资源是计算机器组。计算机器集适用于计算机器，因为副本集是针对 pod。如果需要更多计算机器或必须缩减规模，您可以更改 MachineSet 资源的 replicas 字段来满足您的计算需求。

警告

control plane 机器不能由计算机器集管理。

control plane 机器集为 control plane 机器提供管理功能，与为计算机器提供的计算机器集类似。

如需更多信息，请参阅"管理 control plane 机器"。

以下自定义资源可为集群添加更多功能：

机器自动扩展

MachineAutoscaler 资源自动扩展云中的计算机器。您可以为指定计算机器集中的节点设置最小和最大扩展界限，机器自动扩展则维护该范围内的节点。

ClusterAutoscaler 对象存在后，MachineAutoscaler 对象生效。ClusterAutoscaler 和 MachineAutoscaler 资源都由 ClusterAutoscalerOperator 对象提供。

集群自动扩展

此资源基于上游集群自动扩展项目。在 OpenShift Container Platform 实现中，它通过扩展计算机器设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群：

  • 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制
  • 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线
  • 设置扩展策略，以便您可以扩展节点，但不会缩减节点
机器健康检查
MachineHealthCheck 资源可检测机器何时处于不健康状态并将其删除，然后在支持的平台上生成新的机器。

在 OpenShift Container Platform 版本 3.11 中，您无法轻松地推出多区架构，因为集群不负责管理机器置备。自 OpenShift Container Platform 版本 4.1 起，此过程变得更加容易。每个计算机器集限定在一个区，因此安装程序可以代表您的可用区向计算机器集发送。然后，由于您的计算是动态的，因此在面对区域故障时，您始终都有一个区域来应对必须重新平衡机器的情况。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。自动扩展器在集群生命周期内尽可能提供平衡。

6.3.2. GCP 上 Windows MachineSet 对象的 YAML 示例
复制链接

此 YAML 文件示例定义了一个在 Google Cloud Platform (GCP) 上运行的 Windows MachineSet 对象，Windows Machine Config Operator (WMCO) 可以使用它。 

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
1 

  name: <infrastructure_id>-windows-worker-<zone_suffix>
2 

  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
3 

      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-windows-worker-<zone_suffix>
4 

  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
5 

        machine.openshift.io/cluster-api-machine-role: worker
        machine.openshift.io/cluster-api-machine-type: worker
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-windows-worker-<zone_suffix>
6 

        machine.openshift.io/os-id: Windows
7 

    spec:
      metadata:
        labels:
          node-role.kubernetes.io/worker: ""
8 

      providerSpec:
        value:
          apiVersion: machine.openshift.io/v1beta1
          canIPForward: false
          credentialsSecret:
            name: gcp-cloud-credentials
          deletionProtection: false
          disks:
          - autoDelete: true
            boot: true
            image: <windows_server_image>
9 

            sizeGb: 128
            type: pd-ssd
          kind: GCPMachineProviderSpec
          machineType: n1-standard-4
          networkInterfaces:
          - network: <infrastructure_id>-network
10 

            subnetwork: <infrastructure_id>-worker-subnet
          projectID: <project_id>
11 

          region: <region>
12 

          serviceAccounts:
          - email: <infrastructure_id>-w@<project_id>.iam.gserviceaccount.com
            scopes:
            - https://www.googleapis.com/auth/cloud-platform
          tags:
          - <infrastructure_id>-worker
          userDataSecret:
            name: windows-user-data
13 

          zone: <zone>
14
Copy to Clipboard Toggle word wrap
1 3 5 10
指定基于置备集群时所设置的集群 ID 的基础架构 ID。您可以运行以下命令来获取基础架构 ID: 
$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster
Copy to Clipboard Toggle word wrap
2 4 6
指定基础架构 ID、worker 标签和区域后缀（如 a）。
7
将机器配置为 Windows 机器。
8
将 Windows 节点配置为计算机器。
9
指定支持的 Windows Server 镜像的完整路径。
11
指定在其中创建此集群的 GCP 项目。
12
指定 GCP 区域，如 us-central1。
13
由 WMCO 配置第一个 Windows 机器时创建的。之后，所有后续机器组都可以使用 windows-user-data。
14
指定所选区域中的区域，如 us-central1-a。

6.3.3. 创建计算机器集
复制链接

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 创建一个包含计算机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。

    确保设置 <clusterID> 和 <role> 参数值。

  2. 可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

    1. 要列出集群中的计算机器集，请运行以下命令： 

      $ oc get machinesets -n openshift-machine-api
      Copy to Clipboard Toggle word wrap

      输出示例

      NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
      Copy to Clipboard Toggle word wrap

    2. 要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令： 

      $ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml
      Copy to Clipboard Toggle word wrap

      输出示例

      apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      1 
      
  name: <infrastructure_id>-<role>
      2 
      
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec:
      3 
      
        ...
      Copy to Clipboard Toggle word wrap

      1
      集群基础架构 ID。
      2
      默认节点标签。
      注意

      对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。

      3
      计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

  3. 运行以下命令来创建 MachineSet CR： 

    $ oc create -f <file_name>.yaml
    Copy to Clipboard Toggle word wrap

验证

  • 运行以下命令，查看计算机器集列表： 

    $ oc get machineset -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
    Copy to Clipboard Toggle word wrap

    当新的计算机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果 compute 机器集不可用，请等待几分钟，然后再次运行命令。

6.4. 在 Nutanix 上创建 Windows MachineSet 对象
复制链接

您可以在 Nutanix 上的 OpenShift Container Platform 集群中创建 Windows MachineSet 对象来满足特定目的。例如，您可以创建基础架构 Windows 机器集和相关机器，以便将支持的 Windows 工作负载转移到新的 Windows 机器上。

先决条件
  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。
  • 您可以使用受支持的 Windows Server 作为操作系统镜像。
  • 您为内部 API 服务器 URL api-int.<cluster_name>.<base_domain> 添加了一个新的 DNS 条目，它指向外部 API 服务器 URL api.<cluster_name>.<base_domain>。这可以是一个 CNAME 或一个 A 记录。

6.4.1. Machine API 概述
复制链接

Machine API 将基于上游 Cluster API 项目的主要资源与自定义 OpenShift Container Platform 资源相结合。

对于 OpenShift Container Platform 4.14 集群，Machine API 在集群安装完成后执行所有节点主机置备管理操作。由于此系统的缘故，OpenShift Container Platform 4.14 在公有或私有云基础架构之上提供了一种弹性动态置备方法。

两种主要资源分别是：

Machines
描述节点主机的基本单元。机器具有 providerSpec 规格，用于描述为不同云平台提供的计算节点的类型。例如，计算节点的机器类型可能会定义特定的机器类型和所需的元数据。
机器集

MachineSet 资源是计算机器组。计算机器集适用于计算机器，因为副本集是针对 pod。如果需要更多计算机器或必须缩减规模，您可以更改 MachineSet 资源的 replicas 字段来满足您的计算需求。

警告

control plane 机器不能由计算机器集管理。

control plane 机器集为 control plane 机器提供管理功能，与为计算机器提供的计算机器集类似。

如需更多信息，请参阅"管理 control plane 机器"。

以下自定义资源可为集群添加更多功能：

机器自动扩展

MachineAutoscaler 资源自动扩展云中的计算机器。您可以为指定计算机器集中的节点设置最小和最大扩展界限，机器自动扩展则维护该范围内的节点。

ClusterAutoscaler 对象存在后，MachineAutoscaler 对象生效。ClusterAutoscaler 和 MachineAutoscaler 资源都由 ClusterAutoscalerOperator 对象提供。

集群自动扩展

此资源基于上游集群自动扩展项目。在 OpenShift Container Platform 实现中，它通过扩展计算机器设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群：

  • 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制
  • 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线
  • 设置扩展策略，以便您可以扩展节点，但不会缩减节点
机器健康检查
MachineHealthCheck 资源可检测机器何时处于不健康状态并将其删除，然后在支持的平台上生成新的机器。

在 OpenShift Container Platform 版本 3.11 中，您无法轻松地推出多区架构，因为集群不负责管理机器置备。自 OpenShift Container Platform 版本 4.1 起，此过程变得更加容易。每个计算机器集限定在一个区，因此安装程序可以代表您的可用区向计算机器集发送。然后，由于您的计算是动态的，因此在面对区域故障时，您始终都有一个区域来应对必须重新平衡机器的情况。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。自动扩展器在集群生命周期内尽可能提供平衡。

6.4.2. Nutanix 上 Windows MachineSet 对象的 YAML 示例
复制链接

此 YAML 示例定义了一个在 Nutanix 上运行的 Windows MachineSet 对象，Windows Machine Config Operator (WMCO) 可以响应。 

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
1 

  name: <infrastructure_id>-windows-worker-<zone>
2 

  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
3 

      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-windows-worker-<zone>
4 

  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
5 

        machine.openshift.io/cluster-api-machine-role: worker
        machine.openshift.io/cluster-api-machine-type: worker
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-windows-worker-<zone>
6 

        machine.openshift.io/os-id: Windows
7 

    spec:
      metadata:
        labels:
          node-role.kubernetes.io/worker: ""
8 

      providerSpec:
        value:
          apiVersion: machine.openshift.io/v1
          bootType: ""
9 

          categories: null
          cluster:
10 

            type: uuid
            uuid: <cluster_uuid>
          credentialsSecret:
            name: nutanix-credentials
11 

          image:
12 

            name: <image_id>
            type: name
          kind: NutanixMachineProviderConfig
13 

          memorySize: 16Gi
14 

          project:
            type: ""
          subnets:
15 

          - type: uuid
            uuid: <subnet_uuid>
          systemDiskSize: 120Gi
16 

          userDataSecret:
            name: windows-user-data
17 

          vcpuSockets: 4
18 

          vcpusPerSocket: 1
19
Copy to Clipboard Toggle word wrap
1 3 5
指定基于置备集群时所设置的集群 ID 的基础架构 ID。您可以运行以下命令来获取基础架构 ID: 
$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster
Copy to Clipboard Toggle word wrap
2 4 6
指定基础架构 ID、worker 标签和区。
7
将计算机器设置为 Windows 机器。
8
将 Windows 节点配置为计算机器。
9
指定计算机器使用的引导类型。有关引导类型的更多信息，请参阅虚拟环境中的了解 UEFI、安全引导和 TPM。有效值为 Legacy、SecureBoot 或 UEFI。默认值为 Legacy。
注意

您必须在 OpenShift Container Platform 4.14 中使用 Legacy 引导类型。

10
指定 Nutanix Prism Element 集群配置。在本例中，集群类型是 uuid，因此有一个 uuid 小节。
11
指定集群的 secret 名称。不要更改这个值。
12
指定要使用的镜像。使用集群的现有默认计算机器集中的镜像。
13
指定云供应商平台类型。不要更改这个值。
14
指定集群的内存量（以 Gi 为单位）。
15
指定子网配置。在本例中，子网类型是 uuid，因此有一个 uuid 小节。
16
以 Gi 为单位指定系统磁盘大小。
17
指定 openshift-machine-api 命名空间中的用户数据 YAML 文件中的 secret 名称。安装程序在默认计算机器集中填充时使用的值。
18
指定 vCPU 插槽数量。
19
指定每个插槽的 vCPU 数量。

6.4.3. 创建计算机器集
复制链接

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 创建一个包含计算机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。

    确保设置 <clusterID> 和 <role> 参数值。

  2. 可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

    1. 要列出集群中的计算机器集，请运行以下命令： 

      $ oc get machinesets -n openshift-machine-api
      Copy to Clipboard Toggle word wrap

      输出示例

      NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
      Copy to Clipboard Toggle word wrap

    2. 要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令： 

      $ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml
      Copy to Clipboard Toggle word wrap

      输出示例

      apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      1 
      
  name: <infrastructure_id>-<role>
      2 
      
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec:
      3 
      
        ...
      Copy to Clipboard Toggle word wrap

      1
      集群基础架构 ID。
      2
      默认节点标签。
      注意

      对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。

      3
      计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

  3. 运行以下命令来创建 MachineSet CR： 

    $ oc create -f <file_name>.yaml
    Copy to Clipboard Toggle word wrap

验证

  • 运行以下命令，查看计算机器集列表： 

    $ oc get machineset -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
    Copy to Clipboard Toggle word wrap

    当新的计算机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果 compute 机器集不可用，请等待几分钟，然后再次运行命令。

6.5. 在 vSphere 上创建 Windows 机器集
复制链接

您可以在 VMware vSphere 上的 OpenShift Container Platform 集群中创建 Windows MachineSet 对象来满足特定目的。例如，您可以创建基础架构 Windows 机器集和相关机器，以便将支持的 Windows 工作负载转移到新的 Windows 机器上。

先决条件
  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。
  • 您可以使用受支持的 Windows Server 作为操作系统镜像。

6.5.1. Machine API 概述
复制链接

Machine API 将基于上游 Cluster API 项目的主要资源与自定义 OpenShift Container Platform 资源相结合。

对于 OpenShift Container Platform 4.14 集群，Machine API 在集群安装完成后执行所有节点主机置备管理操作。由于此系统的缘故，OpenShift Container Platform 4.14 在公有或私有云基础架构之上提供了一种弹性动态置备方法。

两种主要资源分别是：

Machines
描述节点主机的基本单元。机器具有 providerSpec 规格，用于描述为不同云平台提供的计算节点的类型。例如，计算节点的机器类型可能会定义特定的机器类型和所需的元数据。
机器集

MachineSet 资源是计算机器组。计算机器集适用于计算机器，因为副本集是针对 pod。如果需要更多计算机器或必须缩减规模，您可以更改 MachineSet 资源的 replicas 字段来满足您的计算需求。

警告

control plane 机器不能由计算机器集管理。

control plane 机器集为 control plane 机器提供管理功能，与为计算机器提供的计算机器集类似。

如需更多信息，请参阅"管理 control plane 机器"。

以下自定义资源可为集群添加更多功能：

机器自动扩展

MachineAutoscaler 资源自动扩展云中的计算机器。您可以为指定计算机器集中的节点设置最小和最大扩展界限，机器自动扩展则维护该范围内的节点。

ClusterAutoscaler 对象存在后，MachineAutoscaler 对象生效。ClusterAutoscaler 和 MachineAutoscaler 资源都由 ClusterAutoscalerOperator 对象提供。

集群自动扩展

此资源基于上游集群自动扩展项目。在 OpenShift Container Platform 实现中，它通过扩展计算机器设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群：

  • 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制
  • 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线
  • 设置扩展策略，以便您可以扩展节点，但不会缩减节点
机器健康检查
MachineHealthCheck 资源可检测机器何时处于不健康状态并将其删除，然后在支持的平台上生成新的机器。

在 OpenShift Container Platform 版本 3.11 中，您无法轻松地推出多区架构，因为集群不负责管理机器置备。自 OpenShift Container Platform 版本 4.1 起，此过程变得更加容易。每个计算机器集限定在一个区，因此安装程序可以代表您的可用区向计算机器集发送。然后，由于您的计算是动态的，因此在面对区域故障时，您始终都有一个区域来应对必须重新平衡机器的情况。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。自动扩展器在集群生命周期内尽可能提供平衡。

6.5.2. 为 Windows 容器工作负载准备 vSphere 环境
复制链接

您必须通过创建 vSphere Windows VM 金级镜像并启用与 WMCO 的内部 API 服务器通信来为 Windows 容器工作负载准备 vSphere 环境。

6.5.2.1. 创建 vSphere Windows 虚拟机金级镜像
复制链接

创建 vSphere Windows 虚拟机（VM）金级镜像。

先决条件

  • 您已创建了私钥/公钥对，用于在 OpenSSH 服务器中配置基于密钥的身份验证。还必须在 Windows Machine Config Operator (WMCO) 命名空间中配置私钥。这需要允许 WMCO 与 Windows 虚拟机进行通信。如需了解更多详细信息，请参阅"为 Windows Machine Config Operator 配置 secret" 部分。
注意

在创建 Windows 虚拟机的多个情形中，您必须使用 Microsoft PowerShell 命令。本指南中的 PowerShell 命令由 PS C:\> 前缀区分。

流程

  1. 选择兼容的 Windows Server 版本。目前，Windows Machine Config Operator (WMCO) 稳定版本支持 Windows Server 2022 Long-Term Servicing Channel 及 OS-level 容器网络补丁 KB5012637。

  2. 使用带有兼容 Windows Server 版本的 VM金级镜像，在 vSphere 客户端中创建新虚拟机。有关兼容版本的更多信息，请参阅 Red Hat OpenShift support for Windows Containers 发行注记中的 "Windows Machine Config Operator prerequisites" 部分

    重要

    您的虚拟机的虚拟硬件版本必须满足 OpenShift Container Platform 的基础架构要求。如需更多信息，请参阅 OpenShift Container Platform 文档中的 "VMware vSphere infrastructure requirements" 部分。另外，您还可以参考 VMware 有关 虚拟机硬件版本的文档。

  3. 在 Windows 虚拟机上安装和配置 VMware Tools 版本 11.0.6 或更高版本。如需更多信息，参阅 VMware Tools 文档。

  4. 在 Windows 虚拟机上安装了 VMware Tools 后，请验证以下内容：

    1. The C:\ProgramData\VMware\VMware Tools\tools.conf 文件存在，并带有以下条目： 

      exclude-nics=
      Copy to Clipboard Toggle word wrap

      如果 tools.conf 文件不存在，则使用 exclude-nics 选项取消注释并设置为空值创建该文件。

      此条目确保通过混合覆盖在 Windows 虚拟机上生成的克隆 vNIC 不被忽略。

    2. Windows 虚拟机在 vCenter 中有一个有效的 IP 地址： 

      C:\> ipconfig
      Copy to Clipboard Toggle word wrap

    3. VMTools Windows 服务正在运行： 

      PS C:\> Get-Service -Name VMTools | Select Status, StartType
      Copy to Clipboard Toggle word wrap
  5. 在 Windows 虚拟机上安装和配置 OpenSSH 服务器。如需了解更多详细信息，请参阅 Microsoft 的有关安装 OpenSSH 的文档。

  6. 为管理用户设置 SSH 访问权限。详情请参阅 Microsoft 文档的管理员用户。

    重要

    指令中使用的公钥必须与稍后在 WMCO 命名空间中创建的私钥对应，后者包含您的 secret。如需了解更多详细信息，请参阅"为 Windows Machine Config Operator 配置 secret" 部分。

  7. 您必须在 Windows 虚拟机中创建新的防火墙规则，以允许进入连接的容器日志。运行以下命令，在 TCP 端口 10250 中创建防火墙规则： 

    PS C:\> New-NetFirewallRule -DisplayName "ContainerLogsPort" -LocalPort 10250 -Enabled True -Direction Inbound -Protocol TCP -Action Allow -EdgeTraversalPolicy Allow
    Copy to Clipboard Toggle word wrap
  8. 克隆 Windows 虚拟机，使其成为可重复利用的镜像。遵循 VMware 文档来了解如何克隆现有虚拟机以了解更多详细信息。

  9. 在克隆的 Windows 虚拟机上，运行 Windows Sysprep 工具 ： 

    C:\> C:\Windows\System32\Sysprep\sysprep.exe /generalize /oobe /shutdown /unattend:<path_to_unattend.xml>
    1
    Copy to Clipboard Toggle word wrap
    1
    指定 unattend.xml 文件的路径。
    注意

    对于您可以在 Windows 镜像中运行 sysprep 命令的次数有一个限制。如需更多信息，请参阅 Microsoft 文档。

    提供了 unattend.xml 示例，它维护 WMCO 所需的所有更改。您必须修改这个示例，它不能直接使用。

    例 6.1. unattend.xml 示例

    <?xml version="1.0" encoding="UTF-8"?>
<unattend xmlns="urn:schemas-microsoft-com:unattend">
   <settings pass="specialize">
      <component xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" name="Microsoft-Windows-International-Core" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35" language="neutral" versionScope="nonSxS">
         <InputLocale>0409:00000409</InputLocale>
         <SystemLocale>en-US</SystemLocale>
         <UILanguage>en-US</UILanguage>
         <UILanguageFallback>en-US</UILanguageFallback>
         <UserLocale>en-US</UserLocale>
      </component>
      <component xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" name="Microsoft-Windows-Security-SPP-UX" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35" language="neutral" versionScope="nonSxS">
         <SkipAutoActivation>true</SkipAutoActivation>
      </component>
      <component xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" name="Microsoft-Windows-SQMApi" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35" language="neutral" versionScope="nonSxS">
         <CEIPEnabled>0</CEIPEnabled>
      </component>
      <component xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" name="Microsoft-Windows-Shell-Setup" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35" language="neutral" versionScope="nonSxS">
         <ComputerName>winhost</ComputerName>
    1 
    
      </component>
   </settings>
   <settings pass="oobeSystem">
      <component xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" name="Microsoft-Windows-Shell-Setup" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35" language="neutral" versionScope="nonSxS">
         <AutoLogon>
            <Enabled>false</Enabled>
    2 
    
         </AutoLogon>
         <OOBE>
            <HideEULAPage>true</HideEULAPage>
            <HideLocalAccountScreen>true</HideLocalAccountScreen>
            <HideOEMRegistrationScreen>true</HideOEMRegistrationScreen>
            <HideOnlineAccountScreens>true</HideOnlineAccountScreens>
            <HideWirelessSetupInOOBE>true</HideWirelessSetupInOOBE>
            <NetworkLocation>Work</NetworkLocation>
            <ProtectYourPC>1</ProtectYourPC>
            <SkipMachineOOBE>true</SkipMachineOOBE>
            <SkipUserOOBE>true</SkipUserOOBE>
         </OOBE>
         <RegisteredOrganization>Organization</RegisteredOrganization>
         <RegisteredOwner>Owner</RegisteredOwner>
         <DisableAutoDaylightTimeSet>false</DisableAutoDaylightTimeSet>
         <TimeZone>Eastern Standard Time</TimeZone>
         <UserAccounts>
            <AdministratorPassword>
               <Value>MyPassword</Value>
    3 
    
               <PlainText>true</PlainText>
            </AdministratorPassword>
         </UserAccounts>
      </component>
   </settings>
</unattend>
    Copy to Clipboard Toggle word wrap
    1
    指定 ComputerName，它必须遵循 Kubernetes 名称规格。这些规格也适用于在创建新虚拟机时在生成的模板中执行的 Guest OS 自定义。
    2
    禁用自动登录，以避免在启动时使用管理员特权打开终端的安全问题。这是默认值，不得更改。
    3
    将 MyPassword 占位符替换为 Administrator 帐户的密码。这可防止内置的 Administrator 帐户默认拥有空白密码。遵循 Microsoft 选择密码的最佳实践。

    Sysprep 工具完成后，Windows 虚拟机将关闭。您不得再使用此虚拟机或打开此虚拟机。

  10. 将 Windows 虚拟机转换为 vCenter 中的模板。

Windows Machine Config Operator（WMCO）从内部 API 服务器端点下载 Ignition 配置文件。您必须启用与内部 API 服务器通信，以便您的 Windows 虚拟机可以下载 Ignition 配置文件，而配置的虚拟机上的 kubelet 只能与内部 API 服务器通信。

先决条件

  • 您已在 vSphere 上安装了集群。

流程

  • 为 api-int.<cluster_name>.<base_domain> 添加一个新的 DNS 项，它指向外部 API 服务器 URL api.<cluster_name>.<base_domain>。这可以是一个 CNAME 或一个 A 记录。
注意

外部 API 端点已创建，作为 vSphere 上初始集群安装的一部分。

6.5.3. vSphere 上 Windows MachineSet 对象的 YAML 示例
复制链接

此 YAML 示例定义了一个在 VMware vSphere 上运行的 Windows MachineSet 对象，Windows Machine Config Operator（WMCO）可响应。 

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
1 

  name: <windows_machine_set_name>
2 

  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
3 

      machine.openshift.io/cluster-api-machineset: <windows_machine_set_name>
4 

  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
5 

        machine.openshift.io/cluster-api-machine-role: worker
        machine.openshift.io/cluster-api-machine-type: worker
        machine.openshift.io/cluster-api-machineset: <windows_machine_set_name>
6 

        machine.openshift.io/os-id: Windows
7 

    spec:
      metadata:
        labels:
          node-role.kubernetes.io/worker: ""
8 

      providerSpec:
        value:
          apiVersion: vsphereprovider.openshift.io/v1beta1
          credentialsSecret:
            name: vsphere-cloud-credentials
          diskGiB: 128
9 

          kind: VSphereMachineProviderSpec
          memoryMiB: 16384
          network:
            devices:
            - networkName: "<vm_network_name>"
10 

          numCPUs: 4
          numCoresPerSocket: 1
          snapshot: ""
          template: <windows_vm_template_name>
11 

          userDataSecret:
            name: windows-user-data
12 

          workspace:
             datacenter: <vcenter_datacenter_name>
13 

             datastore: <vcenter_datastore_name>
14 

             folder: <vcenter_vm_folder_path>
15 

             resourcePool: <vsphere_resource_pool>
16 

             server: <vcenter_server_ip>
17
Copy to Clipboard Toggle word wrap
1 3 5
指定基于置备集群时所设置的集群 ID 的基础架构 ID。您可以运行以下命令来获取基础架构 ID: 
$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster
Copy to Clipboard Toggle word wrap
2 4 6
指定 Windows 计算机器设置名称。由于 vSphere 中生成机器名称的方式，计算机器设置的名称不能超过 9 个字符。
7
将计算机器设置为 Windows 机器。
8
将 Windows 节点配置为计算机器。
9
指定 vSphere Virtual Machine Disk (VMDK) 的大小。
注意

这个参数不会设置 Windows 分区的大小。您可以使用 unattend.xml 文件或创建带有所需磁盘大小的 vSphere Windows 虚拟机 (VM) 金级镜像来重新定义 Windows 分区大小。

10
指定要将计算机器设置为的 vSphere VM 网络。此虚拟机网络必须是集群中其他 Linux 计算机器所处的位置。
11
指定要使用的 Windows vSphere 虚拟机模板的完整路径，如 golden-images/windows-server-template。名称必须是唯一的。
重要

不要指定原始虚拟机模板。VM 模板必须保持关闭，必须为新的 Windows 机器克隆。启动虚拟机模板会将虚拟机模板配置为平台上的虚拟机，这样可防止它被用作计算机器集可应用配置的模板。

12
当配置了第一个 Windows 机器时，windows-user-data 由 WMCO 创建。之后，所有后续计算机器集都可以使用 windows-user-data。
13
指定要将计算机器设置为的 vCenter Datacenter。
14
指定要部署计算机器的 vCenter Datastore。
15
指定 vCenter 中 vSphere 虚拟机文件夹的路径，如 /dc1/vm/user-inst-5ddjd。
16
可选：为您的 Windows 虚拟机指定 vSphere 资源池。
17
指定 vCenter 服务器 IP 或完全限定域名。

6.5.4. 创建计算机器集
复制链接

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 OpenShift CLI（oc）。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 创建一个包含计算机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。

    确保设置 <clusterID> 和 <role> 参数值。

  2. 可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

    1. 要列出集群中的计算机器集，请运行以下命令： 

      $ oc get machinesets -n openshift-machine-api
      Copy to Clipboard Toggle word wrap

      输出示例

      NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m
      Copy to Clipboard Toggle word wrap

    2. 要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令： 

      $ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml
      Copy to Clipboard Toggle word wrap

      输出示例

      apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      1 
      
  name: <infrastructure_id>-<role>
      2 
      
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec:
      3 
      
        ...
      Copy to Clipboard Toggle word wrap

      1
      集群基础架构 ID。
      2
      默认节点标签。
      注意

      对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。

      3
      计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

  3. 运行以下命令来创建 MachineSet CR： 

    $ oc create -f <file_name>.yaml
    Copy to Clipboard Toggle word wrap

验证

  • 运行以下命令，查看计算机器集列表： 

    $ oc get machineset -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    输出示例

    NAME                                       DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-windows-worker-us-east-1a  1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c          1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d          0         0                             55m
agl030519-vplxk-worker-us-east-1e          0         0                             55m
agl030519-vplxk-worker-us-east-1f          0         0                             55m
    Copy to Clipboard Toggle word wrap

    当新的计算机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果 compute 机器集不可用，请等待几分钟，然后再次运行命令。

第 7 章 调度 Windows 容器工作负载
复制链接

您可以将 Windows 工作负载调度到 Windows 计算节点。

先决条件

  • 已使用 Operator Lifecycle Manager（OLM）安装 Windows Machine Config Operator（WMCO）。
  • 您可以使用 Windows 容器作为 OS 镜像。
  • 您已创建了 Windows 计算机器集。

7.1. Windows pod 放置
复制链接

在集群中部署 Windows 工作负载前，您必须配置 Windows 节点调度，以便正确分配 pod。在有了托管 Windows 节点的机器后，就可以使用管理 Linux 节点相同的方法进行管理。同样，将 Windows pod 调度到适当的 Windows 节点会以相似的方式完成，可以使用污点、容限和节点选择器等机制。

如果在一个集群中，有多个操作系统以及运行多个 Windows OS 变体，您必须使用 RuntimeClass 对象将 Windows pod 映射到基本 Windows OS 变体。例如，如果您在不同 Windows Server 容器版本中运行多个 Windows 节点，集群可将 Windows pod 调度到不兼容的 Windows OS 变体。您必须为集群中的每个 Windows OS 变体配置 RuntimeClass 对象。如果集群中只有一个 Windows OS 变体，则建议使用 RuntimeClass 对象。

如需更多信息，请参阅微软有关主机和容器版本兼容性的文档。

另外，建议您在工作负载 pod 中设置 spec.os.name.windows 参数。Windows Machine Config Operator (WMCO) 使用此字段来权威性地指定 pod 操作系统进行验证，用于强制实施特定于 Windows 的 pod 安全性上下文约束 (SCC)。目前，此参数对 pod 调度没有影响。有关此参数的更多信息，请参阅 Kubernetes Pod 文档。

重要

容器基础镜像与容器要调度到的节点的 Windows OS 版本和构建号需要相同。

另外，如果您将 Windows 节点从一个版本升级到另一个版本，例如从 20H2 升级到 2022，则需要升级容器基础镜像以匹配新版本。如需更多信息，请参阅 Windows 容器版本兼容性。

其他资源

7.2. 创建 RuntimeClass 对象来封装调度机制
复制链接

使用 RuntimeClass 对象简化了调度机制的使用，如污点和容限 ; 您可以部署一个运行时类来封装您的污点和容限，然后将其应用到 pod，再将它们调度到适当的节点。在支持多个操作系统变体的集群中，还需要创建运行时类。

流程

  1. 创建 RuntimeClass 对象 YAML 文件。例如，runtime-class.yaml： 

    apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: windows2019
    1 
    
handler: 'runhcs-wcow-process'
scheduling:
  nodeSelector:
    2 
    
    kubernetes.io/os: 'windows'
    kubernetes.io/arch: 'amd64'
    node.kubernetes.io/windows-build: '10.0.17763'
  tolerations:
    3 
    
  - effect: NoSchedule
    key: os
    operator: Equal
    value: "windows"
  - effect: NoSchedule
    key: os
    operator: Equal
    value: "Windows"
    Copy to Clipboard Toggle word wrap
    1
    指定 RuntimeClass 对象名称，该名称在您要由此运行时类管理的 pod 中定义。
    2
    指定支持这个运行时类的节点必须存在的标签。使用此运行时类的 Pod 只能调度到与此选择器匹配的节点。运行时类的节点选择器与 pod 的现有节点选择器合并。任何冲突都会阻止 pod 调度到节点。
    • 对于 Windows 2019，指定 node.kubernetes.io/windows-build: '10.0.17763' 标签。
    • 对于 Windows 2022，指定 node.kubernetes.io/windows-build: '10.0.20348' 标签。
    3
    指定要在 pod 附加的容限（不包括重复），在准入过程中使用此运行时类运行。这将合并 pod 和运行时类容许的节点集合。

  2. 创建 RuntimeClass 对象： 

    $ oc create -f <file-name>.yaml
    Copy to Clipboard Toggle word wrap

    例如： 

    $ oc create -f runtime-class.yaml
    Copy to Clipboard Toggle word wrap

  3. 将 RuntimeClass 对象应用到您的 pod，以确保其被调度到适当的操作系统变体： 

    apiVersion: v1
kind: Pod
metadata:
  name: my-windows-pod
spec:
  runtimeClassName: windows2019
    1 
    
# ...
    Copy to Clipboard Toggle word wrap
    1
    指定管理 pod 调度的运行时类。

7.3. Windows 容器工作负载部署示例
复制链接

在有 Windows 计算节点可用后，您可以将 Windows 容器工作负载部署到集群中。

注意

这个示例部署仅供参考。

Service 对象示例

apiVersion: v1
kind: Service
metadata:
  name: win-webserver
  labels:
    app: win-webserver
spec:
  ports:
    # the port that this service should serve on
  - port: 80
    targetPort: 80
  selector:
    app: win-webserver
  type: LoadBalancer
Copy to Clipboard Toggle word wrap

Deployment 对象示例

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: win-webserver
  name: win-webserver
spec:
  selector:
    matchLabels:
      app: win-webserver
  replicas: 1
  template:
    metadata:
      labels:
        app: win-webserver
      name: win-webserver
    spec:
      containers:
      - name: windowswebserver
        image: mcr.microsoft.com/windows/servercore:ltsc2019
1 

        imagePullPolicy: IfNotPresent
        command:
        - powershell.exe
2 

        - -command
        - $listener = New-Object System.Net.HttpListener; $listener.Prefixes.Add('http://*:80/'); $listener.Start();Write-Host('Listening at http://*:80/'); while ($listener.IsListening) { $context = $listener.GetContext(); $response = $context.Response; $content='<html><body><H1>Red Hat OpenShift + Windows Container Workloads</H1></body></html>'; $buffer = [System.Text.Encoding]::UTF8.GetBytes($content); $response.ContentLength64 = $buffer.Length; $response.OutputStream.Write($buffer, 0, $buffer.Length); $response.Close(); };
        securityContext:
          runAsNonRoot: false
          windowsOptions:
            runAsUserName: "ContainerAdministrator"
      os:
        name: "windows"
      runtimeClassName: windows2019
3
Copy to Clipboard Toggle word wrap

1
指定要使用的容器镜像：mcr.microsoft.com/powershell:<tag> 或 mcr.microsoft.com/windows/servercore:<tag>。容器镜像必须与节点上运行的 Windows 版本匹配。
  • 对于 Windows 2019，使用 ltsc2019 标签。
  • 对于 Windows 2022，使用 ltsc2022 标签。
2
指定要在容器上执行的命令。
  • 对于 mcr.microsoft.com/powershell:<tag> 容器镜像，您必须将命令定义为 pwsh.exe。
  • 对于 mcr.microsoft.com/windows/servercore:<tag> 容器镜像，您必须将该命令定义为 powershell.exe。
3
指定您为集群中的 Windows 操作系统变体创建的运行时类。

7.4. 支持 Windows CSI 驱动程序
复制链接

Red Hat OpenShift for Windows Containers 在集群中的所有 Windows 节点上安装 CSI 代理。CSI Proxy 是一个插件，它允许 CSI 驱动程序在节点上执行存储操作。

要将持久性存储用于 Windows 工作负载，您必须部署特定的 Windows CSI 驱动程序守护进程集，如存储供应商文档所述。默认情况下，WMCO 不会自动创建 Windows CSI 驱动程序守护进程集。请参阅 Kubernetes CSI Developer 文档中的生产环境驱动程序列表。

注意

红帽不提供对 Kubernetes CSI 开发人员文档中列出的第三方生产驱动程序的支持。

7.5. 手动扩展计算机器集
复制链接

要在计算机器集中添加或删除机器实例，您可以手动扩展计算机器集。

这个指南与全自动的、安装程序置备的基础架构安装相关。自定义的、用户置备的基础架构安装没有计算机器集。

先决条件

  • 安装 OpenShift Container Platform 集群和 oc 命令行。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 运行以下命令，查看集群中的计算机器： 

    $ oc get machinesets -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    计算机器集以 <clusterid>-worker-<aws-region-az> 的形式列出。

  2. 运行以下命令，查看集群中的计算机器： 

    $ oc get machine -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

  3. 运行以下命令，在要删除的计算机器上设置注解： 

    $ oc annotate machine/<machine_name> -n openshift-machine-api machine.openshift.io/delete-machine="true"
    Copy to Clipboard Toggle word wrap

  4. 运行以下命令来扩展计算机器集： 

    $ oc scale --replicas=2 machineset <machineset> -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    或者： 

    $ oc edit machineset <machineset> -n openshift-machine-api
    Copy to Clipboard Toggle word wrap
    提示

    您还可以应用以下 YAML 来扩展计算机器集： 

    apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  name: <machineset>
  namespace: openshift-machine-api
spec:
  replicas: 2
    Copy to Clipboard Toggle word wrap

    您可以扩展或缩减计算机器。需要过几分钟以后新机器才可用。

    重要

    默认情况下，机器控制器会尝试排空在机器上运行的节点，直到成功为止。在某些情况下，如错误配置了 pod 中断预算，排空操作可能无法成功。如果排空操作失败，机器控制器无法继续删除机器。

    您可以通过在特定机器上注解 machine.openshift.io/exclude-node-draining 来跳过排空节点。

验证

  • 运行以下命令，验证删除所需的机器： 

    $ oc get machines
    Copy to Clipboard Toggle word wrap

第 8 章 Windows 节点升级
复制链接

您可以通过升级 Windows Machine Config Operator（WMCO），以确保 Windows 节点具有最新的更新。

8.1. Windows Machine Config Operator 升级
复制链接

当发布与当前集群版本兼容的 Windows Machine Config Operator（WMCO）的新版本时，Operator 会根据升级频道和订阅批准策略升级，在使用 Operator Lifecycle Manager（OLM）时会安装它。WMCO 升级会在 Windows 机器中产生 Kubernetes 组件升级。

注意

如果要升级到 WMCO 的新版本并希望使用集群监控，则必须在 WMCO 命名空间中具有 openshift.io/cluster-monitoring=true 标签。如果将该标签添加到已存在的 WMCO 命名空间，并且已经配置了 Windows 节点，重启 WMCO pod 以允许显示监控图形。

对于非破坏性升级，WMCO 会终止之前 WMCO 版本配置的 Windows 机器，并使用当前版本重新创建它们。这可以通过删除 Machine 对象来完成，这会导致 Windows 节点排空和删除。为便于升级，WMCO 会为所有配置的节点添加版本注解。在升级过程中，版本注解中的不匹配会导致删除和重新创建 Windows 机器。要在升级过程中减少服务的中断，WMCO 一次只更新一个 Windows 机器。

更新后，建议您在工作负载 pod 中设置 spec.os.name.windows 参数。WMCO 使用此字段来权威性地指定 pod 操作系统进行验证，用于强制实施特定于 Windows 的 pod 安全性上下文约束 (SCC)。

重要

WMCO 仅负责更新 Kubernetes 组件，而不负责 Windows 操作系统更新。您在创建虚拟机时提供 Windows 镜像，因此您需要提供更新的镜像。您可以通过更改 MachineSet spec 中的镜像配置来提供更新的 Windows 镜像。

有关使用 Operator Lifecycle Manager (OLM) 升级 Operator 的更多信息，请参阅升级已安装的 Operator。

通过自带主机 (BYOH) ，用户可以重新指定 Windows Server 虚拟机的用途，并将它们带入 OpenShift Container Platform。BYOH Windows 实例让希望在 Windows 服务器脱机时缓解重大中断的用户受益。

9.1. 配置 BYOH Windows 实例
复制链接

创建 BYOH Windows 实例需要在 Windows Machine Config Operator (WMCO) 命名空间中创建配置映射。

先决条件

要作为节点附加到集群的任何 Windows 实例都必须满足以下要求：

  • 实例必须与集群中的 Linux worker 节点位于同一个网络中。
  • 端口 22 必须处于打开状态，并且正在运行 SSH 服务器。
  • SSH 服务器的默认 shell 必须是 Windows 命令 shell 或 cmd.exe。
  • 端口 10250 必须处于打开状态才能收集日志。
  • 管理员用户会看到一个密钥，它在 secret 集中使用作为一个授权 SSH 密钥。
  • 如果您要为安装程序置备的基础架构 (IPI) AWS 集群创建 BYOH Windows 实例，您必须在与 worker 节点的计算机器集中的 spec.template.spec.value.tag 值匹配的 AWS 实例中添加标签。例如 kubernetes.io/cluster/<cluster_id>: owned 或 kubernetes.io/cluster/<cluster_id>: shared。
  • 如果您要在 vSphere 上创建 BYOH Windows 实例，则必须启用与内部 API 服务器的通信。

  • 实例的主机名必须遵循 RFC 1123 DNS 标签要求，其中包括以下标准：

    • 仅包含小写字母数字字符或 '-'。
    • 以字母数字字符开头。
    • 以字母数字字符结尾。
注意

WMCO 部署的 Windows 实例使用容器运行时配置。由于 WMCO 安装和管理运行时，建议您不要在节点上手动安装容器。

流程

  1. 在 WMCO 命名空间中创建一个名为 windows-instances 的 ConfigMap，用于描述要添加的 Windows 实例。

    注意

    格式化配置映射的 data 部分的每个条目，使用地址作为关键字，值为 username=<username>。

    配置映射示例

    kind: ConfigMap
apiVersion: v1
metadata:
  name: windows-instances
  namespace: openshift-windows-machine-config-operator
data:
  10.1.42.1: |-
    1 
    
    username=Administrator
    2 
    
  instance.example.com: |-
    username=core
    Copy to Clipboard Toggle word wrap

    1
    WMCO 通过 SSH 访问实例的地址，可以是 DNS 名称或 IPv4 地址。这个地址必须存在 DNS PTR 记录。如果您的组织使用 DHCP 来分配 IP 地址，建议您将 DNS 名称与 BYOH 实例搭配使用。如果没有，则需要在实例分配新 IP 地址时更新 windows-instances ConfigMap。
    2
    先决条件中创建的管理员用户的名称。

9.2. 删除 BYOH Windows 实例
复制链接

您可以通过删除配置映射中实例条目来删除附加到集群的 BYOH 实例。删除实例会在添加到集群之前将该实例恢复到其状态。任何日志和容器运行时工件都不会添加到这些实例中。

要完全删除实例，必须使用提供给 WMCO 的当前私钥访问该实例。例如，要从上例中删除 10.1.42.1 实例，配置映射将更改为以下内容： 

kind: ConfigMap
apiVersion: v1
metadata:
  name: windows-instances
  namespace: openshift-windows-machine-config-operator
data:
  instance.example.com: |-
    username=core
Copy to Clipboard Toggle word wrap

删除 windows-instances 被视为取消构建添加为节点的所有 Windows 实例的请求。

第 10 章 删除 Windows 节点
复制链接

您可以通过删除其主机 Windows 机器来删除 Windows 节点。

10.1. 删除一个特定的机器
复制链接

您可以删除特定的机器。

重要

除非集群使用 control plane 机器集，否则不要删除 control plane 机器。

先决条件

  • 安装 OpenShift Container Platform 集群。
  • 安装 OpenShift CLI (oc) 。
  • 以具有 cluster-admin 权限的用户身份登录 oc。

流程

  1. 运行以下命令，查看集群中的机器： 

    $ oc get machine -n openshift-machine-api
    Copy to Clipboard Toggle word wrap

    命令输出包含 <clusterid>-<role>-<cloud_region> 格式的机器列表。

  2. 找到您要删除的机器。

  3. 运行以下命令来删除机器： 

    $ oc delete machine <machine> -n openshift-machine-api
    Copy to Clipboard Toggle word wrap
    重要

    默认情况下，机器控制器会尝试排空在机器上运行的节点，直到成功为止。在某些情况下，如错误配置了 pod 中断预算，排空操作可能无法成功。如果排空操作失败，机器控制器无法继续删除机器。

    您可以通过在特定机器上注解 machine.openshift.io/exclude-node-draining 来跳过排空节点。

    如果要删除的机器属于机器集，则会立即创建一个新机器来满足指定的副本数要求。

第 11 章 禁用 Windows 容器工作负载
复制链接

您可以通过卸载 Windows Machine Config Operator（WMCO），并删除安装 WMCO 时默认添加的命名空间，来禁用运行 Windows 容器工作负载的能力。

11.1. 卸载 Windows Machine Config Operator
复制链接

您可以从集群卸载 Windows Machine Config Operator（WMCO）。

先决条件

  • 删除托管 Windows 工作负载的 Windows Machine 对象。

流程

  1. 在 Operators → OperatorHub 页面中，使用 Filter by keyword 复选框来搜索 Red Hat Windows Machine Config Operator。
  2. 点 Red Hat Windows Machine Config Operator 标题。Operator 标题表示已安装该 Operator。
  3. 在 Windows Machine Config Operator 描述符页面中，点 Uninstall。

11.2. 删除 Windows Machine Config Operator 命名空间
复制链接

您可以删除默认为 Windows Machine Config Operator（WMCO）生成的命名空间。

先决条件

  • WMCO 已从集群中移除。

流程

  1. 删除 openshift-windows-machine-config-operator 命名空间中创建的所有 Windows 工作负载： 

    $ oc delete --all pods --namespace=openshift-windows-machine-config-operator
    Copy to Clipboard Toggle word wrap

  2. 验证 openshift-windows-machine-config-operator 命名空间中的所有 pod 是否已删除，或处于终止状态： 

    $ oc get pods --namespace openshift-windows-machine-config-operator
    Copy to Clipboard Toggle word wrap

  3. 删除 openshift-windows-machine-config-operator 命名空间： 

    $ oc delete namespace openshift-windows-machine-config-operator
    Copy to Clipboard Toggle word wrap

其他资源

Legal Notice
复制链接

Copyright © 2025 Red Hat

OpenShift documentation is licensed under the Apache License 2.0 (https://www.apache.org/licenses/LICENSE-2.0).

Modified versions must remove all Red Hat trademarks.

Portions adapted from https://github.com/kubernetes-incubator/service-catalog/ with modifications by Red Hat.

Red Hat, Red Hat Enterprise Linux, the Red Hat logo, the Shadowman logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.

Linux® is the registered trademark of Linus Torvalds in the United States and other countries.

Java® is a registered trademark of Oracle and/or its affiliates.

XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.

MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.

Node.js® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.

The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation’s permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.

All other trademarks are the property of their respective owners.

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat