OpenShift Container Platform

为您的 OpenShift Container Platform 节点的 AWS 区域指定有效的 Red Hat Enterprise Linux CoreOS (RHCOS) AMI。如果要使用 AWS Marketplace 镜像，则必须从 AWS Marketplace 完成 OpenShift Container Platform 订阅来获取您所在地区的 AMI ID。

指定区域，如 us-east-1a。

指定区域，如 us-east-1。

指定基础架构 ID 和区域。

2.1.2. 创建机器集

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

部署一个 OpenShift Container Platform 集群。
安装 OpenShift CLI（oc）。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

创建一个包含机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。
确保设置 <clusterID> 和 <role> 参数值。

可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

要列出集群中的计算机器集，请运行以下命令：

$ oc get machinesets -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令：

$ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml

输出示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec: 3
        ...

1: 集群基础架构 ID。
2: 默认节点标签。
注意
对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。
3: 计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

运行以下命令来创建 MachineSet CR：
```
$ oc create -f <file_name>.yaml
```
如果需要其他可用区中的计算机器集，请重复此过程来创建更多计算机器集。

验证

运行以下命令，查看计算机器集列表：

$ oc get machineset -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

当新机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果机器集不可用，请等待几分钟，然后再次运行命令。

2.1.3. 将机器部署为 Spot 实例的机器集

您可以通过创建一个在 AWS 上运行的机器集来把机器部署为非保障的 Spot 实例来节约成本。Spo 实例使用未使用的 AWS EC2 容量，且比按需（On-Demand）实例的成本要低。您可以将 Spot 实例用于可容许中断的工作负载，如批处理或无状态工作负载、横向可扩展工作负载。

AWS EC2 可随时终止 Spot 实例。当发生中断时，AWS 会向用户发出两分钟警告信息。当 AWS 发出终止警告时，OpenShift Container Platform 开始从受影响的实例中删除工作负载。

使用 Spot 实例时可能会因为以下原因造成中断：

实例价格超过您的最大价格
Spot 实例的需求增加
Spot 实例的提供减少

当 AWS 终止实例时，Spot 实例节点上运行的终止处理器会删除机器资源。为了满足机器集 replicas 数量，机器集会创建一个请求 Spot 实例的机器。

2.1.4. 使用机器集创建 Spot 实例

您可以通过在机器集 YAML 文件中添加 spotMarketOptions，在 AWS 上启动 Spot 实例。

流程

在 providerSpec 字段中添加以下行：
```
providerSpec:
  value:
    spotMarketOptions: {}
```
您可以选择设置 spotMarketOptions.maxPrice 字段来限制 Spot 实例的成本。例如，您可以设置 maxPrice: '2.50'。
如果设置了 maxPrice，则将此值用作每小时最大即时价格。如果没有设置，则默认使用最大价格收费，以达到按需处理的实例价格。
注意
强烈建议您使用默认的 On-Demand 价格作为 maxPrice 值，不要为 Spot 实例设置最大价格。

2.1.5. 将机器部署为 Dedicated 实例的机器集

您可以创建在 AWS 上运行的机器集，该机器将机器部署为 Dedicated 实例。专用实例在专用于单一客户的硬件上运行虚拟私有云（VPC）。这些 Amazon EC2 实例在主机硬件级别被物理隔离。Dedicated 实例的隔离也会存在，即使实例属于链接到一个 Forer 帐户的不同 AWS 帐户。但是，其他未专用实例如果属于同一 AWS 帐户，则可以与 Dedicated 实例共享硬件。

Machine API 支持具有公共或专用租期的实例。具有公共租期的实例在共享硬件上运行。公共租期是默认租期。具有专用租期的实例在单租户硬件上运行。

2.1.6. 使用机器集创建 Dedicated 实例

您可以使用 Machine API 集成来运行由 Dedicated 实例支持的机器。设置机器设置 YAML 文件中的 tenancy 字段，以便在 AWS 上启动 Dedicated 实例。

流程

在 providerSpec 字段中指定专用租户：

providerSpec:
  placement:
    tenancy: dedicated

2.2. 在 Azure 上创建机器集

您可以在 Microsoft Azure 上的 OpenShift Container Platform 集群中创建不同的机器集来满足特定目的。例如，您可以创建基础架构机器集和相关的机器，以便将支持型工作负载转移到新机器上。

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

2.2.1. Azure 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在区域(region)的 1 Microsoft Azure 区域(zone)中运行的机器集，并创建通过 node-role.kubernetes.io/<role>: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <role> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
    machine.openshift.io/cluster-api-machine-role: <role> 2
    machine.openshift.io/cluster-api-machine-type: <role> 3
  name: <infrastructure_id>-<role>-<region> 4
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>-<region> 6
  template:
    metadata:
      creationTimestamp: null
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 7
        machine.openshift.io/cluster-api-machine-role: <role> 8
        machine.openshift.io/cluster-api-machine-type: <role> 9
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>-<region> 10
    spec:
      metadata:
        creationTimestamp: null
        labels:
          node-role.kubernetes.io/<role>: "" 11
      providerSpec:
        value:
          apiVersion: azureproviderconfig.openshift.io/v1beta1
          credentialsSecret:
            name: azure-cloud-credentials
            namespace: openshift-machine-api
          image: 12
            offer: ""
            publisher: ""
            resourceID: /resourceGroups/<infrastructure_id>-rg/providers/Microsoft.Compute/images/<infrastructure_id> 13
            sku: ""
            version: ""
          internalLoadBalancer: ""
          kind: AzureMachineProviderSpec
          location: <region> 14
          managedIdentity: <infrastructure_id>-identity 15
          metadata:
            creationTimestamp: null
          natRule: null
          networkResourceGroup: ""
          osDisk:
            diskSizeGB: 128
            managedDisk:
              storageAccountType: Premium_LRS
            osType: Linux
          publicIP: false
          publicLoadBalancer: ""
          resourceGroup: <infrastructure_id>-rg 16
          sshPrivateKey: ""
          sshPublicKey: ""
          subnet: <infrastructure_id>-<role>-subnet 17 18
          userDataSecret:
            name: worker-user-data 19
          vmSize: Standard_DS4_v2
          vnet: <infrastructure_id>-vnet 20
          zone: "1" 21

1 5 7 15 16 17 20

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

您可以运行以下命令来获取子网：

$  oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.subnet}{"\n"}' \
    get machineset/<infrastructure_id>-worker-centralus1

您可以运行以下命令来获取 vnet：

$  oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.vnet}{"\n"}' \
    get machineset/<infrastructure_id>-worker-centralus1

2 3 8 9 11 18 19

指定要添加的节点标签。

4 6 10

指定基础架构 ID、节点标签和地区。

指定机器集的镜像详情。如果要使用 Azure Marketplace 镜像，请参阅"选择 Azure Marketplace 镜像"。

指定与实例类型兼容的镜像。安装程序创建的 Hyper-V 生成 V2 镜像具有 -gen2 后缀，而 V1 镜像则与没有后缀的名称相同。

指定要放置机器的区域。

21

指定您所在地区（region）内要放置机器的区域 (zone) 。确保您的地区支持您指定的区域。

2.2.2. 创建机器集

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

部署一个 OpenShift Container Platform 集群。
安装 OpenShift CLI（oc）。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

创建一个包含机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。
确保设置 <clusterID> 和 <role> 参数值。

可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

要列出集群中的计算机器集，请运行以下命令：

$ oc get machinesets -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令：

$ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml

输出示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec: 3
        ...

1: 集群基础架构 ID。
2: 默认节点标签。
注意
对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。
3: 计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

运行以下命令来创建 MachineSet CR：
```
$ oc create -f <file_name>.yaml
```

验证

运行以下命令，查看计算机器集列表：

$ oc get machineset -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

当新机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果机器集不可用，请等待几分钟，然后再次运行命令。

2.2.3. 选择 Azure Marketplace 镜像

您可以创建在 Azure 上运行的机器集，以部署使用 Azure Marketplace 产品的机器。要使用此产品，您必须首先获取 Azure Marketplace 镜像。在获取您的镜像时，请考虑以下事项：

虽然镜像相同，但 Azure Marketplace publisher 根据您的区域。如果您位于北美，请将 redhat 指定为发布者。如果您位于 EMEA，请将 redhat-limited 指定为发布者。
此项优惠包括 rh-ocp-worker SKU 和 rh-ocp-worker-gen1 SKU。rh-ocp-worker SKU 代表 Hyper-V 生成版本 2 虚拟机镜像。OpenShift Container Platform 中使用的默认实例类型与版本 2 兼容。如果您要使用仅兼容 1 版本的实例类型，请使用与 rh-ocp-worker-gen1 SKU 关联的镜像。rh-ocp-worker-gen1 SKU 代表 Hyper-V 版本 1 虚拟机镜像。

先决条件

已安装 Azure CLI 客户端 (az)。
您的 Azure 帐户为产品授权，您使用 Azure CLI 客户端登录到此帐户。

流程

运行以下命令之一，显示所有可用的 OpenShift Container Platform 镜像：

北美：

$  az vm image list --all --offer rh-ocp-worker --publisher redhat -o table

输出示例

Offer          Publisher       Sku                 Urn                                                             Version
-------------  --------------  ------------------  --------------------------------------------------------------  --------------
rh-ocp-worker  RedHat          rh-ocp-worker       RedHat:rh-ocp-worker:rh-ocpworker:4.8.2021122100               4.8.2021122100
rh-ocp-worker  RedHat          rh-ocp-worker-gen1  RedHat:rh-ocp-worker:rh-ocp-worker-gen1:4.8.2021122100         4.8.2021122100

欧洲、中东和非洲地区：

$  az vm image list --all --offer rh-ocp-worker --publisher redhat-limited -o table

输出示例

Offer          Publisher       Sku                 Urn                                                             Version
-------------  --------------  ------------------  --------------------------------------------------------------  --------------
rh-ocp-worker  redhat-limited  rh-ocp-worker       redhat-limited:rh-ocp-worker:rh-ocp-worker:4.8.2021122100       4.8.2021122100
rh-ocp-worker  redhat-limited  rh-ocp-worker-gen1  redhat-limited:rh-ocp-worker:rh-ocp-worker-gen1:4.8.2021122100  4.8.2021122100

注意

无论您安装的 OpenShift Container Platform 版本是什么，要使用的 Azure Marketplace 镜像的正确版本为 4.8.x。如果需要，在安装过程中，您的虚拟机会自动升级。

运行以下命令之一检查您的所提供的镜像：

北美：

$ az vm image show --urn redhat:rh-ocp-worker:rh-ocp-worker:<version>

欧洲、中东和非洲地区：

$ az vm image show --urn redhat-limited:rh-ocp-worker:rh-ocp-worker:<version>

运行以下命令之一查看提供的术语：

北美：

$ az vm image terms show --urn redhat:rh-ocp-worker:rh-ocp-worker:<version>

欧洲、中东和非洲地区：

$ az vm image terms show --urn redhat-limited:rh-ocp-worker:rh-ocp-worker:<version>

运行以下命令之一接受产品条款：

北美：

$ az vm image terms accept --urn redhat:rh-ocp-worker:rh-ocp-worker:<version>

欧洲、中东和非洲地区：

$ az vm image terms accept --urn redhat-limited:rh-ocp-worker:rh-ocp-worker:<version>

记录您所提供的镜像详情，特别是 publisher, offer, sku, 和 version 的值。

使用您提供的镜像详情，在机器集 YAML 文件的 providerSpec 部分添加以下参数：

Azure Marketplace 计算机器的 providerSpec 镜像值示例

providerSpec:
  value:
    image:
      offer: rh-ocp-worker
      publisher: redhat
      resourceID: ""
      sku: rh-ocp-worker
      type: MarketplaceWithPlan
      version: 4.8.2021122100

2.2.4. 将机器部署为 Spot 虚拟机的机器

您可以通过创建在 Azure 上运行的机器集将机器部署为非保障的 Spot 虚拟机来节约成本。Spot VM 使用未使用的 Azure 容量，且比标准虚拟机的成本要低。您可以将 Spot 虚拟机用于可容许中断的工作负载，如批处理或无状态工作负载、横向可扩展工作负载。

Azure 可随时终止 Spot 虚拟机。Azure 在发生中断时向用户发出 30 秒警告。当 Azure 发出终止警告时，OpenShift Container Platform 开始从受影响的实例中删除工作负载。

使用 Spot 虚拟机时可能会因为以下原因造成中断：

实例价格超过您的最大价格
Spot 虚拟机的提供减少
Azure 需要容量退回

当 Azure 终止实例时，在 Spot VM 节点上运行的终止处理器会删除机器资源。为了满足机器集副本数量，机器集会创建一个请求 Spot 虚拟机的机器。

2.2.5. 使用机器集创建 Spot 虚拟机

您可以通过在机器设置 YAML 文件中添加 spotVMOptions，在 Azure 上启动 Spot VM。

流程

在 providerSpec 字段中添加以下行：
```
providerSpec:
  value:
    spotVMOptions: {}
```
您可以选择设置 spotVMOptions.maxPrice 字段来限制 Spot 虚拟机的成本。例如，您可以设置 maxPrice: '0.98765'。如果设置了 maxPrice，则将此值用作每小时最大即时价格。如果没有设置，则最大价格默认为 -1 且不超过标准虚拟机价格。
Azure 封顶 Spot VM 价格以标准价格为基础。如果实例使用默认的 maxPrice 设置，Azure 不会因为定价而驱除实例。但是，一个实例仍然可能会因为容量限制而被驱除。

注意

强烈建议您使用默认标准 VM 价格作为 maxPrice 值，而不为 Spot 虚拟机设置最大价格。

2.2.6. 为机器集启用客户管理的加密密钥

您可以为 Azure 提供加密密钥，以便加密受管磁盘上的数据。您可以使用 Machine API 使用客户管理的密钥启用服务器端加密。

使用客户管理的密钥需要 Azure Key Vault、磁盘加密集和加密密钥。磁盘加密集必须先在 Cloud Credential Operator（CCO）授予权限的资源组中。如果没有，则需要在磁盘加密集中授予额外的 reader 角色。

先决条件

流程

在机器集 YAML 文件中的 providerSpec 字段中配置磁盘加密集。例如：

...
providerSpec:
  value:
    ...
    osDisk:
      diskSizeGB: 128
      managedDisk:
        diskEncryptionSet:
          id: /subscriptions/<subscription_id>/resourceGroups/<resource_group_name>/providers/Microsoft.Compute/diskEncryptionSets/<disk_encryption_set_name>
        storageAccountType: Premium_LRS
...

其他资源

您可以在 Azure 文档中了解更多有关客户管理的密钥的信息。

2.3. 在 GCP 上创建机器集

您可以在 Google Cloud Platform (GCP) 上的 OpenShift Container Platform 集群中创建不同的机器集来满足特定目的。例如，您可以创建基础架构机器集和相关的机器，以便将支持型工作负载转移到新机器上。

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

2.3.1. GCP 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 Google Cloud Platform (GCP) 中运行的机器集，并创建通过 node-role.kubernetes.io/<role>: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <role> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-w-a
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-w-a
  template:
    metadata:
      creationTimestamp: null
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role> 2
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-w-a
    spec:
      metadata:
        labels:
          node-role.kubernetes.io/<role>: ""
      providerSpec:
        value:
          apiVersion: gcpprovider.openshift.io/v1beta1
          canIPForward: false
          credentialsSecret:
            name: gcp-cloud-credentials
          deletionProtection: false
          disks:
          - autoDelete: true
            boot: true
            image: <path_to_image> 3
            labels: null
            sizeGb: 128
            type: pd-ssd
          gcpMetadata: 4
          - key: <custom_metadata_key>
            value: <custom_metadata_value>
          kind: GCPMachineProviderSpec
          machineType: n1-standard-4
          metadata:
            creationTimestamp: null
          networkInterfaces:
          - network: <infrastructure_id>-network
            subnetwork: <infrastructure_id>-worker-subnet
          projectID: <project_name> 5
          region: us-central1
          serviceAccounts:
          - email: <infrastructure_id>-w@<project_name>.iam.gserviceaccount.com
            scopes:
            - https://www.googleapis.com/auth/cloud-platform
          tags:
            - <infrastructure_id>-worker
          userDataSecret:
            name: worker-user-data
          zone: us-central1-a

1

其中 <infrastructure_id> 是基础架构 ID，它基于您在置备集群时设定的集群 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2

对于 <node>，指定要添加的节点标签。

3

指定当前计算机器集中使用的镜像的路径。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取镜像的路径：

$ oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.disks[0].image}{"\n"}' \
    get machineset/<infrastructure_id>-worker-a

要使用 GCP Marketplace 镜像，请指定要使用的功能：

OpenShift Container Platform: https://www.googleapis.com/compute/v1/projects/redhat-marketplace-public/global/images/redhat-coreos-ocp-48-x86-64-202210040145
OpenShift Platform Plus: https://www.googleapis.com/compute/v1/projects/redhat-marketplace-public/global/images/redhat-coreos-opp-48-x86-64-202206140145
OpenShift Kubernetes Engine: https://www.googleapis.com/compute/v1/projects/redhat-marketplace-public/global/images/redhat-coreos-oke-48-x86-64-202206140145

4

可选：以 key:value 对的形式指定自定义元数据。有关用例，请参阅 GCP 文档，以查看设置自定义元数据。

对于 <project_name>，请指定用于集群的 GCP 项目的名称。

2.3.2. 创建机器集

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

部署一个 OpenShift Container Platform 集群。
安装 OpenShift CLI（oc）。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

创建一个包含机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。
确保设置 <clusterID> 和 <role> 参数值。

可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

要列出集群中的计算机器集，请运行以下命令：

$ oc get machinesets -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令：

$ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml

输出示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec: 3
        ...

1: 集群基础架构 ID。
2: 默认节点标签。
注意
对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。
3: 计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

运行以下命令来创建 MachineSet CR：
```
$ oc create -f <file_name>.yaml
```

验证

运行以下命令，查看计算机器集列表：

$ oc get machineset -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

当新机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果机器集不可用，请等待几分钟，然后再次运行命令。

2.3.3. 将机器部署为可抢占虚拟机实例的机器集

您可以通过创建一个在 GCP 上运行的机器集来节约成本，该 MachineSet 将机器部署为非保障的虚拟机实例。抢占虚拟机实例使用了超额的 Compute Engine 容量，且比一般实例的成本要低。您可以将抢占虚拟机实例用于可容许中断的工作负载，如批处理或无状态工作负载、横向可扩展工作负载。

GCP Compute Engine 可随时终止可抢占的虚拟机实例。Compute Engine 向用户发送抢占通知，表示会在 30 秒内发生中断。当 Compute Engine 发出抢占通知时，OpenShift Container Platform 开始从受影响的实例中删除工作负载。如果实例没有停止，则 ACPI G3 Mechanical Off 信号会在 30 秒后发送到操作系统。然后，抢占虚拟机实例由 Compute Engine 转换为 TERMINATED 状态。

使用抢占虚拟机实例时可能会出现中断，理由如下：

有系统或维护事件
提供的抢占虚拟机实例减少
该实例为抢占虚拟机实例到达分配的 24 小时期限的结束

当 GCP 终止一个实例时，在可抢占虚拟机实例节点上运行的终止处理器会删除机器资源。为了满足机器集副本数量，机器集会创建一个请求抢占虚拟机实例的机器。

2.3.4. 使用机器集创建抢占虚拟机实例

您可以通过在机器设置 YAML 文件中添加 preemptible，在 GCP 上启动抢占虚拟机实例。

流程

在 providerSpec 字段中添加以下行：
```
providerSpec:
  value:
    preemptible: true
```
如果 preemptible 被设置为 true，则在实例启动后，机器将被标记为 interruptable-instance。

2.3.5. 为机器集启用客户管理的加密密钥

Google Cloud Platform（GCP）Compute Engine 允许用户提供加密密钥来加密磁盘上的数据。密钥用于对数据加密密钥进行加密，而不是加密客户的数据。默认情况下，Compute Engine 使用 Compute Engine 密钥加密这些数据。

您可以使用 Machine API 使用客户管理的密钥启用加密。您必须首先创建 KMS 密钥并为服务帐户分配正确的权限。需要 KMS 密钥名称、密钥环名称和位置来允许服务帐户使用您的密钥。

注意

如果您不想将专用服务帐户用于 KMS 加密，则使用 Compute Engine 默认服务帐户。如果没有使用专用服务帐户，则必须授予默认服务帐户权限来访问密钥。Compute Engine 默认服务帐户名称遵循 service-<project_number>@compute-system.iam.gserviceaccount.com 模式。

流程

使用您的 KMS 密钥名称、密钥环名称和位置运行以下命令，允许特定服务帐户使用您的 KMS 密钥，并为服务帐户授予正确的 IAM 角色：

gcloud kms keys add-iam-policy-binding <key_name> \
  --keyring <key_ring_name> \
  --location <key_ring_location> \
  --member "serviceAccount:service-<project_number>@compute-system.iam.gserviceaccount.com” \
  --role roles/cloudkms.cryptoKeyEncrypterDecrypter

在机器集 YAML 文件中的 providerSpec 字段中配置加密密钥。例如：
```
providerSpec:
  value:
    # ...
    disks:
    - type:
      # ...
      encryptionKey:
        kmsKey:
          name: machine-encryption-key 1
          keyRing: openshift-encrpytion-ring 2
          location: global 3
          projectID: openshift-gcp-project 4
        kmsKeyServiceAccount: openshift-service-account@openshift-gcp-project.iam.gserviceaccount.com 5
```
1
用于磁盘加密的客户管理的加密密钥名称。
2
KMS 密钥所属的 KMS 密钥环的名称。
3
KMS 密钥环存在的 GCP 位置。
4
可选：存在 KMS 密钥环的项目 ID。如果没有设置项目 ID，则会使用创建机器设置的机器设置 projectID。
5
可选：用于给定 KMS 密钥加密请求的服务帐户。如果没有设置服务帐户，则使用 Compute Engine 默认服务帐户。
当使用更新的 providerSpec 对象配置创建新机器后，磁盘加密密钥就会使用 KMS 密钥加密。

2.4. 在 OpenStack 上创建机器集

您可以在 Red Hat OpenStack Platform（RHOSP）上的 OpenShift Container Platform 集群中创建不同的机器集来满足特定目的。例如，您可以创建基础架构机器集和相关的机器，以便将支持型工作负载转移到新机器上。

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

2.4.1. RHOSP 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 Red Hat OpenStack Platform（RHOSP）上运行的机器集，并创建带有 node-role.kubernetes.io/<role>: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <role> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
    machine.openshift.io/cluster-api-machine-role: <role> 2
    machine.openshift.io/cluster-api-machine-type: <role> 3
  name: <infrastructure_id>-<role> 4
  namespace: openshift-machine-api
spec:
  replicas: <number_of_replicas>
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 6
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 7
        machine.openshift.io/cluster-api-machine-role: <role> 8
        machine.openshift.io/cluster-api-machine-type: <role> 9
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 10
    spec:
      providerSpec:
        value:
          apiVersion: openstackproviderconfig.openshift.io/v1alpha1
          cloudName: openstack
          cloudsSecret:
            name: openstack-cloud-credentials
            namespace: openshift-machine-api
          flavor: <nova_flavor>
          image: <glance_image_name_or_location>
          serverGroupID: <optional_UUID_of_server_group> 11
          kind: OpenstackProviderSpec
          networks: 12
          - filter: {}
            subnets:
            - filter:
                name: <subnet_name>
                tags: openshiftClusterID=<infrastructure_id> 13
          primarySubnet: <rhosp_subnet_UUID> 14
          securityGroups:
          - filter: {}
            name: <infrastructure_id>-worker 15
          serverMetadata:
            Name: <infrastructure_id>-worker 16
            openshiftClusterID: <infrastructure_id> 17
          tags:
          - openshiftClusterID=<infrastructure_id> 18
          trunk: true
          userDataSecret:
            name: worker-user-data 19
          availabilityZone: <optional_openstack_availability_zone>

1 5 7 13 15 16 17 18

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 3 8 9 19

指定要添加的节点标签。

4 6 10

指定基础架构 ID 和节点标签。

要为 MachineSet 设置服务器组策略，请输入从创建服务器组返回的值。对于大多数部署，推荐使用 anti-affinity 或 soft-anti-affinity 策略。

部署到多个网络需要。要指定多个网络，请在网络数组中添加另一个条目。此外，您必须包含用作 primarySubnet 值的网络。

指定您要发布节点端点的 RHOSP 子网。通常，这与 install-config.yaml 文件中的 machineSubnet 值相同。

2.4.2. 在 RHOSP 上使用 SR-IOV 的机器设置自定义资源的 YAML 示例

如果您为单根 I/O 虚拟化（SR-IOV）配置了集群，您可以创建使用该技术的机器集。

此 YAML 示例定义了一个使用 SR-IOV 网络的机器集。它创建的节点标记为 node-role.openshift.io/<node_role>: ""

在本例中，infrastructure_id 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 node_role 则是要添加的节点标签。

示例假定两个名为"radio"和"uplink"的 SR-IOV 网络。网络在 spec.template.spec.providerSpec.value.ports 列表中的端口定义中使用。

注意

本例中仅描述特定于 SR-IOV 部署的参数。要查看更常规的示例，请参阅 "Sample YAML for a machine set custom resource on RHOSP"。

使用 SR-IOV 网络的机器集示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
    machine.openshift.io/cluster-api-machine-role: <node_role>
    machine.openshift.io/cluster-api-machine-type: <node_role>
  name: <infrastructure_id>-<node_role>
  namespace: openshift-machine-api
spec:
  replicas: <number_of_replicas>
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<node_role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <node_role>
        machine.openshift.io/cluster-api-machine-type: <node_role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<node_role>
    spec:
      metadata:
      providerSpec:
        value:
          apiVersion: openstackproviderconfig.openshift.io/v1alpha1
          cloudName: openstack
          cloudsSecret:
            name: openstack-cloud-credentials
            namespace: openshift-machine-api
          flavor: <nova_flavor>
          image: <glance_image_name_or_location>
          serverGroupID: <optional_UUID_of_server_group>
          kind: OpenstackProviderSpec
          networks:
            - subnets:
              - UUID: <machines_subnet_UUID>
          ports:
            - networkID: <radio_network_UUID> 1
              nameSuffix: radio
              fixedIPs:
                - subnetID: <radio_subnet_UUID> 2
              tags:
                - sriov
                - radio
              vnicType: direct 3
              portSecurity: false 4
            - networkID: <uplink_network_UUID> 5
              nameSuffix: uplink
              fixedIPs:
                - subnetID: <uplink_subnet_UUID> 6
              tags:
                - sriov
                - uplink
              vnicType: direct 7
              portSecurity: false 8
          primarySubnet: <machines_subnet_UUID>
          securityGroups:
          - filter: {}
            name: <infrastructure_id>-<node_role>
          serverMetadata:
            Name: <infrastructure_id>-<node_role>
            openshiftClusterID: <infrastructure_id>
          tags:
          - openshiftClusterID=<infrastructure_id>
          trunk: true
          userDataSecret:
            name: <node_role>-user-data
          availabilityZone: <optional_openstack_availability_zone>
          configDrive: true 9

1 5: 输入每个端口的网络 UUID。
2 6: 输入每个端口的子网 UUID。
3 7: 对于每个端口，vnicType 参数的值必须为 direct。
4 8: 每个端口的 portSecurity 参数的值必须是 false。
禁用端口安全性时，您无法为端口设置安全组和允许的地址对。在实例上设置安全组会将组应用到连接的所有端口。
9: configDrive 参数的值必须是 true。

注意

对于由网络和子网列表中的条目创建的端口，启用中继（Trunking）。从这些列表中创建的端口名称遵循 <machine_name>-<nameSuffix> 模式。端口定义中需要 nameSuffix 字段。

您可以为每个端口启用中继。

另外，您还可以在端口中添加标签作为其标签（tags）列表的一部分。

其他资源

在支持 SR-IOV 连接的计算机器的 OpenStack 上安装集群

2.4.3. 禁用端口安全性的 SR-IOV 部署的 YAML 示例

要在禁用端口安全的网络上创建单根 I/O 虚拟化（SR-IOV）端口，请定义一个机器集，将端口作为 spec.template.spec.providerSpec.value.ports 列表中的项来包含。与标准 SR-IOV 机器集的区别在于，自动安全组以及使用网络和子网接口创建的端口允许的地址对配置。

您为机器子网定义的端口需要：

API 和入口虚拟 IP 端口允许的地址对
计算安全组
附加到机器网络和子网

注意

本例中仅描述特定于禁用端口安全性的 SR-IOV 部署的参数。要查看更常规的示例，请参阅 RHOSP 上使用 SR-IOV 的机器设置自定义资源的 Sample YAML。

使用 SR-IOV 网络并禁用端口安全性的机器集示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id>
    machine.openshift.io/cluster-api-machine-role: <node_role>
    machine.openshift.io/cluster-api-machine-type: <node_role>
  name: <infrastructure_id>-<node_role>
  namespace: openshift-machine-api
spec:
  replicas: <number_of_replicas>
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<node_role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <node_role>
        machine.openshift.io/cluster-api-machine-type: <node_role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<node_role>
    spec:
      metadata: {}
      providerSpec:
        value:
          apiVersion: openstackproviderconfig.openshift.io/v1alpha1
          cloudName: openstack
          cloudsSecret:
            name: openstack-cloud-credentials
            namespace: openshift-machine-api
          flavor: <nova_flavor>
          image: <glance_image_name_or_location>
          kind: OpenstackProviderSpec
          ports:
            - allowedAddressPairs: 1
              - ipAddress: <API_VIP_port_IP>
              - ipAddress: <ingress_VIP_port_IP>
              fixedIPs:
                - subnetID: <machines_subnet_UUID> 2
              nameSuffix: nodes
              networkID: <machines_network_UUID> 3
              securityGroups:
                  - <compute_security_group_UUID> 4
            - networkID: <SRIOV_network_UUID>
              nameSuffix: sriov
              fixedIPs:
                - subnetID: <SRIOV_subnet_UUID>
              tags:
                - sriov
              vnicType: direct
              portSecurity: False
          primarySubnet: <machines_subnet_UUID>
          serverMetadata:
            Name: <infrastructure_ID>-<node_role>
            openshiftClusterID: <infrastructure_id>
          tags:
          - openshiftClusterID=<infrastructure_id>
          trunk: false
          userDataSecret:
            name: worker-user-data
          configDrive: True

1: 为 API 和入口端口指定允许的地址对。
2 3: 指定机器网络和子网。
4: 指定计算机器安全组。

注意

您可以为每个端口启用中继。

另外，您还可以在端口中添加标签作为其标签（tags）列表的一部分。

如果您的集群使用 Kuryr，且 RHOSP SR-IOV 网络禁用端口安全，计算机器的主要端口必须具有：

spec.template.spec.providerSpec.value.networks.portSecurityEnabled 参数的值设置为 false。
对于每个子网，spec.template.spec.providerSpec.value.networks.subnets.portSecurityEnabled 参数的值设置为 false。
spec.template.spec.providerSpec.value.securityGroups 的值设为空：[]。

Kuryr 上使用 SR-IOV 且禁用端口安全性的集群集的示例部分

...
          networks:
            - subnets:
              - uuid: <machines_subnet_UUID>
                portSecurityEnabled: false
              portSecurityEnabled: false
          securityGroups: []
...

在这种情况下，您可以在创建虚拟机后将计算安全组应用到主虚拟机接口。例如，从命令行：

$ openstack port set --enable-port-security --security-group <infrastructure_id>-<node_role> <main_port_ID>

2.4.4. 创建机器集

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

部署一个 OpenShift Container Platform 集群。
安装 OpenShift CLI（oc）。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

创建一个包含机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。
确保设置 <clusterID> 和 <role> 参数值。

可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

要列出集群中的计算机器集，请运行以下命令：

$ oc get machinesets -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令：

$ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml

输出示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec: 3
        ...

1: 集群基础架构 ID。
2: 默认节点标签。
注意
对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。
3: 计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

运行以下命令来创建 MachineSet CR：
```
$ oc create -f <file_name>.yaml
```

验证

运行以下命令，查看计算机器集列表：

$ oc get machineset -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

当新机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果机器集不可用，请等待几分钟，然后再次运行命令。

2.5. 在 RHV 上创建机器集

您可以在 Red Hat Virtualization（RHV）的 OpenShift Container Platform 集群中创建不同的机器集来满足特定目的。例如，您可以创建基础架构机器集和相关的机器，以便将支持型工作负载转移到新机器上。

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

2.5.1. RHV 上机器集自定义资源的 YAML 示例

此 YAML 示例定义了一个在 RHV 上运行的机器集，并创建标记为 node-role.kubernetes.io/<node_role>: "" 的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <role> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
    machine.openshift.io/cluster-api-machine-role: <role> 2
    machine.openshift.io/cluster-api-machine-type: <role> 3
  name: <infrastructure_id>-<role> 4
  namespace: openshift-machine-api
spec:
  replicas: <number_of_replicas> 5
  selector: 6
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 7
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 8
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 9
        machine.openshift.io/cluster-api-machine-role: <role> 10
        machine.openshift.io/cluster-api-machine-type: <role> 11
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 12
    spec:
      metadata:
        labels:
          node-role.kubernetes.io/<role>: "" 13
      providerSpec:
        value:
          apiVersion: ovirtproviderconfig.machine.openshift.io/v1beta1
          cluster_id: <ovirt_cluster_id> 14
          template_name: <ovirt_template_name> 15
          instance_type_id: <instance_type_id> 16
          cpu: 17
            sockets: <number_of_sockets> 18
            cores: <number_of_cores> 19
            threads: <number_of_threads> 20
          memory_mb: <memory_size> 21
          os_disk: 22
            size_gb: <disk_size> 23
          network_interfaces: 24
            vnic_profile_id:  <vnic_profile_id> 25
          credentialsSecret:
            name: ovirt-credentials 26
          kind: OvirtMachineProviderSpec
          type: <workload_type> 27
          auto_pinning_policy: <auto_pinning_policy> 28
          hugepages: <hugepages> 29
          affinityGroupsNames:
            - compute 30
          userDataSecret:
            name: worker-user-data

1 7 9

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI（oc）软件包，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 3 10 11 13

指定要添加的节点标签。

4 8 12

指定基础架构 ID 和节点标签。这两个字符串不能超过 35 个字符。

指定要创建的机器数量。

6

机器的选择器。

指定此虚拟机实例所属的 RHV 集群的 UUID。

指定用于创建机器的 RHV VM 模板。

可选：指定虚拟机实例类型。

警告

instance_type_id 字段已弃用，并将在以后的发行版本中删除。

如果包含这个参数，则不需要指定包括 CPU 和内存在内的虚拟机的硬件参数，因为这个参数会覆盖所有硬件参数。

17

可选：CPU 字段包含 CPU 配置，包括插槽、内核和线程。

可选：指定虚拟机的插槽数量。

可选：指定每个插槽的内核数。

可选：指定每个内核的线程数量。

可选：指定虚拟机的内存大小（MiB）。

可选：节点的 Root 磁盘。

可选：指定可引导磁盘的大小（GiB）。

可选：虚拟机网络接口列表。如果包含此参数，OpenShift Container Platform 会丢弃来自模板中的所有网络接口并创建新接口。

25

可选：指定 vNIC 配置集 ID。

26

指定包含 RHV 凭证的 secret 名称。

27

可选：指定实例优化的工作负载类型。这个值会影响 RHV VM 参数。支持的值包括：desktop、server（默认）、high_performance。high_performance 提高了虚拟机的性能，但存在一些限制。例如，您无法使用图形控制台访问虚拟机。如需更多信息，请参阅虚拟机管理指南中的配置高性能虚拟机、模板和池。

28

可选： AutoPinningPolicy 定义自动设置 CPU 和 NUMA 设置的策略，包括固定到此实例的主机。支持的值： none，resize_and_pin。如需更多信息，请参阅《 虚拟机管理指南 》中的设置 NUMA 节点。

29

可选：Helgepages 是以 KiB 为单位的大小，用于在虚拟机中定义巨页。支持的值： 2048 或 1048576。如需更多信息，请参阅《 虚拟机管理指南 》中的配置大页。

30

可选：应用于虚拟机的关联性组名称列表。oVirt 中必须存在关联性组。

注意

因为 RHV 在创建虚拟机时使用模板，如果您没有为可选参数指定值，RHV 将使用模板中指定的参数值。

2.5.2. 创建机器集

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

先决条件

部署一个 OpenShift Container Platform 集群。
安装 OpenShift CLI（oc）。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

创建一个包含机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。
确保设置 <clusterID> 和 <role> 参数值。

可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

要列出集群中的计算机器集，请运行以下命令：

$ oc get machinesets -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令：

$ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml

输出示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec: 3
        ...

1: 集群基础架构 ID。
2: 默认节点标签。
注意
对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。
3: 计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

运行以下命令来创建 MachineSet CR：
```
$ oc create -f <file_name>.yaml
```

验证

运行以下命令，查看计算机器集列表：

$ oc get machineset -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

当新机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果机器集不可用，请等待几分钟，然后再次运行命令。

2.6. 在 vSphere 上创建机器集

您可以在 VMware vSphere 上的 OpenShift Container Platform 集群中创建不同的机器集来满足特定目的。例如，您可以创建基础架构机器集和相关的机器，以便将支持型工作负载转移到新机器上。

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

2.6.1. vSphere 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 VMware vSphere 上运行的机器集，并创建标记为 node-role.kubernetes.io/<role>: "" 的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <role> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  creationTimestamp: null
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 3
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 4
  template:
    metadata:
      creationTimestamp: null
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
        machine.openshift.io/cluster-api-machine-role: <role> 6
        machine.openshift.io/cluster-api-machine-type: <role> 7
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 8
    spec:
      metadata:
        creationTimestamp: null
        labels:
          node-role.kubernetes.io/<role>: "" 9
      providerSpec:
        value:
          apiVersion: vsphereprovider.openshift.io/v1beta1
          credentialsSecret:
            name: vsphere-cloud-credentials
          diskGiB: 120
          kind: VSphereMachineProviderSpec
          memoryMiB: 8192
          metadata:
            creationTimestamp: null
          network:
            devices:
            - networkName: "<vm_network_name>" 10
          numCPUs: 4
          numCoresPerSocket: 1
          snapshot: ""
          template: <vm_template_name> 11
          userDataSecret:
            name: worker-user-data
          workspace:
            datacenter: <vcenter_datacenter_name> 12
            datastore: <vcenter_datastore_name> 13
            folder: <vcenter_vm_folder_path> 14
            resourcepool: <vsphere_resource_pool> 15
            server: <vcenter_server_ip> 16

1 3 5

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI（oc）软件包，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 4 8

指定基础架构 ID 和节点标签。

6 7 9

指定要添加的节点标签。

指定要将计算机器设置为的 vSphere VM 网络。此虚拟机网络必须是集群中其他计算机器所处的位置。

指定要使用的 vSphere 虚拟机模板，如 user-5ddjd-rhcos。

指定要将计算机器设置为的 vCenter Datacenter。

指定要部署计算机器的 vCenter Datastore。

指定 vCenter 中 vSphere 虚拟机文件夹的路径，如 /dc1/vm/user-inst-5ddjd。

指定虚拟机的 vSphere 资源池。

指定 vCenter 服务器 IP 或完全限定域名。

2.6.2. 机器集管理的最低所需的 vCenter 权限

要在 vCenter 上的 OpenShift Container Platform 集群中管理机器集，您必须使用具有特权的帐户来读取、创建和删除所需资源。使用具有全局管理特权的帐户是访问所有所需权限的最简单方法。

如果无法使用具有全局管理权限的帐户，您必须创建一个角色来授予最低所需的权限。下表列出了创建、扩展和删除 OpenShift Container Platform 集群中的机器所需的最小 vCenter 角色和权限。

例 2.1. 机器集管理所需的最小 vCenter 角色和权限

适用于角色的 vSphere 对象	必要时	所需的权限
vSphere vCenter	Always	`InventoryService.Tagging.AttachTag` `InventoryService.Tagging.CreateCategory` `InventoryService.Tagging.CreateTag` `InventoryService.Tagging.DeleteCategory` `InventoryService.Tagging.DeleteTag` `InventoryService.Tagging.EditCategory` `InventoryService.Tagging.EditTag` `Sessions.ValidateSession` `StorageProfile.Update`¹ `StorageProfile.View`¹
vSphere vCenter 集群	Always	`Resource.AssignVMToPool`
vSphere Datastore	Always	`Datastore.AllocateSpace` `Datastore.Browse`
vSphere 端口组	Always	`Network.Assign`
虚拟机文件夹	Always	`VirtualMachine.Config.AddRemoveDevice` `VirtualMachine.Config.AdvancedConfig` `VirtualMachine.Config.Annotation` `VirtualMachine.Config.CPUCount` `VirtualMachine.Config.DiskExtend` `VirtualMachine.Config.Memory` `VirtualMachine.Config.Settings` `VirtualMachine.Interact.PowerOff` `VirtualMachine.Interact.PowerOn` `VirtualMachine.Inventory.CreateFromExisting` `VirtualMachine.Inventory.Delete` `VirtualMachine.Provisioning.Clone`
vSphere vCenter Datacenter	如果安装程序创建虚拟机文件夹	`Resource.AssignVMToPool` `VirtualMachine.Provisioning.DeployTemplate`
¹ `StorageProfile.Update` 和 `StorageProfile.View` 权限只适用于使用 Container Storage Interface(CSI)的存储后端。重要在 OpenShift Container Platform 4.9 中，一些 CSI 驱动程序和功能是技术预览。如需更多信息，请参阅 OpenShift Container Platform 支持的 CSI 驱动程序。

下表详细介绍了机器集管理所需的权限和传播设置。

例 2.2. 所需的权限和传播设置

vSphere object	文件夹类型	传播到子对象	所需的权限
vSphere vCenter	Always	不是必需的	列出所需的权限
vSphere vCenter Datacenter	现有文件夹	不是必需的	`只读` 权限
vSphere vCenter Datacenter	安装程序创建文件夹	必填	列出所需的权限
vSphere vCenter 集群	Always	必填	列出所需的权限
vSphere vCenter 数据存储	Always	不是必需的	列出所需的权限
vSphere Switch	Always	不是必需的	`只读` 权限
vSphere 端口组	Always	不是必需的	列出所需的权限
vSphere vCenter 虚拟机文件夹	现有文件夹	必填	列出所需的权限

有关只使用所需权限创建帐户的更多信息，请参阅 vSphere 文档中的 vSphere 权限和用户管理任务。

其他资源

有关 CSI 驱动程序和功能支持的更多信息，请参阅 OpenShift Container Platform 支持的 CSI 驱动程序。

2.6.3. 具有用户置备基础架构的集群的要求以使用计算机器集

要在具有用户置备的基础架构的集群中使用计算机器集，您必须确保集群配置支持使用 Machine API。

获取基础架构 ID

要创建计算机器集，您必须能够为集群提供基础架构 ID。

流程

要获取集群的基础架构 ID，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.infrastructureName}'

满足 vSphere 凭证要求

要使用计算机器集，Machine API 必须能够与 vCenter 交互。授权 Machine API 组件与 vCenter 交互的凭证必须存在于 openshift-machine-api 命名空间中的 secret 中。

流程

要确定所需的凭证是否存在，请运行以下命令：

$ oc get secret \
  -n openshift-machine-api vsphere-cloud-credentials \
  -o go-template='{{range $k,$v := .data}}{{printf "%s: " $k}}{{if not $v}}{{$v}}{{else}}{{$v | base64decode}}{{end}}{{"\n"}}{{end}}'

输出示例

<vcenter-server>.password=<openshift-user-password>
<vcenter-server>.username=<openshift-user>

其中 <vcenter-server> 是 vCenter 服务器的 IP 地址或完全限定域名(FQDN)，<openshift-user> 和 <openshift-user-password> 是要使用的 OpenShift Container Platform 管理员凭证。

如果 secret 不存在，请运行以下命令来创建它：

$ oc create secret generic vsphere-cloud-credentials \
  -n openshift-machine-api \
  --from-literal=<vcenter-server>.username=<openshift-user> --from-literal=<vcenter-server>.password=<openshift-user-password>

满足 Ignition 配置要求

置备虚拟机 (VM) 需要有效的 Ignition 配置。Ignition 配置包含 machine-config-server 地址和系统信任捆绑包，用于从 Machine Config Operator 获取进一步的 Ignition 配置。

默认情况下，此配置存储在 machine-api-operator 命名空间中的 worker-user-data secret 中。计算机器集在机器创建过程中引用 secret。

流程

要确定所需的 secret 是否存在，请运行以下命令：

$ oc get secret \
  -n openshift-machine-api worker-user-data \
  -o go-template='{{range $k,$v := .data}}{{printf "%s: " $k}}{{if not $v}}{{$v}}{{else}}{{$v | base64decode}}{{end}}{{"\n"}}{{end}}'

输出示例

disableTemplating: false
userData: 1
  {
    "ignition": {
      ...
      },
    ...
  }

1: 此处省略了完整输出，但应该具有此格式。

如果 secret 不存在，请运行以下命令来创建它：
```
$ oc create secret generic worker-user-data \
  -n openshift-machine-api \
  --from-file=<installation_directory>/worker.ign
```
其中 <installation_directory> 是在集群安装过程中存储安装资产的目录。

其他资源

2.6.4. 创建机器集

除了安装程序创建的计算机器集外，您还可以创建自己的来动态管理您选择的特定工作负载的机器计算资源。

注意

使用用户置备的基础架构安装的集群有不同的网络堆栈，与带有安装程序置备的基础架构的集群不同。因此，具有用户置备的基础架构的集群中不支持自动负载均衡器管理。对于这些集群，计算机器集只能创建 worker 和 infra 类型的机器。

先决条件

部署一个 OpenShift Container Platform 集群。
安装 OpenShift CLI（oc）。
以具有 cluster-admin 权限的用户身份登录 oc。
具有在 vCenter 实例中部署虚拟机所需的权限，并对指定的数据存储具有所需的访问权限。
如果您的集群使用用户置备的基础架构，则代表已满足该配置的特定 Machine API 要求。

流程

创建一个包含机器集自定义资源（CR）示例的新 YAML 文件，并将其命名为 <file_name>.yaml。
确保设置 <clusterID> 和 <role> 参数值。

可选：如果您不确定要为特定字段设置哪个值，您可以从集群中检查现有计算机器集：

要列出集群中的计算机器集，请运行以下命令：

$ oc get machinesets -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

要查看特定计算机器集自定义资源 (CR) 的值，请运行以下命令：

$ oc get machineset <machineset_name> \
  -n openshift-machine-api -o yaml

输出示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-<role> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <role>
        machine.openshift.io/cluster-api-machine-type: <role>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
    spec:
      providerSpec: 3
        ...

1: 集群基础架构 ID。
2: 默认节点标签。
注意
对于具有用户置备的基础架构的集群，计算机器集只能创建 worker 和 infra 类型机器。
3: 计算机器设置 CR 的 <providerSpec> 部分中的值是特定于平台的。有关 CR 中的 <providerSpec> 参数的更多信息，请参阅您的供应商计算机器设置 CR 配置示例。

如果您要为具有用户置备的基础架构的集群创建计算机器集，请注意以下重要值：

vSphere providerSpec 值示例

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
...
template:
  ...
  spec:
    providerSpec:
      value:
        apiVersion: machine.openshift.io/v1beta1
        credentialsSecret:
          name: vsphere-cloud-credentials 1
        diskGiB: 120
        kind: VSphereMachineProviderSpec
        memoryMiB: 16384
        network:
          devices:
            - networkName: "<vm_network_name>"
        numCPUs: 4
        numCoresPerSocket: 4
        snapshot: ""
        template: <vm_template_name> 2
        userDataSecret:
          name: worker-user-data 3
        workspace:
          datacenter: <vcenter_datacenter_name>
          datastore: <vcenter_datastore_name>
          folder: <vcenter_vm_folder_path>
          resourcepool: <vsphere_resource_pool>
          server: <vcenter_server_address> 4

1: 包含所需 vCenter 凭证的 openshift-machine-api 命名空间中的 secret 名称。
2: 安装期间创建的集群的 RHCOS 虚拟机模板名称。
3: openshift-machine-api 命名空间中的 secret 名称，其中包含所需的 Ignition 配置凭证。
4: vCenter 服务器的 IP 地址或完全限定域名 (FQDN)。

运行以下命令来创建 MachineSet CR：
```
$ oc create -f <file_name>.yaml
```

验证

运行以下命令，查看计算机器集列表：

$ oc get machineset -n openshift-machine-api

输出示例

NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
agl030519-vplxk-infra-us-east-1a    1         1         1       1           11m
agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
agl030519-vplxk-worker-us-east-1d   0         0                             55m
agl030519-vplxk-worker-us-east-1e   0         0                             55m
agl030519-vplxk-worker-us-east-1f   0         0                             55m

当新机器集可用时，DESIRED 和 CURRENT 的值会匹配。如果机器集不可用，请等待几分钟，然后再次运行命令。

第 3 章手动扩展机器集

您可以在机器集中添加或删除机器的实例。

注意

如果您需要在扩展之外修改机器集的各个方面，请参阅修改机器集。

3.1. 先决条件

如果启用了集群范围代理并要扩展未包含在安装配置的 networking.machineNetwork[].cidr 中的 worker，您必须将 worker 添加到 Proxy 对象的 noProxy 字段，以防发生连接问题。

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

3.2. 手动扩展机器集

要在机器集中添加或删除机器实例，您可以手动扩展机器集。

这个指南与全自动的、安装程序置备的基础架构安装相关。自定义的、用户置备的基础架构安装没有机器集。

先决条件

安装 OpenShift Container Platform 集群和 oc 命令行。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

查看集群中的机器集：
```
$ oc get machinesets -n openshift-machine-api
```
机器集以 <clusterid>-worker-<aws-region-az> 的形式列出。

查看集群中的机器：

$ oc get machine -n openshift-machine-api

在您要删除的机器上设置注解：

$ oc annotate machine/<machine_name> -n openshift-machine-api machine.openshift.io/cluster-api-delete-machine="true"

进行 cordon 操作，排空您要删除的节点：

$ oc adm cordon <node_name>
$ oc adm drain <node_name>

扩展机器集：

$ oc scale --replicas=2 machineset <machineset> -n openshift-machine-api

或者：

$ oc edit machineset <machineset> -n openshift-machine-api

提示

您还可以应用以下 YAML 来扩展机器集：

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  name: <machineset>
  namespace: openshift-machine-api
spec:
  replicas: 2

您可以扩展或缩减机器集。需要过几分钟以后新机器才可用。

验证

验证删除预期的机器：
```
$ oc get machines
```

3.3. 机器集删除策略

Random、Newest 和 Oldest 是三个支持的删除选项。默认值为 Random，表示在扩展机器时随机选择并删除机器。通过修改特定机器集，可以根据用例设置删除策略：

spec:
  deletePolicy: <delete_policy>
  replicas: <desired_replica_count>

无论删除策略是什么，都可通过在相关机器上添加 machine.openshift.io/cluster-api-delete-machine=true 注解来指定机器删除的优先级。

重要

默认情况下，OpenShift Container Platform 路由器 Pod 部署在 worker 上。由于路由器需要访问某些集群资源（包括 Web 控制台），除非先重新放置了路由器 Pod，否则请不要将 worker 机器集扩展为 0。

注意

当用户需要特定的服务必须运行在特定节点，在 worker 机器集进行缩减时需要忽略这些服务时，可以使用自定义机器集。这可防止服务被中断。

第 4 章修改机器集

您可以对机器集进行更改，例如添加标签、更改实例类型或更改块存储。

在 Red Hat Virtualization(RHV) 中，您还可以更改机器集，以便在不同的存储域中置备新节点。

注意

如果您需要在不进行其他更改的情况下扩展机器集，请参阅手动扩展机器集。

4.1. 修改机器集

要更改机器集，编辑 MachineSet YAML。然后，通过删除每台机器或将机器设置为 0 个副本来删除与机器设置关联的所有机器。然后，将副本数量调回所需的数量。您对机器集所做的更改不会影响现有的机器。

如果您需要在不进行其他更改的情况下扩展机器集，则不需要删除机器。

注意

先决条件

安装 OpenShift Container Platform 集群和 oc 命令行。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

编辑机器集：

$ oc edit machineset <machineset> -n openshift-machine-api

将机器缩减为 0:

$ oc scale --replicas=0 machineset <machineset> -n openshift-machine-api

或者：

$ oc edit machineset <machineset> -n openshift-machine-api

提示

您还可以应用以下 YAML 来扩展机器集：

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  name: <machineset>
  namespace: openshift-machine-api
spec:
  replicas: 0

等待机器被删除。

根据需要扩展机器设置：

$ oc scale --replicas=2 machineset <machineset> -n openshift-machine-api

或者：

$ oc edit machineset <machineset> -n openshift-machine-api

提示

您还可以应用以下 YAML 来扩展机器集：

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  name: <machineset>
  namespace: openshift-machine-api
spec:
  replicas: 2

等待机器启动。新机器包含您对机器集所做的更改。

4.2. 将节点迁移到 RHV 上的不同存储域

您可以将 OpenShift Container Platform control plane 和计算节点迁移到 Red Hat Virtualization(RHV)集群中的不同存储域。

4.2.1. 将计算节点迁移到 RHV 中的不同存储域

先决条件

已登陆到 Manager。
有目标存储域的名称。

流程

确定虚拟机模板：

$ oc get -o jsonpath='{.items[0].spec.template.spec.providerSpec.value.template_name}{"\n"}' machineset -A

根据您确定的模板在 Manager 中创建新虚拟机。所有其他设置保持不变。详情请参阅 Red Hat Virtualization 虚拟机管理指南中的基于模板创建虚拟机。
提示
您不需要启动新虚拟机。
从新虚拟机创建一个新模板。在目标下指定目标存储域.详情请参阅 Red Hat Virtualization 虚拟机管理指南中的创建模板。
使用新模板添加新机器集到 OpenShift Container Platform 集群。
1. 获取当前机器集的详情：
```
$ oc get machineset -o yaml
```
2. 使用这些详细信息创建机器集。如需更多信息，请参阅 创建机器集。
  在 template_name 字段中输入新虚拟机模板名称。使用与 Manager 中的新建模板对话框中使用的相同模板名称。
3. 请注意旧机器和新机器集的名称。您需要在后续步骤中引用它们。
迁移工作负载。
1. 扩展新计算机集。如需有关手动扩展机器集的详细信息，请参阅手动扩展机器集。
  当删除旧机器时，OpenShift Container Platform 会将 pod 移到可用的 worker 中。
2. 缩减旧计算机集。

删除旧的机器集：

$ oc delete machineset <machineset-name>

其他资源

4.2.2. 将 control plane 节点迁移到 RHV 上的不同存储域

OpenShift Container Platform 不管理 control plane 节点，因此它们比计算节点更容易迁移。就像 Red Hat Virtualization(RHV)上的任何其他虚拟机一样迁移它们。

对每个节点单独执行此步骤。

先决条件

已登陆到 Manager。
您已识别了 control plane 节点。在 Manager 中，它们被标记为 master。

流程

选择标记为 master 的虚拟机。
关闭虚拟机。
点 Disks 选项卡。
点虚拟机的磁盘。
点 More Actions 并选择 Move。
选择目标存储域并等待迁移过程完成。
启动虚拟机。
验证 OpenShift Container Platform 集群是否是稳定状态；
```
$ oc get nodes
```
输出应显示状态为 Ready 的节点。
为每个 control plane 节点重复此步骤。

第 5 章删除机器

您可以删除特定的机器。

5.1. 删除一个特定的机器

您可以删除特定的机器。

注意

您无法删除控制平面机器。

先决条件

安装 OpenShift Container Platform 集群。
安装 OpenShift CLI (oc) 。
以具有 cluster-admin 权限的用户身份登录 oc。

流程

查看集群中的机器，找到要删除的机器：
```
$ oc get machine -n openshift-machine-api
```
命令输出包含 <clusterid>-worker-<cloud_region> 格式的机器列表。
删除机器：
```
$ oc delete machine <machine> -n openshift-machine-api
```
重要
默认情况下，机器控制器会尝试排空在机器上运行的节点，直到成功为止。在某些情况下，如错误配置了 pod 的中断预算，节点排空操作可能无法成功完成，从而导致机器无法被删除。您可以在特定机器上使用 "machine.openshift.io/exclude-node-draining" 注解来跳过排空节点的过程。如果要删除的机器属于机器集，则会立即创建一个新机器来满足指定的副本数要求。

5.2. 其他资源

替换不健康的 etcd 成员。

第 6 章将自动扩展应用到 OpenShift Container Platform 集群

将自动扩展应用到 OpenShift Container Platform 集群涉及部署集群自动扩展，然后为集群中的每种 Machine 类型部署机器自动扩展。

重要

您只能在机器 API 正常工作的集群中配置集群自动扩展。

6.1. 关于集群自动扩展

集群自动扩展会调整 OpenShift Container Platform 集群的大小，以满足其当前的部署需求。它使用 Kubernetes 样式的声明性参数来提供基础架构管理，而且这种管理不依赖于特定云提供商的对象。集群自动控制会在集群范围内有效，不与特定的命名空间相关联。

当由于资源不足而无法在任何当前 worker 节点上调度 pod 时，或者在需要另一个节点来满足部署需求时，集群自动扩展会增加集群的大小。集群自动扩展不会将集群资源增加到超过您指定的限制。

集群自动扩展会计算集群中所有节点上的内存、CPU 和 GPU，即使它不管理 control plane 节点。这些值不是单计算机导向型。它们是整个集群中所有资源的聚合。例如，如果您设置最大内存资源限制，集群自动扩展在计算当前内存用量时包括集群中的所有节点。然后，该计算用于确定集群自动扩展是否具有添加更多 worker 资源的容量。

重要

确保您所创建的 ClusterAutoscaler 资源定义中的 maxNodesTotal 值足够大，足以满足计算集群中可能的机器总数。此值必须包含 control plane 机器的数量以及可扩展至的机器数量。

每隔 10 秒，集群自动扩展会检查集群中不需要哪些节点，并移除它们。如果满足以下条件，集群自动扩展会考虑要删除的节点：

节点上运行的所有 pod 的 CPU 和内存请求总和小于节点上分配资源的 50%。
集群自动扩展可以将节点上运行的所有 pod 移到其他节点。
集群自动扩展没有缩减禁用注解。

如果节点上存在以下类型的 pod，集群自动扩展不会删除该节点：

具有限制性 pod 中断预算（PDB）的 Pod。
默认不在节点上运行的 Kube 系统 Pod。
没有 PDB 或 PDB 限制性太强的 Kube 系统 pod。
不受控制器对象支持的 Pod,如部署、副本集或有状态集。
具有本地存储的 Pod。
因为缺乏资源、节点选择器或关联性不兼容或有匹配的反关联性等原因而无法移至其他位置的 Pod。
具有 "cluster-autoscaler.kubernetes.io/safe-to-evict": "false" 注解的 Pod，除非同时也具有 "cluster-autoscaler.kubernetes.io/safe-to-evict": "true” 注解。

例如，您可以将最大 CPU 限值设置为 64 个内核，并将集群自动扩展配置为每个创建具有 8 个内核的机器。如果您的集群从 30 个内核开始，集群自动扩展可最多添加具有 32 个内核的 4 个节点，共 62 个。

如果配置集群自动扩展，则需要额外的使用限制：

不要直接修改位于自动扩展节点组中的节点。同一节点组中的所有节点具有相同的容量和标签，并且运行相同的系统 Pod。
指定适合您的 Pod 的请求。
如果需要防止 Pod 被过快删除，请配置适当的 PDB。
确认您的云提供商配额足够大，能够支持您配置的最大节点池。
不要运行其他节点组自动扩展器，特别是云提供商提供的自动扩展器。

pod 横向自动扩展（HPA）和集群自动扩展以不同的方式修改集群资源。HPA 根据当前的 CPU 负载更改部署或副本集的副本数。如果负载增加，HPA 会创建新的副本，不论集群可用的资源量如何。如果没有足够的资源，集群自动扩展会添加资源，以便 HPA 创建的 pod 可以运行。如果负载减少，HPA 会停止一些副本。如果此操作导致某些节点利用率低下或完全为空，集群自动扩展会删除不必要的节点。

集群自动扩展会考虑 pod 优先级。如果集群没有足够的资源，则“Pod 优先级和抢占”功能可根据优先级调度 Pod，但集群自动扩展会确保集群具有运行所有 Pod 需要的资源。为满足这两个功能，集群自动扩展包含一个优先级截止函数。您可以使用此截止函数来调度“尽力而为”的 Pod，它们不会使集群自动扩展增加资源，而是仅在有可用备用资源时运行。

优先级低于截止值的 Pod 不会导致集群扩展或阻止集群缩减。系统不会添加新节点来运行 Pod，并且可能会删除运行这些 Pod 的节点来释放资源。

6.2. 关于机器自动扩展

机器自动扩展会调整您在 OpenShift Container Platform 集群中部署的机器集中的 Machine 数量。您可以扩展默认 worker 机器集，以及您创建的其他机器集。当集群没有足够资源来支持更多部署时，机器自动扩展会增加 Machine。对 MachineAutoscaler 资源中的值（如最小或最大实例数量）的任何更改都会立即应用到目标机器设置中。

重要

您必须部署机器自动扩展才能使用集群自动扩展功能来扩展机器。集群自动扩展使用机器自动扩展集上的注解来确定可扩展的资源。如果您在没有定义机器自动扩展的情况下定义集群自动扩展，集群自动扩展永远不会扩展集群。

6.3. 配置集群自动扩展

首先，部署集群自动扩展来管理 OpenShift Container Platform 集群中的资源自动扩展。

注意

由于集群自动扩展的范围仅限于整个集群，因此只能为集群创建一个集群自动扩展。

6.3.1. ClusterAutoscaler 资源定义

此 ClusterAutoscaler 资源定义显示了集群自动扩展的参数和示例值。

apiVersion: "autoscaling.openshift.io/v1"
kind: "ClusterAutoscaler"
metadata:
  name: "default"
spec:
  podPriorityThreshold: -10 1
  resourceLimits:
    maxNodesTotal: 24 2
    cores:
      min: 8 3
      max: 128 4
    memory:
      min: 4 5
      max: 256 6
    gpus:
      - type: nvidia.com/gpu 7
        min: 0 8
        max: 16 9
      - type: amd.com/gpu
        min: 0
        max: 4
  scaleDown: 10
    enabled: true 11
    delayAfterAdd: 10m 12
    delayAfterDelete: 5m 13
    delayAfterFailure: 30s 14
    unneededTime: 5m 15

1: 指定 Pod 必须超过哪一优先级才能让机器自动扩展部署更多节点。输入一个 32 位整数值。podPriorityThreshold 值将与您分配给每个 Pod 的 PriorityClass 值进行比较。
2: 指定要部署的最大节点数。这个值是集群中部署的机器总数，而不仅仅是自动扩展器控制的机器。确保这个值足够大，足以满足所有 control plane 和计算机器以及您在 MachineAutoscaler 资源中指定的副本总数。
3: 指定在集群中部署的最小内核数。
4: 指定集群中要部署的最大内核数。
5: 指定集群中最小内存量（以 GiB 为单位）。
6: 指定集群中的最大内存量（以 GiB 为单位）。
7: （可选）指定要部署的 GPU 节点的类型。只有 nvidia.com/gpu 和 amd.com/gpu 是有效的类型。
8: 指定在集群中部署的最小 GPU 数。
9: 指定集群中要部署的最大 GPU 数量。
10: 在此部分中，您可以指定每个操作要等待的时长，可以使用任何有效的 ParseDuration 间隔，包括 ns、us、ms、s、m 和 h。
11: 指定集群自动扩展是否可以删除不必要的节点。
12: （可选）指定在最近添加节点之后要等待多久才能删除节点。如果不指定值，则使用默认值 10m。
13: 指定在最近删除节点之后要等待多久才能删除节点。如果不指定值，则使用默认值 10s。
14: 指定在发生缩减失败之后要等待多久才能删除节点。如果不指定值，则使用默认值 3m。
15: 指定要经过多长时间之后，不需要的节点才符合删除条件。如果不指定值，则使用默认值 10m。

注意

执行扩展操作时，集群自动扩展会保持在 ClusterAutoscaler 资源定义中设置的范围，如要部署的最小和最大内核数，或集群中的内存量。但是，集群自动扩展无法将集群中的当前值修正为在这些范围内。

最小和最大 CPU、内存和 GPU 值是通过计算集群中所有节点上的这些资源来确定，即使集群自动扩展无法管理该节点。例如，control plane 节点在集群的总内存中考虑，即使集群自动扩展不管理 control plane 节点。

6.3.2. 部署集群自动扩展

要部署集群自动扩展，请创建一个 ClusterAutoscaler 资源实例。

流程

为 ClusterAutoscaler 资源创建一个 YAML 文件，其中包含自定义的资源定义。
在集群中创建资源：
```
$ oc create -f <filename>.yaml 1
```
1
<filename> 是您自定义的资源文件的名称。

6.4. 后续步骤

配置集群自动扩展后，必须至少配置一台机器自动扩展。

6.5. 配置机器自动扩展

部署集群自动扩展后，部署 MachineAutoscaler 资源来引用用于扩展集群的机器集。

重要

部署 ClusterAutoscaler 资源后，必须至少部署一个 MachineAutoscaler 资源。

注意

您必须为每个机器集配置单独的资源。请记住，每个地区中的机器集都不同，因此请考虑是否要在多个地区中启用机器扩展。扩展的机器集必须至少有一台机器。

6.5.1. MachineAutoscaler 资源定义

此 MachineAutoscaler 资源定义显示了机器自动扩展器的参数和示例值。

apiVersion: "autoscaling.openshift.io/v1beta1"
kind: "MachineAutoscaler"
metadata:
  name: "worker-us-east-1a" 1
  namespace: "openshift-machine-api"
spec:
  minReplicas: 1 2
  maxReplicas: 12 3
  scaleTargetRef: 4
    apiVersion: machine.openshift.io/v1beta1
    kind: MachineSet 5
    name: worker-us-east-1a 6

1: 指定机器自动扩展名称。为了更容易识别此机器自动扩展会扩展哪些机器集，请指定或注明要扩展的机器集的名称。机器集名称采用以下形式： <clusterid>-<machineset>-<region>。
2: 指定在机器自动扩展启动集群扩展后必须保留在指定区域中的指定类型的最小机器数量。如果在 AWS、GCP、Azure、RHOSP 或 vSphere 中运行，则此值可设为 0。对于其他供应商，请不要将此值设置为 0。
对于用于特殊工作负载的高价或有限使用硬件，或者扩展具有额外大型机器的机器集，您可以将此值设置为 0 来节约成本。如果机器没有使用，集群自动扩展会将机器集缩减为零。
重要
对于安装程序置备的基础架构，请不要将 OpenShift Container Platform 安装过程中创建的三台计算机器集的 spec.minReplicas 值设置为 0。
3: 指定集群自动扩展初始化集群扩展后可在指定类型区域中部署的指定类型的最大机器数量。确保 ClusterAutoscaler 资源定义的 maxNodesTotal 值足够大，以便机器自动扩展器可以部署这个数量的机器。
4: 在本小节中，提供用于描述要扩展的现有机器集的值。
5: kind 参数值始终为 MachineSet。
6: name 值必须与现有机器集的名称匹配，如 metadata.name 参数值所示。

6.5.2. 部署机器自动扩展

要部署机器自动扩展，请创建一个 MachineAutoscaler 资源实例。

流程

为 MachineAutoscaler 资源创建一个 YAML 文件，其中包含自定义的资源定义。
在集群中创建资源：
```
$ oc create -f <filename>.yaml 1
```
1
<filename> 是您自定义的资源文件的名称。

6.6. 其他资源

如需有关 Pod 优先级的更多信息，请参阅在 OpenShift Container Platform 的 Pod 调度决策中纳入 Pod 优先级。

第 7 章创建基础架构机器集

重要

您只能在 Machine API 操作的集群中使用高级机器管理和扩展功能。具有用户置备的基础架构的集群需要额外的验证和配置才能使用 Machine API。

要查看集群的平台类型，请运行以下命令：

$ oc get infrastructure cluster -o jsonpath='{.status.platform}'

您可以使用基础架构机器集来创建仅托管基础架构组件的机器，如默认路由器、集成的容器镜像 registry 以及集群指标和监控的组件。这些基础架构机器不会被计算为运行环境所需的订阅总数。

在生产部署中，建议您至少部署三个机器集来容纳基础架构组件。OpenShift Logging 和 Red Hat OpenShift Service Mesh 部署 Elasticsearch，这需要三个实例安装到不同的节点上。这些节点都可以部署到不同的可用区以实现高可用性。此配置需要三个不同的机器集，每个可用区都有一个。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。

7.1. OpenShift Container Platform 基础架构组件

以下基础架构工作负载不会导致 OpenShift Container Platform worker 订阅：

在主控机上运行的 Kubernetes 和 OpenShift Container Platform control plane 服务
默认路由器
集成的容器镜像 registry
基于 HAProxy 的 Ingress Controller
集群指标集合或监控服务，包括监控用户定义的项目的组件
集群聚合日志
服务代理
Red Hat Quay
Red Hat OpenShift Container Storage
Red Hat Advanced Cluster Manager
Red Hat Advanced Cluster Security for Kubernetes
Red Hat OpenShift GitOps
Red Hat OpenShift Pipelines

运行任何其他容器、Pod 或组件的所有节点都需要是您的订阅可涵盖的 worker 节点。

有关基础架构节点以及可在基础架构节点上运行，请参阅 OpenShift sizing and subscription guide for enterprise Kubernetes 文档中的 "Red Hat OpenShift control plane and infrastructure nodes"部分。

要创建基础架构节点，您可以使用机器集，标记节点，或使用机器配置池。

7.2. 为生产环境创建基础架构机器集

在生产部署中，建议您至少部署三个机器集来容纳基础架构组件。OpenShift Logging 和 Red Hat OpenShift Service Mesh 部署 Elasticsearch，这需要三个实例安装到不同的节点上。这些节点都可以部署到不同的可用区以实现高可用性。这样的配置需要三个不同的机器集，每个可用区都有一个。在没有多个可用区的全局 Azure 区域，您可以使用可用性集来确保高可用性。

7.2.1. 为不同云创建机器集

使用云的示例机器集。

7.2.1.1. AWS 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 us-east-1a Amazon Web Services（AWS）区域中运行的机器集，并创建通过 node-role.kubernetes.io/infra: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <infra> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-infra-<zone> 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 3
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra-<zone> 4
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
        machine.openshift.io/cluster-api-machine-role: <infra> 6
        machine.openshift.io/cluster-api-machine-type: <infra> 7
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra-<zone> 8
    spec:
      metadata:
        labels:
          node-role.kubernetes.io/infra: "" 9
      taints: 10
        - key: node-role.kubernetes.io/infra
          effect: NoSchedule
      providerSpec:
        value:
          ami:
            id: ami-046fe691f52a953f9 11
          apiVersion: awsproviderconfig.openshift.io/v1beta1
          blockDevices:
            - ebs:
                iops: 0
                volumeSize: 120
                volumeType: gp2
          credentialsSecret:
            name: aws-cloud-credentials
          deviceIndex: 0
          iamInstanceProfile:
            id: <infrastructure_id>-worker-profile 12
          instanceType: m4.large
          kind: AWSMachineProviderConfig
          placement:
            availabilityZone: <zone> 13
            region: <region> 14
          securityGroups:
            - filters:
                - name: tag:Name
                  values:
                    - <infrastructure_id>-worker-sg 15
          subnet:
            filters:
              - name: tag:Name
                values:
                  - <infrastructure_id>-private-<zone> 16
          tags:
            - name: kubernetes.io/cluster/<infrastructure_id> 17
              value: owned
          userDataSecret:
            name: worker-user-data

1 3 5 12 15 17

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 4 8

指定基础架构 ID、<infra> 节点标签和区域。

6 7 9

指定 <infra> 节点标签。

指定一个污点，以防止将用户工作负载调度到 infra 节点上。

$ oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.ami.id}{"\n"}' \
    get machineset/<infrastructure_id>-worker-<zone>

指定区域，如 us-east-1a。

指定区域，如 us-east-1。

指定基础架构 ID 和区域。

在 AWS 上运行的机器集支持非保证的 Spot 实例。与 AWS 上的 On-Demand 实例相比，您可以使用 Spot 实例以较低价格来节约成本。通过在 MachineSet YAML 文件中添加 SpotMarketOptions 来配置 Spot 实例。

7.2.1.2. Azure 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在区域(region)的 1 Microsoft Azure 区域(zone)中运行的机器集，并创建通过 node-role.kubernetes.io/infra: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <infra> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
    machine.openshift.io/cluster-api-machine-role: <infra> 2
    machine.openshift.io/cluster-api-machine-type: <infra> 3
  name: <infrastructure_id>-infra-<region> 4
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra-<region> 6
  template:
    metadata:
      creationTimestamp: null
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 7
        machine.openshift.io/cluster-api-machine-role: <infra> 8
        machine.openshift.io/cluster-api-machine-type: <infra> 9
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra-<region> 10
    spec:
      metadata:
        creationTimestamp: null
        labels:
          node-role.kubernetes.io/infra: "" 11
      providerSpec:
        value:
          apiVersion: azureproviderconfig.openshift.io/v1beta1
          credentialsSecret:
            name: azure-cloud-credentials
            namespace: openshift-machine-api
          image: 12
            offer: ""
            publisher: ""
            resourceID: /resourceGroups/<infrastructure_id>-rg/providers/Microsoft.Compute/images/<infrastructure_id> 13
            sku: ""
            version: ""
          internalLoadBalancer: ""
          kind: AzureMachineProviderSpec
          location: <region> 14
          managedIdentity: <infrastructure_id>-identity 15
          metadata:
            creationTimestamp: null
          natRule: null
          networkResourceGroup: ""
          osDisk:
            diskSizeGB: 128
            managedDisk:
              storageAccountType: Premium_LRS
            osType: Linux
          publicIP: false
          publicLoadBalancer: ""
          resourceGroup: <infrastructure_id>-rg 16
          sshPrivateKey: ""
          sshPublicKey: ""
          subnet: <infrastructure_id>-<role>-subnet 17 18
          userDataSecret:
            name: worker-user-data 19
          vmSize: Standard_DS4_v2
          vnet: <infrastructure_id>-vnet 20
          zone: "1" 21
      taints: 22
      - key: node-role.kubernetes.io/infra
        effect: NoSchedule

1 5 7 15 16 17 20

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

您可以运行以下命令来获取子网：

$  oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.subnet}{"\n"}' \
    get machineset/<infrastructure_id>-worker-centralus1

您可以运行以下命令来获取 vnet：

$  oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.vnet}{"\n"}' \
    get machineset/<infrastructure_id>-worker-centralus1

2 3 8 9 11 18 19

指定 <infra> 节点标签。

4 6 10

指定基础架构 ID、<infra> 节点标签和地区。

指定机器集的镜像详情。如果要使用 Azure Marketplace 镜像，请参阅"选择 Azure Marketplace 镜像"。

指定与实例类型兼容的镜像。安装程序创建的 Hyper-V 生成 V2 镜像具有 -gen2 后缀，而 V1 镜像则与没有后缀的名称相同。

指定要放置机器的区域。

21

指定您所在地区（region）内要放置机器的区域 (zone) 。确保您的地区支持您指定的区域。

22

指定一个污点，以防止将用户工作负载调度到 infra 节点上。

在 Azure 上运行的机器集支持非保证的 Spot 虚拟机。与 Azure 上的标准虚拟机相比，您可以使用 Spot 虚拟机以较低价格节约成本。您可以通过在 MachineSet YAML 文件中添加 spotVMOptions 来配置 Spot 虚拟机。

其他资源

选择 Azure Marketplace 镜像

7.2.1.3. GCP 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 Google Cloud Platform (GCP) 中运行的机器集，并创建通过 node-role.kubernetes.io/infra: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <infra> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-w-a
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id>
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-w-a
  template:
    metadata:
      creationTimestamp: null
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id>
        machine.openshift.io/cluster-api-machine-role: <infra> 2
        machine.openshift.io/cluster-api-machine-type: <infra>
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-w-a
    spec:
      metadata:
        labels:
          node-role.kubernetes.io/infra: ""
      providerSpec:
        value:
          apiVersion: gcpprovider.openshift.io/v1beta1
          canIPForward: false
          credentialsSecret:
            name: gcp-cloud-credentials
          deletionProtection: false
          disks:
          - autoDelete: true
            boot: true
            image: <path_to_image> 3
            labels: null
            sizeGb: 128
            type: pd-ssd
          gcpMetadata: 4
          - key: <custom_metadata_key>
            value: <custom_metadata_value>
          kind: GCPMachineProviderSpec
          machineType: n1-standard-4
          metadata:
            creationTimestamp: null
          networkInterfaces:
          - network: <infrastructure_id>-network
            subnetwork: <infrastructure_id>-worker-subnet
          projectID: <project_name> 5
          region: us-central1
          serviceAccounts:
          - email: <infrastructure_id>-w@<project_name>.iam.gserviceaccount.com
            scopes:
            - https://www.googleapis.com/auth/cloud-platform
          tags:
            - <infrastructure_id>-worker
          userDataSecret:
            name: worker-user-data
          zone: us-central1-a
      taints: 6
      - key: node-role.kubernetes.io/infra
        effect: NoSchedule

1

其中 <infrastructure_id> 是基础架构 ID，它基于您在置备集群时设定的集群 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2

对于 <infra>，指定 <infra> 节点标签。

3

指定当前计算机器集中使用的镜像的路径。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取镜像的路径：

$ oc -n openshift-machine-api \
    -o jsonpath='{.spec.template.spec.providerSpec.value.disks[0].image}{"\n"}' \
    get machineset/<infrastructure_id>-worker-a

要使用 GCP Marketplace 镜像，请指定要使用的功能：

OpenShift Container Platform: https://www.googleapis.com/compute/v1/projects/redhat-marketplace-public/global/images/redhat-coreos-ocp-48-x86-64-202210040145
OpenShift Platform Plus: https://www.googleapis.com/compute/v1/projects/redhat-marketplace-public/global/images/redhat-coreos-opp-48-x86-64-202206140145
OpenShift Kubernetes Engine: https://www.googleapis.com/compute/v1/projects/redhat-marketplace-public/global/images/redhat-coreos-oke-48-x86-64-202206140145

4

可选：以 key:value 对的形式指定自定义元数据。有关用例，请参阅 GCP 文档，以查看设置自定义元数据。

对于 <project_name>，请指定用于集群的 GCP 项目的名称。

6

指定一个污点，以防止将用户工作负载调度到 infra 节点上。

在 GCP 上运行的机器集支持非保证的可抢占虚拟机实例。与 GCP 上的普通实例相比，您可以使用抢占虚拟机实例以较低价格节约成本。您可以通过在 MachineSet YAML 文件中添加 preemptible 来配置抢占虚拟机实例。

7.2.1.4. RHOSP 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 Red Hat OpenStack Platform（RHOSP）上运行的机器集，并创建带有 node-role.kubernetes.io/infra: "" 标记的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <infra> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
    machine.openshift.io/cluster-api-machine-role: <infra> 2
    machine.openshift.io/cluster-api-machine-type: <infra> 3
  name: <infrastructure_id>-infra 4
  namespace: openshift-machine-api
spec:
  replicas: <number_of_replicas>
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra 6
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 7
        machine.openshift.io/cluster-api-machine-role: <infra> 8
        machine.openshift.io/cluster-api-machine-type: <infra> 9
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra 10
    spec:
      metadata:
        creationTimestamp: null
        labels:
          node-role.kubernetes.io/infra: ""
      taints: 11
      - key: node-role.kubernetes.io/infra
        effect: NoSchedule
      providerSpec:
        value:
          apiVersion: openstackproviderconfig.openshift.io/v1alpha1
          cloudName: openstack
          cloudsSecret:
            name: openstack-cloud-credentials
            namespace: openshift-machine-api
          flavor: <nova_flavor>
          image: <glance_image_name_or_location>
          serverGroupID: <optional_UUID_of_server_group> 12
          kind: OpenstackProviderSpec
          networks: 13
          - filter: {}
            subnets:
            - filter:
                name: <subnet_name>
                tags: openshiftClusterID=<infrastructure_id> 14
          primarySubnet: <rhosp_subnet_UUID> 15
          securityGroups:
          - filter: {}
            name: <infrastructure_id>-worker 16
          serverMetadata:
            Name: <infrastructure_id>-worker 17
            openshiftClusterID: <infrastructure_id> 18
          tags:
          - openshiftClusterID=<infrastructure_id> 19
          trunk: true
          userDataSecret:
            name: worker-user-data 20
          availabilityZone: <optional_openstack_availability_zone>

1 5 7 14 16 17 18 19

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 3 8 9 20

指定 <infra> 节点标签。

4 6 10

指定基础架构 ID 和 <infra> 节点标签。

指定一个污点，以防止将用户工作负载调度到 infra 节点上。

要为 MachineSet 设置服务器组策略，请输入从创建服务器组返回的值。对于大多数部署，推荐使用 anti-affinity 或 soft-anti-affinity 策略。

部署到多个网络需要。如果部署到多个网络，这个列表必须包含用作 primarySubnet 值的网络。

指定您要发布节点端点的 RHOSP 子网。通常，这与 install-config.yaml 文件中的 machineSubnet 值相同。

7.2.1.5. RHV 上机器集自定义资源的 YAML 示例

此 YAML 示例定义了一个在 RHV 上运行的机器集，并创建标记为 node-role.kubernetes.io/<node_role>: "" 的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <role> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
    machine.openshift.io/cluster-api-machine-role: <role> 2
    machine.openshift.io/cluster-api-machine-type: <role> 3
  name: <infrastructure_id>-<role> 4
  namespace: openshift-machine-api
spec:
  replicas: <number_of_replicas> 5
  selector: 6
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 7
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 8
  template:
    metadata:
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 9
        machine.openshift.io/cluster-api-machine-role: <role> 10
        machine.openshift.io/cluster-api-machine-type: <role> 11
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role> 12
    spec:
      metadata:
        labels:
          node-role.kubernetes.io/<role>: "" 13
      providerSpec:
        value:
          apiVersion: ovirtproviderconfig.machine.openshift.io/v1beta1
          cluster_id: <ovirt_cluster_id> 14
          template_name: <ovirt_template_name> 15
          instance_type_id: <instance_type_id> 16
          cpu: 17
            sockets: <number_of_sockets> 18
            cores: <number_of_cores> 19
            threads: <number_of_threads> 20
          memory_mb: <memory_size> 21
          os_disk: 22
            size_gb: <disk_size> 23
          network_interfaces: 24
            vnic_profile_id:  <vnic_profile_id> 25
          credentialsSecret:
            name: ovirt-credentials 26
          kind: OvirtMachineProviderSpec
          type: <workload_type> 27
          auto_pinning_policy: <auto_pinning_policy> 28
          hugepages: <hugepages> 29
          affinityGroupsNames:
            - compute 30
          userDataSecret:
            name: worker-user-data

1 7 9

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI（oc）软件包，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 3 10 11 13

指定要添加的节点标签。

4 8 12

指定基础架构 ID 和节点标签。这两个字符串不能超过 35 个字符。

指定要创建的机器数量。

6

机器的选择器。

指定此虚拟机实例所属的 RHV 集群的 UUID。

指定用于创建机器的 RHV VM 模板。

可选：指定虚拟机实例类型。

警告

instance_type_id 字段已弃用，并将在以后的发行版本中删除。

如果包含这个参数，则不需要指定包括 CPU 和内存在内的虚拟机的硬件参数，因为这个参数会覆盖所有硬件参数。

17

可选：CPU 字段包含 CPU 配置，包括插槽、内核和线程。

可选：指定虚拟机的插槽数量。

可选：指定每个插槽的内核数。

可选：指定每个内核的线程数量。

可选：指定虚拟机的内存大小（MiB）。

可选：节点的 Root 磁盘。

可选：指定可引导磁盘的大小（GiB）。

可选：虚拟机网络接口列表。如果包含此参数，OpenShift Container Platform 会丢弃来自模板中的所有网络接口并创建新接口。

25

可选：指定 vNIC 配置集 ID。

26

指定包含 RHV 凭证的 secret 名称。

可选：应用于虚拟机的关联性组名称列表。oVirt 中必须存在关联性组。

注意

因为 RHV 在创建虚拟机时使用模板，如果您没有为可选参数指定值，RHV 将使用模板中指定的参数值。

7.2.1.6. vSphere 上机器设置自定义资源的 YAML 示例

此 YAML 示例定义了一个在 VMware vSphere 上运行的机器集，并创建标记为 node-role.kubernetes.io/infra: "" 的节点。

在本例中，<infrastructure_id> 是基础架构 ID 标签，该标签基于您在置备集群时设定的集群 ID，而 <infra> 则是要添加的节点标签。

apiVersion: machine.openshift.io/v1beta1
kind: MachineSet
metadata:
  creationTimestamp: null
  labels:
    machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
  name: <infrastructure_id>-infra 2
  namespace: openshift-machine-api
spec:
  replicas: 1
  selector:
    matchLabels:
      machine.openshift.io/cluster-api-cluster: <infrastructure_id> 3
      machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra 4
  template:
    metadata:
      creationTimestamp: null
      labels:
        machine.openshift.io/cluster-api-cluster: <infrastructure_id> 5
        machine.openshift.io/cluster-api-machine-role: <infra> 6
        machine.openshift.io/cluster-api-machine-type: <infra> 7
        machine.openshift.io/cluster-api-machineset: <infrastructure_id>-infra 8
    spec:
      metadata:
        creationTimestamp: null
        labels:
          node-role.kubernetes.io/infra: "" 9
      taints: 10
      - key: node-role.kubernetes.io/infra
        effect: NoSchedule
      providerSpec:
        value:
          apiVersion: vsphereprovider.openshift.io/v1beta1
          credentialsSecret:
            name: vsphere-cloud-credentials
          diskGiB: 120
          kind: VSphereMachineProviderSpec
          memoryMiB: 8192
          metadata:
            creationTimestamp: null
          network:
            devices:
            - networkName: "<vm_network_name>" 11
          numCPUs: 4
          numCoresPerSocket: 1
          snapshot: ""
          template: <vm_template_name> 12
          userDataSecret:
            name: worker-user-data
          workspace:
            datacenter: <vcenter_datacenter_name> 13
            datastore: <vcenter_datastore_name> 14
            folder: <vcenter_vm_folder_path> 15
            resourcepool: <vsphere_resource_pool> 16
            server: <vcenter_server_ip> 17

1 3 5

指定基于置备集群时所设置的集群 ID 的基础架构 ID。如果已安装 OpenShift CLI（oc）软件包，您可以通过运行以下命令来获取基础架构 ID：

$ oc get -o jsonpath='{.status.infrastructureName}{"\n"}' infrastructure cluster

2 4 8

指定基础架构 ID 和 <infra> 节点标签。

6 7 9

指定 <infra> 节点标签。

指定一个污点，以防止将用户工作负载调度到 infra 节点上。

指定要将机器集部署到的 vSphere VM 网络。此虚拟机网络必须是集群中其他计算机器所处的位置。

指定要使用的 vSphere 虚拟机模板，如 user-5ddjd-rhcos。

指定要将机器集部署到的 vCenter Datacenter。

指定要部署机器集的 vCenter Datastore。

指定 vCenter 中 vSphere 虚拟机文件夹的路径，如 /dc1/vm/user-inst-5ddjd。