3.4. 使用自定义网络在 vSphere 上安装集群

流程

1. 创建一个安装目录来存储所需的安装资产：

   $ mkdir <installation_directory>

   重要

   您必须创建一个目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

2. 自定义提供的 install-config.yaml 文件模板示例，并将其保存在 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步中使用。现在必须备份它。

流程

1. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir <installation_directory> 1

   1

   <installation_directory> 指定包含集群的 install-config.yaml 文件的目录名称。

2. 在 <installation_directory>/manifests/ 目录中 为高级网络配置创建一个名为 cluster-network-03-config.yml 的 stub 清单文件：

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:

3. 在 cluster-network-03-config.yml 文件中指定集群的高级网络配置，如下例所示：

   为 OVN-Kubernetes 网络供应商启用 IPsec

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     defaultNetwork:
       ovnKubernetesConfig:
         ipsecConfig:
           mode: Full

4. 可选：备份 manifests/cluster-network-03-config.yml 文件。创建 Ignition 配置文件时，安装程序会使用 manifests/ 目录。

5. 删除定义 control plane 机器的 Kubernetes 清单文件和计算 machineSets：

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   由于您要自行创建和管理这些资源，因此不必初始化这些资源。

   • 您可以使用机器 API 保留 MachineSet 文件以创建计算机器，但您必须更新对它们的引用以匹配您的环境。

流程

1. 将名为 <installation_directory>/bootstrap.ign 的 bootstrap Ignition 配置文件上传到 HTTP 服务器。注意此文件的 URL。

2. 将 bootstrap 节点的以下辅助 Ignition 配置文件保存到计算机中，存为 <installation_directory>/merge-bootstrap.ign ：

   {
     "ignition": {
       "config": {
         "merge": [
           {
             "source": "<bootstrap_ignition_config_url>", 1
             "verification": {}
           }
         ]
       },
       "timeouts": {},
       "version": "3.2.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   指定您托管的 bootstrap Ignition 配置文件的 URL。

   为 bootstrap 机器创建虚拟机(VM)时，您要使用此 Ignition 配置文件。

3. 找到安装程序创建的以下 Ignition 配置文件：

   • <installation_directory>/master.ign
   • <installation_directory>/worker.ign
   • <installation_directory>/merge-bootstrap.ign

4. 将 Ignition 配置文件转换为 Base64 编码。在此流程中，您必须将这些文件添加到虚拟机中的额外配置参数 guestinfo.ignition.config.data 中。

   例如，如果使用 Linux 操作系统，您可以使用 base64 命令对文件进行编码。

   $ base64 -w0 <installation_directory>/master.ign > <installation_directory>/master.64

   $ base64 -w0 <installation_directory>/worker.ign > <installation_directory>/worker.64

   $ base64 -w0 <installation_directory>/merge-bootstrap.ign > <installation_directory>/merge-bootstrap.64

   重要

   如果您计划在安装完成后在集群中添加更多计算机器，请不要删除这些文件。

5. 获取 RHCOS OVA 镜像。镜像位于 RHCOS 镜像镜像页面。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每个发行版本而改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

   文件名包含 OpenShift Container Platform 版本号，格式为 rhcos-vmware.<architecture>.ova。

6. 在 vSphere 客户端中，在数据中心中创建一个文件夹来存储虚拟机。

   1. 单击 VMs and Templates 视图。
   2. 右键点您的数据中心的名称。
   3. 点击 New Folder New VM and Template Folder。
   4. 在显示的窗口中，输入文件夹名称。如果您没有在 install-config.yaml 文件中指定现有文件夹，请创建一个名称与基础架构 ID 相同的文件夹。您可以使用这个文件夹名称，因此 vCenter 会在适当的位置为 Workspace 配置动态置备存储。

7. 在 vSphere 客户端中，为 OVA 镜像创建一个模板，然后根据需要克隆模板。

   注意

   在以下步骤中，您将创建模板，然后克隆所有集群机器的模板。然后，您在置备虚拟机时为该克隆的机器类型提供 Ignition 配置文件的位置。

   1. 在 Hosts and Clusters 选项卡中，右键点击您的集群名称并选择 Deploy OVF Template。
   2. 在 Select an OVF 选项卡中，指定您下载的 RHCOS OVA 文件的名称。
   3. 在 Select a name and folder 选项卡中，为您的模板设置 虚拟机名称，如 Template-RHCOS。点击 vSphere 集群的名称并选择您在上一步中创建的文件夹。
   4. 在 Select a compute resource 选项卡中，点击 vSphere 集群的名称。

   5. 在 Select storage 选项卡中，配置虚拟机的存储选项。

      • 根据您的存储首选项，选择 Thin Provision 或 Thick Provision。
      • 选择您在 install-config.yaml 文件中指定的数据存储。
      • 如果要加密虚拟机，请选择 Encrypt this virtual machine。如需更多信息，请参阅标题为"加密虚拟机的要求"的部分。
   6. 在 Select network 选项卡中，指定您为集群配置的网络（如果可用）。

   7. 在创建 OVF 模板时，不要在 Customize template 选项卡上指定值，也不会进一步配置模板。

      重要

      不要启动原始虚拟机模板。VM 模板必须保持关闭，必须为新的 RHCOS 机器克隆。启动虚拟机模板会将虚拟机模板配置为平台上的虚拟机，这样可防止它被用作计算机器集可应用配置的模板。

8. 可选： 如果需要，更新 VM 模板中配置的虚拟硬件版本。如需更多信息 ，请参阅 VMware 文档中的将虚拟机升级到最新硬件版本。

   重要

   如有必要，建议您在从虚拟机创建虚拟机前将虚拟机模板的硬件版本更新为版本 15。在 vSphere 上运行的集群节点使用硬件版本 13 现已弃用。如果您导入的模板默认为硬件版本 13，您必须在将 VM 模板升级到硬件版本 15 前确保 ESXi 主机为 6.7U3 或更高版本。如果您的 vSphere 版本小于 6.7U3，您可以跳过此升级步骤；但是，计划将来的 OpenShift Container Platform 版本删除对小于 6.7U3 的硬件版本 13 和 vSphere 版本的支持。

9. 部署模板后，为集群中的机器部署虚拟机。

   1. 右键点击模板名称，再点击 Clone Clone to Virtual Machine。

   2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。您可以在名称中包含机器类型，如 control-plane-0 或 compute-1。

      注意

      确保 vSphere 安装中的所有虚拟机名称都是唯一的。

   3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
   4. 在 Select a compute resource 选项卡中，选择数据中心中的主机的名称。
   5. 在 Select clone options 选项卡中，选择 Customize this virtual machine's hardware。

   6. 在 Customize hardware 选项卡上，点 Advanced Parameters。

      重要

      以下配置建议仅用于演示目的。作为集群管理员，您必须根据集群上的资源需求来配置资源。为了更好地管理集群资源，请考虑从集群的 root 资源池创建资源池。

      • 可选：覆盖 vSphere 中的默认 DHCP 网络。启用静态 IP 网络：

        • 设置静态 IP 配置：

          示例命令

          $ export IPCFG="ip=<ip>::<gateway>:<netmask>:<hostname>:<iface>:none nameserver=srv1 [nameserver=srv2 [nameserver=srv3 [...]]]"

          示例命令

          $ export IPCFG="ip=192.168.100.101::192.168.100.254:255.255.255.0:::none nameserver=8.8.8.8"

        • 在从 vSphere 中的 OVA 引导虚拟机前，设置 guestinfo.afterburn.initrd.network-kargs 属性：

          示例命令

          $ govc vm.change -vm "<vm_name>" -e "guestinfo.afterburn.initrd.network-kargs=${IPCFG}"

      • 通过在 Attribute 和 Values 字段中指定数据来添加以下配置参数名称和值。确保为您创建的每个参数选择 Add 按钮。

        • guestinfo.ignition.config.data ：找到您在此流程中创建的 base-64 编码文件，并粘贴此机器类型的 base64 编码 Ignition 配置文件的内容。
        • guestinfo.ignition.config.data.encoding ：指定 base64。
        • disk.EnableUUID ：指定 TRUE。
        • stealclock.enable ：如果没有定义此参数，请添加它并指定 TRUE。
        • 从集群的 root 资源池创建子资源池。执行此子资源池中的资源分配。
   7. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。
   8. 完成剩余的配置步骤。点 Finish 按钮，您已完成克隆操作。
   9. 在 Virtual Machines 选项卡中，右键点您的虚拟机，然后选择 Power Power On。

   10. 检查控制台输出，以验证 Ignition 是否运行。

       示例命令

       Ignition: ran on 2022/03/14 14:48:33 UTC (this boot)
       Ignition: user-provided config was applied

流程

1. 右键点击模板的名称，再点击 Clone Clone to Virtual Machine。

2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。您可以在名称中包含机器类型，如 compute-1。

   注意

   确保 vSphere 安装中的所有虚拟机名称都是唯一的。

3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
4. 在 Select a compute resource 选项卡中，选择数据中心中的主机的名称。
5. 在 Select storage 选项卡中，为您的配置和磁盘文件选择存储。
6. 在 Select clone options 选项卡中，选择 Customize this virtual machine's hardware。

7. 在 Customize hardware 选项卡上，点 Advanced Parameters。

   • 通过在 Attribute 和 Values 字段中指定数据来添加以下配置参数名称和值。确保为您创建的每个参数选择 Add 按钮。

     • guestinfo.ignition.config.data ：粘贴此机器类型的 base64 编码计算 Ignition 配置文件的内容。
     • guestinfo.ignition.config.data.encoding ：指定 base64。
     • disk.EnableUUID ：指定 TRUE。
8. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。如果存在多个网络，请选择 Add New Device > Network Adapter，然后在 New Network 菜单项提供的字段中输入您的网络信息。
9. 完成剩余的配置步骤。点 Finish 按钮，您已完成克隆操作。
10. 在 Virtual Machines 选项卡中，右键点您的虚拟机，然后选择 Power Power On。

流程

1. 创建存放 OpenShift Container Platform 安装文件的目录：

   $ mkdir $HOME/clusterconfig

2. 运行 openshift-install，以在 manifest 和 openshift 子目录中创建一组文件。在系统提示时回答系统问题：

   $ openshift-install create manifests --dir $HOME/clusterconfig
   ? SSH Public Key ...
   $ ls $HOME/clusterconfig/openshift/
   99_kubeadmin-password-secret.yaml
   99_openshift-cluster-api_master-machines-0.yaml
   99_openshift-cluster-api_master-machines-1.yaml
   99_openshift-cluster-api_master-machines-2.yaml
   ...

3. 创建用于配置额外分区的 Butane 配置。例如，将文件命名为 $HOME/clusterconfig/98-var-partition.bu，将磁盘设备名称改为 worker 系统上存储设备的名称，并根据情况设置存储大小。这个示例将 /var 目录放在一个单独的分区中：

   variant: openshift
   version: 4.16.0
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 98-var-partition
   storage:
     disks:
     - device: /dev/disk/by-id/<device_name> 1
       partitions:
       - label: var
         start_mib: <partition_start_offset> 2
         size_mib: <partition_size> 3
         number: 5
     filesystems:
       - device: /dev/disk/by-partlabel/var
         path: /var
         format: xfs
         mount_options: [defaults, prjquota] 4
         with_mount_unit: true

   1

   要分区的磁盘的存储设备名称。

   2

   当在引导磁盘中添加数据分区时，推荐最少使用 25000 MB。root 文件系统会自动调整大小以填充所有可用空间（最多到指定的偏移值）。如果没有指定值，或者指定的值小于推荐的最小值，则生成的 root 文件系统会太小，而在以后进行的 RHCOS 重新安装可能会覆盖数据分区的开始部分。

   3

   以兆字节为单位的数据分区大小。

   4

   对于用于容器存储的文件系统，必须启用 prjquota 挂载选项。

   注意

   当创建单独的 /var 分区时，如果不同的实例类型没有相同的设备名称，则无法为 worker 节点使用不同的实例类型。

4. 从 Butane 配置创建一个清单，并将它保存到 clusterconfig/openshift 目录中。例如，运行以下命令：

   $ butane $HOME/clusterconfig/98-var-partition.bu -o $HOME/clusterconfig/openshift/98-var-partition.yaml

5. 再次运行 openshift-install，从 manifest 和 openshift 子目录中的一组文件创建 Ignition 配置：

   $ openshift-install create ignition-configs --dir $HOME/clusterconfig
   $ ls $HOME/clusterconfig/
   auth  bootstrap.ign  master.ign  metadata.json  worker.ign

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir <installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   输出示例

   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
   INFO API v1.29.4 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   INFO It is now safe to remove the bootstrap resources

   当 Kubernetes API 服务器提示已在 control plane 机器上引导它时，该命令会成功。

2. bootstrap 过程完成后，从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化 bootstrap 机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.29.4
   master-1  Ready     master  63m  v1.29.4
   master-2  Ready     master  64m  v1.29.4

   输出中列出了您创建的所有机器。

   注意

   在有些 CSR 被批准前，前面的输出可能不包括计算节点（也称为 worker 节点）。

2. 检查待处理的 CSR，并确保添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，在您添加的机器的所有待处理 CSR 都处于 Pending 状态 后，请批准集群机器的 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准它们，证书将会轮转，每个节点会存在多个证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 为服务证书创建一个二级 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则后续提供证书续订请求由 machine-approver 自动批准。

   注意

   对于在未启用机器 API 的平台上运行的集群，如裸机和其他用户置备的基础架构，您必须实施一种方法来自动批准 kubelet 提供证书请求(CSR)。如果没有批准请求，则 oc exec、ocrsh 和 oc logs 命令将无法成功，因为 API 服务器连接到 kubelet 时需要服务证书。与 Kubelet 端点联系的任何操作都需要此证书批准。该方法必须监视新的 CSR，确认 CSR 由 system: node 或 system:admin 组中的 node-bootstrapper 服务帐户提交，并确认节点的身份。

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

     注意

     在有些 CSR 被批准前，一些 Operator 可能无法使用。

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，机器将 处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.29.4
   master-1  Ready     master  73m  v1.29.4
   master-2  Ready     master  74m  v1.29.4
   worker-0  Ready     worker  11m  v1.29.4
   worker-1  Ready     worker  11m  v1.29.4

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器过渡到 Ready 状态。

流程

1. 使用以下命令确认所有集群组件都在线：

   $ watch -n5 oc get clusteroperators

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                             4.16.0    True        False         False      19m
   baremetal                                  4.16.0    True        False         False      37m
   cloud-credential                           4.16.0    True        False         False      40m
   cluster-autoscaler                         4.16.0    True        False         False      37m
   config-operator                            4.16.0    True        False         False      38m
   console                                    4.16.0    True        False         False      26m
   csi-snapshot-controller                    4.16.0    True        False         False      37m
   dns                                        4.16.0    True        False         False      37m
   etcd                                       4.16.0    True        False         False      36m
   image-registry                             4.16.0    True        False         False      31m
   ingress                                    4.16.0    True        False         False      30m
   insights                                   4.16.0    True        False         False      31m
   kube-apiserver                             4.16.0    True        False         False      26m
   kube-controller-manager                    4.16.0    True        False         False      36m
   kube-scheduler                             4.16.0    True        False         False      36m
   kube-storage-version-migrator              4.16.0    True        False         False      37m
   machine-api                                4.16.0    True        False         False      29m
   machine-approver                           4.16.0    True        False         False      37m
   machine-config                             4.16.0    True        False         False      36m
   marketplace                                4.16.0    True        False         False      37m
   monitoring                                 4.16.0    True        False         False      29m
   network                                    4.16.0    True        False         False      38m
   node-tuning                                4.16.0    True        False         False      37m
   openshift-apiserver                        4.16.0    True        False         False      32m
   openshift-controller-manager               4.16.0    True        False         False      30m
   openshift-samples                          4.16.0    True        False         False      32m
   operator-lifecycle-manager                 4.16.0    True        False         False      37m
   operator-lifecycle-manager-catalog         4.16.0    True        False         False      37m
   operator-lifecycle-manager-packageserver   4.16.0    True        False         False      32m
   service-ca                                 4.16.0    True        False         False      38m
   storage                                    4.16.0    True        False         False      37m

   另外，当所有集群都可用时，以下命令会通知您。它还检索并显示凭证：

   $ ./openshift-install --dir <installation_directory> wait-for install-complete 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   输出示例

   INFO Waiting up to 30m0s for the cluster to initialize...

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，该命令会成功。

   重要
   • 安装程序生成的 Ignition 配置文件包含 24 小时后过期的证书，然后在该时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外是，您必须手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书 中恢复的文档。
   • 建议您在 Ignition 配置文件生成后的 12 小时内使用它们，因为 24 小时的证书会在集群安装后的 16 小时到 22 小时间进行轮转。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装过程中因为执行了证书更新而导致安装失败的问题。

2. 确认 Kubernetes API 服务器正在与 pod 通信。

   1. 要查看所有 pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces

      输出示例

      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 pod 名称和命名空间，如上一命令的输出中所示。

      如果 pod 日志显示，Kubernetes API 服务器可以与集群机器通信。

3. 对于使用光纤通道协议(FCP)的安装，还需要额外的步骤才能启用多路径。不要在安装过程中启用多路径。

   如需更多信息，请参阅 安装后机器配置任务 文档中的"使用 RHCOS 上使用内核参数启用多路径"。

流程

1. 运行以下命令来删除任何现有的 DRS 反关联性规则：

   $ govc cluster.rule.remove \
     -name openshift4-control-plane-group \
     -dc MyDatacenter -cluster MyCluster

   输出示例

   [13-10-22 09:33:24] Reconfigure /MyDatacenter/host/MyCluster...OK

2. 运行以下命令，使用更新的名称再次创建规则：

   $ govc cluster.rule.create \
     -name openshift4-control-plane-group \
     -dc MyDatacenter -cluster MyOtherCluster \
     -enable \
     -anti-affinity master-0 master-1 master-2