虚拟化

1. 如果使用超过 100 个节点，请考虑使用 Red Hat Advanced Cluster Management (RHACM) 来管理多个集群，而不是扩展单个 control plane。较大的集群增加了复杂性，需要更长的更新，并根据节点大小和对象密度增加，它们可以增加 control plane 压力。

   使用多个集群对于如按集群隔离和高可用性等区域很有用。

2. 每个节点的最大虚拟机数量取决于主机硬件和资源容量。它还受以下参数的限制：

   • 限制可调度到节点的 pod 数量的设置。例如：maxPods。
   • 默认 KVM 设备数。例如：devices.kubevirt.io/kvm: 1k。

流程

1. 在 web 控制台中进入到 Virtualization → Overview 页面。
2. 点 Download virtctl 链接为您的操作系统下载 virtctl 二进制文件。

3. 安装 virtctl ：

   • 对于 RHEL 9 和其他 Linux 操作系统：

     1. 解压缩存档文件：

        $ tar -xvf <virtctl-version-distribution.arch>.tar.gz

        Copy to Clipboard Toggle word wrap

     2. 运行以下命令使 virtctl 二进制可执行文件：

        $ chmod +x <path/virtctl-file-name>

        Copy to Clipboard Toggle word wrap

     3. 将 virtctl 二进制文件移到 PATH 环境变量中的目录中。

        您可以运行以下命令来检查您的路径：

        $ echo $PATH

        Copy to Clipboard Toggle word wrap

     4. 设置 KUBECONFIG 环境变量：

        $ export KUBECONFIG=/home/<user>/clusters/current/auth/kubeconfig

        Copy to Clipboard Toggle word wrap

   • 对于 Windows:

     1. 解压缩存档文件。
     2. 进入解压的目录中，双击 virtctl 可执行文件来安装客户端。

     3. 将 virtctl 二进制文件移到 PATH 环境变量中的目录中。

        您可以运行以下命令来检查您的路径：

        C:\> path

        Copy to Clipboard Toggle word wrap

   • macOS：

     1. 解压缩存档文件。

     2. 将 virtctl 二进制文件移到 PATH 环境变量中的目录中。

        您可以运行以下命令来检查您的路径：

        echo $PATH

        Copy to Clipboard Toggle word wrap

流程

1. 使用 subscription-manager CLI 工具启用 OpenShift Virtualization 存储库，以运行以下命令：

   # subscription-manager repos --enable cnv-4.17-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

2. 运行以下命令安装 kubevirt-virtctl 软件包：

   # yum install kubevirt-virtctl

   Copy to Clipboard Toggle word wrap

流程

1. 从 Administrator 视角中，点 Operators → OperatorHub。
2. 在 Filter by keyword 字段中，键入 Virtualization。
3. 选择带有 Red Hat source 标签的 OpenShift Virtualization Operator 标题。
4. 阅读 Operator 信息并点 Install。

5. 在 Install Operator 页中：

   1. 从可用 Update Channel 选项列表中选择 stable。这样可确保安装与 OpenShift Container Platform 版本兼容的 OpenShift Virtualization 版本。

   2. 对于安装的命名空间，请确保选择了 Operator 推荐的命名空间选项。这会在 openshift-cnv 命名空间中安装 Operator，该命名空间在不存在时会自动创建。

      警告

      尝试在 openshift-cnv 以外的命名空间中安装 OpenShift Virtualization Operator 会导致安装失败。

   3. 对于 Approval Strategy，强烈建议您选择 Automatic （默认值），以便在 stable 更新频道中提供新版本时 OpenShift Virtualization 会自动更新。

      虽然可以选择 Manual 批准策略，但这不可取，因为它会给集群提供支持和功能带来高风险。只有在您完全了解这些风险且无法使用 Automatic 时，才选择 Manual。

      警告

      因为 OpenShift Virtualization 只在与对应的 OpenShift Container Platform 版本搭配使用时被支持，所以缺少的 OpenShift Virtualization 更新可能会导致您的集群不被支持。

6. 点 Install 使 Operator 可供 openshift-cnv 命名空间使用。
7. 当 Operator 成功安装时，点 Create HyperConverged。
8. 可选： 为 OpenShift Virtualization 组件配置 Infra 和 Workloads 节点放置选项。
9. 点 Create 启动 OpenShift Virtualization。

流程

1. 进入到 Operators → Installed Operators 页面。
2. 选择 OpenShift Virtualization Operator。
3. 点 OpenShift Virtualization Deployment 选项卡。
4. 点 kubevirt-hyperconverged 旁边的 Options 菜单 ，然后选择 Delete HyperConverged。
5. 在确认窗口中点击 Delete。

流程

1. 进入到 Operators → Installed Operators 页面。
2. 在 Filter by name 字段中滚动或输入关键字以查找您要删除的 Operator。然后点它。

3. 在 Operator Details 页面右侧，从 Actions 列表中选择 Uninstall Operator。

   此时会显示 Uninstall Operator? 对话框。

4. 选择 Uninstall 来删除 Operator、Operator 部署和 pod。按照此操作，Operator 将停止运行，不再接收更新。

   注意

   此操作不会删除 Operator 管理的资源，包括自定义资源定义 (CRD) 和自定义资源 (CR) 。Web 控制台和继续运行的集群资源启用的仪表板和导航项可能需要手动清理。要在卸载 Operator 后删除这些，您可能需要手动删除 Operator CRD。

流程

1. 导航至 Administration → Namespaces。
2. 在命名空间列表中找到您要删除的命名空间。
3. 在命名空间列表的右侧，从 Options 菜单 中选择 Delete Namespace。
4. 当 Delete Namespace 页打开时，在相关项中输入您要删除的命名空间的名称。
5. 点击 Delete。

流程

1. 进入到 Administration → CustomResourceDefinitions。
2. 选择 Label 过滤器，并在 Search 字段中输入 operators.coreos.com/kubevirt-hyperconverged.openshift-cnv，以显示 OpenShift Virtualization CRD。
3. 点每个 CRD 旁边的 Options 菜单 ，然后选择 Delete CustomResourceDefinition。

流程

1. 在 Web 控制台中，点 Networking → NetworkAttachmentDefinitions。

2. 点 Create Network Attachment Definition。

   注意

   网络附加定义必须与 pod 或虚拟机位于同一个命名空间中。

3. 输入唯一 Name 和可选 Description。
4. 从 Network Type 列表中选择 CNV Linux 网桥。
5. 在 Bridge Name 字段输入网桥名称。
6. 可选：如果资源配置了 VLAN ID，请在 VLAN Tag Number 字段中输入 ID 号。
7. 可选： 选择 MAC Spoof Check 来启用 MAC spoof 过滤。此功能只允许单个 MAC 地址退出 pod，从而可以防止使用 MAC 欺骗进行的安全攻击。
8. 点 Create。

流程

1. 根据以下示例创建 NetworkAttachmentDefinition 清单：

   配置文件示例

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: my-secondary-network
     namespace: openshift-cnv
   spec:
     config: '{
       "cniVersion": "0.3.1",
       "name": "migration-bridge",
       "type": "macvlan",
       "master": "eth1",
       "mode": "bridge",
       "ipam": {
         "type": "whereabouts",
         "range": "10.200.5.0/24"
       }
     }'

   Copy to Clipboard Toggle word wrap

   其中：

   metadata.name

   指定 NetworkAttachmentDefinition 对象的名称。

   config.master

   指定要用于实时迁移的 NIC 名称。

   config.type

   指定为 NAD 提供网络的 CNI 插件名称。

   config.range

   为二级网络指定一个 IP 地址范围。这个范围不得与主网络的 IP 地址重叠。

2. 运行以下命令，在默认编辑器中打开 HyperConverged CR：

   $ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnv

   Copy to Clipboard Toggle word wrap

3. 将 NetworkAttachmentDefinition 对象的名称添加到 HyperConverged CR 的 spec.liveMigrationConfig 小节中：

   HyperConverged 清单示例

   apiVersion: hco.kubevirt.io/v1beta1
   kind: HyperConverged
   metadata:
     name: kubevirt-hyperconverged
     namespace: openshift-cnv
   spec:
     liveMigrationConfig:
       completionTimeoutPerGiB: 800
       network: <network>
       parallelMigrationsPerCluster: 5
       parallelOutboundMigrationsPerNode: 2
       progressTimeout: 150
   # ...

   Copy to Clipboard Toggle word wrap

   其中：

   network

   指定要用于实时迁移的 Multus NetworkAttachmentDefinition 对象的名称。

4. 保存更改并退出编辑器。virt-handler Pod 会重启并连接到二级网络。

流程

1. 在 OpenShift Container Platform web 控制台中进入到 Virtualization > Overview。
2. 点 Settings 选项卡，然后点 Live migration。
3. 从 Live migration network 列表中选择网络。

流程

1. 创建一个 SriovNetworkNodePolicy 对象，然后在 <name>-sriov-node-network.yaml 文件中保存 YAML。使用配置的实际名称替换 <name>。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: <name> 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: <sriov_resource_name> 

   3

   
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true" 

   4

   
     priority: <priority> 

   5

   
     mtu: <mtu> 

   6

   
     numVfs: <num> 

   7

   
     nicSelector: 

   8

   
       vendor: "<vendor_code>" 

   9

   
       deviceID: "<device_id>" 

   10

   
       pfNames: ["<pf_name>", ...] 

   11

   
       rootDevices: ["<pci_bus_id>", "..."] 

   12

   
     deviceType: vfio-pci 

   13

   
     isRdma: false 

   14

   Copy to Clipboard Toggle word wrap

   1

   为 CR 对象指定一个名称。

   2

   指定 SR-IOV Operator 安装到的命名空间。

   3

   指定 SR-IOV 设备插件的资源名称。您可以为一个资源名称创建多个 SriovNetworkNodePolicy 对象。

   4

   指定节点选择器来选择要配置哪些节点。只有所选节点上的 SR-IOV 网络设备才会被配置。SR-IOV Container Network Interface（CNI）插件和设备插件仅在所选节点上部署。

   5

   可选：指定一个 0 到 99 之间的整数。较小的数值具有较高的优先权，优先级 10 高于优先级 99。默认值为 99。

   6

   可选：为虚拟功能（VF）的最大传输单位 (MTU) 指定一个值。最大 MTU 值可能因不同的 NIC 型号而有所不同。

   7

   为 SR-IOV 物理网络设备指定要创建的虚拟功能 (VF) 的数量。对于 Intel 网络接口控制器（NIC），VF 的数量不能超过该设备支持的 VF 总数。对于 Mellanox NIC，VF 的数量不能超过 127。

   8

   nicSelector 映射为 Operator 选择要配置的以太网设备。您不需要为所有参数指定值。

   注意

   建议您以足够的准确度来识别以太网适配器，以便尽量减小意外选择其他以太网设备的可能性。如果指定了rootDevices，则必须同时为 vendor、 deviceID 或 pfNames 指定一个值。

   如果同时指定了 pfNames 和 rootDevices，请确保它们指向同一个设备。

   9

   可选：指定 SR-IOV 网络设备的厂商十六进制代码。允许的值只能是 8086 或 15b3。

   10

   可选：指定 SR-IOV 网络设备的设备十六进制代码。允许的值只能是 158b、1015、1017。

   11

   可选：参数接受包括以太网设备的一个或多个物理功能 (PF) 的数组。

   12

   参数接受一个包括一个或多个 PCI 总线地址，用于以太网设备的物理功能的数组。使用以下格式提供地址: 0000:02:00.1。

   13

   OpenShift Virtualization 中的虚拟功能需要 vfio-pci 驱动程序类型。

   14

   可选：指定是否启用远程直接访问（RDMA）模式。对于 Mellanox 卡，请将 isRdma 设置为 false。默认值为 false。

   注意

   如果将 RDMA 标记设定为 true，您可以继续使用启用了 RDMA 的 VF 作为普通网络设备。设备可在其中的一个模式中使用。

2. 可选：将 SR-IOV 功能的集群节点标记为 SriovNetworkNodePolicy.Spec.NodeSelector （如果它们还没有标记）。有关标记节点的更多信息，请参阅"了解如何更新节点上的标签"。

3. 创建 SriovNetworkNodePolicy 对象：

   $ oc create -f <name>-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   其中 <name> 指定这个配置的名称。

   在应用配置更新后，sriov-network-operator 命名空间中的所有 Pod 都会变为 Running 状态。

4. 要验证是否已配置了 SR-IOV 网络设备，请输入以下命令。将 <node_name> 替换为带有您刚才配置的 SR-IOV 网络设备的节点名称。

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap