10.18. 虚拟机网络

流程

1. 编辑虚拟机配置文件的 interfaces 规格：

   kind: VirtualMachine
   spec:
     domain:
       devices:
         interfaces:
           - name: default
             masquerade: {} 1
             ports: 2
               - port: 80
     networks:
     - name: default
       pod: {}

   1

   使用伪装模式进行连接。

   2

   可选：列出您要从虚拟机公开的端口，每个都由 port 字段指定。port 值必须是 0 到 65536 之间的数字。如果没有使用 port 数组，则有效范围内的所有端口都开放给传入流量。在本例中，端口 80 上允许传入的流量。

   注意

   端口 49152 和 49153 保留供 libvirt 平台使用，这些端口的所有其他传入流量将被丢弃。

2. 创建虚拟机：

   $ oc create -f <vm-name>.yaml

流程

1. 在新的虚拟机配置中，包含具有 masquerade 的接口，并使用 cloud-init 配置 IPv6 地址和默认网关。

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     name: example-vm-ipv6
   # ...
             interfaces:
               - name: default
                 masquerade: {} 1
                 ports:
                   - port: 80 2
         networks:
         - name: default
           pod: {}
         volumes:
         - cloudInitNoCloud:
             networkData: |
               version: 2
               ethernets:
                 eth0:
                   dhcp4: true
                   addresses: [ fd10:0:2::2/120 ] 3
                   gateway6: fd10:0:2::1 4

   1

   使用伪装模式进行连接。

   2

   允许虚拟机上端口 80 上的传入流量。

   3

   由虚拟机实例配置中的 Network.pod.vmIPv6NetworkCIDR 字段确定的静态 IPv6 地址。默认值为 fd10:0:2::2/120。

   4

   网关 IP 地址由虚拟机实例配置中的 Network.pod.vmIPv6NetworkCIDR 字段决定。默认值为 fd10:0:2::1。

2. 在命名空间中创建虚拟机：

   $ oc create -f example-vm-ipv6.yaml

流程

1. 编辑 VirtualMachine 清单，为创建服务添加标签：

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     name: vm-ephemeral
     namespace: example-namespace
   spec:
     running: false
     template:
       metadata:
         labels:
           special: key 1
   # ...

   1

   在 spec.template.metadata.labels 部分添加标签 special: key。

   注意

   虚拟机上的标签会传递到 pod。special: key 标签必须与 Service 清单的 spec.selector 属性中的标签匹配。

2. 保存 VirtualMachine 清单文件以应用更改。

3. 创建 Service 清单以公开虚拟机：

   apiVersion: v1
   kind: Service
   metadata:
     name: vmservice 1
     namespace: example-namespace 2
   spec:
     externalTrafficPolicy: Cluster 3
     ports:
     - nodePort: 30000 4
       port: 27017
       protocol: TCP
       targetPort: 22 5
     selector:
       special: key 6
     type: NodePort 7

   1

   Service 对象的名称。

   2

   Service 对象所在的命名空间。这必须与 VirtualMachine 清单的 metadata.namespace 字段匹配。

   3

   可选：指定节点如何分发在外部 IP 地址上接收的服务流量。这只适用于 NodePort 和 LoadBalancer 服务类型。默认值为 Cluster，它将流量平均路由到所有集群端点。

   4

   可选：设置后，nodePort 值必须在所有服务间是唯一的。如果没有指定，则会动态分配以上 30000 范围中的值。

   5

   可选：由服务公开的虚拟机端口。如果虚拟机清单中定义了端口列表，则必须引用打开端口。如果没有指定 targetPort，它将采用与 port 相同的值。

   6

   对您在 VirtualMachine 清单的 spec.template.metadata.labels 小节中添加的标签的引用。

   7

   服务的类型。可能的值有 ClusterIP、NodePort 和 LoadBalancer。

4. 保存 Service 清单文件。

5. 运行以下命令来创建服务：

   $ oc create -f <service_name>.yaml

6. 启动虚拟机。如果虚拟机已在运行，重启它。

验证

1. 查询 Service 对象以验证它是否可用：

   $ oc get service -n example-namespace

   ClusterIP 服务的输出示例

   NAME        TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)     AGE
   vmservice   ClusterIP   172.30.3.149   <none>        27017/TCP   2m

   NodePort 服务的输出示例

   NAME        TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)            AGE
   vmservice   NodePort    172.30.232.73   <none>       27017:30000/TCP    5m

   LoadBalancer 服务的输出示例

   NAME        TYPE            CLUSTER-IP     EXTERNAL-IP                    PORT(S)           AGE
   vmservice   LoadBalancer    172.30.27.5   172.29.10.235,172.29.10.235     27017:31829/TCP   5s

2. 选择连接到虚拟机的适当方法：

   • 对于 ClusterIP 服务，使用服务 IP 地址和服务端口从集群内部连接到虚拟机。例如：

     $ ssh fedora@172.30.3.149 -p 27017

   • 对于 NodePort 服务，通过指定节点 IP 地址和集群网络之外的节点端口来连接到虚拟机。例如：

     $ ssh fedora@$NODE_IP -p 30000

   • 对于 LoadBalancer 服务，使用 vinagre 客户端使用公共 IP 地址和端口连接到虚拟机。外部端口是动态分配的。

流程

1. 创建一个 SriovNetworkNodePolicy 对象，然后在 <name>-sriov-node-network.yaml 文件中保存 YAML。使用配置的实际名称替换 <name>。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: <name> 1
     namespace: openshift-sriov-network-operator 2
   spec:
     resourceName: <sriov_resource_name> 3
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true" 4
     priority: <priority> 5
     mtu: <mtu> 6
     numVfs: <num> 7
     nicSelector: 8
       vendor: "<vendor_code>" 9
       deviceID: "<device_id>" 10
       pfNames: ["<pf_name>", ...] 11
       rootDevices: ["<pci_bus_id>", "..."] 12
     deviceType: vfio-pci 13
     isRdma: false 14

   1

   为 CR 对象指定一个名称。

   2

   指定 SR-IOV Operator 安装到的命名空间。

   3

   指定 SR-IOV 设备插件的资源名称。您可以为一个资源名称创建多个 SriovNetworkNodePolicy 对象。

   4

   指定节点选择器来选择要配置哪些节点。只有所选节点上的 SR-IOV 网络设备才会被配置。SR-IOV Container Network Interface（CNI）插件和设备插件仅在所选节点上部署。

   5

   可选：指定一个 0 到 99 之间的整数。较小的数值具有较高的优先权，优先级 10 高于优先级 99。默认值为 99。

   6

   可选：为虚拟功能（VF）的最大传输单位 (MTU) 指定一个值。最大 MTU 值可能因不同的 NIC 型号而有所不同。

   7

   为 SR-IOV 物理网络设备指定要创建的虚拟功能 (VF) 的数量。对于 Intel 网络接口控制器（NIC），VF 的数量不能超过该设备支持的 VF 总数。对于 Mellanox NIC，VF 的数量不能超过 127。

   8

   nicSelector 映射为 Operator 选择要配置的以太网设备。您不需要为所有参数指定值。建议您以足够的准确度来识别以太网适配器，以便尽量减小意外选择其他以太网设备的可能性。如果指定了rootDevices，则必须同时为 vendor、 deviceID 或 pfNames 指定一个值。如果同时指定了 pfNames 和 rootDevices，请确保它们指向同一个设备。

   9

   可选：指定 SR-IOV 网络设备的厂商十六进制代码。允许的值只能是 8086 或 15b3。

   10

   可选：指定 SR-IOV 网络设备的设备十六进制代码。允许的值只能是 158b、1015、1017。

   11

   可选：参数接受包括以太网设备的一个或多个物理功能 (PF) 的数组。

   12

   参数接受一个包括一个或多个 PCI 总线地址，用于以太网设备的物理功能的数组。使用以下格式提供地址: 0000:02:00.1。

   13

   OpenShift Virtualization 中的虚拟功能需要 vfio-pci 驱动程序类型。

   14

   可选：指定是否启用远程直接访问（RDMA）模式。对于 Mellanox 卡，请将 isRdma 设置为 false。默认值为 false。

   注意

   如果将 RDMA 标记设定为 true，您可以继续使用启用了 RDMA 的 VF 作为普通网络设备。设备可在其中的一个模式中使用。

2. 可选：将 SR-IOV 功能的集群节点标记为 SriovNetworkNodePolicy.Spec.NodeSelector （如果它们还没有标记）。有关标记节点的更多信息，请参阅"了解如何更新节点上的标签"。

3. 创建 SriovNetworkNodePolicy 对象：

   $ oc create -f <name>-sriov-node-network.yaml

   其中 <name> 指定这个配置的名称。

   在应用配置更新后，sriov-network-operator 命名空间中的所有 Pod 都会变为 Running 状态。

4. 要验证是否已配置了 SR-IOV 网络设备，请输入以下命令。将 <node_name> 替换为带有您刚才配置的 SR-IOV 网络设备的节点名称。

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

流程

1. 创建以下 SriovNetwork 对象，然后在 <name>-sriov-network.yaml 文件中保存 YAML。用这个额外网络的名称替换 <name> 。

2. 运行以下命令来创建对象。用这个额外网络的名称替换 <name> 。

   $ oc create -f <name>-sriov-network.yaml

3. 可选： 要确认与您在上一步中创建的 SriovNetwork 对象关联的 NetworkAttachmentDefinition 对象是否存在，请输入以下命令。将 <namespace> 替换为您在 SriovNetwork 对象中指定的命名空间。

   $ oc get net-attach-def -n <namespace>

流程

1. 在虚拟机配置的 spec.domain.devices.interfaces 和 spec.networks 中包含 SR-IOV 网络详情：

   kind: VirtualMachine
   # ...
   spec:
     domain:
       devices:
         interfaces:
         - name: <default> 1
           masquerade: {} 2
         - name: <nic1> 3
           sriov: {}
     networks:
     - name: <default> 4
       pod: {}
     - name: <nic1> 5
       multus:
           networkName: <sriov-network> 6
   # ...

   1

   连接到 pod 网络的接口的唯一名称。

   2

   masquerade 绑定到默认 pod 网络。

   3

   SR-IOV 接口的唯一名称。

   4

   pod 网络接口的名称。这必须与之前定义的 interfaces.name 相同。

   5

   SR-IOV 接口的名称。这必须与之前定义的 interfaces.name 相同。

   6

   SR-IOV 网络附加定义的名称。

2. 应用虚拟机配置：

   $ oc apply -f <vm-sriov.yaml> 1

   1

   虚拟机 YAML 文件的名称。

流程

1. 映射计算节点拓扑，以确定为 DPDK 应用程序隔离哪些非统一内存访问 (NUMA) CPU，以及为操作系统 (OS) 保留哪些非一致性内存访问 (NUMA) CPU。

2. 使用自定义角色标记计算节点的子集，例如 worker-dpdk ：

   $ oc label node <node_name> node-role.kubernetes.io/worker-dpdk=""

3. 创建一个新的 MachineConfigPool 清单，其中包含 spec.machineConfigSelector 对象中的 worker-dpdk 标签：

   MachineConfigPool 清单示例

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: worker-dpdk
     labels:
       machineconfiguration.openshift.io/role: worker-dpdk
   spec:
     machineConfigSelector:
       matchExpressions:
         - key: machineconfiguration.openshift.io/role
           operator: In
           values:
             - worker
             - worker-dpdk
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker-dpdk: ""

4. 创建一个 PerformanceProfile 清单，它应用到标记的节点以及您在上一步中创建的机器配置池。性能配置集指定为 DPDK 应用程序隔离的 CPU，以及用于保留保留而保留的 CPU。

   PerformanceProfile 清单示例

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: profile-1
   spec:
     cpu:
       isolated: 4-39,44-79
       reserved: 0-3,40-43
     hugepages:
       defaultHugepagesSize: 1G
       pages:
       - count: 32
         node: 0
         size: 1G
     net:
       userLevelNetworking: true
     nodeSelector:
       node-role.kubernetes.io/worker-dpdk: ""
     numa:
       topologyPolicy: single-numa-node

   注意

   应用 MachineConfigPool 和 PerformanceProfile 清单后，计算节点会自动重启。

5. 从 PerformanceProfile 对象的 status.runtimeClass 字段检索生成的 RuntimeClass 资源的名称：

   $ oc get performanceprofiles.performance.openshift.io profile-1 -o=jsonpath='{.status.runtimeClass}{"\n"}'

6. 通过在 HyperConverged 自定义资源 (CR)中添加以下注解，将之前获取的 RuntimeClass 名称设置为 virt-launcher pod 的默认容器运行时类：

   $ oc annotate --overwrite -n openshift-cnv hco kubevirt-hyperconverged \
       kubevirt.kubevirt.io/jsonpatch='[{"op": "add", "path": "/spec/configuration/defaultRuntimeClass", "value": <runtimeclass_name>}]'

   注意

   将注解添加到 HyperConverged CR 会更改一个全局设置，该设置会影响应用注解后创建的所有虚拟机。设置此注解会破坏 OpenShift Virtualization 实例的支持，且必须仅在测试集群中使用。为获得最佳性能，适用于支持例外。

7. 创建一个 SriovNetworkNodePolicy 对象，并将 spec.deviceType 字段设置为 vfio-pci ：

   SriovNetworkNodePolicy 清单示例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policy-1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: intel_nics_dpdk
     deviceType: vfio-pci
     mtu: 9000
     numVfs: 4
     priority: 99
     nicSelector:
       vendor: "8086"
       deviceID: "1572"
       pfNames:
         - eno3
       rootDevices:
         - "0000:19:00.2"
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true"

流程

1. 为您的 DPDK 应用程序创建一个命名空间：

   $ oc create ns dpdk-checkup-ns

2. 创建一个 SriovNetwork 对象来引用 SriovNetworkNodePolicy 对象。创建 SriovNetwork 对象时，SR-IOV Network Operator 会自动创建一个 NetworkAttachmentDefinition 对象。

   SriovNetwork 清单示例

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: dpdk-sriovnetwork
     namespace: openshift-sriov-network-operator
   spec:
     ipam: |
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "routes": [{
           "dst": "0.0.0.0/0"
         }],
         "gateway": "10.56.217.1"
       }
     networkNamespace: dpdk-checkup-ns 1
     resourceName: intel_nics_dpdk 2
     spoofChk: "off"
     trust: "on"
     vlan: 1019

   1

   部署 NetworkAttachmentDefinition 对象的命名空间。

   2

   为 DPDK 工作负载配置集群时创建的 SriovNetworkNodePolicy 对象的 spec.resourceName 属性的值。

3. 可选：运行虚拟机延迟检查以验证网络是否已正确配置。
4. 可选：运行 DPDK 检查，以验证命名空间是否已准备好 DPDK 工作负载。

流程

1. 编辑 VirtualMachine 清单，使其包含 SR-IOV 网络接口、CPU 拓扑、CRI-O 注解和巨页的信息：

   VirtualMachine 清单示例

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     name: rhel-dpdk-vm
   spec:
     running: true
     template:
       metadata:
         annotations:
           cpu-load-balancing.crio.io: disable 1
           cpu-quota.crio.io: disable 2
           irq-load-balancing.crio.io: disable 3
       spec:
         domain:
           cpu:
             sockets: 1 4
             cores: 5 5
             threads: 2
             dedicatedCpuPlacement: true
             isolateEmulatorThread: true
           interfaces:
             - masquerade: {}
               name: default
             - model: virtio
               name: nic-east
               pciAddress: '0000:07:00.0'
               sriov: {}
             networkInterfaceMultiqueue: true
             rng: {}
         memory:
           hugepages:
             pageSize: 1Gi 6
             guest: 8Gi
         networks:
           - name: default
             pod: {}
           - multus:
               networkName: dpdk-net 7
             name: nic-east
   # ...

   1

   此注解指定为容器使用的 CPU 禁用负载均衡。

   2

   此注解指定容器使用的 CPU 配额被禁用。

   3

   此注解指定，容器使用的 CPU 禁用中断请求 (IRQ) 负载均衡。

   4

   虚拟机中的插槽数。此字段必须设置为 1，才能从相同的 Non-Uniform Memory Access (NUMA) 节点调度 CPU。

   5

   虚拟机中的内核数。这必须大于或等于 1。在本例中，虚拟机被调度有 5 个超线程或 10 个 CPU。

   6

   巨页的大小。x86-64 构架的可能值为 1Gi 和 2Mi。在这个示例中，请求大小为 1Gi 的 8 个巨页。

   7

   SR-IOV NetworkAttachmentDefinition 对象的名称。

2. 保存并退出编辑器。

3. 应用 VirtualMachine 清单：

   $ oc apply -f <file_name>.yaml

4. 配置客户机操作系统。以下示例显示了 RHEL 8 OS 的配置步骤：

   1. 使用 GRUB 引导装载程序命令行界面配置巨页。在以下示例中，指定了 8 个 1G 巨页。

      $ grubby --update-kernel=ALL --args="default_hugepagesz=1GB hugepagesz=1G hugepages=8"

   2. 要使用 TuneD 应用程序中的 cpu-partitioning 配置集来实现低延迟性能优化，请运行以下命令：

      $ dnf install -y tuned-profiles-cpu-partitioning

      $ echo isolated_cores=2-9 > /etc/tuned/cpu-partitioning-variables.conf

      前两个 CPU (0 和 1) 被设置，用于保存任务，其余则隔离 DPDK 应用程序。

      $ tuned-adm profile cpu-partitioning

   3. 使用 driverctl 设备驱动程序控制工具覆盖 SR-IOV NIC 驱动程序：

      $ dnf install -y driverctl

      $ driverctl set-override 0000:07:00.0 vfio-pci

5. 重启虚拟机以应用更改。

流程

1. 编辑虚拟机配置文件以添加 sidecar.istio.io/inject: "true" 注解。

   配置文件示例

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     labels:
       kubevirt.io/vm: vm-istio
     name: vm-istio
   spec:
     runStrategy: Always
     template:
       metadata:
         labels:
           kubevirt.io/vm: vm-istio
           app: vm-istio 1
         annotations:
           sidecar.istio.io/inject: "true" 2
       spec:
         domain:
           devices:
             interfaces:
             - name: default
               masquerade: {} 3
             disks:
             - disk:
                 bus: virtio
               name: containerdisk
             - disk:
                 bus: virtio
               name: cloudinitdisk
           resources:
             requests:
               memory: 1024M
         networks:
         - name: default
           pod: {}
         terminationGracePeriodSeconds: 180
         volumes:
         - containerDisk:
             image: registry:5000/kubevirt/fedora-cloud-container-disk-demo:devel
           name: containerdisk

   1

   键/值对（标签）必须与 service selector 属性匹配。

   2

   启用自动 sidecar 注入的注解。

   3

   用于默认 pod 网络的绑定方法（伪装模式）。

2. 应用 VM 配置：

   $ oc apply -f <vm_name>.yaml 1

   1

   虚拟机 YAML 文件的名称。

3. 创建一个 Service 对象，将虚拟机公开给服务网格。

     apiVersion: v1
     kind: Service
     metadata:
       name: vm-istio
     spec:
       selector:
         app: vm-istio 1
       ports:
         - port: 8080
           name: http
           protocol: TCP

   1

   服务选择器，决定服务的目标 pod 集合。此属性对应于虚拟机配置文件中的 spec.metadata.labels 字段。在上例中，名为 vm-istio 的 Service 对象在任何带有标签 app=vm-istio 的 pod 上都以 TCP 端口 8080 为目标。

4. 创建服务：

   $ oc create -f <service_name>.yaml 1

   1

   服务 YAML 文件的名称。

流程

1. 在 OpenShift Container Platform 控制台中，从侧边菜单中点 Virtualization VirtualMachines。
2. 选择虚拟机名称以打开 VirtualMachine 详情页。

流程

1. 使用 MetalLB 或其他负载均衡器创建 LoadBalancer 服务，以在集群外公开 DNS 服务器。该服务侦听端口 53，目标端口 5353。例如：

   $ oc expose -n openshift-cnv deployment/secondary-dns --name=dns-lb --type=LoadBalancer --port=53 --target-port=5353 --protocol='UDP'

2. 通过查询 Service 对象来检索服务的公共 IP 地址：

   $ oc get service -n openshift-cnv

   输出示例

   NAME        TYPE            CLUSTER-IP     EXTERNAL-IP      PORT(S)          AGE
   dns-lb   LoadBalancer       172.30.27.5    10.46.41.94      53:31829/TCP     5s

3. 通过编辑 HyperConverged CR 部署 DNS 服务器和监控组件：

   apiVersion: hco.kubevirt.io/v1beta1
   kind: HyperConverged
   metadata:
     name: kubevirt-hyperconverged
     namespace: openshift-cnv
   spec:
       featureGates:
         deployKubeSecondaryDNS: true 1
       kubeSecondaryDNSNameServerIP: "10.46.41.94" 2
   # ...

   1

   将 KubeSecondaryDNS 功能门设置为 true。

   2

   将服务的 IP 地址设置为在第 2 步中检索的值。

4. 使用以下命令，检索 OpenShift Container Platform 集群的 FQDN：

   $ oc get dnses.config.openshift.io cluster -o json | jq .spec.baseDomain

   输出示例

   openshift.example.com

5. 使用以下方法之一指向 DNS 服务器：

   • 将 kubeSecondaryDNSNameServerIP 值添加到本地机器的 resolv.conf 文件中。

     注意

     编辑 resolv.conf 文件会覆盖任何现有的 DNS 设置。

   • 将 kubeSecondaryDNSNameServerIP 值和集群 FQDN 添加到企业 DNS 服务器记录中。例如：

     vm.<FQDN>. IN NS ns.vm.<FQDN>.

     ns.vm.<FQDN>. IN A 10.46.41.94

流程

1. 使用以下命令检索虚拟机配置：

   $ oc get vm -n <namespace> <vm_name> -o yaml

   输出示例

   apiVersion: kubevirt.io/v1
   kind: VirtualMachine
   metadata:
     labels:
       kubevirt.io/vm: example-vm
     name: example-vm
     namespace: example-namespace
   spec:
     running: true
     template:
       metadata:
         labels:
           kubevirt.io/vm: example-vm
       spec:
         domain:
           devices:
   # ...
             interfaces:
               - bridge: {}
                 name: example-nic
   # ...
         networks:
         - multus:
             networkName: bridge-conf
           name: example-nic 1
   # ...

   1

   指定二级网络接口的名称。

2. 使用 ssh 命令连接到虚拟机：

   $ ssh <user_name>@<interface_name>.<vm_name>.<namespace>.vm.<FQDN> 1

   1

   指定用户名、接口名称、虚拟机名称、虚拟机名称、虚拟机名称和 FQDN。

   Example

   $ ssh you@example-nic.example-vm.example-namespace.vm.openshift.example.com