11.6. 实时迁移附加了 Mellanox 虚拟功能的虚拟机

流程

1. 在源主机上，将 Mellanox 网络设备设置为 switchdev 模式。

   # devlink dev eswitch set pci/<device_pci_address> mode switchdev

2. 在源主机上，在 Mellanox 设备上创建一个虚拟功能。

   # echo 1 > /sys/bus/pci/devices/0000\:e1\:00.0/sriov_numvfs

   文件路径的 /0000\:e1\:00.0/ 部分基于设备的 PCI 地址。在示例中，其为：0000:e1:00.0

3. 在源主机上，将 VF 与其驱动程序解绑。

   # virsh nodedev-detach <vf_pci_address> --driver pci-stub

   您可以使用以下命令查看 VF 的 PCI 地址：

   # lshw -c network -businfo
   
   Bus info            Device         Class          Description
   =============================================================================
   pci@0000:e1:00.0    enp225s0np0    network        MT2910 Family [ConnectX-7]
   pci@0000:e1:00.1    enp225s0v0     network        ConnectX Family mlx5Gen Virtual Function

4. 在源主机上，启用 VF 的迁移功能。

   # devlink port function set pci/0000:e1:00.0/1 migratable enable

   在本例中，pci/0000:e1:00.0/1 指向带有给定 PCI 地址的 Mellanox 设备上的第一个 VF。

5. 在源主机上，为 VF 的迁移配置 Open vSwitch (OVS)。如果 Mellanox 设备处于 switchdev 模式，则无法通过网络传输数据。

   1. 确保 openvswitch 服务正在运行。

      # systemctl start openvswitch

   2. 启用硬件卸载，以提高网络性能。

      # ovs-vsctl set Open_vSwitch . other_config:hw-offload=true

   3. 增加最大闲置时间，以确保网络连接在迁移过程中保持打开状态。

      # ovs-vsctl set Open_vSwitch . other_config:max-idle=300000

   4. 在 OVS 实例中创建一个新网桥。

      # ovs-vsctl add-br <bridge_name>

   5. 重新启动 openvswitch 服务。

      # systemctl restart openvswitch

   6. 将物理 Mellanox 设备添加到 OVS 网桥。

      # ovs-vsctl add-port <bridge_name> enp225s0np0

      在本例中，enp225s0np0 是 Mellanox 设备的网络接口名称。

   7. 将 Mellanox 设备的 VF 添加到 OVS 网桥。

      # ovs-vsctl add-port <bridge_name> enp225s0npf0vf0

      在本例中，enp225s0npf0vf0 是 VF 的网络接口名称。

6. 在 目标主机上 重复步骤 1-5。

7. 在源主机上，打开一个新文件，如 mlx_vf.xml，并添加以下 VF 的 XML 配置：

    <interface type='hostdev' managed='yes'>
         <mac address='52:54:00:56:8c:f7'/>
         <source>
           <address type='pci' domain='0x0000' bus='0xe1' slot='0x00' function='0x1'/>
         </source>
    </interface>

   这个示例将 VF 的 pass-through 配置为虚拟机的网络接口。确保 MAC 地址是唯一的，并在源主机上使用 VF 的 PCI 地址。

8. 在源主机上，将 VF XML 文件附加到虚拟机。

   # virsh attach-device <vm_name> mlx_vf.xml --live --config

   在本例中，mlx_vf.xml 是带有 VF 配置的 XML 文件的名称。使用 --live 选项将设备附加到正在运行的虚拟机上。

9. 在源主机上，启动正在运行的带有附加 VF 的虚拟机的实时迁移。

   # virsh migrate --live --domain <vm_name> --desturi qemu+ssh://<destination_host_ip_address>/system

   有关执行实时迁移的详情，请参阅 使用命令行迁移虚拟机。

验证

1. 在迁移的虚拟机中，查看 Mellanox VF 的网络接口名称。

   # ifconfig
   
   eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
           inet 192.168.1.10  netmask 255.255.255.0  broadcast 192.168.1.255
           inet6 fe80::a00:27ff:fe4e:66a1  prefixlen 64  scopeid 0x20<link>
           ether 08:00:27:4e:66:a1  txqueuelen 1000  (Ethernet)
           RX packets 100000  bytes 6543210 (6.5 MB)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 100000  bytes 6543210 (6.5 MB)
           TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
   
   enp4s0f0v0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
           inet 192.168.3.10  netmask 255.255.255.0  broadcast 192.168.3.255
           inet6 fe80::a00:27ff:fe4e:66c3  prefixlen 64  scopeid 0x20<link>
           ether 08:00:27:4e:66:c3  txqueuelen 1000  (Ethernet)
           RX packets 200000  bytes 12345678 (12.3 MB)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 200000  bytes 12345678 (12.3 MB)
           TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

2. 在迁移的虚拟机中，检查 Mellanox VF 是否正常工作，例如：

   # ping -I <VF_interface_name> 8.8.8.8
   
   PING 8.8.8.8 (8.8.8.8) from 192.168.3.10 <VF_interface_name>: 56(84) bytes of data.
   64 bytes from 8.8.8.8: icmp_seq=1 ttl=57 time=27.4 ms
   64 bytes from 8.8.8.8: icmp_seq=2 ttl=57 time=26.9 ms
   
   --- 8.8.8.8 ping statistics ---
   2 packets transmitted, 2 received, 0% packet loss, time 1002ms
   rtt min/avg/max/mdev = 26.944/27.046/27.148/0.102 ms