12.6. 연결된 Mellanox 가상 기능을 사용하여 가상 머신 실시간 마이그레이션

프로세스

1. 소스 호스트에서 Mellanox 네트워킹 장치를 switchdev 모드로 설정합니다.

   # devlink dev eswitch set pci/<device_pci_address> mode switchdev

2. 소스 호스트에서 Mellanox 장치에 가상 기능을 생성합니다.

   # echo 1 > /sys/bus/pci/devices/0000\:e1\:00.0/sriov_numvfs

   파일 경로의 /0000\:e1\:00.0/ 부분은 장치의 PCI 주소를 기반으로 합니다. 예에서는 0000:e1:00.0입니다.

3. VF의 PCI 주소를 확인합니다.

   # lshw -c network -businfo
   
   Bus info            Device         Class          Description
   =============================================================================
   pci@0000:e1:00.0    enp225s0np0    network        MT2910 Family [ConnectX-7]
   pci@0000:e1:00.1    enp225s0v0     network        ConnectX Family mlx5Gen Virtual Function

4. 소스 호스트에서 드라이버에서 VF를 바인딩 해제합니다.

   # virsh nodedev-detach <vf_pci_address> --driver pci-stub

5. 소스 호스트에서 VF의 마이그레이션 기능을 활성화합니다.

   # devlink port function set pci/0000:e1:00.0/1 migratable enable

   이 예에서 pci/0000:e1:00.0/1 은 지정된 PCI 주소가 있는 Mellanox 장치의 첫 번째 VF를 나타냅니다.

6. 소스 호스트에서 VF 마이그레이션을 위해 OVS(Open vSwitch)를 구성합니다. Mellanox 장치가 switchdev 모드에 있는 경우 네트워크를 통해 데이터를 전송할 수 없습니다.

   1. openvswitch 서비스가 실행 중인지 확인합니다.

      # systemctl start openvswitch

   2. 하드웨어 오프로드를 활성화하여 네트워킹 성능을 개선할 수 있습니다.

      # ovs-vsctl set Open_vSwitch . other_config:hw-offload=true

   3. 마이그레이션 중에 네트워크 연결이 열린 상태로 유지되도록 최대 유휴 시간을 늘립니다.

      # ovs-vsctl set Open_vSwitch . other_config:max-idle=300000

   4. OVS 인스턴스에 새 브릿지를 만듭니다.

      # ovs-vsctl add-br <bridge_name>

   5. openvswitch 서비스를 다시 시작합니다.

      # systemctl restart openvswitch

   6. 물리적 Mellanox 장치를 OVS 브리지에 추가합니다.

      # ovs-vsctl add-port <bridge_name> enp225s0np0

      이 예에서 enp225s0np0 은 Mellanox 장치의 네트워크 인터페이스 이름입니다.

   7. Mellanox 장치의 VF를 OVS 브리지에 추가합니다.

      # ovs-vsctl add-port <bridge_name> enp225s0npf0vf0

      이 예에서 enp225s0npf0vff0 은 VF의 네트워크 인터페이스 이름입니다.

7. 대상 호스트에서 1-5단계를 반복합니다.

8. 소스 호스트에서 mlx_vf.xml 과 같은 새 파일을 열고 VF의 다음 XML 구성을 추가합니다.

    <interface type='hostdev' managed='yes'>
         <mac address='52:54:00:56:8c:f7'/>
         <source>
           <address type='pci' domain='0x0000' bus='0xe1' slot='0x00' function='0x1'/>
         </source>
    </interface>

   이 예에서는 VF의 통과를 VM의 네트워크 인터페이스로 구성합니다. MAC 주소가 고유한지 확인하고 소스 호스트에서 VF의 PCI 주소를 사용합니다.

9. 소스 호스트에서 VF XML 파일을 VM에 연결합니다.

   # virsh attach-device <vm_name> mlx_vf.xml --live --config

   이 예제에서 mlx_vf.xml 은 VF 구성이 포함된 XML 파일의 이름입니다. 장치를 실행 중인 VM에 연결하려면 --live 옵션을 사용합니다.

10. 소스 호스트에서 연결된 VF를 사용하여 실행 중인 VM의 실시간 마이그레이션을 시작합니다.

    # virsh migrate --live --domain <vm_name> --desturi qemu+ssh://<destination_host_ip_address>/system

    실시간 마이그레이션 수행에 대한 자세한 내용은 명령줄을 사용하여 가상 머신 마이그레이션을 참조하십시오.

검증

1. 마이그레이션된 VM에서 Mellanox VF의 네트워크 인터페이스 이름을 확인합니다.

   # ifconfig
   
   eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
           inet 192.168.1.10  netmask 255.255.255.0  broadcast 192.168.1.255
           inet6 fe80::a00:27ff:fe4e:66a1  prefixlen 64  scopeid 0x20<link>
           ether 08:00:27:4e:66:a1  txqueuelen 1000  (Ethernet)
           RX packets 100000  bytes 6543210 (6.5 MB)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 100000  bytes 6543210 (6.5 MB)
           TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
   
   enp4s0f0v0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
           inet 192.168.3.10  netmask 255.255.255.0  broadcast 192.168.3.255
           inet6 fe80::a00:27ff:fe4e:66c3  prefixlen 64  scopeid 0x20<link>
           ether 08:00:27:4e:66:c3  txqueuelen 1000  (Ethernet)
           RX packets 200000  bytes 12345678 (12.3 MB)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 200000  bytes 12345678 (12.3 MB)
           TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

   이 예에서 enp4s0f0v0 인터페이스가 있으면 mlx5_vfio_pci 드라이버가 마이그레이션 중에 장치 상태를 성공적으로 전송했음을 확인합니다. 이렇게 하면 VM에서 직접 하드웨어 액세스를 유지합니다.

2. 마이그레이션된 VM에서 Mellanox VF가 작동하는지 확인합니다. 예를 들면 다음과 같습니다.

   # ping -I <VF_interface_name> 8.8.8.8
   
   PING 8.8.8.8 (8.8.8.8) from 192.168.3.10 <VF_interface_name>: 56(84) bytes of data.
   64 bytes from 8.8.8.8: icmp_seq=1 ttl=57 time=27.4 ms
   64 bytes from 8.8.8.8: icmp_seq=2 ttl=57 time=26.9 ms
   
   --- 8.8.8.8 ping statistics ---
   2 packets transmitted, 2 received, 0% packet loss, time 1002ms
   rtt min/avg/max/mdev = 26.944/27.046/27.148/0.102 ms

   ping에 성공하면 대상 호스트의 Open vSwitch 브리지가 VM 하드웨어 인터페이스와 물리적 네트워크 포트 간에 트래픽을 올바르게 오프로드하고 전환하고 있는지 확인합니다.