Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

12.8. 연결된 Mellanox 가상 기능을 사용하여 가상 머신 실시간 마이그레이션

기술 프리뷰로 Mellanox 네트워킹 장치의 VF(가상 기능)를 사용하여 VM(가상 머신)을 실시간 마이그레이션할 수 있습니다. 현재는 Mellanox CX-7 네트워킹 장치를 사용하는 경우에만 가능합니다. Mellanox CX-7 네트워킹 장치의 VF는 새 mlx5_vfio_pci 드라이버를 사용하여 실시간 마이그레이션에 필요한 기능을 추가하고 libvirt 는 새 드라이버를 VF에 자동으로 바인딩합니다.

제한

현재 Mellanox 가상 기능이 연결된 VM을 실시간 마이그레이션할 때 일부 가상화 기능을 사용할 수 없습니다.

  • VM의 더티 메모리 페이지 비율 계산.
  • 복사 후 실시간 마이그레이션 사용.
  • VM에서 vIOMMU(가상 I/O Memory Management Unit) 장치 사용.
중요

이 기능은 RHEL 9에만 기술 프리뷰로 포함되어 있으며 이는 지원되지 않습니다.

사전 요구 사항

  • Mellanox CX-7 네트워킹 장치가 28.36.1010 보다 크거나 같은 펌웨어 버전이 있습니다.

    펌웨어 버전에 대한 자세한 내용은 Mellanox 설명서를 참조하십시오.

  • mstflint 패키지는 소스 및 대상 호스트 모두에 설치됩니다. 

    # dnf install mstflint
    Copy to Clipboard Toggle word wrap

  • Mellanox CX-7 네트워킹 장치에는 VF_MIGRATION_MODE 가 MIGRATION_ENABLED 로 설정되어 있습니다. 

    # mstconfig -d <device_pci_address> query | grep -i VF_migration

VF_MIGRATION_MODE                           MIGRATION_ENABLED(2)
    Copy to Clipboard Toggle word wrap

    • 다음 명령을 사용하여 VF_MIGRATION_MODE 를 MIGRATION_ENABLED 로 설정할 수 있습니다. 

      # mstconfig -d <device_pci_address> set VF_MIGRATION_MODE=2
      Copy to Clipboard Toggle word wrap

  • openvswitch 패키지는 소스 및 대상 호스트 모두에 설치됩니다. 

    # dnf install openvswitch
    Copy to Clipboard Toggle word wrap

  • 호스트의 CPU 및 펌웨어는 I/O Memory Management Unit(IOMMU)을 지원합니다.

    • Intel CPU를 사용하는 경우 Directed I/O(VT-d)에 대한 Intel Virtualization Technology를 지원해야 합니다.
    • AMD CPU를 사용하는 경우 AMD-Vi 기능을 지원해야 합니다.

  • 호스트 시스템은ACS(Access Control Service)를 사용하여 PCIe 토폴로지에 대한 직접 메모리 액세스(DMA) 격리를 제공합니다. 시스템 벤더에서 이를 확인합니다.

    자세한 내용은 SR-IOV 구현을 위한 하드웨어 고려 사항을 참조하십시오.

  • VF를 생성하는 데 사용할 호스트 네트워크 인터페이스가 실행 중입니다. 예를 들어 eth1 인터페이스를 활성화하고 실행 중인지 확인하려면 다음 명령을 사용합니다. 

    # ip link set eth1 up
# ip link show eth1
8: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000
   link/ether a0:36:9f:8f:3f:b8 brd ff:ff:ff:ff:ff:ff
   vf 0 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
   vf 1 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
   vf 2 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
   vf 3 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
    Copy to Clipboard Toggle word wrap

  • SR-IOV 장치 할당이 작동하려면 호스트 BIOS 및 커널에서 IOMMU 기능을 활성화해야 합니다. 이렇게 하려면 다음을 수행합니다.

    • Intel 호스트에서 Directed I/O(VT-d)에 대한 Intel Virtualization Technology를 활성화합니다.

      1. intel_iommu=on 및 iommu=pt 매개변수를 사용하여 GRUB 설정을 다시 생성합니다. 

        # grubby --args="intel_iommu=on iommu=pt" --update-kernel=ALL
        Copy to Clipboard Toggle word wrap
      2. 호스트를 재부팅합니다.

    • AMD 호스트에서 AMD-Vi를 활성화합니다.

      1. iommu=pt 매개변수를 사용하여 GRUB 설정을 다시 생성합니다. 

        # grubby --args="iommu=pt" --update-kernel=ALL
        Copy to Clipboard Toggle word wrap
      2. 호스트를 재부팅합니다.
  • 소스 호스트와 대상 호스트는 모두 KVM 하이퍼바이저를 사용합니다.
  • 소스 호스트와 대상 호스트는 네트워크를 통해 서로 연결할 수 있습니다. ping 유틸리티를 사용하여 이를 확인합니다.

  • 대상 호스트에서 다음 포트가 열려 있습니다.

    • SSH를 사용하여 대상 호스트에 연결하려면 포트 22가 필요합니다.
    • TLS를 사용하여 대상 호스트에 연결하려면 포트 16509가 필요합니다.
    • TCP를 사용하여 대상 호스트에 연결하려면 포트 16514가 필요합니다.
    • 메모리 및 디스크 마이그레이션 데이터를 전송하기 위해 QEMU에 포트 49152-49215가 필요합니다.
  • 소스 호스트와 대상 호스트는 마이그레이션을 허용하는 운영 체제 및 시스템 유형을 사용하고 있습니다. 이 경우 가상 머신 마이그레이션에 대한 지원되는 호스트를 참조하십시오.
  • VM은 대상 호스트의 CPU 기능과 호환되어야 합니다. 이 경우 가상 머신 마이그레이션에 대한 호스트 CPU 호환성 확인을 참조하십시오.

  • 마이그레이션할 VM의 디스크 이미지는 소스 호스트와 대상 호스트 둘 다에 액세스할 수 있는 별도의 네트워크 위치에 있습니다. 오프라인 마이그레이션에는 선택 사항이지만 실행 중인 VM을 마이그레이션하는 데 필요합니다.

    이러한 공유 VM 스토리지를 설정하는 방법은 다른 호스트와 가상 머신 디스크 이미지 공유를 참조하십시오.

  • 실행 중인 VM을 마이그레이션할 때 네트워크 대역폭은 VM이 더티 메모리 페이지를 생성하는 속도보다 커야 합니다.

  • 연결 프로토콜에 해당하는 가상 네트워크 소켓이 활성화됩니다.

    VM 마이그레이션을 수행할 때 소스 호스트의 virsh 클라이언트는 여러 프로토콜 중 하나를 사용하여 대상 호스트의 libvirt 데몬에 연결할 수 있습니다. 다음 절차의 예제에서는 SSH 연결을 사용하지만 다른 연결을 선택할 수 있습니다.

    • libvirt에서 SSH 연결을 사용하려면 virtqemud 소켓이 활성화되어 대상 호스트에서 실행 중인지 확인합니다. 

      # systemctl enable --now virtqemud.socket
      Copy to Clipboard Toggle word wrap

    • libvirt에서 TLS 연결을 사용하려면 virtproxyd-tls 소켓이 활성화되어 대상 호스트에서 실행 중인지 확인합니다. 

      # systemctl enable --now virtproxyd-tls.socket
      Copy to Clipboard Toggle word wrap

    • libvirt에서 TCP 연결을 사용하려면 virtproxyd-tcp 소켓이 활성화되어 대상 호스트에서 실행 중인지 확인합니다. 

      # systemctl enable --now virtproxyd-tcp.socket
      Copy to Clipboard Toggle word wrap

프로세스

  1. 소스 호스트에서 Mellanox 네트워킹 장치를 switchdev 모드로 설정합니다. 

    # devlink dev eswitch set pci/<device_pci_address> mode switchdev
    Copy to Clipboard Toggle word wrap

  2. 소스 호스트에서 Mellanox 장치에 가상 기능을 생성합니다. 

    # echo 1 > /sys/bus/pci/devices/0000\:e1\:00.0/sriov_numvfs
    Copy to Clipboard Toggle word wrap

    파일 경로의 /0000\:e1\:00.0/ 부분은 장치의 PCI 주소를 기반으로 합니다. 예에서는 0000:e1:00.0입니다.

  3. 소스 호스트에서 드라이버에서 VF를 바인딩 해제합니다. 

    # virsh nodedev-detach <vf_pci_address> --driver pci-stub
    Copy to Clipboard Toggle word wrap

    다음 명령을 사용하여 VF의 PCI 주소를 볼 수 있습니다. 

    # lshw -c network -businfo

Bus info                     Device             Class           Description
===========================================================================
pci@0000:e1:00.0  enp225s0np0    network        MT2910 Family [ConnectX-7]
pci@0000:e1:00.1  enp225s0v0     network        ConnectX Family mlx5Gen Virtual Function
    Copy to Clipboard Toggle word wrap

  4. 소스 호스트에서 VF의 마이그레이션 기능을 활성화합니다. 

    # devlink port function set pci/0000:e1:00.0/1 migratable enable
    Copy to Clipboard Toggle word wrap

    이 예에서 pci/0000:e1:00.0/1 은 지정된 PCI 주소가 있는 Mellanox 장치의 첫 번째 VF를 나타냅니다.

  5. 소스 호스트에서 VF 마이그레이션을 위해 OVS(Open vSwitch)를 구성합니다. Mellanox 장치가 switchdev 모드에 있는 경우 네트워크를 통해 데이터를 전송할 수 없습니다.

    1. openvswitch 서비스가 실행 중인지 확인합니다. 

      # systemctl start openvswitch
      Copy to Clipboard Toggle word wrap

    2. 하드웨어 오프로드를 활성화하여 네트워킹 성능을 개선할 수 있습니다. 

      # ovs-vsctl set Open_vSwitch . other_config:hw-offload=true
      Copy to Clipboard Toggle word wrap

    3. 마이그레이션 중에 네트워크 연결이 열린 상태로 유지되도록 최대 유휴 시간을 늘립니다. 

      # ovs-vsctl set Open_vSwitch . other_config:max-idle=300000
      Copy to Clipboard Toggle word wrap

    4. OVS 인스턴스에 새 브릿지를 만듭니다. 

      # ovs-vsctl add-br <bridge_name>
      Copy to Clipboard Toggle word wrap

    5. openvswitch 서비스를 다시 시작합니다. 

      # systemctl restart openvswitch
      Copy to Clipboard Toggle word wrap

    6. 물리적 Mellanox 장치를 OVS 브리지에 추가합니다. 

      # ovs-vsctl add-port <bridge_name> enp225s0np0
      Copy to Clipboard Toggle word wrap

      이 예에서 < bridge_name >은 단계 d 에서 생성한 브리지의 이름이며 enp225s0np0 은 Mellanox 장치의 네트워크 인터페이스 이름입니다.

    7. Mellanox 장치의 VF를 OVS 브리지에 추가합니다. 

      # ovs-vsctl add-port <bridge_name> enp225s0npf0vf0
      Copy to Clipboard Toggle word wrap

      이 예에서 < bridge_name >은 단계 d 에서 생성한 브리지의 이름이며 enp225s0npf0vf0 은 VF의 네트워크 인터페이스 이름입니다.

  6. 대상 호스트에서 1-5단계를 반복합니다.

  7. 소스 호스트에서 mlx_vf.xml 과 같은 새 파일을 열고 VF의 다음 XML 구성을 추가합니다. 

     <interface type='hostdev' managed='yes'>
      <mac address='52:54:00:56:8c:f7'/>
      <source>
        <address type='pci' domain='0x0000' bus='0xe1' slot='0x00' function='0x1'/>
      </source>
 </interface>
    Copy to Clipboard Toggle word wrap

    이 예에서는 VF의 통과를 VM의 네트워크 인터페이스로 구성합니다. MAC 주소가 고유한지 확인하고 소스 호스트에서 VF의 PCI 주소를 사용합니다.

  8. 소스 호스트에서 VF XML 파일을 VM에 연결합니다. 

    # virsh attach-device <vm_name> mlx_vf.xml --live --config
    Copy to Clipboard Toggle word wrap

    이 예제에서 mlx_vf.xml 은 VF 구성이 포함된 XML 파일의 이름입니다. 장치를 실행 중인 VM에 연결하려면 --live 옵션을 사용합니다.

  9. 소스 호스트에서 연결된 VF를 사용하여 실행 중인 VM의 실시간 마이그레이션을 시작합니다. 

    # virsh migrate --live --domain <vm_name> --desturi qemu+ssh://<destination_host_ip_address>/system
    Copy to Clipboard Toggle word wrap

검증

  1. 마이그레이션된 VM에서 Mellanox VF의 네트워크 인터페이스 이름을 확인합니다. 

    # ifconfig

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.10  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::a00:27ff:fe4e:66a1  prefixlen 64  scopeid 0x20<link>
        ether 08:00:27:4e:66:a1  txqueuelen 1000  (Ethernet)
        RX packets 100000  bytes 6543210 (6.5 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 100000  bytes 6543210 (6.5 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enp4s0f0v0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.3.10  netmask 255.255.255.0  broadcast 192.168.3.255
        inet6 fe80::a00:27ff:fe4e:66c3  prefixlen 64  scopeid 0x20<link>
        ether 08:00:27:4e:66:c3  txqueuelen 1000  (Ethernet)
        RX packets 200000  bytes 12345678 (12.3 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 200000  bytes 12345678 (12.3 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    Copy to Clipboard Toggle word wrap

  2. 마이그레이션된 VM에서 Mellanox VF가 작동하는지 확인합니다. 예를 들면 다음과 같습니다. 

    # ping -I <VF_interface_name> 8.8.8.8

PING 8.8.8.8 (8.8.8.8) from 192.168.3.10 <VF_interface_name>: 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=57 time=27.4 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=57 time=26.9 ms

--- 8.8.8.8 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 26.944/27.046/27.148/0.102 ms
    Copy to Clipboard Toggle word wrap
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat