16.5. SR-IOV 네트워킹 장치 관리

• 원래 PCIe 장치와 동일하거나 유사한 서비스를 제공할 수 있습니다.
• 호스트 PCI 버스의 다른 주소에 나타납니다.
• VFIO 할당을 사용하여 다른 VM에 할당할 수 있습니다.

• 물리적 기능(PF) - 호스트에 장치의 기능(예: 네트워킹)을 제공하는 PCIe 함수이지만 VF 세트를 생성하고 관리할 수도 있습니다. 각 SR-IOV 가능 장치에는 하나 이상의 PF가 있습니다.
• VF(가상 기능) - 독립 장치로 작동하는 경량 PCIe 함수입니다. 각 VF는 PF에서 파생됩니다. 장치가 보유할 수 있는 최대 VF 수는 장치 하드웨어에 따라 다릅니다. 각 VF는 한 번에 단일 VM에만 할당할 수 있지만 VM에 여러 VF가 할당될 수 있습니다.

• 성능 개선
• 호스트 CPU 및 메모리 리소스의 사용 감소

• PF 구성을 수정하려면 먼저 PF에서 노출되는 VF 수를 0으로 변경해야 합니다. 따라서 이러한 VF에서 제공하는 장치를 할당된 VM에서 제거해야 합니다.
• SR-IOV VF를 포함하여 VFIO 할당 장치가 연결된 VM은 다른 호스트로 마이그레이션할 수 없습니다. 할당된 장치를 에뮬레이션 장치와 페어링하여 이러한 제한 사항을 해결할 수 있는 경우도 있습니다. 예를 들어 할당된 네트워킹 VF를 에뮬레이션된 vNIC에 결합하고 마이그레이션 전에 VF를 제거할 수 있습니다.
• 또한 VFIO가 할당된 장치에는 VM 메모리 고정이 필요하므로 VM의 메모리 소비가 증가하고 VM에서 메모리 볼링 사용을 방지할 수 있습니다.

사전 요구 사항

• 호스트의 CPU 및 펌웨어는 I/O Memory Management Unit(IOMMU)을 지원합니다.

  • Intel CPU를 사용하는 경우 Directed I/O(VT-d)에 대한 Intel Virtualization Technology를 지원해야 합니다.
  • AMD CPU를 사용하는 경우 AMD-Vi 기능을 지원해야 합니다.

• 호스트 시스템은ACS(Access Control Service)를 사용하여 PCIe 토폴로지에 대한 직접 메모리 액세스(DMA) 격리를 제공합니다. 시스템 벤더에서 이를 확인합니다.

  자세한 내용은 SR-IOV 구현을 위한 하드웨어 고려 사항을 참조하십시오.

• 물리적 네트워크 장치는 SR-IOV를 지원합니다. 시스템의 네트워크 장치가 SR-IOV를 지원하는지 확인하려면 lspci -v 명령을 사용하고 출력에서 SR-IOV(Single Root I/O Virtualization) 를 찾습니다.

  # lspci -v
  [...]
  02:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
  	Subsystem: Intel Corporation Gigabit ET Dual Port Server Adapter
  	Flags: bus master, fast devsel, latency 0, IRQ 16, NUMA node 0
  	Memory at fcba0000 (32-bit, non-prefetchable) [size=128K]
  [...]
  	Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
  	Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
  	Kernel driver in use: igb
  	Kernel modules: igb
  [...]

• VF를 생성하는 데 사용할 호스트 네트워크 인터페이스가 실행 중입니다. 예를 들어 eth1 인터페이스를 활성화하고 실행 중인지 확인하려면 다음을 수행하십시오.

  # ip link set eth1 up
  # ip link show eth1
  8: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000
     link/ether a0:36:9f:8f:3f:b8 brd ff:ff:ff:ff:ff:ff
     vf 0 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
     vf 1 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
     vf 2 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
     vf 3 MAC 00:00:00:00:00:00, spoof checking on, link-state auto

• SR-IOV 장치 할당이 작동하려면 호스트 BIOS 및 커널에서 IOMMU 기능을 활성화해야 합니다. 이렇게 하려면 다음을 수행합니다.

  • Intel 호스트에서 VT-d를 활성화합니다.

    1. intel_iommu=on 및 iommu=pt 매개변수를 사용하여 GRUB 설정을 다시 생성합니다.

       # grubby --args="intel_iommu=on iommu=pt" --update-kernel=ALL

    2. 호스트를 재부팅합니다.

  • AMD 호스트에서 AMD-Vi를 활성화합니다.

    1. iommu=pt 매개변수를 사용하여 GRUB 설정을 다시 생성합니다.

       # grubby --args="iommu=pt" --update-kernel=ALL

    2. 호스트를 재부팅합니다.

검증

• 프로시저가 성공하면 게스트 운영 체제는 새 네트워크 인터페이스 컨트롤러를 감지합니다.

• Intel 82599ES 10 Gigabit Ethernet Controller - ixgbe 드라이브 사용
• Intel Ethernet Controller XL710 시리즈 - i40e 드라이버 사용
• Intel Ethernet Network Adapter XXV710 - i40e 드라이버 사용
• Intel 82576 Gigabit Ethernet Controller - igb 드라이버 사용
• Broadcom NetXtreme II BCM57810 - bnx2x 드라이버 사용
• QSFP용 이더넷 컨트롤러 E810-C - 스노우 드라이버 사용
• SFC9220 10/40G Ethernet Controller - sfc 드라이버 사용
• FastLinQ QL41000 Series 10/25/40/50GbE Controller - qede 드라이버 사용
• Mellanox MT27710 이더넷 어댑터 카드
• Mellanox MT2892 제품군 [ConnectX-6 Dx]
• Mellanox MT2910 [ConnextX-7]