14.7. SR-IOV デバイスの管理
エミュレートされた仮想デバイスは、多くの場合、ハードウェアネットワークデバイスよりも多くの CPU およびメモリーを使用します。これにより、仮想マシンのパフォーマンスを制限できます。ただし、仮想化ホストのデバイスが SR-IOV (Single Root I/O Virtualization) に対応する場合は、この機能を使用してデバイスのパフォーマンスを向上し、仮想マシンの全体的なパフォーマンスを向上させることができます。
14.7.1. SR-IOV とは
SR-IOV (Single-root I/O virtualization) は、1 つの PCIe (PCI Express) デバイスが、ホストに、複数の個別の PCI デバイス (仮想機能 (VF) と呼ばれます) をホストシステムに表示できるようにする仕様です。このデバイスはそれぞれ以下のようになります。
- 元の PCIe デバイスと同一または同様のサービスを提供できます。
- ホストの PCI バス上にある別のアドレスに表示されます。
- VFIO の割り当てを使用して、別の仮想マシンに割り当てることができます。
たとえば、1 つの SR-IOV 対応ネットワークデバイスが、VF を複数の仮想マシンに提示できます。すべての VF は同じ物理カード、同じネットワーク接続、同じネットワークケーブルを使用しますが、各仮想マシンは直接そのハードウェアネットワークデバイスを制御し、ホストのリソースは使用しません。
SR-IOV の仕組み
SR-IOV 機能は、以下の PCIe 機能の導入により可能になりました。
- Physical Function (PF) - デバイス (ネットワークなど) の機能をホストに提供しますが、一連の VF を作成して管理することもできる PCIe 機能。SR-IOV 対応の各デバイスには、1 つ以上の PF があります。
- Virtual Function (VF) - 独立したデバイスとして動作する軽量の PCIe 機能。各 VF は PF から派生します。デバイスが持つことができる VF の最大数は、デバイスのハードウェアによって異なります。各 VF は、一度に 1 台の仮想マシンにのみ割り当てることができますが、1 台の仮想マシンには複数の VF を割り当てることができます。
仮想マシンは、VF を仮想デバイスとして認識します。たとえば、SR-IOV ネットワークデバイスによって作成された VF は、物理ネットワークカードがホストシステムに表示されるのと同じように、割り当てられた仮想マシンへのネットワークカードとして表示されます。
図14.1 SR-IOV アーキテクチャー
メリット
エミュレートされたデバイスではなく SR-IOV VF を使用する主な利点は以下のとおりです。
- パフォーマンスが向上する
- ホストの CPU およびメモリーリソースの使用が減少する
たとえば、vNIC として仮想マシンに接続する VF は、物理 NIC とほぼ同じレベルで実行され、準仮想化またはエミュレートされた NIC よりもはるかに適しています。特に、複数の VF を 1 台のホスト上で同時に使用する場合に、パフォーマンス上のメリットは重要です。
デメリット
- PF の設定を変更する場合は、最初に PF により公開される VF の数をゼロに変更する必要があります。したがって、このような VF が提供するデバイスを、デバイスが割り当てられている仮想マシンから削除する必要もあります。
- SR-IOV VF など、VFIO が割り当てられたデバイスが接続された仮想マシンは、別のホストに移行することができません。場合によっては、割り当てられたデバイスをエミュレートされたデバイスとペアにすることにより、この制限を回避できます。たとえば、割り当てられたネットワーク VF をエミュレートされた vNIC に ボンディング を行い、移行前に VF を削除できます。
- さらに、VFIO が割り当てたデバイスには仮想マシンのメモリーの固定 (ピニング) が必要になるため、仮想マシンのメモリー消費が増加し、仮想マシンのメモリーバルーンが使用できなくなります。
14.7.2. SR-IOV ネットワークデバイスの仮想マシンへの割り当て
Intel ホストまたは AMD ホストの仮想マシンに SR-IOV ネットワークデバイスを割り当てるには、VF (Virtual Function) をホストの SR-IOV 対応ネットワークインターフェイスから作成し、VF をデバイスとして、指定された仮想マシンに割り当てます。詳細は、次の手順を参照してください。
前提条件
ホストの CPU およびファームウェアは、IOMMU (I/O Memory Management Unit) に対応している。
- Intel CPU を使用している場合は、Intel VT-d (Virtualization Technology for Directed I/O) に対応する必要があります。
- AMD CPU を使用している場合は、AMD-Vi 機能に対応している必要があります。
ホストシステムが、アクセス制御サービス (ACS) を使用して PCIe トポロジーの DMA (Direct Memory Access) 分離を提供している。この点をシステムベンダーに確認してください。
詳細は、SR-IOV 実装に関するハードウェアの考慮事項 を参照してください。
物理ネットワークデバイスが SR-IOV をサポートしている。システムのネットワークデバイスが SR-IOV に対応しているかどうかを確認するには、
lspci -v
コマンドを使用して、出力でSingle Root I/O Virtualization (SR-IOV)
を探します。# lspci -v [...] 02:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) Subsystem: Intel Corporation Gigabit ET Dual Port Server Adapter Flags: bus master, fast devsel, latency 0, IRQ 16, NUMA node 0 Memory at fcba0000 (32-bit, non-prefetchable) [size=128K] [...] Capabilities: [150] Alternative Routing-ID Interpretation (ARI) Capabilities: [160] Single Root I/O Virtualization (SR-IOV) Kernel driver in use: igb Kernel modules: igb [...]
VF の作成に使用するホストのネットワークインターフェイスが実行中である。たとえば、eth1 インターフェイスをアクティブにして、実行していることを確認するには、次のコマンドを実行します。
# ip link set eth1 up # ip link show eth1 8: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000 link/ether a0:36:9f:8f:3f:b8 brd ff:ff:ff:ff:ff:ff vf 0 MAC 00:00:00:00:00:00, spoof checking on, link-state auto vf 1 MAC 00:00:00:00:00:00, spoof checking on, link-state auto vf 2 MAC 00:00:00:00:00:00, spoof checking on, link-state auto vf 3 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
SR-IOV デバイス割り当てを有効にするには、ホスト BIOS およびカーネルで IOMMU 機能を有効にする必要があります。これを行うには、以下を行います。
Intel ホストで VT-d を有効にします。
intel_iommu=on
およびiommu=pt
パラメーターを使用して GRUB 設定を再生成します。# grubby --args="intel_iommu=on iommu=pt" --update-kernel=ALL
- ホストを再起動します。
AMD ホストで、AMD-Vi を有効にします。
iommu=pt
パラメーターで GRUB 設定を再生成します。# grubby --args="iommu=pt" --update-kernel=ALL
- ホストを再起動します。
手順
オプション: ネットワークデバイスで使用できる VF の最大数を確認します。これを実行するには、次のコマンドを使用して、eth1 を SR-IOV 互換のネットワークデバイスに置き換えます。
# cat /sys/class/net/eth1/device/sriov_totalvfs 7
次のコマンドを実行して、Virtual Function (VF) を作成します。
# echo VF-number > /sys/class/net/network-interface/device/sriov_numvfs
上記コマンドでは、以下のようになります。
- VF-number には、PF に作成する VF の数を入力します。
- network-interface は、VF が作成されるネットワークインターフェイスの名前に置き換えます。
以下の例では、eth1 ネットワークインターフェイスから 2 つの VF を作成します。
# echo 2 > /sys/class/net/eth1/device/sriov_numvfs
VF が追加されたことを確認します。
# lspci | grep Ethernet 82:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) 82:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) 82:10.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01) 82:10.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
VF の作成に使用したネットワークインターフェイス用の udev ルールを作成して、作成した VF を永続化します。たとえば、eth1 インターフェイスの場合は、
/etc/udev/rules.d/eth1.rules
ファイルを作成し、以下の行を追加します。ACTION=="add", SUBSYSTEM=="net", ENV{ID_NET_DRIVER}=="ixgbe", ATTR{device/sriov_numvfs}="2"
これにより、ホストの起動時に
ixgbe
ドライバーを使用する 2 つの VF がeth1
インターフェイスで自動的に利用できるようになります。永続的な SR-IOV デバイスが必要ない場合は、この手順を省略します。警告現在、Broadcom NetXtreme II BCM57810 アダプターで VF を永続化しようとすると、上記の設定が正しく機能しません。また、このアダプターに基づく VF を Windows 仮想マシンに接続することは、現在信頼性がありません。
新しく追加された VF インターフェイスデバイスの 1 つを実行中の仮想マシンにホットプラグします。
# virsh attach-interface testguest1 hostdev 0000:82:10.0 --managed --live --config
検証
- この手順が成功すると、ゲストオペレーティングシステムが新しいネットワークインターフェイスカードを検出します。
14.7.3. SR-IOV 割り当てに対応しているデバイス
すべてのデバイスを SR-IOV に使用できるわけではありません。以下のデバイスは、RHEL 9 の SR-IOV との互換性がテストおよび検証されています。
ネットワークデバイス
-
Intel 82599ES 10 Gigabit Ethernet Controller -
ixgbe
ドライバーを使用します。 -
Intel Ethernet Controller XL710 Series -
i40e
ドライバーを使用します。 -
Intel Ethernet Network Adapter XXV710 -
i40e
ドライバーを使用します。 -
Intel 82576 Gigabit Ethernet Controller -
igb
ドライバーを使用します。 -
Broadcom NetXtreme II BCM57810 -
bnx2x
ドライバーを使用します。 -
Ethernet Controller E810-C for QSFP -
ice
ドライバーを使用します。 -
SFC9220 10/40G Ethernet Controller -
sfc
ドライバーを使用します。 -
FastLinQ QL41000 Series 10/25/40/50GbE Controller -
qede
ドライバーを使用します。 - Mellanox ConnectX-5 イーサネットアダプターカード
- Mellanox MT2892 ファミリー [ConnectX-6 Dx]