16.2. NVIDIA vGPU デバイスの管理

手順

1. NVIDIA vGPU ドライバーをダウンロードして、システムにインストールします。手順は NVIDIA ドキュメント を参照してください。

2. NVIDIA ソフトウェアのインストーラーで /etc/modprobe.d/nvidia-installer-disable-nouveau.conf ファイルが作成されなかった場合は、/etc/modprobe.d/ に任意の名前で conf ファイルを作成し、そのファイルに以下の行を追加します。

   blacklist nouveau
   options nouveau modeset=0

3. 現在のカーネルの初期 RAM ディスクを再生成し、再起動します。

   # dracut --force
   # reboot

4. カーネルで nvidia_vgpu_vfio モジュールが読み込まれていること、nvidia-vgpu-mgr.service サービスが実行されていることを確認してください。

   # lsmod | grep nvidia_vgpu_vfio
   nvidia_vgpu_vfio 45011 0
   nvidia 14333621 10 nvidia_vgpu_vfio
   mdev 20414 2 vfio_mdev,nvidia_vgpu_vfio
   vfio 32695 3 vfio_mdev,nvidia_vgpu_vfio,vfio_iommu_type1
   
   # systemctl status nvidia-vgpu-mgr.service
   nvidia-vgpu-mgr.service - NVIDIA vGPU Manager Daemon
      Loaded: loaded (/usr/lib/systemd/system/nvidia-vgpu-mgr.service; enabled; vendor preset: disabled)
      Active: active (running) since Fri 2018-03-16 10:17:36 CET; 5h 8min ago
    Main PID: 1553 (nvidia-vgpu-mgr)
    [...]

   さらに、Ampere (またはそれ以降の) アーキテクチャーベースの NVIDIA GPU デバイスで vGPU を作成する場合は、物理 GPU に対して Virtual Function が有効になっていることを確認してください。手順は NVIDIA ドキュメント を参照してください。

5. デバイスの UUID を生成します。

   # uuidgen
   30820a6f-b1a5-4503-91ca-0c10ba58692a

6. 検出された GPU ハードウェアに基づいて、仲介されたデバイスの設定を含む XML ファイルを準備します。たとえば、次の例では、0000:01:00.0 PCI バスで実行され、前の手順で生成された UUID を使用する NVIDIA Tesla P4 カードで nvidia-63 vGPU タイプの仲介デバイスを設定します。

   <device>
       <parent>pci_0000_01_00_0</parent>
       <capability type="mdev">
           <type id="nvidia-63"/>
           <uuid>30820a6f-b1a5-4503-91ca-0c10ba58692a</uuid>
       </capability>
   </device>

7. 準備した XML ファイルに基づいて vGPU 仲介デバイスを定義します。以下に例を示します。

   # virsh nodedev-define vgpu-test.xml
   Node device mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0 created from vgpu-test.xml

8. オプション: 仲介デバイスが非アクティブなデバイスとしてリストされることを確認します。

   # virsh nodedev-list --cap mdev --inactive
   mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0

9. 作成した vGPU 仲介デバイスを起動します。

   # virsh nodedev-start mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Device mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0 started

10. オプション: 仲介デバイスがアクティブなデバイスとしてリストされることを確認します。

    # virsh nodedev-list --cap mdev
    mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0

11. ホストの再起動後に自動的に起動するように vGPU デバイスを設定します。

    # virsh nodedev-autostart mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
    Device mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0 marked as autostarted

12. vGPU リソースを共有する仮想マシンに仲介デバイスを割り当てます。これを行うには、以下の行を、仮想マシンの XML 設定の <devices/> セクションに追加します。

    • 単一の vGPU を仮想マシンに割り当てるには:

      ...
      <video>
        <model type='none'/>
      </video>
      ...
      
      <hostdev mode='subsystem' type='mdev' managed='no' model='vfio-pci' display='on' ramfb="on">
        <source>
          <address uuid='30820a6f-b1a5-4503-91ca-0c10ba58692a'/>
        </source>
      </hostdev>

      各 UUID は、一度に 1 つの仮想マシンにしか割り当てることができないのでご注意ください。

    • 複数の vGPU を仮想マシンに割り当てるには:

      ...
      <video>
        <model type='none'/>
      </video>
      ...
      
      <hostdev mode='subsystem' type='mdev' managed='no' model='vfio-pci' display='on' ramfb="on">
        <source>
          <address uuid='30820a6f-b1a5-4503-91ca-0c10ba58692a'/>
        </source>
      </hostdev>
      
      <hostdev mode='subsystem' type='mdev' managed='no' model='vfio-pci'>
        <source>
          <address uuid='751c2bd9-3322-4031-ad07-50a0d1367577'/>
        </source>
      </hostdev>

13. 割り当てられた仮想マシンに vGPU 仲介デバイスの全機能が提供されるように、これらの仮想マシンに NVIDIA vGPU ゲストソフトウェアのライセンスを設定します。詳細および手順は、NVIDIA の仮想 GPU ソフトウェアのライセンスサーバーユーザーガイド を参照してください。

検証

1. 作成した vGPU の機能をクエリーし、アクティブで永続的な機能としてリストされていることを確認します。

   # virsh nodedev-info mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Name:           virsh nodedev-autostart mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Parent:         pci_0000_01_00_0
   Active:         yes
   Persistent:     yes
   Autostart:      yes

2. 仮想マシンを起動し、ゲストオペレーティングシステムが仲介デバイスを NVIDIA GPU として検出することを確認します。たとえば、仮想マシンが Linux を使用している場合は、以下のとおりとなります。

   # lspci -d 10de: -k
   07:00.0 VGA compatible controller: NVIDIA Corporation GV100GL [Tesla V100 SXM2 32GB] (rev a1)
           Subsystem: NVIDIA Corporation Device 12ce
           Kernel driver in use: nvidia
           Kernel modules: nouveau, nvidia_drm, nvidia

手順

1. 削除する仲介デバイスの ID を取得します。

   # virsh nodedev-list --cap mdev
   mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0

2. vGPU 仲介バイスの実行中のインスタンスを停止します。

   # virsh nodedev-destroy mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Destroyed node device 'mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0'

3. オプション: 仲介デバイスが非アクティブ化されていることを確認します。

   # virsh nodedev-info mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Name:           virsh nodedev-autostart mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Parent:         pci_0000_01_00_0
   Active:         no
   Persistent:     yes
   Autostart:      yes

4. 仮想マシンの XML 設定からデバイスを削除します。これには、virsh edit ユーティリティーを使用して仮想マシンの XML 設定を編集し、mdev の設定セグメントを削除します。このセグメントは、以下のようになります。

   <hostdev mode='subsystem' type='mdev' managed='no' model='vfio-pci'>
     <source>
       <address uuid='30820a6f-b1a5-4503-91ca-0c10ba58692a'/>
     </source>
   </hostdev>

   仲介デバイスを停止して接続解除しても、そのデバイスは削除されず、定義された とおりに保持されます。そのため、デバイスを 再起動 して別の仮想マシンに 接続 することができます。

5. オプション: 停止した仲介デバイスを削除するには、デバイスの定義を削除します。

   # virsh nodedev-undefine mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0
   Undefined node device 'mdev_30820a6f_b1a5_4503_91ca_0c10ba58692a_0000_01_00_0'