在 Red Hat Virtualization 中为虚拟机设置 NVIDIA GPU

流程

1. 在管理门户中，点 Compute → Hosts。选择主机，再点编辑。此时会显示 Edit Hosts 窗格。
2. 点 Kernel 选项卡。
3. 选中 Hostdev Passthrough 和 SR-IOV 复选框。此复选框通过在内核命令行中添加 intel_iommu=on 或 amd_iommu=on 来为带有 Intel VT-d 或 AMD Vi 的主机启用 IOMMU 支持。
4. 选中 Blacklist Nouveau 复选框。
5. 点击 确定。
6. 选择主机，再单击 Management → Maintenance。
7. 点 Installation → Reinstall。
8. 重新安装完成后，重启主机机器。
9. 主机计算机重新引导后，点 Management → Activate。

流程

1. 在主机上，运行 lspci 命令识别该设备的设备插槽名称和 ID。在以下示例中，使用 NVIDIA Quadro 或 GRID 卡等图形控制器：

   # lspci -Dnn | grep -i NVIDIA
   0000:03:00.0 VGA compatible controller [0300]: NVIDIA Corporation GK104GL [Quadro K4200] [10de:11b4] (rev a1)
   0000:03:00.1 Audio device [0403]: NVIDIA Corporation GK104 HDMI Audio Controller [10de:0e0a] (rev a1)

   Copy to Clipboard Toggle word wrap

   输出显示安装了 NVIDIA GK104 设备。它具有图形控制器和带有以下属性的音频控制器：

   • 图形控制器的设备插槽名称为 0000:03:00.0，而 graphics 控制器的 vendor-id:device-id 是 10de:11b4。
   • 音频控制器的设备插槽名称为 0000:03:00.1，音频控制器的 vendor-id:device-id 是 10de:0e0a。

2. 防止主机机器驱动程序使用 GPU 设备。您可以将 vendor-id:device-id 与 pci-stub 驱动程序一起使用。要做到这一点，请将 pci-stub.ids 选项（值为 vendor-id:device-id）附加到位于 /etc/sysconfig/grub 配置文件中的 GRUB_CMDLINX_LINUX 环境变量，例如：

   GRUB_CMDLINE_LINUX="crashkernel=auto resume=/dev/mapper/vg0-lv_swap rd.lvm.lv=vg0/lv_root rd.lvm.lv=vg0/lv_swap rhgb quiet intel_iommu=on pci-stub.ids=10de:11b4,10de:0e0a"

   Copy to Clipboard Toggle word wrap

   为 pci-stub 添加附加厂商 ID 和设备 ID 时，使用逗号分隔它们。

3. 使用 grub2-mkconfig 重新生成引导装载程序配置使其包含这个选项，如下所示：

   # grub2-mkconfig -o /etc/grub2.cfg

   Copy to Clipboard Toggle word wrap
   注意

   在使用基于 UEFI 的主机时，目标文件应为 /etc/grub2-efi.cfg。

4. 重启主机机器。

5. 确认启用了 IOMMU，主机设备被添加到 pci-stub.ids 列表中，并且 Nouveau 已放入黑名单：

   # cat /proc/cmdline
   BOOT_IMAGE=(hd0,msdos1)/vmlinuz-4.18.0-147.el8.x86_64 root=/dev/mapper/vg0-lv_root ro crashkernel=auto resume=/dev/mapper/vg0-lv_swap rd.lvm.lv=vg0/lv_root rd.lvm.lv=vg0/lv_swap rhgb quiet intel_iommu=on 

   1

   
   pci-stub.ids=10de:11b4,10de:0e0a 

   2

   
   rdblacklist=nouveau 

   3

   Copy to Clipboard Toggle word wrap

流程

1. 按照虚拟机管理指南中的将主机设备添加到虚拟机中的步骤进行操作。
2. 运行虚拟机并登录该虚拟机。
3. 在虚拟机上安装 NVIDIA GPU 驱动程序。详情请查看 第 1.4 节 “在虚拟机上安装 GPU 驱动程序”。

4. 使用 lspci -nnk 命令，验证是否为 GPU 使用了正确的内核驱动程序。例如：

   # lspci -nnk
   00:07.0 VGA compatible controller [0300]: NVIDIA Corporation GK104GL [Quadro K4200] [10de:11b4] (rev a1)
   Subsystem: Hewlett-Packard Company Device [103c:1096]
   Kernel driver in use: nvidia
   Kernel modules: nouveau, nvidia_drm, nvidia

   Copy to Clipboard Toggle word wrap

流程

1. 运行虚拟机并使用串行控制台（如 SPICE 或 VNC）连接到该控制台。
2. 将驱动程序下载到虚拟机。有关获取驱动程序的详情，请查看 NVIDIA 网站上的驱动程序页面。

3. 安装 GPU 驱动程序。

   重要

   仅限 Linux： 在 Linux 客户机操作系统上安装驱动程序时，系统将提示您更新 xorg.conf。如果您不在安装过程中更新 xorg.conf，则需要手动更新它。更多信息请参阅 第 1.5 节 “更新和启用 xorg（Linux 虚拟机）”。

4. 在驱动程序完成安装后，重启机器。对于 Windows 虚拟机， 从管理门户或虚拟机门户中完全关闭客户机，而不是从客户机操作系统中。

   重要

   仅 Windows： 从 Windows 虚拟机操作系统中关闭虚拟机有时会将虚拟机变为休眠模式，这不会完全清除内存，并可能会导致后续的问题。使用管理门户或虚拟机门户关闭虚拟机会强制完全清理内存。

5. 将监视器连接到主机 GPU 输出接口，并运行虚拟机。
6. 为每个 vGPU 设置 NVIDIA vGPU 客户机软件许可，并在 NVIDIA 控制面板中添加许可证凭证。如需更多信息，请参阅 NVIDIA Virtual GPU 软件文档中的 NVIDIA vGPU 软件许可证的使用方法。

流程

1. 在虚拟机上，使用以下命令生成 xorg.conf 文件：

   # X -configure

   Copy to Clipboard Toggle word wrap

2. 使用以下命令，将 xorg.conf 文件复制到 /etc/X11/xorg.conf ：

   # cp /root/xorg.conf.new /etc/X11/xorg.conf

   Copy to Clipboard Toggle word wrap
3. 重启虚拟机。

4. 通过查看 /etc/X11/xorg.conf 来验证 xorg 是否已更新并启用：

   # cat /etc/X11/xorg.conf

   Copy to Clipboard Toggle word wrap

   搜索 Device 部分。您应该看到类似如下的条目：

   Section "Device"
       Identifier     "Device0"
       Driver         "nvidia"
       VendorName     "NVIDIA Corporation"
   EndSection

   Copy to Clipboard Toggle word wrap

流程

1. 为主机下载并安装 NVIDIA 驱动程序。有关获取驱动程序的详情，请查看 NVIDIA 网站上的驱动程序页面。
2. 如果 NVIDIA 软件安装程序没有创建 /etc/modprobe.d/nvidia-installer-disable-nouveau.conf 文件，请手动创建。

3. 在文本编辑器中打开 /etc/modprobe.d/nvidia-installer-disable-nouveau.conf 文件，并在文件末尾添加以下行：

   blacklist nouveau
   options nouveau modeset=0

   Copy to Clipboard Toggle word wrap

4. 为当前内核重新生成初始 ramdisk，然后重新启动:

   # dracut --force
   # reboot

   Copy to Clipboard Toggle word wrap

   另外，如果您需要使用带有介质设备的之前支持的内核版本，请为所有安装的内核版本重新生成初始 ramdisk：

   # dracut --regenerate-all --force
   # reboot

   Copy to Clipboard Toggle word wrap

5. 检查内核是否已载入 nvidia_vgpu_vfio 模块：

   # lsmod | grep nvidia_vgpu_vfio

   Copy to Clipboard Toggle word wrap

6. 检查 nvidia-vgpu-mgr.service 服务是否正在运行：

   # systemctl status nvidia-vgpu-mgr.service

   Copy to Clipboard Toggle word wrap

   例如：

   # lsmod | grep nvidia_vgpu_vfio
   nvidia_vgpu_vfio 45011 0
   nvidia 14333621 10 nvidia_vgpu_vfio
   mdev 20414 2 vfio_mdev,nvidia_vgpu_vfio
   vfio 32695 3 vfio_mdev,nvidia_vgpu_vfio,vfio_iommu_type1
   # systemctl status nvidia-vgpu-mgr.service
   nvidia-vgpu-mgr.service - NVIDIA vGPU Manager Daemon
      Loaded: loaded (/usr/lib/systemd/system/nvidia-vgpu-mgr.service; enabled; vendor preset: disabled)
      Active: active (running) since Fri 2018-03-16 10:17:36 CET; 5h 8min ago
    Main PID: 1553 (nvidia-vgpu-mgr)
    [...]

   Copy to Clipboard Toggle word wrap

7. 通过在终端或者在脚本中输入以下行来获取可用 mdev 类型列表：

   for device in /sys/class/mdev_bus/; do for mdev_type in $device/mdev_supported_types/; do
       MDEV_TYPE=$(basename $mdev_type)
       DESCRIPTION=$(cat $mdev_type/description)
       NAME=$(cat $mdev_type/name)
       echo "mdev_type: $MDEV_TYPE --- description: $DESCRIPTION --- name: $NAME";
     done;
   done | sort | uniq

   Copy to Clipboard Toggle word wrap
   注意

   有关特定 GPU 设备的 type-id 值，请参阅 Virtual GPU 软件文档中的虚拟 GPU 类型。请注意，只有 Q-series NVIDIA vGPU（如 GRID P4-2Q）支持 Linux 虚拟机上的介质设备 GPU 类型。

   输出结果类似如下：

   mdev_type: nvidia-11 --- description: num_heads=2, frl_config=45, framebuffer=512M, max_resolution=2560x1600, max_instance=16 --- name: GRID M60-0B
   mdev_type: nvidia-12 --- description: num_heads=2, frl_config=60, framebuffer=512M, max_resolution=2560x1600, max_instance=16 --- name: GRID M60-0Q
   ...
   mdev_type: nvidia-22 --- description: num_heads=4, frl_config=60, framebuffer=8192M, max_resolution=4096x2160, max_instance=1 --- name: GRID M60-8Q

   Copy to Clipboard Toggle word wrap
8. 在管理门户中，点 Compute → Virtual Machines。选择一个虚拟机并点击 Edit。此时会出现 Edit Virtual Machine 对话框。
9. 点自定义属性。如果没有出现自定义属性，请首先单击 Show Advanced Options。
10. 在 Custom Properties 对话框中，点 Please select a key → mdev_type。如果没有出现 Please select a key，点 + 按钮。

11. 在出现的文本字段中，输入您之前识别的 GPU 类型或类型。例如： nvidia-12。您可以使用一个以逗号分隔的列表为一个虚拟机添加多个 vGPU。例如：nvidia22,nvidia22.

    注意

    多个 vGPU 必须是相同的 mdev 类型。例如您不能使用 nvidia22,nvidia15。

流程

1. 运行虚拟机并使用串行控制台（如 SPICE 或 VNC）连接到该控制台。
2. 将驱动程序下载到虚拟机。有关获取驱动程序的详情，请查看 NVIDIA 网站上的驱动程序页面。

3. 安装 vGPU 驱动程序，按照 NVIDIA Virtual GPU 软件文档中的安装 NVIDIA vGPU Software Graphics Driver 中的说明。

   重要

   仅限 Linux： 在 Linux 客户机操作系统上安装驱动程序时，系统将提示您更新 xorg.conf。如果您不在安装过程中更新 xorg.conf，则需要手动更新它。更多信息请参阅 第 1.5 节 “更新和启用 xorg（Linux 虚拟机）”。

4. 在驱动程序完成安装后，重启机器。对于 Windows 虚拟机， 从管理门户或虚拟机门户中完全关闭客户机，而不是从客户机操作系统中。

   重要

   仅 Windows： 从 Windows 虚拟机操作系统中关闭虚拟机有时会将虚拟机变为休眠模式，这不会完全清除内存，并可能会导致后续的问题。使用管理门户或虚拟机门户关闭虚拟机会强制完全清理内存。

5. 运行虚拟机并使用其中一个支持的远程桌面协议（如 Mechdyne TGX）连接到该虚拟机，并通过打开 NVIDIA Control Panel 进行验证。在 Windows 上，您还可以打开 Windows Device Manager。vGPU 应显示在 Display 适配器 下。如需更多信息，请参阅 NVIDIA Virtual GPU 软件文档中的 NVIDIA vGPU 软件图形驱动程序。
6. 为每个 vGPU 设置 NVIDIA vGPU 客户机软件许可，并在 NVIDIA 控制面板中添加许可证凭证。如需更多信息，请参阅 NVIDIA Virtual GPU 软件文档中的 NVIDIA vGPU 软件许可证的使用方法。

流程

1. 在管理门户中，点 Compute → Virtual Machines。
2. 右键单击虚拟机，再点关闭。
3. 虚拟机关闭后，选择虚拟机并点编辑。这会打开 Edit Virtual Machine 窗口。
4. 在自定义属性选项卡上，点 mdev 类型 旁边的减号 - 按钮，然后单击确定。