虚拟化部署和管理指南

过程 3.1. 使用本地安装介质通过 virt-manager 创建 Red Hat Enterprise Linux 7 客户机虚拟机

1. 可选：准备

   为虚拟机准备存储环境。有关准备存储的详情请参考 第 13 章 为虚拟机管理存储。
   重要
   各种存储类型可用于存储客户机虚拟机。但是，要使虚拟机能够使用迁移功能，虚拟机必须在网络存储上创建。
   Red Hat Enterprise Linux 7 至少需要 1 GB 存储空间。但是，红帽建议为 Red Hat Enterprise Linux 7 安装以及本指南中的步骤推荐至少 5 GB 存储空间。

2. 打开 virt-manager 并启动向导

   以 root 用户身份执行 virt-manager 命令打开 virt-manager，或打开 Applications → System Tools → Virtual Machine Manager。

   图 3.1. Virtual Machine Manager 窗口

   
   （可选）通过选择管理程序并单击 连接 按钮打开远程管理程序。
   点击 启动新的虚拟化客户机向导。
   此时会打开 New VM 窗口。

3. 指定安装类型

   选择安装类型：

   本地安装介质（ISO 镜像或 CDROM）

   此方法使用安装磁盘的镜像（如 .iso）。但是，无法使用 主机 CD-ROM 或者 DVD-ROM 设备。

   网络安装（HTTP、FTP 或 NFS）

   此方法涉及使用已镜像的 Red Hat Enterprise Linux 或 Fedora 安装树来安装客户机。安装树必须可通过 HTTP、FTP 或 NFS 访问。

   如果您选择 Network Install，请提供安装 URL 和 Kernel 选项（如果需要）。

   网络启动(PXE)

   此方法使用 Preboot eXecution Environment(PXE)服务器来安装客户机虚拟机。Red Hat Enterprise Linux 7 安装指南 中介绍了如何设置 PXE 服务器。要使用网络引导，客户机必须具有可路由的 IP 地址或共享网络设备。

   如果您选择 Network Boot，请继续到 STEP 5。完成所有步骤后，将发送 DHCP 请求，如果找到有效的 PXE 服务器将启动 guest 虚拟机的安装过程。

   导入现有磁盘镜像

   此方法可用于创建新的客户机虚拟机，并将磁盘镜像（包含预安装、可引导的操作系统）导入到其中。

   图 3.2. 虚拟机安装方法

   
   点 Forward 继续。

4. 选择安装源

   1. 如果选择了 Local 安装介质（ISO 镜像或 CDROM）， 请指定您预期的本地安装介质。

      图 3.3. 本地 ISO 镜像安装

      
      警告
      虽然 GUI 中目前存在 选项，但无法从主机上的物理 CD-ROM 或者 DVD 设备安装。因此，选择 Use CDROM 或 DVD 选项会导致虚拟机安装失败。详情请查看 Red Hat 知识库。
      要从 ISO 镜像安装，请选择 Use ISO image 并点 Browse... 按钮以打开 Locate 介质卷 窗口。
      选择要使用的安装镜像，然后单击 Choose Volume。
      如果在 Locate 介质卷 窗口中没有显示镜像，点 Browse Local 按钮浏览包含安装磁盘的安装镜像或 DVD 驱动器的主机机器。选择包含安装磁盘的安装镜像或者 DVD 驱动器并点击 Open; 选择了卷供使用，并返回到 Create a new virtual machine 向导。
      重要
      对于 ISO 镜像文件和客户机存储镜像，建议使用的位置是 /var/lib/libvirt/images/。任何其他位置可能需要 SELinux 的额外配置。有关配置 SELinux 的详情，请查看 Red Hat Enterprise Linux Virtualization 安全指南 或 Red Hat Enterprise Linux SELinux User's Guide。
   2. 如果选择了 Network Install，输入安装源的 URL 以及所需的内核选项（若有）。URL 必须指向安装树的根目录，它必须能够通过 HTTP、FTP 或 NFS 访问。
      要执行 kickstart 安装，请在内核选项中指定 kickstart 文件的 URL，从 ks=开始。

      图 3.4. 网络 kickstart 安装

      
      注意
      有关内核选项的完整列表，请参阅 Red Hat Enterprise Linux 7 安装指南。
   接下来，配置安装的操作系统 类型和 版本。确保为虚拟机选择适当的操作系统类型。这可以手动指定，或者根据 安装介质复选框选择 Automatically detect operating system。
   点 Forward 继续。

5. 配置内存(RAM)和虚拟 CPU

   指定要分配给虚拟机的 CPU 和内存量。向导显示您可以分配的 CPU 数和内存量；这些值会影响主机和客户机的性能。
   虚拟机需要足够的物理内存(RAM)来高效地运行。红帽为虚拟机支持至少 512MB 的 RAM。红帽建议为每个逻辑内核至少 1024MB RAM。
   为虚拟机分配足够虚拟 CPU。如果虚拟机运行多线程应用程序，请分配客户机虚拟机需要运行的虚拟 CPU 数量。
   您不能分配超过主机系统中可用的物理处理器（或超线程）的虚拟 CPU。可用的虚拟 CPU 数量在 Up to X available 字段中记录。

   图 3.5. 配置内存和 CPU

   
   配置内存和 CPU 设置后，单击" 下一步" 以继续。
   注意
   内存和虚拟 CPU 可以过量使用。有关过量使用的详情请参考 第 7 章 使用 KVM 进行过量使用。

6. 配置存储

   为您的虚拟机启用并分配足够的空间，以及它所需的任何应用程序。对于最低安装，至少为桌面安装分配 5 GB 或至少 1 GB。

   图 3.6. 配置虚拟存储

   
   注意
   实时迁移和离线迁移需要在共享网络存储上安装虚拟机。有关为虚拟机设置共享存储的详情，请参考 第 15.4 节 “共享存储示例：用于简单迁移的 NFS”。

   1. 使用默认本地存储

      选择 计算机硬盘驱动器单选按钮上创建磁盘映像，以便在默认存储池中创建基于文件的镜像，即 /var/lib/libvirt/images/ 目录。输入要创建的磁盘镜像的大小。如果选择了 Allocate entire disk 复选框，则将立即创建指定大小的磁盘镜像。如果没有，磁盘镜像会在填充时增大。
      注意
      虽然存储池是一个虚拟容器，它受到两个因素的限制： 虽然它的最大大小由 qemu-kvm 和主机物理机器上的磁盘大小进行调整。存储池可能没有超过主机物理机器上磁盘的大小。最大大小如下：

      • virtio-blk = 2^63 字节或 8 Exabytes（使用原始文件或磁盘）
      • Ext4 = ~ 16 TB（使用 4 KB 的块大小）
      • XFS = ~8 Exabytes
      • 在尝试非常大的镜像大小时，应评估/调整其 metadata 和主机文件系统，保持自己的元数据和可扩展性。使用原始磁盘意味着会影响可扩展性或最大大小的层数。
      点击 Forward 在本地硬盘中创建磁盘镜像。或者，选择 Select managed 或其他现有存储，然后选择 Browse 来配置受管存储。

   2. 使用存储池

      如果您选择 Select managed 或 other existing storage 来使用存储池，请点击 Browse 打开 Locate 或 create storage volume 窗口。

      图 3.7. Choose Storage Volume 窗口

      
      1. 从 Storage Pools 列表中选择存储池。
      2. 可选：点击 创建新存储卷。此时会出现 Add a Storage Volume 屏幕。输入新存储卷的名称。
         从 Format 下拉菜单中选择 Format 选项。格式选项包括 raw、qcow2、和 qed。根据需要调整其他字段。请注意，这里使用的 qcow2 版本为版本 3。要更改 qcow 版本，请参阅 第 23.19.2 节 “设置目标元素”

         图 3.8. Add a Storage Volume 窗口

         
   选择新卷，再单击 Choose volume。接下来，单击 Finish 以返回到 New VM 向导。点 Forward 继续。

7. 名称和最终配置

   将虚拟机命名为。虚拟机名称可以包含字母、数字和以下字符：下划线(_)、句点( )和连字符(-)。虚拟机名称对于迁移来说必须是唯一的，且不能仅包含数字。
   默认情况下，将使用名为"default"的网络的网络地址转换(NAT)创建虚拟机。要更改网络选择，请点击 网络选择 并选择主机设备和源模式。
   验证虚拟机的设置，并在您满意时单击 "完成" ；这将创建具有指定网络设置、虚拟化类型和架构的虚拟机。

   图 3.9. 验证配置

   
   或者，要进一步配置虚拟机的硬件，请在安装前选中 Customize configuration，以更改客户机的存储或网络设备，以使用半虚拟化(virtio)驱动程序或添加额外的设备。这会打开另一个向导，供您添加、删除和配置虚拟机的硬件设置。
   注意
   Red Hat Enterprise Linux 4 或 Red Hat Enterprise Linux 5 虚拟机无法使用图形模式安装。因此，您必须选择"Cirrus"而不是"QXL"作为显卡。
   配置虚拟机硬件后，请单击" 应用 "。virt-manager 将根据指定的硬件设置创建虚拟机。
   警告
   从远程介质安装 Red Hat Enterprise Linux 7 客户机虚拟机时，但没有配置的 TCP/IP 连接时，安装会失败。但是，在这样的情况下，当安装 Red Hat Enterprise Linux 5 或 6 的客户机虚拟机时，安装程序会打开"配置 TCP/IP"接口。

   有关这一差异的更多信息，请参阅 相关知识库文章。
   点 Finish 继续进入 Red Hat Enterprise Linux 安装序列。有关安装 Red Hat Enterprise Linux 7 的详情，请参考 Red Hat Enterprise Linux 7 安装指南。

过程 4.2. 使用 virt-manager 克隆虚拟机

1. open virt-manager

   启动 virt-manager。从 应用程序菜单 和 系统工具 子菜单 启动虚拟机管理器 应用程序。或者，以 root 身份运行 virt-manager 命令。
   从 Virtual Machine Manager 中的客户机虚拟机列表中选择您要克隆的客户机虚拟机。
   在您要克隆的 guest 虚拟机上单击鼠标右键，然后选择 Clone。此时会打开 Clone Virtual Machine 窗口。

   图 4.1. 克隆虚拟机窗口

   

2. 配置克隆

   • 要更改克隆的名称，请为克隆输入新名称。
   • 要更改网络配置，请点击 Details。
     为克隆输入新的 MAC 地址。
     点确定。

     图 4.2. 更改 MAC 地址窗口

     
   • 对于克隆的客户机虚拟机中的每个磁盘，请选择以下选项之一：
     • 克隆此磁盘 - 将克隆为克隆的客户机虚拟机的磁盘
     • 与 guest 虚拟机名称共享磁盘 - 磁盘将由将被克隆及其克隆的客户端虚拟机共享
     • Details - 打开更改存储路径窗口，该窗口为磁盘启用新路径

       图 4.3. 更改 存储路径 窗口

       

3. 克隆客户机虚拟机

   单击 Clone。

过程 6.1. 使用 virt-manager 创建桥接

1. 在 virt-manager 主菜单中，点击 Edit zfcp Connection Details 打开 Connection Details 窗口。
2. 点 Network Interfaces 选项卡。
3. 单击窗口底部的 +，以配置新的网络接口。
4. 在 Interface 类型 下拉菜单中，选择 Bridge，然后单击 Forward 以继续。

   图 6.1. 添加桥接

   
5. 1. 在 Name 字段中输入网桥名称，如 br0。
   2. 从下拉菜单中选择 Start 模式。从以下之一中选择：
      • none - 取消激活网桥
      • ONBOOT - 在下一个客户机虚拟机重新引导时激活桥接
      • 热插拔 - 即使客户机虚拟机正在运行，也会激活桥接
   3. 选中 激活现在 复选框以立即激活该网桥。
   4. 要配置 IP 设置 或网桥 设置，请单击相应的 配置 按钮。将打开一个单独的窗口，以指定所需的设置。进行必要的更改，完成后单击 确定。
   5. 选择要连接到您的虚拟机的物理接口。 如果接口当前被另一个虚拟客户机使用，您将收到一条警告消息。
6. 点 Finish 和向导关闭，把您返回到 Connections 菜单。

   图 6.2. 添加桥接

   

过程 9.1. 配置 PXE 引导服务器

1. 将 PXE 引导镜像和配置放在 /var/lib/tftpboot 中。
2. 使用以下命令：

   # virsh net-destroy default
   # virsh net-edit default

3. 编辑默认 网络的配置文件中的 <ip> 元素，使其包含正确的地址、网络掩码、DHCP 地址范围和引导文件，其中 BOOT_FILENAME 代表您用来引导客户机虚拟机的文件名。

   <ip address='192.168.122.1' netmask='255.255.255.0'>
      <tftp root='/var/lib/tftpboot' />
      <dhcp>
         <range start='192.168.122.2' end='192.168.122.254' />
         <bootp file='BOOT_FILENAME' />
      </dhcp>
   </ip>

4. 运行：

   # virsh net-start default

5. 使用 PXE 引导客户端（请参考 第 9.2 节 “使用 PXE 启动客户机”）。

过程 9.2. 使用 PXE 和桥接网络引导客户端

1. 确保启用桥接功能，以便网络可使用 PXE 引导服务器。
2. 引导启用了 PXE 启动的客户机虚拟机。您可以使用 virt-install 命令创建启用了 PXE 引导的新虚拟机，如下例所示：

   virt-install --pxe --network bridge=breth0 --prompt

   另外，请确保客户端网络被配置为使用桥接网络，并且 XML 客户机配置文件在 <boot dev='network'/> 元素中有一个 <os> 元素，如下例所示：

   <os>
      <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
      <boot dev='network'/>
      <boot dev='hd'/>
   </os>
   <interface type='bridge'>
      <mac address='52:54:00:5a:ad:cb'/>
      <source bridge='breth0'/>
      <target dev='vnet0'/>
      <alias name='net0'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
   </interface>

过程 9.3. 使用私有 libvirt 网络

1. 在 libvirt 上配置 PXE 引导，如 第 9.1.1 节 “在私有 libvirt 网络中设置 PXE 引导服务器” 所示。
2. 使用 libvirt 引导客户机虚拟机，并启用 PXE 引导。您可以使用 virt-install 命令使用 PXE 创建/安装新虚拟机：

   virt-install --pxe --network network=default --prompt

过程 11.4. 在 Linux 客户机中使用 virsh 设置客户机代理与主机之间的通信

1. 关闭虚拟机

   在配置 SPICE 代理前，请确定虚拟机（本例中为 rhel 7）被关闭：

   # virsh shutdown rhel7 

2. 在客户机 XML 配置中添加 SPICE 代理频道

   编辑客户端的 XML 文件以添加 SPICE 代理详情：

   # virsh edit rhel7

   在客户机的 XML 文件中添加以下内容并保存更改：

   <channel type='spicevmc'>
      <target type='virtio' name='com.redhat.spice.0'/>
   </channel>

3. 启动虚拟机

   # virsh start rhel7

4. 在客户端中安装 SPICE 代理

   如果尚未在客户机虚拟机中安装 SPICE 代理：

   # yum install spice-vdagent

5. 在客户机中启动 SPICE 代理

   在客户机中启动 SPICE 代理服务：

   # systemctl start spice-vdagent

过程 11.5. 在正在运行的 Linux 客户机中设置 SPICE 代理与主机之间的通信

1. 为 SPICE 代理创建 XML 文件

   # cat agent.xml
   <channel type='spicevmc'>
      <target type='virtio' name='com.redhat.spice.0'/>
   </channel>

2. 将 SPICE 代理附加到虚拟机

   用这个命令将 SPICE 代理附加到正在运行的虚拟机（本例中为 rhel7 ）：

   # virsh attach-device rhel7 agent.xml

3. 在客户端中安装 SPICE 代理

   如果尚未在客户机虚拟机中安装 SPICE 代理：

   # yum install spice-vdagent

4. 在客户机中启动 SPICE 代理

   在客户机中启动 SPICE 代理服务：

   # systemctl start spice-vdagent

过程 11.6. 使用 virt-manager在 SPICE 代理和主机间设置通信

1. 关闭虚拟机

   在配置 SPICE 代理前，确保虚拟机已关闭。
   要关闭虚拟机，请从 Virtual Machine Manager 中的虚拟机列表中选择，然后单击菜单栏中的 light 开关图标。

2. 将 SPICE 代理频道添加到客户端

   单击 guest 窗口顶部的 lightbulb 图标，打开虚拟机的硬件详细信息。
   点击 Add Hardware 按钮，打开 Add New Virtual Hardware 窗口，然后选择 Channel。
   从 名称 下拉列表中选择 SPICE 代理，编辑频道地址，然后点 Finish:

   图 11.2. 选择 SPICE 代理频道设备

   

3. 启动虚拟机

   要启动虚拟机，请从 Virtual Machine Manager 中的虚拟机列表中选择，然后点击 。

4. 在客户端中安装 SPICE 代理

   使用 virt-manager 打开客户机，并在客户机虚拟机上尚未安装 SPICE 代理：

   # yum install spice-vdagent

5. 在客户机中启动 SPICE 代理

   在客户机中启动 SPICE 代理服务：

   # systemctl start spice-vdagent

1. 打开 libvirtd.conf 文件，如 过程 15.1, “配置 libvirtd.conf” 所述。
2. 查找处理控制部分。

   #################################################################
   #
   # Processing controls
   #
   
   # The maximum number of concurrent client connections to allow
   # over all sockets combined.
   #max_clients = 5000
   
   # The maximum length of queue of connections waiting to be
   # accepted by the daemon. Note, that some protocols supporting
   # retransmission may obey this so that a later reattempt at
   # connection succeeds.
   #max_queued_clients = 1000
   
   # The minimum limit sets the number of workers to start up
   # initially. If the number of active clients exceeds this,
   # then more threads are spawned, upto max_workers limit.
   # Typically you'd want max_workers to equal maximum number
   # of clients allowed
   #min_workers = 5
   #max_workers = 20
   
   
   # The number of priority workers. If all workers from above
   # pool will stuck, some calls marked as high priority
   # (notably domainDestroy) can be executed in this pool.
   #prio_workers = 5
   
   # Total global limit on concurrent RPC calls. Should be
   # at least as large as max_workers. Beyond this, RPC requests
   # will be read into memory and queued. This directly impact
   # memory usage, currently each request requires 256 KB of
   # memory. So by default upto 5 MB of memory is used
   #
   # XXX this isn't actually enforced yet, only the per-client
   # limit is used so far
   #max_requests = 20
   
   # Limit on concurrent requests from a single client
   # connection. To avoid one client monopolizing the server
   # this should be a small fraction of the global max_requests
   # and max_workers parameter
   #max_client_requests = 5
   
   #################################################################
   

3. 更改 max_clients 和 max_workers 参数设置。建议两个参数中的数字都相同。max_clients 每次迁移过程中将使用 2 个客户端（每个迁移一个），max_workers 则在执行阶段，目标上的 1 个 worker 使用 1 个 worker，并在完成阶段在目标 1 个 worker 上使用 1 个 worker。
   重要
   max_clients 和 max_workers 参数设置会受到连接到 libvirtd 服务的所有客户机虚拟机连接的影响。这意味着，任何正在使用同一客户机虚拟机并同时执行迁移的用户也会遵循 max_clients 和 max_workers 参数设置的限制。这就是为什么在执行并发实时迁移之前，需要仔细考虑最大值的原因。
   重要
   max_clients 参数控制允许多少个客户端连接到 libvirt。当同时启动大量容器时，可轻松达到和超过这一限制。max_clients 参数的值可以增加以避免这种情况，但这样做会使系统更易受到攻击，从而防止系统遭到拒绝服务(DoS)攻击。要解决这个问题，Red Hat Enterprise Linux 7.0 中引入了一个新的 max_anonymous_clients 设置，用于指定接受但尚未通过身份验证的连接的限制。您可以实施 max_clients 和 max_anonymous_clients 的组合来适合您的工作负载。
4. 保存文件并重启该服务。
   注意
   有些情况下，迁移连接会下降，因为已启动但尚未通过身份验证的 ssh 会话太多。默认情况下，sshd 只允许 10 会话随时处于 "pre-authenticated state"。此设置由 sshd 配置文件中的 MaxStartups 参数（位于： /etc/ssh/sshd_config）来控制，可能需要进行一些调整。需要小心调整此参数，因为限制可以防止 DoS 攻击（一般情况下使用资源）。将此值设置为过高，将指示其用途。要更改这个参数，请编辑文件 /etc/ssh/sshd_config，从 MaxStartups 行的开头删除 #，并将 10 （默认值）改为更高数字。记住保存文件并重新启动 sshd 服务。如需更多信息，请参阅 sshd_config man page。

过程 16.3. 使用 virsh 为客户机虚拟机分配 PCI 设备

1. 确定设备

   首先，识别为分配给虚拟机的设备分配的 PCI 设备。使用 lspci 命令列出可用的 PCI 设备。您可以使用 grep 重新定义 lspci 的输出。
   本例使用在以下输出中突出显示的以太网控制器：

   # lspci | grep Ethernet
   00:19.0 Ethernet controller: Intel Corporation 82567LM-2 Gigabit Network Connection
   01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

   此时会显示这个以太网控制器，其简短标识符 00:19.0。我们需要找到 virsh 使用的完整标识符，以将此 PCI 设备分配给虚拟机。
   为此，请使用 virsh nodedev-list 命令列出附加到主机机器的特定类型(pci)的所有设备。然后查看映射到您要使用的设备的简短标识符的字符串的输出。
   本例显示了使用简短标识符 00:19.0 映射到以太网控制器的字符串。请注意，: 和 . 字符在完整的标识符中被替换为下划线。

   # virsh nodedev-list --cap pci
   pci_0000_00_00_0
   pci_0000_00_01_0
   pci_0000_00_03_0
   pci_0000_00_07_0
   pci_0000_00_10_0
   pci_0000_00_10_1
   pci_0000_00_14_0
   pci_0000_00_14_1
   pci_0000_00_14_2
   pci_0000_00_14_3
   pci_0000_00_19_0
   pci_0000_00_1a_0
   pci_0000_00_1a_1
   pci_0000_00_1a_2
   pci_0000_00_1a_7
   pci_0000_00_1b_0
   pci_0000_00_1c_0
   pci_0000_00_1c_1
   pci_0000_00_1c_4
   pci_0000_00_1d_0
   pci_0000_00_1d_1
   pci_0000_00_1d_2
   pci_0000_00_1d_7
   pci_0000_00_1e_0
   pci_0000_00_1f_0
   pci_0000_00_1f_2
   pci_0000_00_1f_3
   pci_0000_01_00_0
   pci_0000_01_00_1
   pci_0000_02_00_0
   pci_0000_02_00_1
   pci_0000_06_00_0
   pci_0000_07_02_0
   pci_0000_07_03_0

   记录映射到您要使用的设备的 PCI 设备号；其他步骤中这是必需的。

2. 查看设备信息

   有关域、总线和功能的信息可从 virsh nodedev-dumpxml 命令的输出中获得：

   图 16.1. 转储内容

   
   # virsh nodedev-dumpxml pci_0000_00_19_0
   <device>
     <name>pci_0000_00_19_0</name>
     <parent>computer</parent>
     <driver>
       <name>e1000e</name>
     </driver>
     <capability type='pci'>
       <domain>0</domain>
       <bus>0</bus>
       <slot>25</slot>
       <function>0</function>
       <product id='0x1502'>82579LM Gigabit Network Connection</product>
       <vendor id='0x8086'>Intel Corporation</vendor>
       <iommuGroup number='7'>
         <address domain='0x0000' bus='0x00' slot='0x19' function='0x0'/>
       </iommuGroup>
     </capability>
   </device>
   
   

   注意
   IOMMU 组根据 IOMMU 的视角的可见性和隔离来确定。每个 IOMMU 组可以包含一个或多个设备。当存在多个设备时，必须声明 IOMMU 组内的所有端点，以便将该组中的所有设备分配给客户机。这也可以通过为客户机分配额外的端点，也可以使用 virsh nodedev-detach 从主机驱动程序中分离它们。单个组中包含的设备可能不在多个客户机间分割，或者在主机和客户机间分割。PCIe 根端口、交换机端口和网桥等非端点设备不应与主机驱动程序分离，而不会干扰分配端点。

   IOMMU 组中的设备可以使用 virsh nodedev-dumpxml 输出的 iommuGroup 部分确定。组的每个成员都在单独的 "address" 字段中提供。这些信息也可以在 sysfs 中使用以下内容：

   $ ls /sys/bus/pci/devices/0000:01:00.0/iommu_group/devices/

   输出示例如下：

   0000:01:00.0  0000:01:00.1

   要只为客户机分配 0000.01.00.0，在启动客户机前应该从主机分离未使用的端点：

   $ virsh nodedev-detach pci_0000_01_00_1

3. 确定所需的配置详情

   如需配置文件所需的值，请参见 virsh nodedev-dumpxml pci_0000_00_19_0 命令的输出。
   示例设备具有以下值： bus = 0, 插槽 = 25, function = 0。十进制配置使用这三个值：

   bus='0'
   slot='25'
   function='0'

4. 添加配置详情

   运行 virsh edit，指定虚拟机名称，并在 <devices> 部分添加一个设备条目，将 PCI 设备分配给客户机虚拟机。例如：

   # virsh edit guest1-rhel7-64

   图 16.2. 添加 PCI 设备

   
   <devices>
   	[...]
    <hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
         <address domain='0' bus='0' slot='25' function='0'/>
      </source>
    </hostdev>
    [...]
   </devices>
   

   或者，运行 virsh attach-device，指定虚拟机名称和客户机 XML 文件：

   virsh attach-device guest1-rhel7-64 file.xml

   注意
   PCI 设备可以包括 可选的只读内存(ROM)模块 （也称为 ROM 或 扩展 ROM ）， 用于提供设备固件或预启动驱动程序（如 PXE）。通常，在使用 PCI 设备分配时，这些选项 ROM 也可在虚拟环境中工作，将物理 PCI 设备附加到虚拟机。

   但是，在某些情况下，选项 ROM 可能是不必要的。这可能会导致虚拟机引导速度变慢，或者该设备提供的预引导驱动程序与虚拟化不兼容，这可能会导致客户端操作系统引导失败。在这种情况下，红帽建议从虚拟机屏蔽选项 ROM。要做到这一点：

   1. 在主机上，验证要分配的设备是否具有扩展 ROM 基本地址寄存器(BAR)。要做到这一点，将 lspci -v 命令用于该设备，并检查包含以下内容的行：

      Expansion ROM at

   2. 将 <rom bar='off'/> 元素作为客户机 XML 配置中的 <hostdev> 元素的子项添加：

      <hostdev mode='subsystem' type='pci' managed='yes'>
        <source>
           <address domain='0' bus='0' slot='25' function='0'/>
        </source>
        <rom bar='off'/>
      </hostdev>
      

5. 启动虚拟机

   # virsh start guest1-rhel7-64

过程 16.4. 使用 virt-manager 为客户机虚拟机分配 PCI 设备

1. 打开硬件设置

   打开 guest 虚拟机，然后单击添加硬件 按钮向虚拟机添加新设备。

   图 16.3. 虚拟机硬件信息窗口

   

2. 选择 PCI 设备

   从左侧 的硬件 列表中选择 PCI 主机设备。
   选择未使用的 PCI 设备。请注意，选择存在于其他客户机中的 PCI 设备 会导致错误。本例中使用了备用的音频控制器。单击 Finish 以完成设置。

   图 16.4. Add new virtual hardware 向导

   

3. 添加新设备

   设置已完成，guest 虚拟机现在可以直接访问 PCI 设备。

   图 16.5. 虚拟机硬件信息窗口

   

过程 16.5. 使用 virt-install 为虚拟机分配 PCI 设备

1. 确定设备

   识别为分配给客户机虚拟机的设备分配的 PCI 设备。

   # lspci | grep Ethernet
   00:19.0 Ethernet controller: Intel Corporation 82567LM-2 Gigabit Network Connection
   01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

   virsh nodedev-list 命令列出与系统连接的所有设备，并使用字符串来识别每个 PCI 设备。要只把输出限制为 PCI 设备，请输入以下命令：

   # virsh nodedev-list --cap pci
   pci_0000_00_00_0
   pci_0000_00_01_0
   pci_0000_00_03_0
   pci_0000_00_07_0
   pci_0000_00_10_0
   pci_0000_00_10_1
   pci_0000_00_14_0
   pci_0000_00_14_1
   pci_0000_00_14_2
   pci_0000_00_14_3
   pci_0000_00_19_0
   pci_0000_00_1a_0
   pci_0000_00_1a_1
   pci_0000_00_1a_2
   pci_0000_00_1a_7
   pci_0000_00_1b_0
   pci_0000_00_1c_0
   pci_0000_00_1c_1
   pci_0000_00_1c_4
   pci_0000_00_1d_0
   pci_0000_00_1d_1
   pci_0000_00_1d_2
   pci_0000_00_1d_7
   pci_0000_00_1e_0
   pci_0000_00_1f_0
   pci_0000_00_1f_2
   pci_0000_00_1f_3
   pci_0000_01_00_0
   pci_0000_01_00_1
   pci_0000_02_00_0
   pci_0000_02_00_1
   pci_0000_06_00_0
   pci_0000_07_02_0
   pci_0000_07_03_0

   记录 PCI 设备编号；其他步骤中需要数字。
   有关域、总线和功能的信息可从 virsh nodedev-dumpxml 命令的输出中获得：

   # virsh nodedev-dumpxml pci_0000_01_00_0

   图 16.6. PCI 设备文件内容

   
   <device>
     <name>pci_0000_01_00_0</name>
     <parent>pci_0000_00_01_0</parent>
     <driver>
       <name>igb</name>
     </driver>
     <capability type='pci'>
       <domain>0</domain>
       <bus>1</bus>
       <slot>0</slot>
       <function>0</function>
       <product id='0x10c9'>82576 Gigabit Network Connection</product>
       <vendor id='0x8086'>Intel Corporation</vendor>
       <iommuGroup number='7'>
         <address domain='0x0000' bus='0x00' slot='0x19' function='0x0'/>
       </iommuGroup>
     </capability>
   </device>
   

   注意
   如果在 IOMMU 组中有多个端点，且并非所有端点都分配给客户端，则需要在启动客户端前运行以下命令从主机中手动分离其他端点：

   $ virsh nodedev-detach pci_0000_00_19_1

   有关 IOMMU 组的更多信息，请参阅 注意 中的 第 16.1.1 节 “使用 virsh 分配 PCI 设备”。

2. 添加设备

   使用 virsh nodedev 命令的 PCI 标识符输出作为 --host-device 参数的值。

   virt-install \
   --name=guest1-rhel7-64 \
   --disk path=/var/lib/libvirt/images/guest1-rhel7-64.img,size=8 \
   --vcpus=2 --ram=2048 \
   --location=http://example1.com/installation_tree/RHEL7.0-Server-x86_64/os \
   --nonetworks \
   --os-type=linux \
   --os-variant=rhel7
   --host-device=pci_0000_01_00_0

3. 完成安装

   完成客户机安装。PCI 设备应连接到客户机。

过程 16.6. 使用 virsh 从客户机中分离 PCI 设备

1. 分离设备

   使用以下命令，在客户机的 XML 文件中删除 PCI 设备来从客户机中分离 PCI 设备：

   # virsh detach-device name_of_guest file.xml

2. 重新将设备附加到主机（可选）

   如果设备处于 受管 模式，则跳过此步骤。该设备将自动返回到主机。
   如果设备没有使用 受管 模式，使用以下命令将 PCI 设备重新关联到主机机器：

   # virsh nodedev-reattach device

   例如，要将 pci_0000_01_00_0 设备重新关联到主机：

   # virsh nodedev-reattach pci_0000_01_00_0

   该设备现在可供主机使用。

过程 16.7. 使用 virt-manager 从客户机中分离 PCI 设备

1. 打开虚拟硬件详情屏幕

   在 virt-manager 中，双击包含该设备的虚拟机。选择 Show virtual hardware details 按钮，以显示虚拟硬件列表。

   图 16.7. 虚拟硬件详情按钮

   

2. 选择并删除该设备

   从左侧面板中的虚拟设备列表选择要分离的 PCI 设备。

   图 16.8. 选择要分离的 PCI 设备

   
   单击删除按钮 确认。该设备现在可供主机使用。

过程 16.8. 在 Intel 或 AMD 系统中附加 SR-IOV 网络设备

1. 在 BIOS 和内核中启用 Intel VT-d 或者 AMD IOMMU 规格

   在 Intel 系统中，在 BIOS 中启用 Intel VT-d（如果尚未启用）。请参阅 过程 16.1, “为 PCI 设备分配准备 Intel 系统” 在 BIOS 和内核中启用 Intel VT-d 中的程序帮助。
   如果 Intel VT-d 已经启用并正常工作，请跳过这一步。
   在 AMD 系统中，在 BIOS 中启用 AMD IOMMU 规格（如果尚未启用）。请参阅 过程 16.2, “为 PCI 设备分配准备 AMD 系统” 有关在 BIOS 中启用 IOMMU 的过程帮助。

2. 验证支持

   验证是否检测到具有 SR-IOV 功能的 PCI 设备。这个示例列出了支持 SR-IOV 的 Intel 82576 网络接口卡。使用 lspci 命令验证该设备是否已检测到。

   # lspci
   03:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   03:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

   请注意，输出已被修改来删除所有其它设备。

3. 激活虚拟功能

   运行以下命令：

   # echo ${num_vfs} > /sys/class/net/enp14s0f0/device/sriov_numvfs

4. 使虚拟功能持久

   要使虚拟功能在重新引导时持久保留，请使用您选择的编辑器创建类似如下的 udev 规则，其中指定 VF 的预期数量（本例中为 2），最多使用网络接口卡支持的限制。在以下示例中，将 enp14s0f0 替换为 PF 网络设备名称，并调整 ENV{ID_NET_DRIVER} 值以匹配正在使用的驱动程序：

   # vim /etc/udev/rules.d/enp14s0f0.rules

   ACTION=="add", SUBSYSTEM=="net", ENV{ID_NET_DRIVER}=="ixgbe",
   ATTR{device/sriov_numvfs}="2"
   

   这将确保在引导时启用该功能。

5. 检查新的虚拟功能

   使用 lspci 命令，列出附加到 Intel 82576 网络设备的新增虚拟功能。（此外，使用 grep 搜索 虚拟功能，以搜索支持虚拟功能的设备。）

   # lspci | grep 82576
   0b:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   0b:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
   0b:10.0 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.1 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.2 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.3 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.4 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.5 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.6 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:10.7 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:11.0 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:11.1 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:11.2 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:11.3 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:11.4 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)
   0b:11.5 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)

   PCI 设备标识符通过 lspci 命令的 -n 参数找到。物理功能与 0b:00.0 和 0b:00.1 对应。所有虚拟功能在描述中包含 虚拟功能。

6. 使用 virsh 验证设备是否存在

   libvirt 服务必须在向虚拟机中添加设备前识别该设备。libvirt 使用与 lspci 输出类似的标记。lspci 输出的所有标点字符 : 和 . 均更改为下划线(_)。
   使用 virsh nodedev-list 命令和 grep 命令从可用主机设备列表中过滤 Intel 82576 网络设备。0b 是本例中 Intel 82576 网络设备的过滤器。这可能会因您的系统而异，并可能导致额外的设备。

   # virsh nodedev-list | grep 0b
   pci_0000_0b_00_0
   pci_0000_0b_00_1
   pci_0000_0b_10_0
   pci_0000_0b_10_1
   pci_0000_0b_10_2
   pci_0000_0b_10_3
   pci_0000_0b_10_4
   pci_0000_0b_10_5
   pci_0000_0b_10_6
   pci_0000_0b_11_7
   pci_0000_0b_11_1
   pci_0000_0b_11_2
   pci_0000_0b_11_3
   pci_0000_0b_11_4
   pci_0000_0b_11_5

   虚拟功能和物理功能的 PCI 地址应该位于列表中。

7. 使用 virsh 获取设备详情

   pci_0000_0b_00_0 是物理功能之一，pci_0000_0b_10_0 是物理功能第一个对应的虚拟功能。使用 virsh nodedev-dumpxml 命令获取这两个设备的详情。

   # virsh nodedev-dumpxml pci_0000_03_00_0
   <device>
     <name>pci_0000_03_00_0</name>
     <path>/sys/devices/pci0000:00/0000:00:01.0/0000:03:00.0</path>
     <parent>pci_0000_00_01_0</parent>
     <driver>
       <name>igb</name>
     </driver>
     <capability type='pci'>
       <domain>0</domain>
       <bus>3</bus>
       <slot>0</slot>
       <function>0</function>
       <product id='0x10c9'>82576 Gigabit Network Connection</product>
       <vendor id='0x8086'>Intel Corporation</vendor>
       <capability type='virt_functions'>
         <address domain='0x0000' bus='0x03' slot='0x10' function='0x0'/>
         <address domain='0x0000' bus='0x03' slot='0x10' function='0x2'/>
         <address domain='0x0000' bus='0x03' slot='0x10' function='0x4'/>
         <address domain='0x0000' bus='0x03' slot='0x10' function='0x6'/>
         <address domain='0x0000' bus='0x03' slot='0x11' function='0x0'/>
         <address domain='0x0000' bus='0x03' slot='0x11' function='0x2'/>
         <address domain='0x0000' bus='0x03' slot='0x11' function='0x4'/>
       </capability>
       <iommuGroup number='14'>
         <address domain='0x0000' bus='0x03' slot='0x00' function='0x0'/>
         <address domain='0x0000' bus='0x03' slot='0x00' function='0x1'/>
       </iommuGroup>
     </capability>
   </device>

   # virsh nodedev-dumpxml pci_0000_03_11_5
   <device>
     <name>pci_0000_03_11_5</name>
     <path>/sys/devices/pci0000:00/0000:00:01.0/0000:03:11.5</path>
     <parent>pci_0000_00_01_0</parent>
     <driver>
       <name>igbvf</name>
     </driver>
     <capability type='pci'>
       <domain>0</domain>
       <bus>3</bus>
       <slot>17</slot>
       <function>5</function>
       <product id='0x10ca'>82576 Virtual Function</product>
       <vendor id='0x8086'>Intel Corporation</vendor>
       <capability type='phys_function'>
         <address domain='0x0000' bus='0x03' slot='0x00' function='0x1'/>
       </capability>
       <iommuGroup number='35'>
         <address domain='0x0000' bus='0x03' slot='0x11' function='0x5'/>
       </iommuGroup>
     </capability>
   </device>

   本例将虚拟功能 pci_0000_03_10_2 添加到第 8 步的虚拟机。请注意虚拟功能的 bus、插槽 和功能参数：这些是添加该设备所必需的。
   将这些参数复制到临时 XML 文件中，例如 /tmp/new-interface.xml。

      <interface type='hostdev' managed='yes'>
        <source>
          <address type='pci' domain='0x0000' bus='0x03' slot='0x10' function='0x2'/>
        </source>
      </interface>

   注意
   当虚拟机启动时，它应该会看到物理适配器提供的类型的网络设备，并配置了 MAC 地址。此 MAC 地址将在主机间保持不变，并且 guest 重新启动。

   以下 <interface> 示例显示可选 <mac address>、<virtualport> 和 <vlan> 元素的语法。在实践中，使用 <vlan> 或 <virtualport> 元素，不能同时使用这两个元素，如示例所示：

   ...
    <devices>
      ...
      <interface type='hostdev' managed='yes'>
        <source>
          <address type='pci' domain='0' bus='11' slot='16' function='0'/>
        </source>
        <mac address='52:54:00:6d:90:02'>
        <vlan>
           <tag id='42'/>
        </vlan>
        <virtualport type='802.1Qbh'>
          <parameters profileid='finance'/>
        </virtualport>
      </interface>
      ...
    </devices>

   如果您没有指定 MAC 地址，则会自动生成一个地址。<virtualport> 元素仅在连接到 802.11Qbh 硬件交换机时使用。<vlan> 元素将透明地将客户机的设备放在标记 42 的 VLAN 上。

8. 将虚拟功能添加到虚拟机

   通过以下命令，将虚拟功能添加到虚拟机，以及上一步中创建的临时文件。这会立即附加新设备，并保存它以便在以后的客户机重启。

   virsh attach-device MyGuest /tmp/new-interface.xml --live --config
   

   使用 virsh attach-device 指定 --live 选项，将新设备附加到运行的客户机中。使用 --config 选项可确保新设备在以后的客户机重启后可用。
   注意
   只有在客户机运行时接受 --live 选项。如果在非运行的客户机中使用 --live 选项，则 virsh 将返回错误。

过程 16.9. 配置 MAC 地址、vLAN 和虚拟端口，以在 SR-IOV 上分配 PCI 设备