SR-IOV を実装するためのハードウェアの考慮事項

Single Root I/O Virtualization (SR-IOV) は、単一の PCI Express (PCIe) エンドポイントを複数の個別のデバイスとして使用できるようにするハードウェアリファレンスです。これは、物理機能 (PF) と仮想機能 (VF) の 2 つの PCIe 機能を導入することで実現されます。

物理機能は、SR-IOV 機能を含む従来の PCIe 機能であり、データ移動を含む PCIe デバイスの完全な設定と制御を備えています。各 PCIe デバイスは、1〜8 個の独立した PF を利用できます。

仮想機能は、データ移動に必要なリソースと最小化された設定リソースのセットを含む軽量の PCIe 機能です。各 PF で複数の VF を作成でき、各 PF は異なる量の VF をサポートできます。許可される VF の総数は、PCIe デバイスのベンダーによって異なり、デバイスによって異なります。

PCIe 仕様は、8 つ以上の機能を可能にする PCIe ヘッダーのデバイス番号フィールドを再解釈する Alternative Routing ID Interpretation (ARI) の実装を通じて、より多くの VF をサポートします。この変換は、PCIe デバイスと、デバイスのすぐ上流にあるポート (ルートポートまたはスイッチ) の両方に依存し、ARI をサポートします。

システムファームウェア (BIOS または UEFI) は、メモリー、I/O ポートアパーチャ、PCIe バス番号範囲などのリソースを PCIe トポロジーに割り当てます。そのため、十分なリソースを割り当てるには、ファームウェアによって SR-IOV がサポートおよび有効化されている必要があります。

デバイス割り当ては、仮想ゲストを PCIe デバイスに直接割り当てる機能を提供して、ゲストにフルアクセスを提供し、ネイティブに近いパフォーマンスを提供します。SR-IOV と組み合わせて実装されると、仮想ゲストには VF が直接割り当てられます。このようにして、複数の仮想ゲストを単一の PCIe デバイスの VF に直接割り当てることができます。

SR-IOV を有効にして仮想マシンを PCIe デバイスに直接割り当てる必要はなく、デバイス割り当てが VF を作成するための唯一のアプリケーションでもありませんが、2 つの機能は補完的であり、一緒に使用する場合はハードウェアに関する追加の考慮事項があります。

デバイスの割り当てには、CPU とファームウェアでの I/O メモリー管理ユニット (IOMMU) のサポートが必要です。IOMMU は、I/O 仮想アドレス (IOVA) と物理メモリーアドレスの間で変換を行います。これにより、仮想ゲストはゲストの物理アドレスを使用してデバイスをプログラムでき、IOMMU によってホストの物理アドレスに変換されます。

IOMMU グループは、システム内の他のすべてのデバイスから分離できるデバイスのセットです。IOMMU グループは、IOMMU の粒度と、システム内の他のすべての IOMMU グループからの分離の両方を備えたデバイスの最小セットを表します。これにより、IOMMU は、IOMMU グループ外のデバイスと IOMMU の制御の間のダイレクトメモリーアクセス (DMA) を制限しながら、IOMMU グループとの間のトランザクションを区別できます。

仮想ゲストと PCIe デバイスの仮想機能間のトランザクションの分離は、デバイス割り当ての基本です。PCIe およびサーバー仕様で定義されているアクセス制御サービス (ACS) 機能は、IOMMU グループ内の分離を維持するためのハードウェア標準です。ネイティブ ACS がない場合、またはハードウェアベンダーからの確認がない場合、IOMMU グループ内の多機能デバイスは、IOMMU の保護外で発生する機能間でピアツーピア DMA を公開し、適切な分離がない機能を含むように IOMMU グループを拡張するリスクがあります。

サーバーのルートポートにはネイティブ ACS サポートも推奨されます。そうしないと、これらのポートにインストールされているデバイスがグループ化されます。ルートポートには、プロセッサーベース (ノースブリッジ) のルートポートとコントローラーハブベース (サウスブリッジ) のルートポートの 2 種類があります。上記のように、デバイス割り当てが SR-IOV と組み合わせて使用され、仮想ゲストが VF に割り当てられている場合、これらのポートは ACS と ARI の両方をサポートする必要があります。

Intel の Xeon Processor E5 ファミリー、Xeon Processor E7 ファミリー、および High End Desktop Processor には、プロセッサーベースのルートポートでのネイティブ ACS サポートが含まれています。

Intel Platform Controller Hub ベース (PCH) の PCI Express Root Port は現在、ACS をサポートしていないか、非標準の ACS 実装を使用しているため、これらのルートポートを介して接続されたデバイスをきめ細かく分離することは困難です。これらのルートポートの多くは、ACS と同等の機能をサポートしています。Red Hat Enterprise Linux 7.3 カーネルには、X79、X99、5 シリーズから 9 シリーズ、および 100 シリーズ PCI Express チップセットでこの ACS と同等の機能を有効にするためのサポートが含まれています。

ルートポートが ACS をサポートしていることを確認するために、PCIe デバイスをインストールするときにプロセッサーベースおよびコントローラーハブベースのルートポートを決定する方法については、ベンダーの仕様を参照してください。

さらに、I/O トポロジー内の PCIe スイッチまたはブリッジにも ACS サポートが必要です。そうでない場合、IOMMU グループが拡張される可能性があります。