10.15.10. PCI 패스스루 구성

절차

1. 커널 인수를 식별하는 MachineConfig 오브젝트를 만듭니다. 다음 예제에서는 Intel CPU에 대한 커널 인수를 보여줍니다.

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker 

   1

   
     name: 100-worker-iommu 

   2

   
   spec:
     config:
       ignition:
         version: 3.2.0
     kernelArguments:
         - intel_iommu=on 

   3

   
   # ...

   1

   새 커널 인수를 작업자 노드에만 적용합니다.

   2

   name은 머신 구성 및 그 용도 중 이 커널 인수의 순위(100)를 나타냅니다. AMD CPU가 있는 경우 커널 인수를 amd_iommu=on으로 지정합니다.

   3

   Intel CPU의 커널 인수를 intel_iommu로 식별합니다.

2. 새 MachineConfig 오브젝트를 만듭니다.

   $ oc create -f 100-worker-kernel-arg-iommu.yaml

절차

1. lspci 명령을 실행하여 PCI 장치의 vendor-ID 및 device-ID를 가져옵니다.

   $ lspci -nnv | grep -i nvidia

   출력 예

   02:01.0 3D controller [0302]: NVIDIA Corporation GV100GL [Tesla V100 PCIe 32GB] [10de:1eb8] (rev a1)

2. Virtual config 파일 100-worker-vfiopci.bu를 생성하여 PCI 장치를 VFIO 드라이버에 바인딩합니다.

   참고

   Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

   예

   variant: openshift
   version: 4.13.0
   metadata:
     name: 100-worker-vfiopci
     labels:
       machineconfiguration.openshift.io/role: worker 

   1

   
   storage:
     files:
     - path: /etc/modprobe.d/vfio.conf
       mode: 0644
       overwrite: true
       contents:
         inline: |
           options vfio-pci ids=10de:1eb8 

   2

   
     - path: /etc/modules-load.d/vfio-pci.conf 

   3

   
       mode: 0644
       overwrite: true
       contents:
         inline: vfio-pci

   1

   새 커널 인수를 작업자 노드에만 적용합니다.

   2

   단일 장치를 VFIO 드라이버에 바인딩하려면 이전에 결정한 vendor-ID 값 (10de) 및 device-ID 값 (1eb8) 을 지정합니다. 공급업체 및 장치 정보를 사용하여 여러 장치 목록을 추가할 수 있습니다.

   3

   작업자 노드에서 vfio-pci 커널 모듈을 로드하는 파일입니다.

3. Butane을 사용하여 작업자 노드로 전달할 구성이 포함된 MachineConfig 오브젝트 파일 100-worker-vfiopci.yaml을 생성합니다.

   $ butane 100-worker-vfiopci.bu -o 100-worker-vfiopci.yaml

4. 작업자 노드에 MachineConfig 오브젝트를 적용합니다.

   $ oc apply -f 100-worker-vfiopci.yaml

5. MachineConfig 오브젝트가 추가되었는지 확인합니다.

   $ oc get MachineConfig

   출력 예

   NAME                             GENERATEDBYCONTROLLER                      IGNITIONVERSION  AGE
   00-master                        d3da910bfa9f4b599af4ed7f5ac270d55950a3a1   3.2.0            25h
   00-worker                        d3da910bfa9f4b599af4ed7f5ac270d55950a3a1   3.2.0            25h
   01-master-container-runtime      d3da910bfa9f4b599af4ed7f5ac270d55950a3a1   3.2.0            25h
   01-master-kubelet                d3da910bfa9f4b599af4ed7f5ac270d55950a3a1   3.2.0            25h
   01-worker-container-runtime      d3da910bfa9f4b599af4ed7f5ac270d55950a3a1   3.2.0            25h
   01-worker-kubelet                d3da910bfa9f4b599af4ed7f5ac270d55950a3a1   3.2.0            25h
   100-worker-iommu                                                            3.2.0            30s
   100-worker-vfiopci-configuration                                            3.2.0            30s

절차

1. 다음 명령을 실행하여 기본 편집기에서 HyperConverged CR을 편집합니다.

   $ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnv

2. spec.permittedHostDevices.pciHostDevices 어레이에 PCI 장치 정보를 추가합니다. 예를 들면 다음과 같습니다.

   설정 파일 예

   apiVersion: hco.kubevirt.io/v1
   kind: HyperConverged
   metadata:
     name: kubevirt-hyperconverged
     namespace: openshift-cnv
   spec:
     permittedHostDevices: 

   1

   
       pciHostDevices: 

   2

   
       - pciDeviceSelector: "10DE:1DB6" 

   3

   
         resourceName: "nvidia.com/GV100GL_Tesla_V100" 

   4

   
       - pciDeviceSelector: "10DE:1EB8"
         resourceName: "nvidia.com/TU104GL_Tesla_T4"
       - pciDeviceSelector: "8086:6F54"
         resourceName: "intel.com/qat"
         externalResourceProvider: true 

   5

   
   # ...

   1

   클러스터에서 사용할 수 있는 호스트 장치입니다.

   2

   노드에서 사용할 수 있는 PCI 장치 목록입니다.

   3

   vendor-ID 및 device-ID는 PCI 장치를 식별해야 합니다.

   4

   PCI 호스트 장치의 이름입니다.

   5

   선택 사항: 이 필드를 true 로 설정하면 리소스가 외부 장치 플러그인에서 제공되었음을 나타냅니다. OpenShift Virtualization에서는 클러스터에서 이 장치를 사용할 수 있지만 할당 및 모니터링은 외부 장치 플러그인에 그대로 둡니다.

   참고

   위의 예제 스니펫은 이름이 nvidia.com/GV100GL_Tesla_V100이고 nvidia.com/TU104GL_Tesla_T4가 HyperConverged CR에서 허용된 호스트 장치 목록에 추가된 두 개의 PCI 호스트 장치를 보여줍니다. 이러한 장치는 OpenShift Virtualization에서 작동하도록 테스트 및 검증되었습니다.

3. 변경 사항을 저장하고 편집기를 종료합니다.

절차

1. 다음 명령을 실행하여 기본 편집기에서 HyperConverged CR을 편집합니다.

   $ oc edit hyperconverged kubevirt-hyperconverged -n openshift-cnv

2. 적절한 장치의 pciDeviceSelector,resourceName 및 externalResourceProvider (해당되는 경우) 필드를 삭제하여 spec.permittedHostDevices.pciHostDevices 어레이에서 PCI 장치 정보를 제거합니다. 이 예에서는 intel.com/qat 리소스가 삭제되었습니다.

   설정 파일 예

   apiVersion: hco.kubevirt.io/v1
   kind: HyperConverged
   metadata:
     name: kubevirt-hyperconverged
     namespace: openshift-cnv
   spec:
     permittedHostDevices:
       pciHostDevices:
       - pciDeviceSelector: "10DE:1DB6"
         resourceName: "nvidia.com/GV100GL_Tesla_V100"
       - pciDeviceSelector: "10DE:1EB8"
         resourceName: "nvidia.com/TU104GL_Tesla_T4"
   # ...

3. 변경 사항을 저장하고 편집기를 종료합니다.