19.2. SR-IOV 네트워크 장치 구성

프로세스

1. SriovNetworkPoolConfig 리소스를 생성합니다.

   1. SriovNetworkPoolConfig 리소스를 정의하는 YAML 파일을 생성합니다.

      sriov-nw-pool.yaml 파일 예

      apiVersion: v1
      kind: SriovNetworkPoolConfig
      metadata:
        name: pool-1 1
        namespace: openshift-sriov-network-operator 2
      spec:
        maxUnavailable: 2 3
        nodeSelector: 4
          matchLabels:
            node-role.kubernetes.io/worker: ""

      1

      SriovNetworkPoolConfig 오브젝트의 이름을 지정합니다.

      2

      SR-IOV Network Operator가 설치된 네임스페이스를 지정합니다.

      3

      업데이트 중에 풀에서 사용할 수 없는 노드에 대해 정수 숫자 또는 백분율 값을 지정합니다. 예를 들어 10개의 노드가 있고 사용할 수 없는 최대 노드를 2개로 설정하면 언제든지 2개의 노드만 병렬로 드레이닝되어 워크로드를 처리하기 위해 8개의 노드를 유지할 수 있습니다.

      4

      노드 선택기를 사용하여 풀을 추가할 노드를 지정합니다. 이 예제에서는 worker 역할이 있는 모든 노드를 풀에 추가합니다.

   2. 다음 명령을 실행하여 SriovNetworkPoolConfig 리소스를 생성합니다.

      $ oc create -f sriov-nw-pool.yaml

2. 다음 comand를 실행하여 sriov-test 네임스페이스를 생성합니다.

   $ oc create namespace sriov-test

3. SriovNetworkNodePolicy 리소스를 생성합니다.

   1. SriovNetworkNodePolicy 리소스를 정의하는 YAML 파일을 생성합니다.

      sriov-node-policy.yaml 파일의 예

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames: ["ens1"]
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        numVfs: 5
        priority: 99
        resourceName: sriov_nic_1

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다.

      $ oc create -f sriov-node-policy.yaml

4. SriovNetwork 리소스를 생성합니다.

   1. SriovNetwork 리소스를 정의하는 YAML 파일을 생성합니다.

      sriov-network.yaml 파일 예

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        linkState: auto
        networkNamespace: sriov-test
        resourceName: sriov_nic_1
        capabilities: '{ "mac": true, "ips": true }'
        ipam: '{ "type": "static" }'

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다.

      $ oc create -f sriov-network.yaml

1. SriovNetworkNodePolicy 리소스의 가상 함수 수를 업데이트하여 클러스터에서 워크로드 드레이닝을 트리거합니다.

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

2. 다음 명령을 실행하여 대상 클러스터에서 드레이닝 상태를 모니터링합니다.

   $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

   출력 예

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
   openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

   드레이닝 프로세스가 완료되면 SYNC STATUS 가 Succeeded 로 변경되고 DESIRED SYNC STATE 및 CURRENT SYNC STATE 값은 IDLE 로 돌아갑니다.

   출력 예

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   Succeeded     Idle                 Idle                 3d10h
   openshift-sriov-network-operator   worker-1   Succeeded     Idle                 Idle                 3d10h

프로세스

1. 추가 SR-IOV 네트워크 연결에 대한 SriovNetwork CR(사용자 정의 리소스)을 생성하고 다음 예제 CR과 같이 metaPlugins 구성을 삽입합니다. YAML을 sriov-network-attachment.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: example-network
     namespace: additional-sriov-network-1
   spec:
     ipam: |
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "routes": [{
           "dst": "0.0.0.0/0"
         }],
         "gateway": "10.56.217.1"
       }
     vlan: 0
     resourceName: intelnics
     metaPlugins : |
       {
         "type": "vrf", 1
         "vrfname": "example-vrf-name" 2
       }

   1

   type은 vrf로 설정해야 합니다.

   2

   vrfname은 인터페이스가 할당된 VRF의 이름입니다. 포드에 없는 경우 생성됩니다.

2. SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network-attachment.yaml

1. VRF CNI를 사용하는 SR-IOV 네트워크를 생성합니다.
2. 포드에 네트워크를 할당합니다.

3. 포드 네트워크 연결이 SR-IOV 추가 네트워크에 연결되어 있는지 확인합니다. Pod로 원격 쉘을 설치하고 다음 명령을 실행합니다.

   $ ip vrf show

   출력 예

   Name              Table
   -----------------------
   red                 10

4. VRF 인터페이스가 보조 인터페이스의 마스터인지 확인합니다.

   $ ip link

   출력 예

   ...
   5: net1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master red state UP mode
   ...

프로세스

1. SriovNetworkNodePolicy CR을 생성합니다.

   1. 다음 YAML을 sriov-network-node-policy.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 1
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 2
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 3

      1

      SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      2

      NIC 선택기를 사용하여 Operator가 구성할 장치를 식별합니다.

      3

      SR-IOV 네트워크 리소스의 NUMA 노드를 토폴로지 관리자로 알리려면 값을 true 로 설정합니다. 기본값은 false입니다.

      참고

      여러 SriovNetworkNodePolicy 리소스가 동일한 SR-IOV 네트워크 리소스를 대상으로 하는 경우 SriovNetworkNodePolicy 리소스에 excludeTopology 사양과 동일한 값이 있어야 합니다. 그러지 않으면 충돌하는 정책이 거부됩니다.

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다.

      $ oc create -f sriov-network-node-policy.yaml

      출력 예

      sriovnetworknodepolicy.sriovnetwork.openshift.io/policy-for-numa-0 created

2. SriovNetwork CR을 생성합니다.

   1. 다음 YAML을 sriov-network.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 1
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 2
        networkNamespace: <namespace> 3
        ipam: |- 4
          {
            "type": "<ipam_type>",
          }

      1

      sriov-numa-0-network 를 SR-IOV 네트워크 리소스의 이름으로 교체합니다.

      2

      이전 단계의 SriovNetworkNodePolicy CR의 리소스 이름을 지정합니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      3

      SR-IOV 네트워크 리소스의 네임스페이스를 입력합니다.

      4

      SR-IOV 네트워크의 IP 주소 관리 구성을 입력합니다.

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다.

      $ oc create -f sriov-network.yaml

      출력 예

      sriovnetwork.sriovnetwork.openshift.io/sriov-numa-0-network created

3. Pod를 생성하고 이전 단계의 SR-IOV 네트워크 리소스를 할당합니다.

   1. 다음 YAML을 sriov-network-pod.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 1
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      1

      SriovNetworkNodePolicy 리소스를 사용하는 SriovNetwork 리소스의 이름입니다.

   2. 다음 명령을 실행하여 Pod 리소스를 생성합니다.

      $ oc create -f sriov-network-pod.yaml

      출력 예

      pod/example-pod created

검증

1. 다음 명령을 실행하여 Pod의 상태를 확인하고 < pod_name> 을 Pod 이름으로 교체합니다.

   $ oc get pod <pod_name>

   출력 예

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

2. 대상 Pod로 디버그 세션을 열어 SR-IOV 네트워크 리소스가 메모리 및 CPU 리소스와 다른 노드에 배포되었는지 확인합니다.

   1. 다음 명령을 실행하여 Pod로 디버그 세션을 열고 <pod_name>을 대상 Pod 이름으로 교체합니다.

      $ oc debug pod/<pod_name>

   2. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 root 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트 파일 시스템에서 바이너리를 실행할 수 있습니다.

      $ chroot /host

   3. 다음 명령을 실행하여 CPU 할당에 대한 정보를 확인합니다.

      $ lscpu | grep NUMA

      출력 예

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      $ cat /proc/self/status | grep Cpus

      출력 예

      Cpus_allowed:	aa
      Cpus_allowed_list:	1,3,5,7

      $ cat  /sys/class/net/net1/device/numa_node

      출력 예

      0

      이 예에서 CPU 1,3,5, 7은 NUMA node1 에 할당되지만 SR-IOV 네트워크 리소스는 NUMA node0 의 NIC를 사용할 수 있습니다.