18.3. SR-IOV 이더넷 네트워크 연결 구성

프로세스

1. SriovNetwork 오브젝트를 생성한 다음 <name>.yaml 파일에 YAML을 저장합니다. 여기서 <name>은 이 추가 네트워크의 이름입니다. 오브젝트 사양은 다음 예와 유사할 수 있습니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

2. 오브젝트를 생성하려면 다음 명령을 입력합니다:

   $ oc create -f <name>.yaml

   여기서 <name>은 추가 네트워크의 이름을 지정합니다.

3. 선택사항: 이전 단계에서 생성한 SriovNetwork 오브젝트에 연결된 NetworkAttachmentDefinition 오브젝트가 존재하는지 확인하려면 다음 명령을 입력합니다. <namespace>를 SriovNetwork 오브젝트에 지정한 networkNamespace로 바꿉니다.

   $ oc get net-attach-def -n <namespace>

프로세스

1. Pod 오브젝트에 주석을 추가합니다. 다음 주석 형식 중 하나만 사용할 수 있습니다.

   1. 사용자 정의 없이 추가 네트워크를 연결하려면 다음 형식으로 주석을 추가합니다. <network>를 Pod와 연결할 추가 네트워크의 이름으로 변경합니다.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 1

      1

      둘 이상의 추가 네트워크를 지정하려면 각 네트워크를 쉼표로 구분합니다. 쉼표 사이에 공백을 포함하지 마십시오. 동일한 추가 네트워크를 여러 번 지정하면 Pod에 해당 네트워크에 대한 인터페이스가 여러 개 연결됩니다.

   2. 사용자 정의된 추가 네트워크를 연결하려면 다음 형식으로 주석을 추가합니다.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 1
                "namespace": "<namespace>", 2
                "default-route": ["<default-route>"] 3
              }
            ]

      1

      NetworkAttachmentDefinition 오브젝트에서 정의한 추가 네트워크의 이름을 지정합니다.

      2

      NetworkAttachmentDefinition 오브젝트가 정의된 네임스페이스를 지정합니다.

      3

      선택 사항: 기본 경로에 대한 재정의를 지정합니다(예: 192.168.17.1).

2. Pod를 생성하려면 다음 명령을 입력합니다. <name>을 Pod 이름으로 교체합니다.

   $ oc create -f <name>.yaml

3. 선택사항: Pod CR에 주석이 있는지 확인하려면 다음 명령을 입력하고 <name>을 Pod 이름으로 교체합니다.

   $ oc get pod <name> -o yaml

   다음 예에서 example-pod Pod는 net1 추가 네트워크에 연결되어 있습니다.

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 1
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   1

   k8s.v1.cni.cncf.io/network-status 매개변수는 JSON 오브젝트 배열입니다. 각 오브젝트는 Pod에 연결된 추가 네트워크의 상태를 설명합니다. 주석 값은 일반 텍스트 값으로 저장됩니다.

프로세스

1. SriovNetworkPoolConfig 리소스를 생성합니다.

   1. SriovNetworkPoolConfig 리소스를 정의하는 YAML 파일을 생성합니다.

      sriov-nw-pool.yaml 파일 예

      apiVersion: v1
      kind: SriovNetworkPoolConfig
      metadata:
        name: pool-1 1
        namespace: openshift-sriov-network-operator 2
      spec:
        maxUnavailable: 2 3
        nodeSelector: 4
          matchLabels:
            node-role.kubernetes.io/worker: ""

      1

      SriovNetworkPoolConfig 오브젝트의 이름을 지정합니다.

      2

      SR-IOV Network Operator가 설치된 네임스페이스를 지정합니다.

      3

      업데이트 중에 풀에서 사용할 수 없는 노드에 대해 정수 숫자 또는 백분율 값을 지정합니다. 예를 들어 10개의 노드가 있고 사용할 수 없는 최대 노드를 2개로 설정하면 언제든지 2개의 노드만 병렬로 드레이닝되어 워크로드를 처리하기 위해 8개의 노드를 유지할 수 있습니다.

      4

      노드 선택기를 사용하여 풀을 추가할 노드를 지정합니다. 이 예제에서는 worker 역할이 있는 모든 노드를 풀에 추가합니다.

   2. 다음 명령을 실행하여 SriovNetworkPoolConfig 리소스를 생성합니다.

      $ oc create -f sriov-nw-pool.yaml

2. 다음 comand를 실행하여 sriov-test 네임스페이스를 생성합니다.

   $ oc create namespace sriov-test

3. SriovNetworkNodePolicy 리소스를 생성합니다.

   1. SriovNetworkNodePolicy 리소스를 정의하는 YAML 파일을 생성합니다.

      sriov-node-policy.yaml 파일의 예

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames: ["ens1"]
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        numVfs: 5
        priority: 99
        resourceName: sriov_nic_1

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다.

      $ oc create -f sriov-node-policy.yaml

4. SriovNetwork 리소스를 생성합니다.

   1. SriovNetwork 리소스를 정의하는 YAML 파일을 생성합니다.

      sriov-network.yaml 파일 예

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        linkState: auto
        networkNamespace: sriov-test
        resourceName: sriov_nic_1
        capabilities: '{ "mac": true, "ips": true }'
        ipam: '{ "type": "static" }'

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다.

      $ oc create -f sriov-network.yaml

1. SriovNetworkNodePolicy 리소스의 가상 함수 수를 업데이트하여 클러스터에서 워크로드 드레이닝을 트리거합니다.

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

2. 다음 명령을 실행하여 대상 클러스터에서 드레이닝 상태를 모니터링합니다.

   $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

   출력 예

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
   openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

   드레이닝 프로세스가 완료되면 SYNC STATUS 가 Succeeded 로 변경되고 DESIRED SYNC STATE 및 CURRENT SYNC STATE 값은 IDLE 로 돌아갑니다.

   출력 예

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   Succeeded     Idle                 Idle                 3d10h
   openshift-sriov-network-operator   worker-1   Succeeded     Idle                 Idle                 3d10h

프로세스

1. SriovNetworkNodePolicy CR을 생성합니다.

   1. 다음 YAML을 sriov-network-node-policy.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 1
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 2
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 3

      1

      SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      2

      NIC 선택기를 사용하여 Operator가 구성할 장치를 식별합니다.

      3

      SR-IOV 네트워크 리소스의 NUMA 노드를 토폴로지 관리자로 알리려면 값을 true 로 설정합니다. 기본값은 false입니다.

      참고

      여러 SriovNetworkNodePolicy 리소스가 동일한 SR-IOV 네트워크 리소스를 대상으로 하는 경우 SriovNetworkNodePolicy 리소스에 excludeTopology 사양과 동일한 값이 있어야 합니다. 그러지 않으면 충돌하는 정책이 거부됩니다.

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다.

      $ oc create -f sriov-network-node-policy.yaml

      출력 예

      sriovnetworknodepolicy.sriovnetwork.openshift.io/policy-for-numa-0 created

2. SriovNetwork CR을 생성합니다.

   1. 다음 YAML을 sriov-network.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 1
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 2
        networkNamespace: <namespace> 3
        ipam: |- 4
          {
            "type": "<ipam_type>",
          }

      1

      sriov-numa-0-network 를 SR-IOV 네트워크 리소스의 이름으로 교체합니다.

      2

      이전 단계의 SriovNetworkNodePolicy CR의 리소스 이름을 지정합니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      3

      SR-IOV 네트워크 리소스의 네임스페이스를 입력합니다.

      4

      SR-IOV 네트워크의 IP 주소 관리 구성을 입력합니다.

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다.

      $ oc create -f sriov-network.yaml

      출력 예

      sriovnetwork.sriovnetwork.openshift.io/sriov-numa-0-network created

3. Pod를 생성하고 이전 단계의 SR-IOV 네트워크 리소스를 할당합니다.

   1. 다음 YAML을 sriov-network-pod.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 1
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      1

      SriovNetworkNodePolicy 리소스를 사용하는 SriovNetwork 리소스의 이름입니다.

   2. 다음 명령을 실행하여 Pod 리소스를 생성합니다.

      $ oc create -f sriov-network-pod.yaml

      출력 예

      pod/example-pod created

검증

1. 다음 명령을 실행하여 Pod의 상태를 확인하고 < pod_name> 을 Pod 이름으로 교체합니다.

   $ oc get pod <pod_name>

   출력 예

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

2. 대상 Pod로 디버그 세션을 열어 SR-IOV 네트워크 리소스가 메모리 및 CPU 리소스와 다른 노드에 배포되었는지 확인합니다.

   1. 다음 명령을 실행하여 Pod로 디버그 세션을 열고 <pod_name>을 대상 Pod 이름으로 교체합니다.

      $ oc debug pod/<pod_name>

   2. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 root 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트 파일 시스템에서 바이너리를 실행할 수 있습니다.

      $ chroot /host

   3. 다음 명령을 실행하여 CPU 할당에 대한 정보를 확인합니다.

      $ lscpu | grep NUMA

      출력 예

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      $ cat /proc/self/status | grep Cpus

      출력 예

      Cpus_allowed:	aa
      Cpus_allowed_list:	1,3,5,7

      $ cat  /sys/class/net/net1/device/numa_node

      출력 예

      0

      이 예에서 CPU 1,3,5, 7은 NUMA node1 에 할당되지만 SR-IOV 네트워크 리소스는 NUMA node0 의 NIC를 사용할 수 있습니다.