18.3. SR-IOV 이더넷 네트워크 연결 구성

프로세스

1. SriovNetwork 오브젝트를 생성한 다음 <name>.yaml 파일에 YAML을 저장합니다. 여기서 <name>은 이 추가 네트워크의 이름입니다. 오브젝트 사양은 다음 예와 유사할 수 있습니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. 오브젝트를 생성하려면 다음 명령을 입력합니다:

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   여기서 <name>은 추가 네트워크의 이름을 지정합니다.

3. 선택사항: 이전 단계에서 생성한 SriovNetwork 오브젝트에 연결된 NetworkAttachmentDefinition 오브젝트가 존재하는지 확인하려면 다음 명령을 입력합니다. <namespace>를 SriovNetwork 오브젝트에 지정한 networkNamespace로 바꿉니다.

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

프로세스

1. Pod 오브젝트에 주석을 추가합니다. 다음 주석 형식 중 하나만 사용할 수 있습니다.

   1. 사용자 정의 없이 보조 네트워크를 연결하려면 다음 형식으로 주석을 추가합니다. & lt;network >를 Pod와 연결할 보조 네트워크의 이름으로 바꿉니다.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      두 개 이상의 보조 네트워크를 지정하려면 각 네트워크를 쉼표로 구분합니다. 쉼표 사이에 공백을 포함하지 마십시오. 동일한 보조 네트워크를 여러 번 지정하면 Pod에 해당 네트워크에 여러 개의 네트워크 인터페이스가 연결됩니다.

   2. 사용자 지정으로 보조 네트워크를 연결하려면 다음 형식으로 주석을 추가합니다.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default_route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      NetworkAttachmentDefinition 오브젝트에서 정의한 추가 네트워크의 이름을 지정합니다.

      2

      NetworkAttachmentDefinition 오브젝트가 정의된 네임스페이스를 지정합니다.

      3

      선택 사항: 기본 경로에 대한 재정의를 지정합니다(예: 192.168.17.1).

2. Pod를 생성하려면 다음 명령을 입력합니다. <name>을 Pod 이름으로 교체합니다.

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. 선택사항: Pod CR에 주석이 있는지 확인하려면 다음 명령을 입력하고 <name>을 Pod 이름으로 교체합니다.

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   다음 예에서 example-pod Pod는 net1 추가 네트워크에 연결되어 있습니다.

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "openshift-sdn",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/network-status 매개변수는 JSON 오브젝트 배열입니다. 각 오브젝트는 Pod에 연결된 추가 네트워크의 상태를 설명합니다. 주석 값은 일반 텍스트 값으로 저장됩니다.

프로세스

1. SriovNetworkPoolConfig 리소스를 정의하는 YAML 파일을 생성합니다.

   sriov-nw-pool.yaml 파일 예

   apiVersion: v1
   kind: SriovNetworkPoolConfig
   metadata:
     name: pool-1 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     maxUnavailable: 2 

   3

   
     nodeSelector: 

   4

   
       matchLabels:
         node-role.kubernetes.io/worker: ""

   Copy to Clipboard Toggle word wrap

   1

   SriovNetworkPoolConfig 오브젝트의 이름을 지정합니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스를 지정합니다.

   3

   업데이트 중에 풀에서 사용할 수 없는 노드에 대해 정수 숫자 또는 백분율 값을 지정합니다. 예를 들어 10개의 노드가 있고 사용할 수 없는 최대 노드를 2개로 설정하면 언제든지 2개의 노드만 병렬로 드레이닝되어 워크로드를 처리하기 위해 8개의 노드를 유지할 수 있습니다.

   4

   노드 선택기를 사용하여 풀을 추가할 노드를 지정합니다. 이 예제에서는 worker 역할이 있는 모든 노드를 풀에 추가합니다.

2. 다음 명령을 실행하여 SriovNetworkPoolConfig 리소스를 생성합니다.

   $ oc create -f sriov-nw-pool.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 comand를 실행하여 sriov-test 네임스페이스를 생성합니다.

   $ oc create namespace sriov-test

   Copy to Clipboard Toggle word wrap

4. SriovNetworkNodePolicy 리소스를 정의하는 YAML 파일을 생성합니다.

   sriov-node-policy.yaml 파일의 예

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: sriov-nic-1
     namespace: openshift-sriov-network-operator
   spec:
     deviceType: netdevice
     nicSelector:
       pfNames: ["ens1"]
     nodeSelector:
       node-role.kubernetes.io/worker: ""
     numVfs: 5
     priority: 99
     resourceName: sriov_nic_1

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다.

   $ oc create -f sriov-node-policy.yaml

   Copy to Clipboard Toggle word wrap

6. SriovNetwork 리소스를 정의하는 YAML 파일을 생성합니다.

   sriov-network.yaml 파일 예

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: sriov-nic-1
     namespace: openshift-sriov-network-operator
   spec:
     linkState: auto
     networkNamespace: sriov-test
     resourceName: sriov_nic_1
     capabilities: '{ "mac": true, "ips": true }'
     ipam: '{ "type": "static" }'

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network.yaml

   Copy to Clipboard Toggle word wrap

8. 다음 명령을 실행하여 생성한 노드 풀을 확인합니다.

   $ oc get sriovNetworkpoolConfig -n openshift-sriov-network-operator

   Copy to Clipboard Toggle word wrap

   예상 출력에는 작업자 역할이 있는 모든 노드와 노드 풀 의 기간(예: 67s )이 포함된 노드 풀의 이름이 표시됩니다.

9. SriovNetworkNodePolicy 리소스의 가상 함수 수를 업데이트하여 클러스터에서 워크로드 드레이닝을 트리거합니다.

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

   Copy to Clipboard Toggle word wrap

10. 다음 명령을 실행하여 대상 클러스터에서 드레이닝 상태를 확인합니다.

    $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

    Copy to Clipboard Toggle word wrap

    출력 예

    NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
    openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
    openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

    Copy to Clipboard Toggle word wrap

    드레이닝 프로세스가 완료되면 SYNC STATUS 가 Succeeded 로 변경되고 DESIRED SYNC STATE 및 CURRENT SYNC STATE 값은 IDLE 로 돌아갑니다.

프로세스

1. SriovNetworkNodePolicy CR을 생성합니다.

   1. 다음 YAML을 sriov-network-node-policy.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      1

      
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 

      2

      
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 

      3

      Copy to Clipboard Toggle word wrap

      1

      SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      2

      NIC(네트워크 인터페이스 컨트롤러) 선택기를 사용하여 Operator가 구성할 장치를 식별합니다.

      3

      SR-IOV 네트워크 리소스의 NUMA 노드를 토폴로지 관리자로 알리려면 값을 true 로 설정합니다. 기본값은 false입니다.

      참고

      많은 SriovNetworkNodePolicy 리소스가 SR-IOV 네트워크 리소스를 대상으로 하는 경우 SriovNetworkNodePolicy 리소스에 excludeTopology 사양과 동일한 값이 있어야 합니다. 그러지 않으면 충돌하는 정책이 거부됩니다.

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 생성합니다. 성공적인 출력에는 SriovNetworkNodePolicy 리소스의 이름과 생성된 상태가 나열됩니다.

      $ oc create -f sriov-network-node-policy.yaml

      Copy to Clipboard Toggle word wrap

2. SriovNetwork CR을 생성합니다.

   1. 다음 YAML을 sriov-network.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 

      1

      
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      2

      
        networkNamespace: <namespace> 

      3

      
        ipam: |- 

      4

      
          {
            "type": "<ipam_type>",
          }

      Copy to Clipboard Toggle word wrap

      1

      sriov-numa-0-network 를 SR-IOV 네트워크 리소스의 이름으로 교체합니다.

      2

      이전 단계의 SriovNetworkNodePolicy CR의 리소스 이름을 지정합니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      3

      SR-IOV 네트워크 리소스의 네임스페이스를 입력합니다.

      4

      SR-IOV 네트워크의 IP 주소 관리 구성을 입력합니다.

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 생성합니다. 성공적인 출력에는 SriovNetwork 리소스의 이름과 생성된 상태가 나열됩니다.

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

3. Pod를 생성하고 이전 단계의 SR-IOV 네트워크 리소스를 할당합니다.

   1. 다음 YAML을 sriov-network-pod.yaml 파일에 저장하고 YAML의 값을 해당 환경과 일치하도록 교체합니다.

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 

      1

      
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      Copy to Clipboard Toggle word wrap

      1

      SriovNetworkNodePolicy 리소스를 사용하는 SriovNetwork 리소스의 이름입니다.

   2. 다음 명령을 실행하여 Pod 리소스를 생성합니다. 예상되는 출력에는 Pod 리소스의 이름과 생성된 상태가 표시됩니다.

      $ oc create -f sriov-network-pod.yaml

      Copy to Clipboard Toggle word wrap

검증

1. 다음 명령을 실행하여 Pod의 상태를 확인하고 < pod_name> 을 Pod 이름으로 교체합니다.

   $ oc get pod <pod_name>

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

   Copy to Clipboard Toggle word wrap

2. 대상 Pod로 디버그 세션을 열어 SR-IOV 네트워크 리소스가 메모리 및 CPU 리소스와 다른 노드에 배포되었는지 확인합니다.

   1. 다음 명령을 실행하여 Pod로 디버그 세션을 열고 <pod_name>을 대상 Pod 이름으로 교체합니다.

      $ oc debug pod/<pod_name>

      Copy to Clipboard Toggle word wrap

   2. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 root 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트 파일 시스템에서 바이너리를 실행할 수 있습니다.

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 CPU 할당에 대한 정보를 확인합니다.

      $ lscpu | grep NUMA

      Copy to Clipboard Toggle word wrap

      출력 예

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      Copy to Clipboard Toggle word wrap

      $ cat /proc/self/status | grep Cpus

      Copy to Clipboard Toggle word wrap

      출력 예

      Cpus_allowed:	ffff
      Cpus_allowed_list:	1,3,5,7

      Copy to Clipboard Toggle word wrap

      예상되는 출력에는 NUMA node1과 같은 NUMA 노드에 할당되는 CPU(1, 3, 5 및 7)가 표시됩니다. SR-IOV 네트워크 리소스는 NUMA node0 과 같은 다른 NUMA 노드의 NIC를 사용할 수 있습니다. ffff 16진수 값은 프로세스를 실행하는 CPU 코어를 나타냅니다.

      $ cat  /sys/class/net/net1/device/numa_node

      Copy to Clipboard Toggle word wrap

      예상 출력에는 NUMA 노드의 수(예: 0 )가 표시됩니다.

      참고

      excludeTopology 사양을 True 로 설정하면 필요한 리소스가 동일한 NUMA 노드에 존재할 수 있습니다.