20.8. SR-IOV 네트워크의 인터페이스 수준 네트워크 sysctl 설정 구성

프로세스

1. SriovNetworkNodePolicy CR(사용자 정의 리소스)을 생성합니다. 예를 들어 다음 YAML을 policyoneflag-sriov-node-network.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policyoneflag 1
     namespace: openshift-sriov-network-operator 2
   spec:
     resourceName: policyoneflag 3
     nodeSelector: 4
       feature.node.kubernetes.io/network-sriov.capable="true"
     priority: 10 5
     numVfs: 5 6
     nicSelector: 7
       pfNames: ["ens5"] 8
     deviceType: "netdevice" 9
     isRdma: false 10

   1

   사용자 정의 리소스 오브젝트의 이름입니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 리소스 이름에 대한 SR-IOV 네트워크 노드 정책을 여러 개 생성할 수 있습니다.

   4

   노드 선택기는 구성할 노드를 지정합니다. 선택한 노드의 SR-IOV 네트워크 장치만 구성됩니다. SR-IOV CNI(Container Network Interface) 플러그인 및 장치 플러그인은 선택한 노드에만 배포됩니다.

   5

   선택 사항: 우선순위는 0에서 99 사이의 정수 값입니다. 작은 값은 우선순위가 높습니다. 예를 들어 우선순위 10은 우선순위 99보다 높습니다. 기본값은 99입니다.

   6

   SR-IOV 물리적 네트워크 장치에 생성할 VF(가상 기능) 수입니다. Intel NIC(Network Interface Controller)의 경우 VF 수는 장치에서 지원하는 총 VF보다 클 수 없습니다. Mellanox NIC의 경우 VF 수는 128보다 클 수 없습니다.

   7

   NIC 선택기는 Operator가 구성할 장치를 식별합니다. 모든 매개변수에 값을 지정할 필요는 없습니다. 실수로 장치를 선택하지 않도록 네트워크 장치를 정확하게 파악하는 것이 좋습니다. rootDevices를 지정하면 vendor, deviceID 또는 pfNames의 값도 지정해야 합니다. pfNames와 rootDevices를 동시에 지정하는 경우 동일한 장치를 참조하는지 확인하십시오. netFilter의 값을 지정하는 경우 네트워크 ID가 고유하므로 다른 매개변수를 지정할 필요가 없습니다.

   8

   선택사항: 장치에 대해 하나 이상의 물리적 기능(PF) 이름으로 구성된 배열입니다.

   9

   선택사항: 가상 기능의 드라이버 유형입니다. 허용되는 유일한 값은 netdevice 입니다. 베어 메탈 노드에서 Mellanox NIC가 DPDK 모드에서 작동하려면 isRdma 를 true 로 설정합니다.

   10

   선택 사항: 원격 직접 메모리 액세스(RDMA) 모드를 활성화할지 여부를 구성합니다. 기본값은 false입니다. isRdma 매개변수가 true로 설정된 경우 RDMA 사용 VF를 일반 네트워크 장치로 계속 사용할 수 있습니다. 어느 모드에서나 장치를 사용할 수 있습니다. isRdma를 true로 설정하고 추가로 needVhostNet을 true로 설정하여 Fast Datapath DPDK 애플리케이션에서 사용할 Mellanox NIC를 구성합니다.

   참고

   vfio-pci 드라이버 유형은 지원되지 않습니다.

2. SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f policyoneflag-sriov-node-network.yaml

   구성 업데이트를 적용하면 sriov-network-operator 네임스페이스의 모든 Pod가 실행 중 상태로 변경됩니다.

3. SR-IOV 네트워크 장치가 구성되어 있는지 확인하려면 다음 명령을 입력합니다. <node_name>을 방금 구성한 SR-IOV 네트워크 장치가 있는 노드 이름으로 바꿉니다.

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   출력 예

   Succeeded

프로세스

1. 추가 SR-IOV 네트워크 연결에 대한 SriovNetwork CR(사용자 정의 리소스)을 생성하고 다음 예제 CR과 같이 metaPlugins 구성을 삽입합니다. YAML을 sriov-network-interface-sysctl.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: onevalidflag 1
     namespace: openshift-sriov-network-operator 2
   spec:
     resourceName: policyoneflag 3
     networkNamespace: sysctl-tuning-test 4
     ipam: '{ "type": "static" }' 5
     capabilities: '{ "mac": true, "ips": true }' 6
     metaPlugins : | 7
       {
         "type": "tuning",
         "capabilities":{
           "mac":true
         },
         "sysctl":{
            "net.ipv4.conf.IFNAME.accept_redirects": "1"
         }
       }

   1

   오브젝트의 이름입니다. SR-IOV Network Operator는 동일한 이름으로 NetworkAttachmentDefinition 오브젝트를 생성합니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   이 추가 네트워크에 대한 SR-IOV 하드웨어를 정의하는 SriovNetworkNodePolicy 오브젝트의 spec.resourceName 매개변수 값입니다.

   4

   SriovNetwork 오브젝트의 대상 네임스페이스입니다. 대상 네임스페이스의 포드만 추가 네트워크에 연결할 수 있습니다.

   5

   YAML 블록 스칼라 IPAM CNI 플러그인에 대한 구성 오브젝트입니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다.

   6

   선택 사항: 추가 네트워크의 기능을 설정합니다. "{"ips": true}" 를 지정하여 IP 주소 지원을 활성화하거나 "{"mac":true}"를 지정하여 MAC 주소 지원을 활성화할 수 있습니다.

   7

   선택 사항: metaPlugins 매개 변수는 장치에 추가 기능을 추가하는 데 사용됩니다. 이 사용 사례에서는 유형 필드를 튜닝 으로 설정합니다. sysctl 필드에 설정할 인터페이스 수준 네트워크 sysctl 을 지정합니다.

2. SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network-interface-sysctl.yaml

1. Pod CR을 생성합니다. 다음 YAML을 examplepod.yaml 파일로 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: sysctl-tuning-test
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {
             "name": "onevalidflag",  1
             "mac": "0a:56:0a:83:04:0c", 2
             "ips": ["10.100.100.200/24"] 3
          }
         ]
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   1

   SR-IOV 네트워크 연결 정의 CR의 이름입니다.

   2

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 MAC 주소입니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "mac": true } 도 지정해야 합니다.

   3

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 IP 주소입니다. IPv4 및 IPv6 주소가 모두 지원됩니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "ips": true }도 지정해야 합니다.

2. Pod CR을 생성합니다.

   $ oc apply -f examplepod.yaml

3. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod -n sysctl-tuning-test

   출력 예

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

4. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh -n sysctl-tuning-test tunepod

5. 구성된 sysctl 플래그 값을 확인합니다. 다음 명령을 실행하여 net.ipv4.conf.IFNAME.accept_redirects 값을 찾습니다.

   $ sysctl net.ipv4.conf.net1.accept_redirects

   출력 예

   net.ipv4.conf.net1.accept_redirects = 1

프로세스

1. SriovNetworkNodePolicy CR(사용자 정의 리소스)을 생성합니다. 다음 YAML을 policyallflags-sriov-node-network.yaml 파일로 저장합니다. policyallflags 를 구성 이름으로 바꿉니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policyallflags 1
     namespace: openshift-sriov-network-operator 2
   spec:
     resourceName: policyallflags 3
     nodeSelector: 4
       node.alpha.kubernetes-incubator.io/nfd-network-sriov.capable = `true`
     priority: 10 5
     numVfs: 5 6
     nicSelector: 7
       pfNames: ["ens1f0"]  8
     deviceType: "netdevice" 9
     isRdma: false 10

   1

   사용자 정의 리소스 오브젝트의 이름입니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 리소스 이름에 대한 SR-IOV 네트워크 노드 정책을 여러 개 생성할 수 있습니다.

   4

   노드 선택기는 구성할 노드를 지정합니다. 선택한 노드의 SR-IOV 네트워크 장치만 구성됩니다. SR-IOV CNI(Container Network Interface) 플러그인 및 장치 플러그인은 선택한 노드에만 배포됩니다.

   5

   선택 사항: 우선순위는 0에서 99 사이의 정수 값입니다. 작은 값은 우선순위가 높습니다. 예를 들어 우선순위 10은 우선순위 99보다 높습니다. 기본값은 99입니다.

   6

   SR-IOV 물리적 네트워크 장치에 생성할 VF(가상 기능) 수입니다. Intel NIC(Network Interface Controller)의 경우 VF 수는 장치에서 지원하는 총 VF보다 클 수 없습니다. Mellanox NIC의 경우 VF 수는 128보다 클 수 없습니다.

   7

   NIC 선택기는 Operator가 구성할 장치를 식별합니다. 모든 매개변수에 값을 지정할 필요는 없습니다. 실수로 장치를 선택하지 않도록 네트워크 장치를 정확하게 파악하는 것이 좋습니다. rootDevices를 지정하면 vendor, deviceID 또는 pfNames의 값도 지정해야 합니다. pfNames와 rootDevices를 동시에 지정하는 경우 동일한 장치를 참조하는지 확인하십시오. netFilter의 값을 지정하는 경우 네트워크 ID가 고유하므로 다른 매개변수를 지정할 필요가 없습니다.

   8

   선택사항: 장치에 대해 하나 이상의 물리적 기능(PF) 이름으로 구성된 배열입니다.

   9

   선택사항: 가상 기능의 드라이버 유형입니다. 허용되는 유일한 값은 netdevice 입니다. 베어 메탈 노드에서 Mellanox NIC가 DPDK 모드에서 작동하려면 isRdma 를 true 로 설정합니다.

   10

   선택 사항: 원격 직접 메모리 액세스(RDMA) 모드를 활성화할지 여부를 구성합니다. 기본값은 false입니다. isRdma 매개변수가 true로 설정된 경우 RDMA 사용 VF를 일반 네트워크 장치로 계속 사용할 수 있습니다. 어느 모드에서나 장치를 사용할 수 있습니다. isRdma를 true로 설정하고 추가로 needVhostNet을 true로 설정하여 Fast Datapath DPDK 애플리케이션에서 사용할 Mellanox NIC를 구성합니다.

   참고

   vfio-pci 드라이버 유형은 지원되지 않습니다.

2. SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f policyallflags-sriov-node-network.yaml

   구성 업데이트를 적용하면 sriov-network-operator 네임스페이스의 모든 Pod가 실행 중 상태로 변경됩니다.

3. SR-IOV 네트워크 장치가 구성되어 있는지 확인하려면 다음 명령을 입력합니다. <node_name>을 방금 구성한 SR-IOV 네트워크 장치가 있는 노드 이름으로 바꿉니다.

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   출력 예

   Succeeded

프로세스

1. 다음 예제 CR과 같이 결합된 인터페이스에 대한 SriovNetwork CR(사용자 정의 리소스)을 생성합니다. YAML을 sriov-network-attachment.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: allvalidflags 1
     namespace: openshift-sriov-network-operator 2
   spec:
     resourceName: policyallflags 3
     networkNamespace: sysctl-tuning-test 4
     capabilities: '{ "mac": true, "ips": true }' 5

   1

   오브젝트의 이름입니다. SR-IOV Network Operator는 동일한 이름으로 NetworkAttachmentDefinition 오브젝트를 생성합니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   이 추가 네트워크에 대한 SR-IOV 하드웨어를 정의하는 SriovNetworkNodePolicy 오브젝트의 spec.resourceName 매개변수 값입니다.

   4

   SriovNetwork 오브젝트의 대상 네임스페이스입니다. 대상 네임스페이스의 포드만 추가 네트워크에 연결할 수 있습니다.

   5

   선택사항: 이 추가 네트워크에 구성할 수 있는 기능입니다. "{"ips": true}" 를 지정하여 IP 주소 지원을 활성화하거나 "{"mac":true}"를 지정하여 MAC 주소 지원을 활성화할 수 있습니다.

2. SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network-attachment.yaml

3. 다음 예제 CR에서와 같이 본딩 네트워크 연결 정의를 생성합니다. YAML을 sriov-bond-network-interface.yaml 파일로 저장합니다.

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: bond-sysctl-network
     namespace: sysctl-tuning-test
   spec:
     config: '{
     "cniVersion":"0.4.0",
     "name":"bound-net",
     "plugins":[
       {
         "type":"bond", 1
         "mode": "active-backup", 2
         "failOverMac": 1, 3
         "linksInContainer": true, 4
         "miimon": "100",
         "links": [ 5
           {"name": "net1"},
           {"name": "net2"}
         ],
         "ipam":{ 6
           "type":"static"
         }
       },
       {
         "type":"tuning", 7
         "capabilities":{
           "mac":true
         },
         "sysctl":{
           "net.ipv4.conf.IFNAME.accept_redirects": "0",
           "net.ipv4.conf.IFNAME.accept_source_route": "0",
           "net.ipv4.conf.IFNAME.disable_policy": "1",
           "net.ipv4.conf.IFNAME.secure_redirects": "0",
           "net.ipv4.conf.IFNAME.send_redirects": "0",
           "net.ipv6.conf.IFNAME.accept_redirects": "0",
           "net.ipv6.conf.IFNAME.accept_source_route": "1",
           "net.ipv6.neigh.IFNAME.base_reachable_time_ms": "20000",
           "net.ipv6.neigh.IFNAME.retrans_time_ms": "2000"
         }
       }
     ]
   }'

   1

   type은 bond 입니다.

   2

   mode 속성은 본딩 모드를 지정합니다. 지원되는 본딩 모드는 다음과 같습니다.

   • balance-rr - 0
   • active-backup - 1

   • balance-xor - 2

     balance-rr 또는 balance-xor 모드의 경우 SR-IOV 가상 기능에 대해 신뢰 모드를 on 으로 설정해야 합니다.

   3

   장애 조치( failover ) 속성은 active-backup 모드에 필요합니다.

   4

   linksInContainer=true 플래그는 Bond CNI에 컨테이너 내부에 필요한 인터페이스가 있음을 알립니다. 기본적으로 Bond CNI는 SRIOV 및 Multus와의 통합에 작동하지 않는 호스트에서 이러한 인터페이스를 찾습니다.

   5

   links 섹션에서는 본딩을 만드는 데 사용할 인터페이스를 정의합니다. 기본적으로 Multus는 연결된 인터페이스의 이름을 "net"과 함께 1부터 시작하여 연속 숫자로 지정합니다.

   6

   YAML 블록 스칼라 IPAM CNI 플러그인에 대한 구성 오브젝트입니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다. 이 Pod 예제 IP 주소는 수동으로 구성되므로 이 경우ipam 이 static으로 설정됩니다.

   7

   장치에 추가 기능을 추가합니다. 예를 들어 type 필드를 튜닝 으로 설정합니다. sysctl 필드에 설정할 인터페이스 수준 네트워크 sysctl 을 지정합니다. 이 예에서는 설정할 수 있는 모든 인터페이스 수준 네트워크 sysctl 설정을 설정합니다.

4. 본딩 네트워크 연결 리소스를 생성합니다.

   $ oc create -f sriov-bond-network-interface.yaml

1. Pod CR을 생성합니다. 예를 들어 다음 YAML을 examplepod.yaml 파일로 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: sysctl-tuning-test
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {"name": "allvalidflags"}, 1
           {"name": "allvalidflags"},
           {
             "name": "bond-sysctl-network",
             "interface": "bond0",
             "mac": "0a:56:0a:83:04:0c", 2
             "ips": ["10.100.100.200/24"] 3
          }
         ]
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   1

   SR-IOV 네트워크 연결 정의 CR의 이름입니다.

   2

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 MAC 주소입니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "mac": true } 도 지정해야 합니다.

   3

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 IP 주소입니다. IPv4 및 IPv6 주소가 모두 지원됩니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "ips": true }도 지정해야 합니다.

2. YAML을 적용합니다.

   $ oc apply -f examplepod.yaml

3. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod -n sysctl-tuning-test

   출력 예

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

4. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh -n sysctl-tuning-test tunepod

5. 구성된 sysctl 플래그 값을 확인합니다. 다음 명령을 실행하여 net.ipv6.neigh.IFNAME.base_reachable_time_ms 값을 찾습니다.

   $ sysctl net.ipv6.neigh.bond0.base_reachable_time_ms

   출력 예

   net.ipv6.neigh.bond0.base_reachable_time_ms = 20000