23.8. SR-IOV 네트워크의 인터페이스 수준 네트워크 sysctl 설정 구성

절차

1. SriovNetworkNodePolicy CR(사용자 정의 리소스)을 생성합니다. 예를 들어 다음 YAML을 policyoneflag-sriov-node-network.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policyoneflag 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyoneflag 

   3

   
     nodeSelector: 

   4

   
       feature.node.kubernetes.io/network-sriov.capable="true"
     priority: 10 

   5

   
     numVfs: 5 

   6

   
     nicSelector: 

   7

   
       pfNames: ["ens5"] 

   8

   
     deviceType: "netdevice" 

   9

   
     isRdma: false 

   10

   Copy to Clipboard Toggle word wrap

   1

   사용자 정의 리소스 오브젝트의 이름입니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 리소스 이름에 대한 SR-IOV 네트워크 노드 정책을 여러 개 생성할 수 있습니다.

   4

   노드 선택기는 구성할 노드를 지정합니다. 선택한 노드의 SR-IOV 네트워크 장치만 구성됩니다. SR-IOV CNI(Container Network Interface) 플러그인 및 장치 플러그인은 선택한 노드에만 배포됩니다.

   5

   선택 사항: 우선순위는 0 에서 99 사이의 정수 값입니다. 작은 값은 우선순위가 높습니다. 예를 들어 우선순위 10 은 우선순위 99 보다 높습니다. 기본값은 99 입니다.

   6

   SR-IOV 물리적 네트워크 장치에 생성할 VF(가상 기능) 수입니다. Intel NIC(Network Interface Controller)의 경우 VF 수는 장치에서 지원하는 총 VF보다 클 수 없습니다. Mellanox NIC의 경우 VF 수는 128 보다 클 수 없습니다.

   7

   NIC 선택기는 Operator가 구성할 장치를 식별합니다. 모든 매개변수에 값을 지정할 필요는 없습니다. 실수로 장치를 선택하지 않도록 네트워크 장치를 정확하게 파악하는 것이 좋습니다. rootDevices 를 지정하는 경우 공급 업체,deviceID 또는 pfNames 의 값도 지정해야 합니다. pfNames 와 rootDevices 를 동시에 지정하는 경우 동일한 장치를 참조하는지 확인하십시오. netFilter 의 값을 지정하는 경우 네트워크 ID가 고유하므로 다른 매개변수를 지정할 필요가 없습니다.

   8

   선택사항: 장치에 대해 하나 이상의 물리적 기능(PF) 이름으로 구성된 배열입니다.

   9

   선택사항: 가상 기능의 드라이버 유형입니다. 허용되는 유일한 값은 netdevice 입니다. 베어 메탈 노드에서 Mellanox NIC가 DPDK 모드에서 작동하려면 isRdma 를 true 로 설정합니다.

   10

   선택 사항: 원격 직접 메모리 액세스(RDMA) 모드를 활성화할지 여부를 구성합니다. 기본값은 false입니다. isRdma 매개변수가 true 로 설정된 경우 RDMA 가능 VF를 일반 네트워크 장치로 계속 사용할 수 있습니다. 어느 모드에서나 장치를 사용할 수 있습니다. Fast Datapath DPDK 애플리케이션과 함께 사용할 Mellanox NIC를 구성하려면 isRdma 를 true 로 설정하고 추가로 needVhostNet 을 true 로 설정합니다.

   참고

   vfio-pci 드라이버 유형은 지원되지 않습니다.

2. SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f policyoneflag-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   구성 업데이트를 적용하면 sriov-network-operator 네임스페이스의 모든 Pod가 Running 상태로 변경됩니다.

3. SR-IOV 네트워크 장치가 구성되어 있는지 확인하려면 다음 명령을 입력합니다. & lt;node_name >을 방금 구성한 SR-IOV 네트워크 장치가 있는 노드 이름으로 바꿉니다.

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

   출력 예

   Succeeded

   Copy to Clipboard Toggle word wrap

절차

1. 추가 SR-IOV 네트워크 연결에 대한 SriovNetwork CR(사용자 정의 리소스)을 생성하고 다음 예제 CR과 같이 metaPlugins 구성을 삽입합니다. YAML을 sriov-network-interface-sysctl.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: onevalidflag 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyoneflag 

   3

   
     networkNamespace: sysctl-tuning-test 

   4

   
     ipam: '{ "type": "static" }' 

   5

   
     capabilities: '{ "mac": true, "ips": true }' 

   6

   
     metaPlugins : | 

   7

   
       {
         "type": "tuning",
         "capabilities":{
           "mac":true
         },
         "sysctl":{
            "net.ipv4.conf.IFNAME.accept_redirects": "1"
         }
       }

   Copy to Clipboard Toggle word wrap

   1

   오브젝트의 이름입니다. SR-IOV Network Operator는 동일한 이름으로 NetworkAttachmentDefinition 오브젝트를 생성합니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   이 추가 네트워크에 대한 SR-IOV 하드웨어를 정의하는 SriovNetworkNodePolicy 오브젝트의 spec.resourceName 매개변수 값입니다.

   4

   SriovNetwork 오브젝트의 대상 네임스페이스입니다. 대상 네임스페이스의 포드만 추가 네트워크에 연결할 수 있습니다.

   5

   YAML 블록 스칼라 IPAM CNI 플러그인에 대한 구성 오브젝트입니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다.

   6

   선택 사항: 추가 네트워크의 기능을 설정합니다. "{ "ips": true}" 를 지정하여 IP 주소 지원을 활성화하거나 "{ "mac": true}" 를 지정하여 MAC 주소 지원을 활성화할 수 있습니다.

   7

   선택 사항: metaPlugins 매개 변수는 장치에 추가 기능을 추가하는 데 사용됩니다. 이 사용 사례에서 type 필드를 tuning 로 설정합니다. sysctl 필드에 설정하려는 인터페이스 수준 네트워크 sysctl 을 지정합니다.

2. SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network-interface-sysctl.yaml

   Copy to Clipboard Toggle word wrap

1. Pod CR을 생성합니다. 다음 YAML을 examplepod.yaml 파일로 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: sysctl-tuning-test
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {
             "name": "onevalidflag",  

   1

   
             "mac": "0a:56:0a:83:04:0c", 

   2

   
             "ips": ["10.100.100.200/24"] 

   3

   
          }
         ]
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

   1

   SR-IOV 네트워크 연결 정의 CR의 이름입니다.

   2

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 MAC 주소입니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "mac": true } 도 지정해야 합니다.

   3

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 IP 주소입니다. IPv4 및 IPv6 주소가 모두 지원됩니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "ips": true } 도 지정해야 합니다.

2. Pod CR을 생성합니다.

   $ oc apply -f examplepod.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod -n sysctl-tuning-test

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh -n sysctl-tuning-test tunepod

   Copy to Clipboard Toggle word wrap

5. 구성된 sysctl 플래그 값을 확인합니다. 다음 명령을 실행하여 net.ipv4.conf.IFNAME.accept_redirects 값을 찾습니다.

   $ sysctl net.ipv4.conf.net1.accept_redirects

   Copy to Clipboard Toggle word wrap

   출력 예

   net.ipv4.conf.net1.accept_redirects = 1

   Copy to Clipboard Toggle word wrap

절차

1. SriovNetworkNodePolicy CR(사용자 정의 리소스)을 생성합니다. 다음 YAML을 policyallflags-sriov-node-network.yaml 로 저장합니다. policyallflags 를 구성 이름으로 교체합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: policyallflags 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyallflags 

   3

   
     nodeSelector: 

   4

   
       node.alpha.kubernetes-incubator.io/nfd-network-sriov.capable = `true`
     priority: 10 

   5

   
     numVfs: 5 

   6

   
     nicSelector: 

   7

   
       pfNames: ["ens1f0"]  

   8

   
     deviceType: "netdevice" 

   9

   
     isRdma: false 

   10

   Copy to Clipboard Toggle word wrap

   1

   사용자 정의 리소스 오브젝트의 이름입니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 리소스 이름에 대한 SR-IOV 네트워크 노드 정책을 여러 개 생성할 수 있습니다.

   4

   노드 선택기는 구성할 노드를 지정합니다. 선택한 노드의 SR-IOV 네트워크 장치만 구성됩니다. SR-IOV CNI(Container Network Interface) 플러그인 및 장치 플러그인은 선택한 노드에만 배포됩니다.

   5

   선택 사항: 우선순위는 0 에서 99 사이의 정수 값입니다. 작은 값은 우선순위가 높습니다. 예를 들어 우선순위 10 은 우선순위 99 보다 높습니다. 기본값은 99 입니다.

   6

   SR-IOV 물리적 네트워크 장치에 생성할 VF(가상 기능) 수입니다. Intel NIC(Network Interface Controller)의 경우 VF 수는 장치에서 지원하는 총 VF보다 클 수 없습니다. Mellanox NIC의 경우 VF 수는 128 보다 클 수 없습니다.

   7

   NIC 선택기는 Operator가 구성할 장치를 식별합니다. 모든 매개변수에 값을 지정할 필요는 없습니다. 실수로 장치를 선택하지 않도록 네트워크 장치를 정확하게 파악하는 것이 좋습니다. rootDevices 를 지정하는 경우 공급 업체,deviceID 또는 pfNames 의 값도 지정해야 합니다. pfNames 와 rootDevices 를 동시에 지정하는 경우 동일한 장치를 참조하는지 확인하십시오. netFilter 의 값을 지정하는 경우 네트워크 ID가 고유하므로 다른 매개변수를 지정할 필요가 없습니다.

   8

   선택사항: 장치에 대해 하나 이상의 물리적 기능(PF) 이름으로 구성된 배열입니다.

   9

   선택사항: 가상 기능의 드라이버 유형입니다. 허용되는 유일한 값은 netdevice 입니다. 베어 메탈 노드에서 Mellanox NIC가 DPDK 모드에서 작동하려면 isRdma 를 true 로 설정합니다.

   10

   선택 사항: 원격 직접 메모리 액세스(RDMA) 모드를 활성화할지 여부를 구성합니다. 기본값은 false입니다. isRdma 매개변수가 true 로 설정된 경우 RDMA 가능 VF를 일반 네트워크 장치로 계속 사용할 수 있습니다. 어느 모드에서나 장치를 사용할 수 있습니다. Fast Datapath DPDK 애플리케이션과 함께 사용할 Mellanox NIC를 구성하려면 isRdma 를 true 로 설정하고 추가로 needVhostNet 을 true 로 설정합니다.

   참고

   vfio-pci 드라이버 유형은 지원되지 않습니다.

2. SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f policyallflags-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   구성 업데이트를 적용하면 sriov-network-operator 네임스페이스의 모든 Pod가 Running 상태로 변경됩니다.

3. SR-IOV 네트워크 장치가 구성되어 있는지 확인하려면 다음 명령을 입력합니다. & lt;node_name >을 방금 구성한 SR-IOV 네트워크 장치가 있는 노드 이름으로 바꿉니다.

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

   출력 예

   Succeeded

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예제 CR과 같이 본딩된 인터페이스의 SriovNetwork CR(사용자 정의 리소스)을 생성합니다. YAML을 sriov-network-attachment.yaml 파일로 저장합니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: allvalidflags 

   1

   
     namespace: openshift-sriov-network-operator 

   2

   
   spec:
     resourceName: policyallflags 

   3

   
     networkNamespace: sysctl-tuning-test 

   4

   
     capabilities: '{ "mac": true, "ips": true }' 

   5

   Copy to Clipboard Toggle word wrap

   1

   오브젝트의 이름입니다. SR-IOV Network Operator는 동일한 이름으로 NetworkAttachmentDefinition 오브젝트를 생성합니다.

   2

   SR-IOV Network Operator가 설치된 네임스페이스입니다.

   3

   이 추가 네트워크에 대한 SR-IOV 하드웨어를 정의하는 SriovNetworkNodePolicy 오브젝트의 spec.resourceName 매개변수 값입니다.

   4

   SriovNetwork 오브젝트의 대상 네임스페이스입니다. 대상 네임스페이스의 포드만 추가 네트워크에 연결할 수 있습니다.

   5

   선택사항: 이 추가 네트워크에 구성할 수 있는 기능입니다. "{ "ips": true}" 를 지정하여 IP 주소 지원을 활성화하거나 "{ "mac": true}" 를 지정하여 MAC 주소 지원을 활성화할 수 있습니다.

2. SriovNetwork 리소스를 생성합니다.

   $ oc create -f sriov-network-attachment.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 예제 CR에서와 같이 본딩 네트워크 연결 정의를 생성합니다. YAML을 sriov-bond-network-interface.yaml 파일로 저장합니다.

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: bond-sysctl-network
     namespace: sysctl-tuning-test
   spec:
     config: '{
     "cniVersion":"0.4.0",
     "name":"bound-net",
     "plugins":[
       {
         "type":"bond", 

   1

   
         "mode": "active-backup", 

   2

   
         "failOverMac": 1, 

   3

   
         "linksInContainer": true, 

   4

   
         "miimon": "100",
         "links": [ 

   5

   
           {"name": "net1"},
           {"name": "net2"}
         ],
         "ipam":{ 

   6

   
           "type":"static"
         }
       },
       {
         "type":"tuning", 

   7

   
         "capabilities":{
           "mac":true
         },
         "sysctl":{
           "net.ipv4.conf.IFNAME.accept_redirects": "0",
           "net.ipv4.conf.IFNAME.accept_source_route": "0",
           "net.ipv4.conf.IFNAME.disable_policy": "1",
           "net.ipv4.conf.IFNAME.secure_redirects": "0",
           "net.ipv4.conf.IFNAME.send_redirects": "0",
           "net.ipv6.conf.IFNAME.accept_redirects": "0",
           "net.ipv6.conf.IFNAME.accept_source_route": "1",
           "net.ipv6.neigh.IFNAME.base_reachable_time_ms": "20000",
           "net.ipv6.neigh.IFNAME.retrans_time_ms": "2000"
         }
       }
     ]
   }'

   Copy to Clipboard Toggle word wrap

   1

   유형은 bond 입니다.

   2

   mode 속성은 본딩 모드를 지정합니다. 지원되는 본딩 모드는 다음과 같습니다.

   • balance-rr - 0
   • active-backup - 1

   • balance-xor - 2

     balance-rr 또는 balance-xor 모드의 경우 SR-IOV 가상 기능에 대한 신뢰 모드를 on 으로 설정해야 합니다.

   3

   active-backup 모드에서는 장애 조치( failover ) 속성이 필요합니다.

   4

   linksInContainer=true 플래그는 Bond CNI에 컨테이너 내부에 필요한 인터페이스가 있음을 알립니다. 기본적으로 Bond CNI는 SRIOV 및 Multus와의 통합에 작동하지 않는 호스트에서 이러한 인터페이스를 찾습니다.

   5

   links 섹션에서는 본딩을 생성하는 데 사용할 인터페이스를 정의합니다. 기본적으로 Multus는 연결된 인터페이스의 이름을 "net"로 지정하고 연속된 번호를 1로 지정합니다.

   6

   YAML 블록 스칼라 IPAM CNI 플러그인에 대한 구성 오브젝트입니다. 플러그인은 연결 정의에 대한 IP 주소 할당을 관리합니다. 이 Pod 예제 IP 주소는 수동으로 구성되므로 이 경우ipam 이 static으로 설정됩니다.

   7

   장치에 추가 기능을 추가합니다. 예를 들어 type 필드를 tuning 로 설정합니다. sysctl 필드에 설정하려는 인터페이스 수준 네트워크 sysctl 을 지정합니다. 이 예에서는 설정할 수 있는 모든 인터페이스 수준 네트워크 sysctl 설정을 설정합니다.

4. 본딩 네트워크 연결 리소스를 생성합니다.

   $ oc create -f sriov-bond-network-interface.yaml

   Copy to Clipboard Toggle word wrap

1. Pod CR을 생성합니다. 예를 들어 다음 YAML을 examplepod.yaml 파일로 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: sysctl-tuning-test
     annotations:
       k8s.v1.cni.cncf.io/networks: |-
         [
           {"name": "allvalidflags"}, 

   1

   
           {"name": "allvalidflags"},
           {
             "name": "bond-sysctl-network",
             "interface": "bond0",
             "mac": "0a:56:0a:83:04:0c", 

   2

   
             "ips": ["10.100.100.200/24"] 

   3

   
          }
         ]
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

   1

   SR-IOV 네트워크 연결 정의 CR의 이름입니다.

   2

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 MAC 주소입니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "mac": true } 도 지정해야 합니다.

   3

   선택사항: SR-IOV 네트워크 연결 정의 CR에 정의된 리소스 유형에서 할당된 SR-IOV 장치의 IP 주소입니다. IPv4 및 IPv6 주소가 모두 지원됩니다. 이 기능을 사용하려면 SriovNetwork 오브젝트에 { "ips": true } 도 지정해야 합니다.

2. YAML을 적용합니다.

   $ oc apply -f examplepod.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 Pod가 생성되었는지 확인합니다.

   $ oc get pod -n sysctl-tuning-test

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 Pod에 로그인합니다.

   $ oc rsh -n sysctl-tuning-test tunepod

   Copy to Clipboard Toggle word wrap

5. 구성된 sysctl 플래그의 값을 확인합니다. 다음 명령을 실행하여 net.ipv6.neigh.IFNAME.base_reachable_time_ms 값을 찾습니다.

   $ sysctl net.ipv6.neigh.bond0.base_reachable_time_ms

   Copy to Clipboard Toggle word wrap

   출력 예

   net.ipv6.neigh.bond0.base_reachable_time_ms = 20000

   Copy to Clipboard Toggle word wrap