하드웨어 네트워크

절차

1. SriovNetworkNodePolicy 오브젝트를 생성한 후 YAML을 <name>-sriov-node-network.yaml 파일에 저장합니다. <name>을 이 구성의 이름으로 바꿉니다.
2. 선택 사항: SR-IOV 지원 클러스터 노드에 SriovNetworkNodePolicy.Spec.NodeSelector 를 사용하여 레이블을 지정합니다(아직 레이블이 지정되지 않은 경우). 노드에 레이블을 지정하는 방법에 대한 자세한 내용은 "노드의 레이블을 업데이트하는 방법 이해"를 참조하세요.

3. SriovNetworkNodePolicy 오브젝트를 생성합니다.

   $ oc create -f <name>-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   <name>은 이 구성의 이름을 지정합니다.

   구성 업데이트를 적용하면 sriov-network-operator 네임스페이스의 모든 Pod가 Running 상태로 전환됩니다.

4. SR-IOV 네트워크 장치가 구성되어 있는지 확인하려면 다음 명령을 입력합니다. <node_name>을 방금 구성한 SR-IOV 네트워크 장치가 있는 노드 이름으로 바꿉니다.

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

절차

1. 다음과 같은 SR-IOV Pod 사양을 생성한 다음 YAML을 <name>-sriov-pod.yaml 파일에 저장합니다. <name>을 이 Pod의 이름으로 바꿉니다.

   다음 예는 SR-IOV Pod 사양을 보여줍니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: sample-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: <name> 

   1

   
   spec:
     containers:
     - name: sample-container
       image: <image> 

   2

   
       command: ["sleep", "infinity"]
       resources:
         limits:
           memory: "1Gi" 

   3

   
           cpu: "2" 

   4

   
         requests:
           memory: "1Gi"
           cpu: "2"

   Copy to Clipboard Toggle word wrap

   1

   <name>을 SR-IOV 네트워크 첨부 파일 정의 CR의 이름으로 바꿉니다.

   2

   <image>를 sample-pod 이미지의 이름으로 바꿉니다.

   3

   보장된 QoS로 SR-IOV Pod를 생성하려면 메모리 제한을 메모리 요청과 동일하게 설정합니다.

   4

   보장된 QoS로 SR-IOV Pod를 생성하려면 cpu 제한을 CPU 요청과 동일하게 설정합니다.

2. 다음 명령을 실행하여 샘플 SR-IOV Pod를 만듭니다.

   $ oc create -f <filename> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <filename>을 이전 단계에서 생성한 파일 이름으로 바꿉니다.

3. sample-pod가 보장된 QoS로 구성되어 있는지 확인하십시오.

   $ oc describe pod sample-pod

   Copy to Clipboard Toggle word wrap

4. sample-pod에 전용 CPU가 할당되어 있는지 확인하십시오.

   $ oc exec sample-pod -- cat /sys/fs/cgroup/cpuset/cpuset.cpus

   Copy to Clipboard Toggle word wrap

5. sample-pod에 할당된 SR-IOV 장치 및 CPU가 동일한 NUMA 노드에 있는지 확인하십시오.

   $ oc exec sample-pod -- cat /sys/fs/cgroup/cpuset/cpuset.cpus

   Copy to Clipboard Toggle word wrap

프로세스

1. SriovNetwork 오브젝트를 생성한 다음 <name>.yaml 파일에 YAML을 저장합니다. 여기서 <name>은 이 추가 네트워크의 이름입니다. 오브젝트 사양은 다음 예와 유사할 수 있습니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. 오브젝트를 생성하려면 다음 명령을 입력합니다:

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   여기서 <name>은 추가 네트워크의 이름을 지정합니다.

3. 선택사항: 이전 단계에서 생성한 SriovNetwork 오브젝트에 연결된 NetworkAttachmentDefinition 오브젝트가 존재하는지 확인하려면 다음 명령을 입력합니다. <namespace>를 SriovNetwork 오브젝트에 지정한 networkNamespace로 바꿉니다.

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

프로세스

1. Pod 오브젝트에 주석을 추가합니다. 다음 주석 형식 중 하나만 사용할 수 있습니다.

   1. 사용자 정의 없이 보조 네트워크를 연결하려면 다음 형식으로 주석을 추가하세요. <네트워크>를 포드와 연결할 보조 네트워크의 이름으로 바꾸세요.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      두 개 이상의 보조 네트워크를 지정하려면 각 네트워크를 쉼표로 구분하세요. 쉼표 사이에 공백을 포함하지 마십시오. 동일한 보조 네트워크를 여러 번 지정하면 해당 Pod에 여러 개의 네트워크 인터페이스가 해당 네트워크에 연결됩니다.

   2. 사용자 정의를 사용하여 보조 네트워크를 연결하려면 다음 형식으로 주석을 추가하세요.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default-route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      NetworkAttachmentDefinition 개체에 의해 정의된 보조 네트워크의 이름을 지정합니다.

      2

      NetworkAttachmentDefinition 오브젝트가 정의된 네임스페이스를 지정합니다.

      3

      선택 사항: 기본 경로에 대한 재정의를 지정합니다(예: 192.168.17.1).

2. Pod를 생성하려면 다음 명령을 입력합니다. <name>을 Pod 이름으로 교체합니다.

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. 선택사항: Pod CR에 주석이 있는지 확인하려면 다음 명령을 입력하고 <name>을 Pod 이름으로 교체합니다.

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   다음 예에서 example-pod 포드는 net1 보조 네트워크에 연결됩니다.

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/network-status 매개변수는 객체의 JSON 배열입니다. 각 객체는 포드에 연결된 보조 네트워크의 상태를 설명합니다. 주석 값은 일반 텍스트 값으로 저장됩니다.

프로세스

1. SriovNetworkPoolConfig 리소스를 만듭니다.

   1. SriovNetworkPoolConfig 리소스를 정의하는 YAML 파일을 만듭니다.

      sriov-nw-pool.yaml 파일 예시

      apiVersion: v1
      kind: SriovNetworkPoolConfig
      metadata:
        name: pool-1 

      1

      
        namespace: openshift-sriov-network-operator 

      2

      
      spec:
        maxUnavailable: 2 

      3

      
        nodeSelector: 

      4

      
          matchLabels:
            node-role.kubernetes.io/worker: ""

      Copy to Clipboard Toggle word wrap

      1

      SriovNetworkPoolConfig 개체의 이름을 지정합니다.

      2

      SR-IOV 네트워크 운영자가 설치된 네임스페이스를 지정합니다.

      3

      업데이트 중에 풀에서 사용할 수 없는 노드에 대한 정수 또는 백분율 값을 지정합니다. 예를 들어, 노드가 10개이고 사용할 수 없는 최대 노드 수를 2로 설정하면 언제든지 병렬로 비울 수 있는 노드는 2개뿐이고, 작업 부하를 처리할 수 있는 노드는 8개 남습니다.

      4

      노드 선택기를 사용하여 풀을 추가할 노드를 지정합니다. 이 예제에서는 작업자 역할이 있는 모든 노드를 풀에 추가합니다.

   2. 다음 명령을 실행하여 SriovNetworkPoolConfig 리소스를 만듭니다.

      $ oc create -f sriov-nw-pool.yaml

      Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 sriov-test 네임스페이스를 만듭니다.

   $ oc create namespace sriov-test

   Copy to Clipboard Toggle word wrap

3. SriovNetworkNodePolicy 리소스를 만듭니다.

   1. SriovNetworkNodePolicy 리소스를 정의하는 YAML 파일을 만듭니다.

      sriov-node-policy.yaml 파일 예시

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames: ["ens1"]
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        numVfs: 5
        priority: 99
        resourceName: sriov_nic_1

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 만듭니다.

      $ oc create -f sriov-node-policy.yaml

      Copy to Clipboard Toggle word wrap

4. SriovNetwork 리소스를 만듭니다.

   1. SriovNetwork 리소스를 정의하는 YAML 파일을 만듭니다.

      sriov-network.yaml 파일 예시

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        linkState: auto
        networkNamespace: sriov-test
        resourceName: sriov_nic_1
        capabilities: '{ "mac": true, "ips": true }'
        ipam: '{ "type": "static" }'

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 만듭니다.

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

1. 클러스터에서 작업 부하 감소를 트리거하기 위해 SriovNetworkNodePolicy 리소스의 가상 함수 수를 업데이트합니다.

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 대상 클러스터의 드레이닝 상태를 모니터링합니다.

   $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

   Copy to Clipboard Toggle word wrap

   출력 예

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
   openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

   Copy to Clipboard Toggle word wrap

   배수 프로세스가 완료되면 SYNC STATUS가 Succeeded 로 변경되고 DESIRED SYNC STATE 와 CURRENT SYNC STATE 값은 IDLE 로 돌아갑니다.

프로세스

1. SriovNetworkNodePolicy CR을 만듭니다.

   1. 다음 YAML을 sriov-network-node-policy.yaml 파일에 저장하고 YAML의 값을 사용자 환경에 맞게 바꿉니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      1

      
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 

      2

      
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 

      3

      Copy to Clipboard Toggle word wrap

      1

      SR-IOV 네트워크 장치 플러그인의 리소스 이름입니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      2

      NIC 선택기를 사용하여 운영자가 구성할 장치를 식별합니다.

      3

      SR-IOV 네트워크 리소스에 대한 NUMA 노드 광고를 토폴로지 관리자에게 제외하려면 값을 true 로 설정합니다. 기본값은 false입니다.

      참고

      여러 SriovNetworkNodePolicy 리소스가 동일한 SR-IOV 네트워크 리소스를 대상으로 하는 경우 SriovNetworkNodePolicy 리소스는 excludeTopology 사양과 동일한 값을 가져야 합니다. 그렇지 않으면 상충되는 정책은 거부됩니다.

   2. 다음 명령을 실행하여 SriovNetworkNodePolicy 리소스를 만듭니다. 성공적인 출력에는 SriovNetworkNodePolicy 리소스의 이름과 생성 상태가 나열됩니다.

      $ oc create -f sriov-network-node-policy.yaml

      Copy to Clipboard Toggle word wrap

2. SriovNetwork CR을 만듭니다.

   1. 다음 YAML을 sriov-network.yaml 파일에 저장하고 YAML의 값을 사용자 환경과 일치하도록 바꿉니다.

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 

      1

      
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      2

      
        networkNamespace: <namespace> 

      3

      
        ipam: |- 

      4

      
          {
            "type": "<ipam_type>",
          }

      Copy to Clipboard Toggle word wrap

      1

      sriov-numa-0-network를 SR-IOV 네트워크 리소스의 이름으로 바꿉니다.

      2

      이전 단계의 SriovNetworkNodePolicy CR에 대한 리소스 이름을 지정합니다. 이 YAML은 샘플 resourceName 값을 사용합니다.

      3

      SR-IOV 네트워크 리소스에 대한 네임스페이스를 입력하세요.

      4

      SR-IOV 네트워크에 대한 IP 주소 관리 구성을 입력합니다.

   2. 다음 명령을 실행하여 SriovNetwork 리소스를 만듭니다. 성공적인 출력에는 SriovNetwork 리소스의 이름과 생성 상태가 나열됩니다.

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

3. 포드를 생성하고 이전 단계의 SR-IOV 네트워크 리소스를 할당합니다.

   1. 다음 YAML을 sriov-network-pod.yaml 파일에 저장하고 YAML의 값을 사용자 환경에 맞게 바꿉니다.

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 

      1

      
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      Copy to Clipboard Toggle word wrap

      1

      이는 SriovNetworkNodePolicy 리소스를 사용하는 SriovNetwork 리소스의 이름입니다.

   2. 다음 명령을 실행하여 Pod 리소스를 만듭니다. 예상되는 출력에는 Pod 리소스의 이름과 생성 상태가 표시됩니다.

      $ oc create -f sriov-network-pod.yaml

      Copy to Clipboard Toggle word wrap

검증

1. 다음 명령을 실행하여 포드 상태를 확인합니다. 여기서 <pod_name>을 포드 이름으로 바꿉니다.

   $ oc get pod <pod_name>

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

   Copy to Clipboard Toggle word wrap

2. 대상 포드에서 디버그 세션을 열어 SR-IOV 네트워크 리소스가 메모리 및 CPU 리소스와 다른 노드에 배포되었는지 확인합니다.

   1. 다음 명령을 실행하여 포드로 디버그 세션을 엽니다. 여기서 <pod_name>을 대상 포드 이름으로 바꿉니다.

      $ oc debug pod/<pod_name>

      Copy to Clipboard Toggle word wrap

   2. 디버그 쉘 내에서 /host를 root 디렉터리로 설정합니다. 디버그 Pod는 Pod 내의 /host에 호스트의 root 파일 시스템을 마운트합니다. root 디렉토리를 /host로 변경하면 호스트 파일 시스템에서 바이너리를 실행할 수 있습니다.

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 CPU 할당에 대한 정보를 확인하세요.

      $ lscpu | grep NUMA

      Copy to Clipboard Toggle word wrap

      출력 예

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      Copy to Clipboard Toggle word wrap

      $ cat /proc/self/status | grep Cpus

      Copy to Clipboard Toggle word wrap

      출력 예

      Cpus_allowed:	aa
      Cpus_allowed_list:	1,3,5,7

      Copy to Clipboard Toggle word wrap

      $ cat  /sys/class/net/net1/device/numa_node

      Copy to Clipboard Toggle word wrap

      출력 예

      0

      Copy to Clipboard Toggle word wrap

      이 예에서 CPU 1, 3, 5, 7은 NUMA 노드 1 에 할당되지만 SR-IOV 네트워크 리소스는 NUMA 노드 0 의 NIC를 사용할 수 있습니다.

프로세스

1. SriovIBNetwork 오브젝트를 생성한 다음 <name>.yaml 파일에 YAML을 저장합니다. 여기서 <name>은 이 추가 네트워크의 이름입니다. 오브젝트 사양은 다음 예와 유사할 수 있습니다.

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovIBNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. 오브젝트를 생성하려면 다음 명령을 입력합니다:

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   여기서 <name>은 추가 네트워크의 이름을 지정합니다.

3. 선택 사항: 이전 단계에서 생성한 SriovIBNetwork 오브젝트에 연결된 NetworkAttachmentDefinition 오브젝트가 존재하는지 확인하려면 다음 명령을 입력합니다. <namespace>를 SriovIBNetwork 오브젝트에 지정한 networkNamespace로 바꿉니다.

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

프로세스

1. Pod 오브젝트에 주석을 추가합니다. 다음 주석 형식 중 하나만 사용할 수 있습니다.

   1. 사용자 정의 없이 보조 네트워크를 연결하려면 다음 형식으로 주석을 추가하세요. <네트워크>를 포드와 연결할 보조 네트워크의 이름으로 바꾸세요.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      두 개 이상의 보조 네트워크를 지정하려면 각 네트워크를 쉼표로 구분하세요. 쉼표 사이에 공백을 포함하지 마십시오. 동일한 추가 네트워크를 여러 번 지정하면 Pod에 해당 네트워크에 대한 인터페이스가 여러 개 연결됩니다.

   2. 사용자 정의를 사용하여 보조 네트워크를 연결하려면 다음 형식으로 주석을 추가하세요.

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default-route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      NetworkAttachmentDefinition 개체에 의해 정의된 보조 네트워크의 이름을 지정합니다.

      2

      NetworkAttachmentDefinition 오브젝트가 정의된 네임스페이스를 지정합니다.

      3

      선택 사항: 기본 경로에 대한 재정의를 지정합니다(예: 192.168.17.1).

2. Pod를 생성하려면 다음 명령을 입력합니다. <name>을 Pod 이름으로 교체합니다.

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. 선택사항: Pod CR에 주석이 있는지 확인하려면 다음 명령을 입력하고 <name>을 Pod 이름으로 교체합니다.

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   다음 예에서 example-pod 포드는 net1 보조 네트워크에 연결됩니다.

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/networks-status 매개변수는 JSON 오브젝트 배열입니다. 각 객체는 포드에 연결된 보조 네트워크의 상태를 설명합니다. 주석 값은 일반 텍스트 값으로 저장됩니다.