硬件网络

流程

1. 创建一个 SriovNetworkNodePolicy 对象，然后在 <name>-sriov-node-network.yaml 文件中保存 YAML。使用配置的实际名称替换 <name>。
2. 可选：将 SR-IOV 功能的集群节点标记为 SriovNetworkNodePolicy.Spec.NodeSelector （如果它们还没有标记）。有关标记节点的更多信息，请参阅"了解如何更新节点上的标签"。

3. 创建 SriovNetworkNodePolicy 对象：

   $ oc create -f <name>-sriov-node-network.yaml

   Copy to Clipboard Toggle word wrap

   其中 <name> 指定这个配置的名称。

   在应用配置更新后，sriov-network-operator 命名空间中的所有 Pod 都会变为 Running 状态。

4. 要验证是否已配置了 SR-IOV 网络设备，请输入以下命令。将 <node_name> 替换为带有您刚才配置的 SR-IOV 网络设备的节点名称。

   $ oc get sriovnetworknodestates -n openshift-sriov-network-operator <node_name> -o jsonpath='{.status.syncStatus}'

   Copy to Clipboard Toggle word wrap

流程

1. 创建以下 SR-IOV pod 规格，然后在 <name>-sriov-pod.yaml 文件中保存 YAML。将 <name> 替换为这个 pod 的名称。

   以下示例显示了 SR-IOV pod 规格：

   apiVersion: v1
   kind: Pod
   metadata:
     name: sample-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: <name> 

   1

   
   spec:
     containers:
     - name: sample-container
       image: <image> 

   2

   
       command: ["sleep", "infinity"]
       resources:
         limits:
           memory: "1Gi" 

   3

   
           cpu: "2" 

   4

   
         requests:
           memory: "1Gi"
           cpu: "2"

   Copy to Clipboard Toggle word wrap

   1

   将 <name> 替换为 SR-IOV 网络附加定义 CR 的名称。

   2

   将 <image> 替换为 sample-pod 镜像的名称。

   3

   要创建带有保证 QoS 的 SR-IOV pod，将 memory limits 设置为与 memory requests 相同的值。

   4

   要创建带有保证 QoS 的 SR-IOV pod，将 cpu limits 设置为与 cpu requests 相同。

2. 运行以下命令来创建 SR-IOV pod 示例：

   $ oc create -f <filename> 

   1

   Copy to Clipboard Toggle word wrap

   1

   将 <filename> 替换为您在上一步中创建的文件的名称。

3. 确认 sample-pod 配置为带有保证 QoS。

   $ oc describe pod sample-pod

   Copy to Clipboard Toggle word wrap

4. 确认 sample-pod 被分配了独有的 CPU。

   $ oc exec sample-pod -- cat /sys/fs/cgroup/cpuset/cpuset.cpus

   Copy to Clipboard Toggle word wrap

5. 确认为 sample-pod 分配的 SR-IOV 设备和 CPU 位于相同的 NUMA 节点上。

   $ oc exec sample-pod -- cat /sys/fs/cgroup/cpuset/cpuset.cpus

   Copy to Clipboard Toggle word wrap

流程

1. 创建一个 SriovNetwork 对象，然后在 <name>.yaml 文件中保存 YAML，其中 <name> 是这个额外网络的名称。对象规格可能类似以下示例：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建对象：

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   这里的 <name> 指定额外网络的名称。

3. 可选： 要确认与您在上一步中创建的 SriovNetwork 对象关联的 NetworkAttachmentDefinition 对象是否存在，请输入以下命令。将 <namespace> 替换为您在 SriovNetwork 对象中指定的 networkNamespace。

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

流程

1. 为 Pod 对象添加注解。只能使用以下注解格式之一：

   1. 要在不自定义的情况下附加二级网络，请使用以下格式添加注解。将 <network> 替换为要与 pod 关联的二级网络的名称：

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      要指定多个二级网络，请使用逗号分隔每个网络。逗号之间不可包括空格。如果您多次指定相同的二级网络，则该 pod 会将多个网络接口附加到该网络。

   2. 要通过自定义来附加二级网络，请添加具有以下格式的注解：

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default-route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      指定 NetworkAttachmentDefinition 对象定义的二级网络的名称。

      2

      指定定义 NetworkAttachmentDefinition 对象的命名空间。

      3

      可选：为默认路由指定覆盖，如 192.168.17.1。

2. 运行以下命令来创建 pod。将 <name> 替换为 pod 的名称。

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. 可选： 要确认 Pod CR 中是否存在注解，请输入以下命令将 <name> 替换为 pod 的名称。

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   在以下示例中，example-pod pod 附加到 net1 二级网络：

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/network-status 参数是对象的 JSON 数组。每个对象描述附加到 pod 的二级网络的状态。注解值保存为纯文本值。

流程

1. 创建一个 SriovNetworkPoolConfig 资源：

   1. 创建一个定义 SriovNetworkPoolConfig 资源的 YAML 文件：

      sriov-nw-pool.yaml 文件示例

      apiVersion: v1
      kind: SriovNetworkPoolConfig
      metadata:
        name: pool-1 

      1

      
        namespace: openshift-sriov-network-operator 

      2

      
      spec:
        maxUnavailable: 2 

      3

      
        nodeSelector: 

      4

      
          matchLabels:
            node-role.kubernetes.io/worker: ""

      Copy to Clipboard Toggle word wrap

      1

      指定 SriovNetworkPoolConfig 对象的名称。

      2

      指定安装 SR-IOV Network Operator 的命名空间。

      3

      为在更新过程中可用的节点指定一个整数或百分比值。例如，如果您有 10 个节点，并且将最大不可用设置为 2，那么可以随时并行排空 2 个节点，保留 8 个节点来处理工作负载。

      4

      使用节点选择器指定要添加池的节点。本例将具有 worker 角色的所有节点添加到池中。

   2. 运行以下命令来创建 SriovNetworkPoolConfig 资源：

      $ oc create -f sriov-nw-pool.yaml

      Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建 sriov-test 命名空间：

   $ oc create namespace sriov-test

   Copy to Clipboard Toggle word wrap

3. 创建一个 SriovNetworkNodePolicy 资源：

   1. 创建一个定义 SriovNetworkNodePolicy 资源的 YAML 文件：

      sriov-node-policy.yaml 文件示例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        deviceType: netdevice
        nicSelector:
          pfNames: ["ens1"]
        nodeSelector:
          node-role.kubernetes.io/worker: ""
        numVfs: 5
        priority: 99
        resourceName: sriov_nic_1

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令来创建 SriovNetworkNodePolicy 资源：

      $ oc create -f sriov-node-policy.yaml

      Copy to Clipboard Toggle word wrap

4. 创建一个 SriovNetwork 资源：

   1. 创建一个定义 SriovNetwork 资源的 YAML 文件：

      sriov-network.yaml 文件示例

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-nic-1
        namespace: openshift-sriov-network-operator
      spec:
        linkState: auto
        networkNamespace: sriov-test
        resourceName: sriov_nic_1
        capabilities: '{ "mac": true, "ips": true }'
        ipam: '{ "type": "static" }'

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令来创建 SriovNetwork 资源：

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

1. 更新 SriovNetworkNodePolicy 资源中的虚拟功能数量，以触发集群中的工作负载排空：

   $ oc patch SriovNetworkNodePolicy sriov-nic-1 -n openshift-sriov-network-operator --type merge -p '{"spec": {"numVfs": 4}}'

   Copy to Clipboard Toggle word wrap

2. 运行以下命令监控目标集群上的排空状态：

   $ oc get sriovNetworkNodeState -n openshift-sriov-network-operator

   Copy to Clipboard Toggle word wrap

   输出示例

   NAMESPACE                          NAME       SYNC STATUS   DESIRED SYNC STATE   CURRENT SYNC STATE   AGE
   openshift-sriov-network-operator   worker-0   InProgress    Drain_Required       DrainComplete        3d10h
   openshift-sriov-network-operator   worker-1   InProgress    Drain_Required       DrainComplete        3d10h

   Copy to Clipboard Toggle word wrap

   当排空过程完成后，SYNC STATUS 变为 Succeeded，DESIRED SYNC STATE 和 CURRENT SYNC STATE 值返回到 IDLE。

流程

1. 创建 SriovNetworkNodePolicy CR：

   1. 将以下 YAML 保存到 sriov-network-node-policy.yaml 文件中，替换 YAML 中的值以匹配您的环境：

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
        name: <policy_name>
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      1

      
        nodeSelector:
          kubernetes.io/hostname: <node_name>
        numVfs: <number_of_Vfs>
        nicSelector: 

      2

      
          vendor: "<vendor_ID>"
          deviceID: "<device_ID>"
        deviceType: netdevice
        excludeTopology: true 

      3

      Copy to Clipboard Toggle word wrap

      1

      SR-IOV 网络设备插件的资源名称。此 YAML 使用示例 resourceName 值。

      2

      使用 NIC 选择器识别要配置的 Operator 的设备。

      3

      要将 SR-IOV 网络资源的 NUMA 节点排除到拓扑管理器，请将值设为 true。默认值为 false。

      注意

      如果多个 SriovNetworkNodePolicy 资源都以同一 SR-IOV 网络资源为目标，则 SriovNetworkNodePolicy 资源必须具有与 excludeTopology 规格相同的值。否则，冲突策略将被拒绝。

   2. 运行以下命令来创建 SriovNetworkNodePolicy 资源。成功输出列出了 SriovNetworkNodePolicy 资源的名称 以及创建 的状态。

      $ oc create -f sriov-network-node-policy.yaml

      Copy to Clipboard Toggle word wrap

2. 创建 SriovNetwork CR：

   1. 将以下 YAML 保存到 sriov-network.yaml 文件中，替换 YAML 中的值以匹配您的环境：

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
        name: sriov-numa-0-network 

      1

      
        namespace: openshift-sriov-network-operator
      spec:
        resourceName: sriovnuma0 

      2

      
        networkNamespace: <namespace> 

      3

      
        ipam: |- 

      4

      
          {
            "type": "<ipam_type>",
          }

      Copy to Clipboard Toggle word wrap

      1

      将 sriov-numa-0-network 替换为 SR-IOV 网络资源的名称。

      2

      指定上一步中的 SriovNetworkNodePolicy CR 的资源名称。此 YAML 使用示例 resourceName 值。

      3

      输入 SR-IOV 网络资源的命名空间。

      4

      输入 SR-IOV 网络的 IP 地址管理配置。

   2. 运行以下命令来创建 SriovNetwork 资源。成功输出列出了 SriovNetwork 资源的名称 以及创建 的状态。

      $ oc create -f sriov-network.yaml

      Copy to Clipboard Toggle word wrap

3. 创建 pod 并从上一步中分配 SR-IOV 网络资源：

   1. 将以下 YAML 保存到 sriov-network-pod.yaml 文件中，替换 YAML 中的值以匹配您的环境：

      apiVersion: v1
      kind: Pod
      metadata:
        name: <pod_name>
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "sriov-numa-0-network", 

      1

      
              }
            ]
      spec:
        containers:
        - name: <container_name>
          image: <image>
          imagePullPolicy: IfNotPresent
          command: ["sleep", "infinity"]

      Copy to Clipboard Toggle word wrap

      1

      这是使用 SriovNetworkNodePolicy 资源的 SriovNetwork 资源的名称。

   2. 运行以下命令来创建 Pod 资源。预期输出显示 Pod 资源的名称 以及创建 的状态。

      $ oc create -f sriov-network-pod.yaml

      Copy to Clipboard Toggle word wrap

验证

1. 运行以下命令，将 <pod_name> 替换为 pod 的名称来验证 pod 的状态：

   $ oc get pod <pod_name>

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME                                     READY   STATUS    RESTARTS   AGE
   test-deployment-sriov-76cbbf4756-k9v72   1/1     Running   0          45h

   Copy to Clipboard Toggle word wrap

2. 打开目标 pod 的 debug 会话，以验证 SR-IOV 网络资源是否已部署到与内存和 CPU 资源不同的节点上。

   1. 运行以下命令，使用 pod 打开 debug 会话，将 <pod_name> 替换为目标 pod 名称。

      $ oc debug pod/<pod_name>

      Copy to Clipboard Toggle word wrap

   2. 将 /host 设为 debug shell 中的根目录。debug pod 从 pod 中的 /host 中的主机挂载 root 文件系统。将根目录改为 /host，您可以从主机文件系统中运行二进制文件：

      $ chroot /host

      Copy to Clipboard Toggle word wrap

   3. 运行以下命令，查看有关 CPU 分配的信息：

      $ lscpu | grep NUMA

      Copy to Clipboard Toggle word wrap

      输出示例

      NUMA node(s):                    2
      NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,...
      NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,...

      Copy to Clipboard Toggle word wrap

      $ cat /proc/self/status | grep Cpus

      Copy to Clipboard Toggle word wrap

      输出示例

      Cpus_allowed:	aa
      Cpus_allowed_list:	1,3,5,7

      Copy to Clipboard Toggle word wrap

      $ cat  /sys/class/net/net1/device/numa_node

      Copy to Clipboard Toggle word wrap

      输出示例

      0

      Copy to Clipboard Toggle word wrap

      在本例中，CPU 1,3,5 和 7 分配给 NUMA node1，但 SR-IOV 网络资源可以使用 NUMA node0 中的 NIC。

流程

1. 创建一个 SriovIBNetwork 对象，然后在 <name>.yaml 文件中保存 YAML，其中 <name> 是这个额外网络的名称。对象规格可能类似以下示例：

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovIBNetwork
   metadata:
     name: attach1
     namespace: openshift-sriov-network-operator
   spec:
     resourceName: net1
     networkNamespace: project2
     ipam: |-
       {
         "type": "host-local",
         "subnet": "10.56.217.0/24",
         "rangeStart": "10.56.217.171",
         "rangeEnd": "10.56.217.181",
         "gateway": "10.56.217.1"
       }

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建对象：

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

   这里的 <name> 指定额外网络的名称。

3. 可选： 要确认与您在上一步中创建的 SriovIBNetwork 对象关联的 NetworkAttachmentDefinition 对象是否存在，请输入以下命令。将 <namespace> 替换为您在 SriovIBNetwork 对象中指定的 networkNamespace。

   $ oc get net-attach-def -n <namespace>

   Copy to Clipboard Toggle word wrap

流程

1. 为 Pod 对象添加注解。只能使用以下注解格式之一：

   1. 要在不自定义的情况下附加二级网络，请使用以下格式添加注解。将 <network> 替换为要与 pod 关联的二级网络的名称：

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 

      1

      Copy to Clipboard Toggle word wrap

      1

      要指定多个二级网络，请使用逗号分隔每个网络。逗号之间不可包括空格。如果您多次指定相同的二级网络，则该 pod 会将多个网络接口附加到该网络。

   2. 要通过自定义来附加二级网络，请添加具有以下格式的注解：

      metadata:
        annotations:
          k8s.v1.cni.cncf.io/networks: |-
            [
              {
                "name": "<network>", 

      1

      
                "namespace": "<namespace>", 

      2

      
                "default-route": ["<default-route>"] 

      3

      
              }
            ]

      Copy to Clipboard Toggle word wrap

      1

      指定 NetworkAttachmentDefinition 对象定义的二级网络的名称。

      2

      指定定义 NetworkAttachmentDefinition 对象的命名空间。

      3

      可选：为默认路由指定覆盖，如 192.168.17.1。

2. 运行以下命令来创建 pod。将 <name> 替换为 pod 的名称。

   $ oc create -f <name>.yaml

   Copy to Clipboard Toggle word wrap

3. 可选： 要确认 Pod CR 中是否存在注解，请输入以下命令将 <name> 替换为 pod 的名称。

   $ oc get pod <name> -o yaml

   Copy to Clipboard Toggle word wrap

   在以下示例中，example-pod pod 附加到 net1 二级网络：

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/network-status: |- 

   1

   
         [{
             "name": "ovn-kubernetes",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   Copy to Clipboard Toggle word wrap

   1

   k8s.v1.cni.cncf.io/network-status 参数是对象的 JSON 数组。每个对象描述附加到 pod 的二级网络的状态。注解值保存为纯文本值。