7.8. 为 SR-IOV 配置额外网络

流程

1. 创建以下 SriovNetworkNodePolicy CR，然后在 <name>-sriov-node-network.yaml 文件中保存 YAML。使用配置的实际名称替换 <name>。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetworkNodePolicy
   metadata:
     name: <name> 1
     namespace: sriov-network-operator 2
   spec:
     resourceName: <sriov_resource_name> 3
     nodeSelector:
       feature.node.kubernetes.io/network-sriov.capable: "true" 4
     priority: <priority> 5
     mtu: <mtu> 6
     numVfs: <num> 7
     nicSelector: 8
       vendor: "<vendor_code>" 9
       deviceID: "<device_id>" 10
       pfNames: ["<pf_name>", ...] 11
       rootDevices: ["<pci_bus_id>", "..."] 12
     deviceType: <device_type> 13
     isRdma: false 14

   1

   为 CR 指定一个名称。

   2

   指定 SR-IOV Operator 安装到的命名空间。

   3

   指定 SR-IOV 设备插件的资源名称。如果 Pod spec 中引用了，则会添加 openshift.io/ 前缀。您可以为一个资源名称创建多个 SriovNetworkNodePolicy CR。

   4

   指定节点选择器来选择要配置哪些节点。用户可以选择手动标记节点，也可以使用 Kubernetes Node Feature Discovery 等工具进行。只有所选节点上的 SR-IOV 网络设备才会被配置。SR-IOV CNI 插件和设备插件只能部署到所选节点上。

   5

   指定一个 0 到 99 之间的整数。大数值的优先级较低，因此优先级 99 低于优先级 10。

   6

   为虚拟功能（VF）的最大传输单位 (MTU) 指定一个值。MTU 的值必须是在 1 到 9000 之间。如果您不需要指定 MTU，请指定一个 " 值。

   7

   为 SR-IOV 物理网络设备指定要创建的虚拟功能 (VF) 的数量。对于 Intel 网络接口卡 (NIC) ，VF 的数量不能超过该设备支持的 VF 总数。对于 Mellanox NIC，VF 的数量不能超过 128。

   8

   nicSelector 映射为 Operator 选择要配置的以太网设备。您不需要为所有参数指定值。建议您以足够的准确度来识别以太网适配器，以便尽量减小意外选择其他以太网设备的可能性。如果指定了rootDevices，则必须同时为 vendor、 deviceID 或 pfNames 指定一个值。如果同时指定了 pfNames 和 rootDevices，请确保它们指向同一个设备。

   9

   指定 SR-IOV 网络设备的厂商十六进制代码。允许的值只能是 8086 或 15b3。

   10

   指定 SR-IOV 网络设备的设备十六进制代码。允许的值只能是 158b、1015、1017。

   11

   参数接受包括以太网设备的一个或多个物理功能 (PF) 的数组。

   12

   参数接受一个包括一个或多个 PCI 总线地址，用于以太网设备的物理功能的数组。使用以下格式提供地址: 0000:02:00.1。

   13

   指定虚拟功能的驱动程序类型。您可以指定以下值之一：netdevice 和 vfio-pci。默认值为 netdevice。

   14

   指定是否启用 RDMA 模式。默认值为 false。在 Mellanox 以太网适配器中只支持 RDMA over Converged Ethernet (RoCE) 模式。

   注意

   如果将 RDMA 标记设定为 true，您可以继续使用启用了 RDMA 的 VF 作为普通网络设备。设备可在其中的一个模式中使用。

2. 运行以下命令来创建 CR：

   $ oc create -f <filename> 1

   1

   将 <filename> 替换为您在上一步中创建的文件的名称。

流程

1. 创建以下 SriovNetwork CR，然后在 <name>-sriov-network.yaml 文件中保存 YAML。用这个额外网络的名称替换 <name> 。

   apiVersion: sriovnetwork.openshift.io/v1
   kind: SriovNetwork
   metadata:
     name: <name> 1
     namespace: sriov-network-operator 2
   spec:
     networkNamespace: <target_namespace> 3
     ipam: |- 4
       ...
     vlan: <vlan> 5
     resourceName: <sriov_resource_name> 6

   1

   将 <name> 替换为 CR 的名称。Operator 将创建一个具有相同名称的 NetworkAttachmentDefinition CR。

   2

   指定 SR-IOV Operator 安装到的命名空间。

   3

   将 <target_namespace> 替换为创建 NetworkAttachmentDefinition CR 的命名空间。

   4

   为 ipam CNI 插件指定一个配置对象做为一个 YAML 块 scalar。该插件管理网络附加定义的 IP 地址分配。

   5

   使用额外网络的虚拟 LAN (VLAN) ID 替换 <vlan>。它需要是一个从 0 到 4095 范围内的一个整数值。默认值为 0。

   6

   把 <sriov_resource_name> 替换为来自用于为这个额外网络定义 SR-IOV 硬件的 SriovNetworkNodePolicy CR 的 .spec.resourceName 参数的值。

2. 运行以下命令来创建 CR：

   $ oc create -f <filename> 1

   1

   将 <filename> 替换为您在上一步中创建的文件的名称。

3. 可选：通过运行以下命令，确认与在上一步中创建的 SriovNetwork CR 关联的 NetworkAttachmentDefinition CR 是否存在。将 <namespace> 替换为您在 SriovNetwork CR 中指定的命名空间。

   oc get net-attach-def -n <namespace>

1. 在 Pod 资源定义中，将 k8s.v1.cni.cncf.io/networks 参数添加到 Pod metadata 映射中。k8s.v1.cni.cncf.io/networks 接受由一个或多个 NetworkAttachmentDefinition 自定义资源 (CR) 名称组成并用逗号分隔的字符串：

   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: <network>[,<network>,...] 1

   1

   将 <network> 替换为要与 Pod 关联的额外网络的名称。要指定多个额外网络，请使用逗号分隔各个网络。逗号之间不可包括空格。如果您多次指定同一额外网络，则 Pod 会将多个网络接口附加到该网络。

   在以下示例中，两个额外网络附加到 Pod：

   apiVersion: v1
   kind: Pod
   metadata:
     name: example-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: net1,net2
   spec:
     containers:
     - name: example-pod
       command: ["/bin/bash", "-c", "sleep 2000000000000"]
       image: centos/tools

2. 运行以下命令来创建 Pod：

   $ oc create -f pod.yaml

3. 可选：通过运行以下命令，确认 Pod CR 中是否存在注解。将 <name> 替换为 Pod 的名称。

   $ oc get pod <name> -o yaml

   在以下示例中，example-pod Pod 附加到 net1 额外网络：

   $ oc get pod example-pod -o yaml
   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: macvlan-bridge
       k8s.v1.cni.cncf.io/networks-status: |- 1
         [{
             "name": "openshift-sdn",
             "interface": "eth0",
             "ips": [
                 "10.128.2.14"
             ],
             "default": true,
             "dns": {}
         },{
             "name": "macvlan-bridge",
             "interface": "net1",
             "ips": [
                 "20.2.2.100"
             ],
             "mac": "22:2f:60:a5:f8:00",
             "dns": {}
         }]
     name: example-pod
     namespace: default
   spec:
     ...
   status:
     ...

   1

   k8s.v1.cni.cncf.io/networks-status 参数是对象的 JSON 数组。每个对象描述附加到 Pod 的额外网络的状态。注解值保存为纯文本值。