18.3. 二级网络

流程

1. 创建一个新的 YAML 文件，如 setsebool-container-use-devices.yaml，详情如下：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 99-worker-setsebool
   spec:
     config:
       ignition:
         version: 3.2.0
       systemd:
         units:
         - enabled: true
           name: setsebool.service
           contents: |
             [Unit]
             Description=Set SELinux boolean for the TAP CNI plugin
             Before=kubelet.service
   
             [Service]
             Type=oneshot
             ExecStart=/usr/sbin/setsebool container_use_devices=on
             RemainAfterExit=true
   
             [Install]
             WantedBy=multi-user.target graphical.target

2. 运行以下命令来创建新的 MachineConfig 对象：

   $ oc apply -f setsebool-container-use-devices.yaml

   注意

   对 MachineConfig 对象应用任何更改将导致所有受影响的节点在应用更改后安全重启。此更新可能需要一些时间才能应用。

3. 运行以下命令验证是否应用了更改：

   $ oc get machineconfigpools

   预期输出

   NAME        CONFIG                                                UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master      rendered-master-e5e0c8e8be9194e7c5a882e047379cfa      True      False      False      3              3                   3                     0                      7d2h
   worker      rendered-worker-d6c9ca107fba6cd76cdcbfcedcafa0f2      True      False      False      3              3                   3                     0                      7d

   注意

   所有节点都应处于更新和就绪状态。

1. 编辑 Pod 资源定义。如果要编辑现有 Pod 资源，请运行以下命令在默认编辑器中编辑其定义。将 <name> 替换为要编辑的 Pod 资源的名称。

   $ oc edit pod <name>

2. 在 Pod 资源定义中，将 k8s.v1.cni.cncf.io/networks 参数添加到 pod metadata 映射中。k8s.v1.cni.cncf.io/networks 接受 JSON 字符串，该字符串除指定附加属性外，还引用 NetworkAttachmentDefinition 自定义资源（CR）名称的对象。

   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: '[<network>[,<network>,...]]' 1

   1

   将 <network> 替换为 JSON 对象，如下例所示。单引号是必需的。

3. 在以下示例中，通过 default-route 参数，注解指定了哪个网络附加将使用默认路由。

   apiVersion: v1
   kind: Pod
   metadata:
     name: example-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: '[
       {
         "name": "net1"
       },
       {
         "name": "net2", 1
         "default-route": ["192.0.2.1"] 2
       }]'
   spec:
     containers:
     - name: example-pod
       command: ["/bin/bash", "-c", "sleep 2000000000000"]
       image: centos/tools

   1

   name 是与 pod 关联的额外网络的名称。

   2

   default-route 指定了一个网关，当在路由表中没有其它路由条目时使用这个网关。如果指定了多个 default-route 键，这将导致 pod 无法成为活跃状态。

1. 运行以下命令来编辑 CNO CR：

   $ oc edit networks.operator.openshift.io cluster

流程

1. 运行以下命令来编辑 Network.operator.openshift.io 自定义资源（CR）：

   $ oc edit network.operator.openshift.io cluster

2. 在自定义资源 (CR) 的 spec 定义中包含此示例 YAML extract 中显示的 additionalNetworks 部分：

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   # ...
   spec:
     additionalNetworks:
     - name: whereabouts-shim
       namespace: default
       rawCNIConfig: |-
         {
          "name": "whereabouts-shim",
          "cniVersion": "0.3.1",
          "type": "bridge",
          "ipam": {
            "type": "whereabouts"
          }
         }
       type: Raw
   # ...

3. 保存文件并退出文本编辑器。

4. 运行以下命令，验证 whereabouts-reconciler 守护进程集是否已成功部署：

   $ oc get all -n openshift-multus | grep whereabouts-reconciler

   输出示例

   pod/whereabouts-reconciler-jnp6g 1/1 Running 0 6s
   pod/whereabouts-reconciler-k76gg 1/1 Running 0 6s
   pod/whereabouts-reconciler-k86t9 1/1 Running 0 6s
   pod/whereabouts-reconciler-p4sxw 1/1 Running 0 6s
   pod/whereabouts-reconciler-rvfdv 1/1 Running 0 6s
   pod/whereabouts-reconciler-svzw9 1/1 Running 0 6s
   daemonset.apps/whereabouts-reconciler 6 6 6 6 6 kubernetes.io/os=linux 6s

流程

1. 运行以下命令，使用 IP 协调器的特定 cron 表达式在 openshift-multus 命名空间中创建一个名为 whereabouts-config 的 ConfigMap 对象：

   $ oc create configmap whereabouts-config -n openshift-multus --from-literal=reconciler_cron_expression="*/15 * * * *"

   此 cron 表达式表示 IP 协调器每 15 分钟运行一次。根据您的特定要求调整表达式。

   注意

   whereabouts-reconciler 守护进程集只能使用包含五个星号的 cron 表达式模式。目前才不支持带有用于表示秒的第 6 个星号。

2. 运行以下命令，获取与 openshift-multus 命名空间中的 whereabouts-reconciler 守护进程集和 pod 相关的资源信息。

   $ oc get all -n openshift-multus | grep whereabouts-reconciler

   输出示例

   pod/whereabouts-reconciler-2p7hw                   1/1     Running   0             4m14s
   pod/whereabouts-reconciler-76jk7                   1/1     Running   0             4m14s
   pod/whereabouts-reconciler-94zw6                   1/1     Running   0             4m14s
   pod/whereabouts-reconciler-mfh68                   1/1     Running   0             4m14s
   pod/whereabouts-reconciler-pgshz                   1/1     Running   0             4m14s
   pod/whereabouts-reconciler-xn5xz                   1/1     Running   0             4m14s
   daemonset.apps/whereabouts-reconciler          6         6         6       6            6           kubernetes.io/os=linux   4m16s

3. 运行以下命令，以验证 whereabouts-reconciler pod 是否运行带有配置的时间间隔的 IP 协调器：

   $ oc -n openshift-multus logs whereabouts-reconciler-2p7hw

   输出示例

   2024-02-02T16:33:54Z [debug] event not relevant: "/cron-schedule/..2024_02_02_16_33_54.1375928161": CREATE
   2024-02-02T16:33:54Z [debug] event not relevant: "/cron-schedule/..2024_02_02_16_33_54.1375928161": CHMOD
   2024-02-02T16:33:54Z [debug] event not relevant: "/cron-schedule/..data_tmp": RENAME
   2024-02-02T16:33:54Z [verbose] using expression: */15 * * * *
   2024-02-02T16:33:54Z [verbose] configuration updated to file "/cron-schedule/..data". New cron expression: */15 * * * *
   2024-02-02T16:33:54Z [verbose] successfully updated CRON configuration id "00c2d1c9-631d-403f-bb86-73ad104a6817" - new cron expression: */15 * * * *
   2024-02-02T16:33:54Z [debug] event not relevant: "/cron-schedule/config": CREATE
   2024-02-02T16:33:54Z [debug] event not relevant: "/cron-schedule/..2024_02_02_16_26_17.3874177937": REMOVE
   2024-02-02T16:45:00Z [verbose] starting reconciler run
   2024-02-02T16:45:00Z [debug] NewReconcileLooper - inferred connection data
   2024-02-02T16:45:00Z [debug] listing IP pools
   2024-02-02T16:45:00Z [debug] no IP addresses to cleanup
   2024-02-02T16:45:00Z [verbose] reconciler success

流程

1. 将 type 设置为 whereabouts。

2. 使用 ipRanges 来分配 IP 地址，如下例所示：

   cniVersion: operator.openshift.io/v1
   kind: Network
   =metadata:
     name: cluster
   spec:
     additionalNetworks:
     - name: whereabouts-shim
       namespace: default
       type: Raw
       rawCNIConfig: |-
         {
          "name": "whereabouts-dual-stack",
          "cniVersion": "0.3.1,
          "type": "bridge",
          "ipam": {
            "type": "whereabouts",
            "ipRanges": [
                     {"range": "192.168.10.0/24"},
                     {"range": "2001:db8::/64"}
                 ]
          }
         }

3. 将网络附加到 pod。如需更多信息，请参阅"将 pod 添加到额外网络"。
4. 验证是否分配了所有 IP 地址。

5. 运行以下命令，以确保 IP 地址被分配为元数据。

   $ oc exec -it mypod -- ip a

流程

1. 使用以下命令，创建您要部署 pod 的专用容器命名空间：

   $ oc new-project test-namespace

2. 创建 SR-IOV 节点策略：

   1. 创建一个 SriovNetworkNodePolicy 对象，然后在 sriov-node-network-policy.yaml 文件中保存 YAML：

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetworkNodePolicy
      metadata:
       name: sriovnic
       namespace: openshift-sriov-network-operator
      spec:
       deviceType: netdevice
       isRdma: false
       needVhostNet: true
       nicSelector:
         vendor: "15b3" 1
         deviceID: "101b" 2
         rootDevices: ["00:05.0"]
       numVfs: 10
       priority: 99
       resourceName: sriovnic
       nodeSelector:
          feature.node.kubernetes.io/network-sriov.capable: "true"

      注意

      SR-IOV 网络节点策略配置示例，使用设置 deviceType: netdevice，专为 Mellanox 网络接口卡(NIC)量身定制。

      1

      SR-IOV 网络设备厂商的十六进制代码。值 15b3 代表与 Mellanox NIC 关联。

      2

      SR-IOV 网络设备的设备十六进制代码。

   2. 运行以下命令来应用 YAML：

      $ oc apply -f sriov-node-network-policy.yaml

      注意

      应用这可能需要一些时间，因为需要重新引导的节点。

3. 创建 SR-IOV 网络：

   1. 为额外 SR-IOV 网络附加创建 SriovNetwork 自定义资源(CR)，如下例所示。将 YAML 保存为文件 sriov-network-attachment.yaml ：

      apiVersion: sriovnetwork.openshift.io/v1
      kind: SriovNetwork
      metadata:
       name: sriov-network
       namespace: openshift-sriov-network-operator
      spec:
       networkNamespace: test-namespace
       resourceName: sriovnic
       spoofChk: "off"
       trust: "on"

   2. 运行以下命令来应用 YAML：

      $ oc apply -f sriov-network-attachment.yaml

4. 创建 VLAN 额外网络：

   1. 使用以下 YAML 示例，创建一个名为 vlan100-additional-network-configuration.yaml 的文件：

      apiVersion: k8s.cni.cncf.io/v1
      kind: NetworkAttachmentDefinition
      metadata:
        name: vlan-100
        namespace: test-namespace
      spec:
        config: |
          {
            "cniVersion": "0.4.0",
            "name": "vlan-100",
            "plugins": [
              {
                "type": "vlan",
                "master": "ext0", 1
                "mtu": 1500,
                "vlanId": 100,
                "linkInContainer": true, 2
                "ipam": {"type": "whereabouts", "ipRanges": [{"range": "1.1.1.0/24"}]}
              }
            ]
          }

      1

      VLAN 配置需要指定 master 名称。这可以在 pod 网络注解中配置。

      2

      必须指定 linkInContainer 参数。

   2. 运行以下命令来应用 YAML 文件：

      $ oc apply -f vlan100-additional-network-configuration.yaml

5. 使用之前指定的网络创建 pod 定义：

   1. 使用以下 YAML 示例，创建一个名为 pod-a.yaml 文件的文件：

      注意

      以下清单包括 2 个资源：

      • 带有安全标签的命名空间
      • 带有适当的网络注解的 Pod 定义

      apiVersion: v1
      kind: Namespace
      metadata:
        name: test-namespace
        labels:
          pod-security.kubernetes.io/enforce: privileged
          pod-security.kubernetes.io/audit: privileged
          pod-security.kubernetes.io/warn: privileged
          security.openshift.io/scc.podSecurityLabelSync: "false"
      ---
      apiVersion: v1
      kind: Pod
      metadata:
        name: nginx-pod
        namespace: test-namespace
        annotations:
          k8s.v1.cni.cncf.io/networks: '[
            {
              "name": "sriov-network",
              "namespace": "test-namespace",
              "interface": "ext0" 1
            },
            {
              "name": "vlan-100",
              "namespace": "test-namespace",
              "interface": "ext0.100"
            }
          ]'
      spec:
        securityContext:
          runAsNonRoot: true
        containers:
          - name: nginx-container
            image: nginxinc/nginx-unprivileged:latest
            securityContext:
              allowPrivilegeEscalation: false
              capabilities:
                drop: ["ALL"]
            ports:
              - containerPort: 80
            seccompProfile:
              type: "RuntimeDefault"

      1

      用作 VLAN 接口的 master 的名称。

   2. 运行以下命令来应用 YAML 文件：

      $ oc apply -f pod-a.yaml

6. 运行以下命令，在 test-namespace 中获取 nginx-pod 的详细信息：

   $ oc describe pods nginx-pod -n test-namespace

   输出示例

   Name:         nginx-pod
   Namespace:    test-namespace
   Priority:     0
   Node:         worker-1/10.46.186.105
   Start Time:   Mon, 14 Aug 2023 16:23:13 -0400
   Labels:       <none>
   Annotations:  k8s.ovn.org/pod-networks:
                   {"default":{"ip_addresses":["10.131.0.26/23"],"mac_address":"0a:58:0a:83:00:1a","gateway_ips":["10.131.0.1"],"routes":[{"dest":"10.128.0.0...
                 k8s.v1.cni.cncf.io/network-status:
                   [{
                       "name": "ovn-kubernetes",
                       "interface": "eth0",
                       "ips": [
                           "10.131.0.26"
                       ],
                       "mac": "0a:58:0a:83:00:1a",
                       "default": true,
                       "dns": {}
                   },{
                       "name": "test-namespace/sriov-network",
                       "interface": "ext0",
                       "mac": "6e:a7:5e:3f:49:1b",
                       "dns": {},
                       "device-info": {
                           "type": "pci",
                           "version": "1.0.0",
                           "pci": {
                               "pci-address": "0000:d8:00.2"
                           }
                       }
                   },{
                       "name": "test-namespace/vlan-100",
                       "interface": "ext0.100",
                       "ips": [
                           "1.1.1.1"
                       ],
                       "mac": "6e:a7:5e:3f:49:1b",
                       "dns": {}
                   }]
                 k8s.v1.cni.cncf.io/networks:
                   [ { "name": "sriov-network", "namespace": "test-namespace", "interface": "ext0" }, { "name": "vlan-100", "namespace": "test-namespace", "i...
                 openshift.io/scc: privileged
   Status:       Running
   IP:           10.131.0.26
   IPs:
     IP:  10.131.0.26

流程

1. 输入以下命令，创建一个要部署 pod 的专用容器命名空间：

   $ oc new-project test-namespace

2. 使用以下 YAML 示例，创建一个名为 bridge-nad.yaml 的桥接 NetworkAttachmentDefinition 自定义资源定义(CRD)文件：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: bridge-network
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "bridge-network",
       "type": "bridge",
       "bridge": "br-001",
       "isGateway": true,
       "ipMasq": true,
       "hairpinMode": true,
       "ipam": {
         "type": "host-local",
         "subnet": "10.0.0.0/24",
         "routes": [{"dst": "0.0.0.0/0"}]
       }
     }'

3. 运行以下命令，将 NetworkAttachmentDefinition CRD 应用到 OpenShift Container Platform 集群：

   $ oc apply -f bridge-nad.yaml

4. 输入以下命令验证您是否已成功创建了 NetworkAttachmentDefinition CRD：

   $ oc get network-attachment-definitions

   输出示例

   NAME             AGE
   bridge-network   15s

5. 使用以下 YAML 示例，为 IPVLAN 额外网络配置创建一个名为 ipvlan-additional-network-configuration.yaml 的文件：

   apiVersion: k8s.cni.cncf.io/v1
   kind: NetworkAttachmentDefinition
   metadata:
     name: ipvlan-net
     namespace: test-namespace
   spec:
     config: '{
       "cniVersion": "0.3.1",
       "name": "ipvlan-net",
       "type": "ipvlan",
       "master": "ext0", 1
       "mode": "l3",
       "linkInContainer": true, 2
       "ipam": {"type": "whereabouts", "ipRanges": [{"range": "10.0.0.0/24"}]}
     }'

   1

   指定要与网络附加关联的以太网接口。这会随后在 pod 网络注解中配置。

   2

   指定 master 接口位于容器网络命名空间中。

6. 运行以下命令来应用 YAML 文件：

   $ oc apply -f ipvlan-additional-network-configuration.yaml

7. 运行以下命令验证 NetworkAttachmentDefinition CRD 是否已成功创建：

   $ oc get network-attachment-definitions

   输出示例

   NAME             AGE
   bridge-network   87s
   ipvlan-net       9s

8. 使用以下 YAML 示例，为 pod 定义创建一个名为 pod-a.yaml 的文件：

   apiVersion: v1
   kind: Pod
   metadata:
     name: pod-a
     namespace: test-namespace
     annotations:
       k8s.v1.cni.cncf.io/networks: '[
         {
           "name": "bridge-network",
           "interface": "ext0" 1
         },
         {
           "name": "ipvlan-net",
           "interface": "ext1"
         }
       ]'
   spec:
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault
     containers:
     - name: test-pod
       image: quay.io/openshifttest/hello-sdn@sha256:c89445416459e7adea9a5a416b3365ed3d74f2491beb904d61dc8d1eb89a72a4
       securityContext:
         allowPrivilegeEscalation: false
         capabilities:
           drop: [ALL]

   1

   指定用作 IPVLAN 接口的 master 的名称。

9. 运行以下命令来应用 YAML 文件：

   $ oc apply -f pod-a.yaml

10. 使用以下命令验证 pod 是否正在运行：

    $ oc get pod -n test-namespace

    输出示例

    NAME    READY   STATUS    RESTARTS   AGE
    pod-a   1/1     Running   0          2m36s

11. 运行以下命令，显示 test-namespace 中 pod-a 资源的网络接口信息：

    $ oc exec -n test-namespace pod-a -- ip a

    输出示例

    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
        inet 127.0.0.1/8 scope host lo
           valid_lft forever preferred_lft forever
        inet6 ::1/128 scope host
           valid_lft forever preferred_lft forever
    3: eth0@if105: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1400 qdisc noqueue state UP group default
        link/ether 0a:58:0a:d9:00:5d brd ff:ff:ff:ff:ff:ff link-netnsid 0
        inet 10.217.0.93/23 brd 10.217.1.255 scope global eth0
           valid_lft forever preferred_lft forever
        inet6 fe80::488b:91ff:fe84:a94b/64 scope link
           valid_lft forever preferred_lft forever
    4: ext0@if107: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
        link/ether be:da:bd:7e:f4:37 brd ff:ff:ff:ff:ff:ff link-netnsid 0
        inet 10.0.0.2/24 brd 10.0.0.255 scope global ext0
           valid_lft forever preferred_lft forever
        inet6 fe80::bcda:bdff:fe7e:f437/64 scope link
           valid_lft forever preferred_lft forever
    5: ext1@ext0: <BROADCAST,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default
        link/ether be:da:bd:7e:f4:37 brd ff:ff:ff:ff:ff:ff
        inet 10.0.0.1/24 brd 10.0.0.255 scope global ext1
           valid_lft forever preferred_lft forever
        inet6 fe80::beda:bd00:17e:f437/64 scope link
           valid_lft forever preferred_lft forever

    此输出显示，网络接口 ext1 与物理接口 ext0 关联。