16.2. 配置额外网络

16.2.1. 管理额外网络的方法

您可以通过两种方法来管理额外网络的生命周期。每种方法都是相互排斥的，您一次只能使用一种方法来管理额外网络。对于任一方法，额外网络由您配置的 Container Network Interface(CNI)插件管理。

对于额外网络，IP 地址通过您配置为额外网络一部分的 IP 地址管理 (IPAM) CNI 插件来置备。IPAM 插件支持多种 IP 地址分配方法，包括 DHCP 和静态分配。

修改 Cluster Network Operator(CNO)配置：CNO 会自动创建和管理 NetworkAttachmentDefinition 对象。除了管理对象生命周期外，CNO 可以确保 DHCP 可用于使用 DHCP 分配的 IP 地址的额外网络。
应用 YAML 清单：您可以通过创建 NetworkAttachmentDefinition 对象直接管理额外网络。这个方法可以串联 CNI 插件。

16.2.2. 配置额外网络附加

额外网络通过 k8s.cni.cncf.io API 组中的 NetworkAttachmentDefinition API 来配置。

重要

请勿将任何敏感信息或机密存储在 NetworkAttachmentDefinition 对象中，因为此类信息可由项目管理用户访问。

下表中描述了 API 的配置：

表 16.1. NetworkAttachmentDefinition API 字段
字段	类型	描述
`metadata.name`	`字符串`	额外网络的名称。
`metadata.namespace`	`字符串`	与对象关联的命名空间。
`spec.config`	`字符串`	JSON 格式的 CNI 插件配置。

16.2.2.1. 通过 Cluster Network Operator 配置额外网络

额外网络附加的配置作为 Cluster Network Operator(CNO)配置的一部分被指定。

以下 YAML 描述了使用 CNO 管理额外网络的配置参数：

Cluster Network Operator 配置

apiVersion: operator.openshift.io/v1
kind: Network
metadata:
  name: cluster
spec:
  # ...
  additionalNetworks: 1
  - name: <name> 2
    namespace: <namespace> 3
    rawCNIConfig: |- 4
      {
        ...
      }
    type: Raw

1: 由一个或多个附加网络配置组成的数组。
2: 您要创建的额外网络附加的名称。名称在指定的命名空间中必须是唯一的。
3: 在其中创建网络附加的命名空间。如果您未指定值，则使用 default 命名空间。
4: JSON 格式的 CNI 插件配置。

16.2.2.2. 从 YAML 清单配置额外网络

从 YAML 配置文件指定额外网络的配置，如下例所示：

apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: <name> 1
spec:
  config: |- 2
    {
      ...
    }

1: 您要创建的额外网络附加的名称。
2: JSON 格式的 CNI 插件配置。

16.2.3. 额外网络类型的配置

以下部分介绍了额外网络的具体配置字段。

16.2.3.1. 配置桥接额外网络

以下对象描述了 bridge CNI 插件的配置参数：

表 16.2. bridge CNI 插件 JSON 配置对象
字段	类型	描述
`cniVersion`	`字符串`	CNI 规格版本。需要 `0.3.1` 值。
`name`	`字符串`	您之前为 CNO 配置提供的 `name` 参数的值。
`type`	`字符串`	用于配置的 CNI 插件的名称：`bridge`。
`ipam`	`object`	IPAM CNI 插件的配置对象。该插件管理附加定义的 IP 地址分配。
`bridge`	`字符串`	可选：指定要使用的虚拟网桥名称。如果主机上不存在网桥接口，则进行创建。默认值为 `cni0`。
`ipMasq`	`布尔值`	可选：设置为 `true`，为离开虚拟网络的流量启用 IP 伪装。所有流量的源 IP 地址都会改写为网桥 IP 地址。如果网桥没有 IP 地址，此设置无效。默认值为 `false`。
`isGateway`	`布尔值`	可选：设置为 `true`，从而为网桥分配 IP 地址。默认值为 `false`。
`isDefaultGateway`	`布尔值`	可选：设置为 `true`，将网桥配置为虚拟网络的默认网关。默认值为 `false`。如果 `isDefaultGateway` 设置为 `true`，则 `isGateway` 也会自动设置为 `true`。
`forceAddress`	`布尔值`	可选：设置为 `true`，以允许将之前分配的 IP 地址分配给虚拟网桥。设置为 `false` 时，如果将来自于重叠子集的 IPv4 地址或者 IPv6 地址分配给虚拟网桥，则会发生错误。默认值为 `false`。
`hairpinMode`	`布尔值`	可选：设置为 `true`，以允许虚拟网桥通过收到它的虚拟端口将其发回。这个模式也被称为反射中继。默认值为 `false`。
`promiscMode`	`布尔值`	可选：设置为 `true` 以在网桥上启用混杂模式。默认值为 `false`。
`vlan`	`字符串`	可选：指定一个虚拟 LAN (VLAN) 标签作为整数值。默认情况下不分配 VLAN 标签。
`preserveDefaultVlan`	`字符串`	可选：指示在连接到网桥的 `veth` 端是否保留默认 vlan。默认值为 true。
`vlanTrunk`	`list`	可选：分配 VLAN 中继标签。默认值为 `none`。
`mtu`	`字符串`	可选：将最大传输单元 (MTU) 设置为指定的值。默认值由内核自动设置。
`enabledad`	`布尔值`	可选：为容器侧 `veth` 启用重复的地址检测。默认值为 `false`。
`macspoofchk`	`布尔值`	可选：启用 mac spoof 检查，将来自容器的流量限制为接口的 mac 地址。默认值为 `false`。

注意

VLAN 参数在 veth 的主机端配置 VLAN 标签，并在网桥接口上启用 vlan_filtering 功能。

注意

要为 L2 网络配置 uplink，您需要使用以下命令在 uplink 接口上允许 vlan ：

$  bridge vlan add vid VLAN_ID dev DEV

16.2.3.1.1. 网桥配置示例

以下示例配置了名为 bridge-net 的额外网络：

{
  "cniVersion": "0.3.1",
  "name": "bridge-net",
  "type": "bridge",
  "isGateway": true,
  "vlan": 2,
  "ipam": {
    "type": "dhcp"
    }
}

16.2.3.2. 主机设备额外网络配置

注意

仅设置以下参数之一来指定您的网络设备：device、hwaddr、kernelpath 或 pciBusID。

以下对象描述了 host-device CNI 插件的配置参数：

表 16.3. 主机 device CNI 插件 JSON 配置对象
字段	类型	描述
`cniVersion`	`字符串`	CNI 规格版本。需要 `0.3.1` 值。
`name`	`字符串`	您之前为 CNO 配置提供的 `name` 参数的值。
`type`	`字符串`	用于配置的 CNI 插件的名称：`host-device`。
`device`	`字符串`	可选：设备的名称，如 `eth0`。
`hwaddr`	`字符串`	可选：设备硬件 MAC 地址。
`kernelpath`	`字符串`	可选：Linux 内核设备路径，如 `/sys/devices/pci0000:00/0000:00:1f.6`。
`pciBusID`	`字符串`	可选：网络设备的 PCI 地址，如 `0000:00:1f.6`。

16.2.3.2.1. host-device 配置示例

以下示例配置了名为 hostdev-net 的额外网络：

{
  "cniVersion": "0.3.1",
  "name": "hostdev-net",
  "type": "host-device",
  "device": "eth1"
}

16.2.3.3. 配置 IPVLAN 额外网络

以下对象描述了 IPVLAN CNI 插件的配置参数：

表 16.4. IPVLAN CNI 插件 JSON 配置对象
字段	类型	描述
`cniVersion`	`字符串`	CNI 规格版本。需要 `0.3.1` 值。
`name`	`字符串`	您之前为 CNO 配置提供的 `name` 参数的值。
`type`	`字符串`	要配置的 CNI 插件的名称：`ipvlan`。
`ipam`	`object`	IPAM CNI 插件的配置对象。该插件管理附加定义的 IP 地址分配。除非插件被串联，否则需要此项。
`模式`	`字符串`	可选：虚拟网络的操作模式。这个值必须是 `l2`、`l3` 或 `l3s`。默认值为 `l2`。
`master`	`字符串`	可选：与网络附加关联的以太网接口。如果没有指定 `master`，则使用默认网络路由的接口。
`mtu`	`整数`	可选：将最大传输单元 (MTU) 设置为指定的值。默认值由内核自动设置。

注意

ipvlan 对象不允许虚拟接口与 master 接口通信。因此，容器无法使用 ipvlan 接口访问主机。确保容器加入提供主机连接的网络，如支持 Precision Time Protocol (PTP) 的网络。
单个 master 接口无法同时配置为使用 macvlan 和 ipvlan。
对于不能与接口无关的 IP 分配方案，可以使用处理此逻辑的较早插件来串联 ipvlan 插件。如果省略 master，则前面的结果必须包含一个接口名称，以便 ipvlan 插件进行 enslave。如果省略 ipam，则使用前面的结果来配置 ipvlan 接口。

16.2.3.3.1. ipvlan 配置示例

以下示例配置了名为 ipvlan -net 的额外网络：

{
  "cniVersion": "0.3.1",
  "name": "ipvlan-net",
  "type": "ipvlan",
  "master": "eth1",
  "mode": "l3",
  "ipam": {
    "type": "static",
    "addresses": [
       {
         "address": "192.168.10.10/24"
       }
    ]
  }
}

16.2.3.4. 配置 MACVLAN 额外网络

以下对象描述了 macvlan CNI 插件的配置参数：

表 16.5. MACVLAN CNI 插件 JSON 配置对象
字段	类型	描述
`cniVersion`	`字符串`	CNI 规格版本。需要 `0.3.1` 值。
`name`	`字符串`	您之前为 CNO 配置提供的 `name` 参数的值。
`type`	`字符串`	用于配置的 CNI 插件的名称：`macvlan`。
`ipam`	`object`	IPAM CNI 插件的配置对象。该插件管理附加定义的 IP 地址分配。
`模式`	`字符串`	可选：配置虚拟网络上的流量可见性。必须是 `bridge`、`passthru`、`private`或 `Vepa`。如果没有提供值，则默认值为 `bridge`。
`master`	`字符串`	可选：与新创建的 macvlan 接口关联的主机网络接口。如果没有指定值，则使用默认路由接口。
`mtu`	`字符串`	可选：将最大传输单元 (MTU) 到指定的值。默认值由内核自动设置。

注意

如果您为插件配置指定 master key，请使用与主网络插件关联的物理网络接口，以避免可能冲突。

16.2.3.4.1. macvlan 配置示例

以下示例配置了名为 macvlan-net 的额外网络：

{
  "cniVersion": "0.3.1",
  "name": "macvlan-net",
  "type": "macvlan",
  "master": "eth1",
  "mode": "bridge",
  "ipam": {
    "type": "dhcp"
    }
}

16.2.4. 为额外网络配置 IP 地址分配

IP 地址管理 (IPAM) Container Network Interface (CNI) 插件为其他 CNI 插件提供 IP 地址。

您可以使用以下 IP 地址分配类型：

静态分配。
通过 DHCP 服务器进行动态分配。您指定的 DHCP 服务器必须可从额外网络访问。
通过 Whereabouts IPAM CNI 插件进行动态分配。

16.2.4.1. 静态 IP 地址分配配置

下表描述了静态 IP 地址分配的配置：

表 16.6. ipam 静态配置对象
字段	类型	描述
`type`	`字符串`	IPAM 地址类型。值必须是 `static`。
`addresses`	`数组`	指定分配给虚拟接口的 IP 地址的对象数组。支持 IPv4 和 IPv6 IP 地址。
`Routes`	`数组`	指定要在 pod 中配置的路由的一组对象。
`dns`	`数组`	可选：指定 DNS 配置的对象数组。

address 数组需要带有以下字段的对象：

表 16.7. ipam.addresses[] array
字段	类型	描述
`address`	`字符串`	您指定的 IP 地址和网络前缀。例如：如果您指定 `10.10.21.10/24`，那么会为额外网络分配 IP 地址 `10.10.21.10`，网掩码为 `255.255.255.0`。
`gateway`	`字符串`	出口网络流量要路由到的默认网关。

表 16.8. ipam.routes[] array
字段	类型	描述
`dst`	`字符串`	CIDR 格式的 IP 地址范围，如 `192.168.17.0/24` 或默认路由 `0.0.0.0/0`。
`gw`	`字符串`	网络流量路由的网关。

表 16.9. ipam.dns object
字段	类型	描述
`nameservers`	`数组`	用于发送 DNS 查询的一个或多个 IP 地址的数组。
`domain`	`数组`	要附加到主机名的默认域。例如，如果将域设置为 `example.com`，对 `example-host` 的 DNS 查找查询将被改写为 `example-host.example.com`。
`search`	`数组`	在 DNS 查找查询过程中，附加到非限定主机名（如 `example-host`）的域名的数组。

静态 IP 地址分配配置示例

{
  "ipam": {
    "type": "static",
      "addresses": [
        {
          "address": "191.168.1.7/24"
        }
      ]
  }
}

16.2.4.2. 动态 IP 地址(DHCP)分配配置

以下 JSON 描述了使用 DHCP 进行动态 IP 地址地址分配的配置。

DHCP 租期续订

pod 在创建时获取其原始 DHCP 租期。该租期必须由集群中运行的一个小型的 DHCP 服务器部署定期续订。

要触发 DHCP 服务器的部署，您必须编辑 Cluster Network Operator 配置来创建 shim 网络附加，如下例所示：

shim 网络附加定义示例

apiVersion: operator.openshift.io/v1
kind: Network
metadata:
  name: cluster
spec:
  additionalNetworks:
  - name: dhcp-shim
    namespace: default
    type: Raw
    rawCNIConfig: |-
      {
        "name": "dhcp-shim",
        "cniVersion": "0.3.1",
        "type": "bridge",
        "ipam": {
          "type": "dhcp"
        }
      }
  # ...

表 16.10. ipam DHCP 配置对象
字段	类型	描述
`type`	`字符串`	IPAM 地址类型。需要值 `dhcp`。

动态 IP 地址(DHCP)分配配置示例

{
  "ipam": {
    "type": "dhcp"
  }
}

16.2.4.3. 使用 Whereabouts 进行动态 IP 地址分配配置

Whereabouts CNI 插件允许在不使用 DHCP 服务器的情况下动态地将 IP 地址分配给额外网络。

下表描述了使用 Whereabouts 进行动态 IP 地址分配的配置：

表 16.11. ipam whereabouts 配置对象
字段	类型	描述
`type`	`字符串`	IPAM 地址类型。需要 `abouts` 的值。
`range`	`字符串`	CIDR 表示法中的 IP 地址和范围。IP 地址是通过这个地址范围来分配的。
`exclude`	`数组`	可选： CIDR 标记中零个或更多 IP 地址和范围的列表。包含在排除地址范围中的 IP 地址。

使用 Whereabouts 的动态 IP 地址分配配置示例

{
  "ipam": {
    "type": "whereabouts",
    "range": "192.0.2.192/27",
    "exclude": [
       "192.0.2.192/30",
       "192.0.2.196/32"
    ]
  }
}

16.2.4.4. 创建 Whereabouts 协调器守护进程集

Whereabouts 协调器负责管理集群中 pod 的动态 IP 地址分配，使用 Whereabouts IP 地址管理 (IPAM) 解决方案。它确保每个 pod 从指定的 IP 地址范围中获取唯一的 IP 地址。它还会在 pod 删除或缩减时处理 IP 地址发行版本。

注意

您还可以使用 NetworkAttachmentDefinition 自定义资源进行动态 IP 地址分配。

通过 Cluster Network Operator 配置额外网络时，Whereabouts reconciler 守护进程集会被自动创建。从 YAML 清单配置额外网络时，它不会自动创建。

要触发 Whereabouts 协调器 daemonset 的部署，您必须通过编辑 Cluster Network Operator 自定义资源文件来手动创建 whereabouts-shim 网络附加。

使用以下步骤部署 Whereabouts 协调器 daemonset。

流程

运行以下命令来编辑 Network.operator.openshift.io 自定义资源（CR）：
```
$ oc edit network.operator.openshift.io cluster
```

修改 CR 中的 additionalNetworks 参数，以添加 abouts-shim 网络附加定义。例如：

apiVersion: operator.openshift.io/v1
kind: Network
metadata:
  name: cluster
spec:
  additionalNetworks:
  - name: whereabouts-shim
    namespace: default
    rawCNIConfig: |-
      {
       "name": "whereabouts-shim",
       "cniVersion": "0.3.1",
       "type": "bridge",
       "ipam": {
         "type": "whereabouts"
       }
      }
    type: Raw

保存文件并退出文本编辑器。

运行以下命令，验证 whereabouts-reconciler 守护进程集是否已成功部署：

$ oc get all -n openshift-multus | grep whereabouts-reconciler

输出示例

pod/whereabouts-reconciler-jnp6g 1/1 Running 0 6s
pod/whereabouts-reconciler-k76gg 1/1 Running 0 6s
pod/whereabouts-reconciler-k86t9 1/1 Running 0 6s
pod/whereabouts-reconciler-p4sxw 1/1 Running 0 6s
pod/whereabouts-reconciler-rvfdv 1/1 Running 0 6s
pod/whereabouts-reconciler-svzw9 1/1 Running 0 6s
daemonset.apps/whereabouts-reconciler 6 6 6 6 6 kubernetes.io/os=linux 6s

16.2.5. 使用 Cluster Network Operator 创建额外网络附加

Cluster Network Operator (CNO) 管理额外网络定义。当您指定要创建的额外网络时，CNO 会自动创建 NetworkAttachmentDefinition 对象。

重要

不要编辑 Cluster Network Operator 所管理的 NetworkAttachmentDefinition 对象。这样做可能会破坏额外网络上的网络流量。

先决条件

安装 OpenShift CLI（oc）。
以具有 cluster-admin 特权的用户身份登录。

流程

可选：为额外网络创建命名空间：
```
$ oc create namespace <namespace_name>
```

要编辑 CNO 配置，请输入以下命令：

$ oc edit networks.operator.openshift.io cluster

通过为您要创建的额外网络添加配置来修改您要创建的 CR，如下例所示。

apiVersion: operator.openshift.io/v1
kind: Network
metadata:
  name: cluster
spec:
  # ...
  additionalNetworks:
  - name: tertiary-net
    namespace: namespace2
    type: Raw
    rawCNIConfig: |-
      {
        "cniVersion": "0.3.1",
        "name": "tertiary-net",
        "type": "ipvlan",
        "master": "eth1",
        "mode": "l2",
        "ipam": {
          "type": "static",
          "addresses": [
            {
              "address": "192.168.1.23/24"
            }
          ]
        }
      }

保存您的更改，再退出文本编辑器以提交更改。

验证

通过运行以下命令确认 CNO 创建了 NetworkAttachmentDefinition 对象。CNO 创建对象之前可能会有延迟。
```
$ oc get network-attachment-definitions -n <namespace>
```
其中：
<namespace>
指定添加到 CNO 配置中的网络附加的命名空间。
输出示例
```
NAME                 AGE
test-network-1       14m
```

16.2.6. 通过应用 YAML 清单来创建额外网络附加