多网络

流程

1. 可选： 对于使用主网络的 ClusterUserDefinedNetwork CR，请输入以下命令创建带有 k8s.ovn.org/primary-user-defined-network 标签的命名空间：

   $ cat << EOF | oc apply -f -
   apiVersion: v1
   kind: Namespace
   metadata:
     name: <cudn_namespace_name>
     labels:
       k8s.ovn.org/primary-user-defined-network: ""
   EOF

   Copy to Clipboard Toggle word wrap

2. 为 Layer2 或 Layer3 拓扑类型创建集群范围的用户定义的网络：

   1. 创建 YAML 文件，如 cluster-layer-two-udn.yaml，为 Layer2 拓扑定义请求，如下例所示：

      apiVersion: k8s.ovn.org/v1
      kind: ClusterUserDefinedNetwork
      metadata:
        name: <cudn_name> 

      1

      
      spec:
        namespaceSelector: 

      2

      
          matchLabels: 

      3

      
            "<label_1_key>": "<label_1_value>" 

      4

      
            "<label_2_key>": "<label_2_value>" 

      5

      
        network: 

      6

      
          topology: Layer2 

      7

      
          layer2: 

      8

      
            role: Primary 

      9

      
            subnets:
              - "2001:db8::/64"
              - "10.100.0.0/16" 

      10

      Copy to Clipboard Toggle word wrap

      1

      ClusterUserDefinedNetwork CR 的名称。

      2

      CUDN CR 应用到的命名空间集合上的标签查询。使用标准 Kubernetes MatchLabel 选择器。不得指向 default 或 openshift channel 命名空间。

      3

      使用 matchLabels 选择器类型，其中使用 AND 关系评估术语。

      4 5

      在本例中，CUDN CR 被部署到包括 <label_1_key>=<label_1_value> 和 <label_2_key>=<label_2_value> 标签的命名空间。

      6

      描述网络配置。

      7

      topology 字段描述了网络配置；接受的值是 Layer2 和 Layer3。指定 Layer2 拓扑类型会创建一个逻辑交换机，它被所有节点共享。

      8

      此字段指定拓扑配置。它可以是 layer2 或 layer3。

      9

      指定 Primary 或 Secondary。主要是 4.19 中唯一支持的 角色 规格。

      10

      对于 Layer2 拓扑类型，以下指定 subnet 字段的配置详情：

      • subnets 字段是可选的。
      • subnets 字段的类型是字符串，接受 IPv4 和 IPv6 的标准 CIDR 格式。
      • subnets 字段接受一个或多个项。如果是两个项，它们必须属于不同的系列。例如，子网值 10.100.0.0/16 和 2001:db8::/64。
      • 可以省略 Layer2 子网。如果省略，用户必须为 pod 配置静态 IP 地址。因此，端口安全性只能阻止 MAC 欺骗。如需更多信息，请参阅"使用静态 IP 地址配置 pod"。

   2. 创建 YAML 文件，如 cluster-layer-three-udn.yaml，为 Layer3 拓扑定义您的请求，如下例所示：

      apiVersion: k8s.ovn.org/v1
      kind: ClusterUserDefinedNetwork
      metadata:
        name: <cudn_name> 

      1

      
      spec:
        namespaceSelector: 

      2

      
          matchExpressions: 

      3

      
          - key: kubernetes.io/metadata.name 

      4

      
            operator: In 

      5

      
            values: ["<example_namespace_one>", "<example_namespace_two>"] 

      6

      
        network: 

      7

      
          topology: Layer3 

      8

      
          layer3: 

      9

      
            role: Primary 

      10

      
            subnets: 

      11

      
              - cidr: 10.100.0.0/16
                hostSubnet: 24

      Copy to Clipboard Toggle word wrap

      1

      ClusterUserDefinedNetwork CR 的名称。

      2

      集群 UDN 应用到的命名空间集合上的标签查询。使用标准 Kubernetes MatchLabel 选择器。不得指向 default 或 openshift channel 命名空间。

      3

      使用 matchExpressions 选择器类型，其中使用 OR 关系评估术语。

      4

      指定要匹配的标签键。

      5

      指定 operator。有效值包括： In,NotIn,Exists, 和 DoesNotExist。

      6

      因为使用了 matchExpressions 类型，因此置备命名空间与 <example_namespace_one> 或 <example_namespace_two> 匹配。

      7

      描述网络配置。

      8

      topology 字段描述了网络配置；接受的值是 Layer2 和 Layer3。指定 Layer3 拓扑类型会为每个节点创建一个第 2 层段，各自具有不同的子网。第 3 层路由用于互连节点子网。

      9

      此字段指定拓扑配置。有效值为 layer2 或 layer3。

      10

      指定 Primary 或 Secondary 角色。主要是 4.19 中唯一支持的 角色 规格。

      11

      对于 Layer3 拓扑类型，以下指定 subnet 字段的配置详情：

      • subnets 字段是必需的。

      • subnets 字段的类型是 cidr 和 hostSubnet ：

        • cidr 是集群子网，它接受一个字符串值。
        • hostSubnet 指定集群子网分割的节点子网前缀。
        • 对于 IPv6，hostSubnet 仅支持 /64 长度。

3. 运行以下命令来应用您的请求：

   $ oc create --validate=true -f <example_cluster_udn>.yaml

   Copy to Clipboard Toggle word wrap

   其中 <example_cluster_udn>.yaml 是 Layer2 或 Layer3 配置文件的名称。

4. 运行以下命令验证您的请求是否成功：

   $ oc get clusteruserdefinednetwork <cudn_name> -o yaml

   Copy to Clipboard Toggle word wrap

   其中 <cudn_name> 是您创建集群范围的用户定义的网络的名称。

   输出示例

   apiVersion: k8s.ovn.org/v1
   kind: ClusterUserDefinedNetwork
   metadata:
     creationTimestamp: "2024-12-05T15:53:00Z"
     finalizers:
     - k8s.ovn.org/user-defined-network-protection
     generation: 1
     name: my-cudn
     resourceVersion: "47985"
     uid: 16ee0fcf-74d1-4826-a6b7-25c737c1a634
   spec:
     namespaceSelector:
       matchExpressions:
       - key: custom.network.selector
         operator: In
         values:
         - example-namespace-1
         - example-namespace-2
         - example-namespace-3
     network:
       layer3:
         role: Primary
         subnets:
         - cidr: 10.100.0.0/16
       topology: Layer3
   status:
     conditions:
     - lastTransitionTime: "2024-11-19T16:46:34Z"
       message: 'NetworkAttachmentDefinition has been created in following namespaces:
         [example-namespace-1, example-namespace-2, example-namespace-3]'
       reason: NetworkAttachmentDefinitionReady
       status: "True"
       type: NetworkCreated

   Copy to Clipboard Toggle word wrap

流程

1. 使用 Localnet 拓扑创建集群范围的用户定义的网络：

   1. 创建一个 YAML 文件，如 cluster-udn-localnet.yaml，为 Localnet 拓扑定义您的请求，如下例所示：

      apiVersion: k8s.ovn.org/v1
      kind: ClusterUserDefinedNetwork
      metadata:
        name: <cudn_name> 

      1

      
      spec:
        namespaceSelector: 

      2

      
          matchLabels: 

      3

      
            "<label_1_key>": "<label_1_value>" 

      4

      
            "<label_2_key>": "<label_2_value>" 

      5

      
        network: 

      6

      
          topology: Localnet 

      7

      
          localnet: 

      8

      
            role: Secondary 

      9

      
            physicalNetworkName: test
            ipam: {lifecycle: Persistent}
            subnets: ["192.168.0.0/16", "2001:dbb::/64"] 

      10

      Copy to Clipboard Toggle word wrap

      1

      ClusterUserDefinedNetwork (CUDN) CR 的名称。

      2

      集群 CUDN CR 应用到的命名空间集合的标签查询。使用标准 Kubernetes MatchLabel 选择器。不能指向 default, openshift-* 或任何其他系统命名空间。

      3

      使用 matchLabels 选择器类型，其中使用 AND 关系评估术语。

      4 5

      在本例中，CUDN CR 被部署到包括 <label_1_key>=<label_1_value> 和 <label_2_key>=<label_2_value> 标签的命名空间。

      6

      描述网络配置。

      7

      指定 Localnet 拓扑类型会创建一个逻辑交换机，它直接桥接到一个提供商网络。

      8

      此字段指定 localnet 拓扑。

      9

      为网络配置指定 role。Secondary 是 localnet 拓扑唯一支持的 role 规格。

      10

      对于 Localnet 拓扑类型，以下指定 subnet 字段的配置详情：

      • subnets 字段是可选的。
      • subnets 字段的类型是字符串，接受 IPv4 和 IPv6 的标准 CIDR 格式。
      • subnets 字段接受一个或多个项。对于两个项目，它们需要有不同的 IP 系列。例如，子网值 10.100.0.0/16 和 2001:db8::/64。
      • 可以省略 localnet 子网。如果省略，用户必须为 pod 配置静态 IP 地址。因此，端口安全性只能阻止 MAC 欺骗。如需更多信息，请参阅"使用静态 IP 地址配置 pod"。

2. 运行以下命令来应用您的请求：

   $ oc create --validate=true -f <example_cluster_udn>.yaml

   Copy to Clipboard Toggle word wrap

   其中：

   <example_cluster_udn>.yaml

   是 Localnet 配置文件的名称。

3. 运行以下命令验证您的请求是否成功：

   $ oc get clusteruserdefinednetwork <cudn_name> -o yaml

   Copy to Clipboard Toggle word wrap

   其中：

   <cudn_name>

   是您为集群范围的用户定义的网络创建的名称。

流程

1. 从 Administrator 视角中，点 Networking → UserDefinedNetworks。
2. 点 ClusterUserDefinedNetwork。
3. 在 Name 字段中，为集群范围的 UDN 指定名称。
4. 在 Subnet 字段中指定一个值。
5. 在 Project (s) Match Labels 字段中，添加适当的标签以选择集群 UDN 应用到的命名空间。
6. 点 Create。集群范围的 UDN 充当位于命名空间中 pod 的默认主网络，其中包含在第 5 步中指定的标签。

流程

1. 可选： 对于使用主网络的 UserDefinedNetwork CR，请输入以下命令创建带有 k8s.ovn.org/primary-user-defined-network 标签的命名空间：

   $ cat << EOF | oc apply -f -
   apiVersion: v1
   kind: Namespace
   metadata:
     name: <udn_namespace_name>
     labels:
       k8s.ovn.org/primary-user-defined-network: ""
   EOF

   Copy to Clipboard Toggle word wrap

2. 为 Layer2 或 Layer3 拓扑类型创建用户定义的网络：

   1. 创建一个 YAML 文件，如 my-layer-two-udn.yaml，为 Layer2 拓扑定义您的请求，如下例所示：

      apiVersion: k8s.ovn.org/v1
      kind: UserDefinedNetwork
      metadata:
        name: udn-1 

      1

      
        namespace: <some_custom_namespace>
      spec:
        topology: Layer2 

      2

      
        layer2: 

      3

      
          role: Primary 

      4

      
          subnets:
            - "10.0.0.0/24"
            - "2001:db8::/60" 

      5

      Copy to Clipboard Toggle word wrap

      1

      UserDefinedNetwork 资源的名称。这不应该是 default 或重复 Cluster Network Operator (CNO) 创建的任何全局命名空间。

      2

      topology 字段描述了网络配置；接受的值是 Layer2 和 Layer3。指定 Layer2 拓扑类型会创建一个逻辑交换机，它被所有节点共享。

      3

      此字段指定拓扑配置。它可以是 layer2 或 layer3。

      4

      指定 Primary 或 Secondary 角色。

      5

      对于 Layer2 拓扑类型，以下指定 subnet 字段的配置详情：

      • subnets 字段是可选的。
      • subnets 字段的类型是字符串，接受 IPv4 和 IPv6 的标准 CIDR 格式。
      • subnets 字段接受一个或多个项。如果是两个项，它们必须属于不同的系列。例如，子网值 10.100.0.0/16 和 2001:db8::/64。
      • 可以省略 Layer2 子网。如果省略，用户需要为 pod 配置 IP 地址。因此，端口安全性只能阻止 MAC 欺骗。
      • 当指定 ipamLifecycle 字段时，Layer2 subnets 字段是必须的。

   2. 创建一个 YAML 文件，如 my-layer-three-udn.yaml，为 Layer3 拓扑定义您的请求，如下例所示：

      apiVersion: k8s.ovn.org/v1
      kind: UserDefinedNetwork
      metadata:
        name: udn-2-primary 

      1

      
        namespace: <some_custom_namespace>
      spec:
        topology: Layer3 

      2

      
        layer3: 

      3

      
          role: Primary 

      4

      
          subnets: 

      5

      
            - cidr: 10.150.0.0/16
              hostSubnet: 24
            - cidr: 2001:db8::/60
              hostSubnet: 64
      # ...

      Copy to Clipboard Toggle word wrap

      1

      UserDefinedNetwork 资源的名称。这不应该是 default 或重复 Cluster Network Operator (CNO) 创建的任何全局命名空间。

      2

      topology 字段描述了网络配置；接受的值是 Layer2 和 Layer3。指定 Layer3 拓扑类型会为每个节点创建一个第 2 层段，各自具有不同的子网。第 3 层路由用于互连节点子网。

      3

      此字段指定拓扑配置。有效值为 layer2 或 layer3。

      4

      指定 Primary 或 Secondary 角色。

      5

      对于 Layer3 拓扑类型，以下指定 subnet 字段的配置详情：

      • subnets 字段是必需的。

      • subnets 字段的类型是 cidr 和 hostSubnet ：

        • CIDR 等同于集群的 clusterNetwork 配置设置。CIDR 中的 IP 地址分布到用户定义的网络中的 pod。此参数接受字符串值。
        • hostSubnet 定义每个节点子网的前缀。
        • 对于 IPv6，hostSubnet 仅支持 /64 长度。

3. 运行以下命令来应用您的请求：

   $ oc apply -f <my_layer_two_udn>.yaml

   Copy to Clipboard Toggle word wrap

   其中 <my_layer_two_udn>.yaml 是 Layer2 或 Layer3 配置文件的名称。

4. 运行以下命令验证您的请求是否成功：

   $ oc get userdefinednetworks udn-1 -n <some_custom_namespace> -o yaml

   Copy to Clipboard Toggle word wrap

   其中 some_custom_namespace 是您为用户定义的网络创建的命名空间。

   输出示例

   apiVersion: k8s.ovn.org/v1
   kind: UserDefinedNetwork
   metadata:
     creationTimestamp: "2024-08-28T17:18:47Z"
     finalizers:
     - k8s.ovn.org/user-defined-network-protection
     generation: 1
     name: udn-1
     namespace: some-custom-namespace
     resourceVersion: "53313"
     uid: f483626d-6846-48a1-b88e-6bbeb8bcde8c
   spec:
     layer2:
       role: Primary
       subnets:
       - 10.0.0.0/24
       - 2001:db8::/60
     topology: Layer2
   status:
     conditions:
     - lastTransitionTime: "2024-08-28T17:18:47Z"
       message: NetworkAttachmentDefinition has been created
       reason: NetworkAttachmentDefinitionReady
       status: "True"
       type: NetworkCreated

   Copy to Clipboard Toggle word wrap

流程

1. 从 Administrator 视角中，点 Networking → UserDefinedNetworks。
2. 点 Create UserDefinedNetwork。
3. 从 Project name 列表中，选择您之前创建的命名空间。
4. 在 Subnet 字段中指定一个值。
5. 点 Create。用户定义的网络充当您在此命名空间中创建的 pod 的默认主网络。

流程

1. 创建一个新的 YAML 文件，如 setsebool-container-use-devices.yaml，详情如下：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 99-worker-setsebool
   spec:
     config:
       ignition:
         version: 3.2.0
       systemd:
         units:
         - enabled: true
           name: setsebool.service
           contents: |
             [Unit]
             Description=Set SELinux boolean for the TAP CNI plugin
             Before=kubelet.service
   
             [Service]
             Type=oneshot
             ExecStart=/usr/sbin/setsebool container_use_devices=on
             RemainAfterExit=true
   
             [Install]
             WantedBy=multi-user.target graphical.target

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来创建新的 MachineConfig 对象：

   $ oc apply -f setsebool-container-use-devices.yaml

   Copy to Clipboard Toggle word wrap
   注意

   对 MachineConfig 对象应用任何更改将导致所有受影响的节点在应用更改后安全重启。此更新可能需要一些时间才能应用。

3. 运行以下命令验证是否应用了更改：

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   预期输出

   NAME        CONFIG                                                UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
   master      rendered-master-e5e0c8e8be9194e7c5a882e047379cfa      True      False      False      3              3                   3                     0                      7d2h
   worker      rendered-worker-d6c9ca107fba6cd76cdcbfcedcafa0f2      True      False      False      3              3                   3                     0                      7d

   Copy to Clipboard Toggle word wrap

   注意

   所有节点都应处于更新和就绪状态。

1. 编辑 Pod 资源定义。如果要编辑现有 Pod 资源，请运行以下命令在默认编辑器中编辑其定义。将 <name> 替换为要编辑的 Pod 资源的名称。

   $ oc edit pod <name>

   Copy to Clipboard Toggle word wrap

2. 在 Pod 资源定义中，将 k8s.v1.cni.cncf.io/networks 参数添加到 pod metadata 映射中。k8s.v1.cni.cncf.io/networks 接受 JSON 字符串，该字符串除指定附加属性外，还引用 NetworkAttachmentDefinition 自定义资源（CR）名称的对象。

   metadata:
     annotations:
       k8s.v1.cni.cncf.io/networks: '[<network>[,<network>,...]]'
   # ...

   Copy to Clipboard Toggle word wrap

   其中：

   <network>

   如以下示例所示，将 替换为 JSON 对象。单引号是必需的。

   在以下示例中，通过 default-route 参数，注解指定了哪个网络附加将使用默认路由。

   apiVersion: v1
   kind: Pod
   metadata:
     name: example-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: '[
       {
         "name": "net1"
       },
       {
         "name": "net2", 

   1

   
         "default-route": ["192.0.2.1"] 

   2

   
       }]'
   spec:
     containers:
     - name: example-pod
       command: ["/bin/bash", "-c", "sleep 2000000000000"]
       image: centos/tools

   Copy to Clipboard Toggle word wrap

   其中：

   name

   name 是与 pod 关联的二级网络的名称。

   default-route

   default-route 指定了一个网关，当在路由表中没有其它路由条目时使用这个网关。如果指定了多个 default-route 键，这将导致 pod 无法成为活跃状态。

   默认路由将导致任何没有在其它路由中指定的流量被路由到网关。

   重要

   将 OpenShift Container Platform 的默认路由设置为默认网络接口以外的接口时，可能会导致应该是 pod 和 pod 间的网络流量被路由到其他接口。

   要验证 pod 的路由属性，可使用 oc 命令在 pod 中执行 ip 命令。

   $ oc exec -it <pod_name> -- ip route

   Copy to Clipboard Toggle word wrap
   注意

   您还可以通过 JSON 格式的对象列表中的 default-route 键来引用 pod 的 k8s.v1.cni.cncf.io/network-status 来查看哪个二级网络已被分配默认路由。

   要为 pod 设置静态 IP 地址或 MAC 地址，您可以使用 JSON 格式的注解。这要求您创建允许此功能的网络。这可以在 CNO 的 rawCNIConfig 中指定。

3. 运行以下命令来编辑 CNO CR：

   $ oc edit networks.operator.openshift.io cluster

   Copy to Clipboard Toggle word wrap

   以下 YAML 描述了 CNO 的配置参数：

   Cluster Network Operator YAML 配置

   name: <name> 

   1

   
   namespace: <namespace> 

   2

   
   rawCNIConfig: '{ 

   3

   
     ...
   }'
   type: Raw

   Copy to Clipboard Toggle word wrap

   其中：

   name

   为您要创建的二级网络附加指定名称。该名称在指定的 namespace 中需要是唯一的。

   namespace

   指定要在其中创建网络附加的命名空间。如果您未指定值，则使用 default 命名空间。

   rawCNIConfig

   基于以下模板，以 JSON 格式指定 CNI 插件配置。

   以下对象描述了使用 macvlan CNI 插件的静态 MAC 地址和 IP 地址的配置参数：

   使用静态 IP 和 MAC 地址的 macvlan CNI 插件 JSON 配置对象

   {
     "cniVersion": "0.3.1",
     "name": "<name>", 

   1

   
     "plugins": [{ 

   2

   
         "type": "macvlan",
         "capabilities": { "ips": true }, 

   3

   
         "master": "eth0", 

   4

   
         "mode": "bridge",
         "ipam": {
           "type": "static"
         }
       }, {
         "capabilities": { "mac": true }, 

   5

   
         "type": "tuning"
       }]
   }

   Copy to Clipboard Toggle word wrap

   其中：

   name

   指定要创建的二级网络附加的名称。该名称在指定的 namespace 中需要是唯一的。

   plugins

   指定 CNI 插件配置的数组。第一个对象指定 macvlan 插件配置，第二个对象指定 tuning 插件配置。

   ips

   指定一个请求启用 CNI 插件运行时配置功能的静态 IP 地址功能。

   master

   指定 macvlan 插件使用的接口。

   mac

   指定一个请求启用 CNI 插件的静态 MAC 地址功能。

   以上网络附加可能会以 JSON 格式的注解引用，同时使用相关的键来指定将哪些静态 IP 和 MAC 地址分配给指定 pod。

   使用以下内容编辑 pod：

   $ oc edit pod <name>

   Copy to Clipboard Toggle word wrap

   使用静态 IP 和 MAC 地址的 macvlan CNI 插件 JSON 配置对象

   apiVersion: v1
   kind: Pod
   metadata:
     name: example-pod
     annotations:
       k8s.v1.cni.cncf.io/networks: '[
         {
           "name": "<name>", 

   1

   
           "ips": [ "192.0.2.205/24" ], 

   2

   
           "mac": "CA:FE:C0:FF:EE:00" 

   3

   
         }
       ]'

   Copy to Clipboard Toggle word wrap

   1 1 1 1

   使用在创建 rawCNIConfig 时提供的 <name> 。

   2 2 2 2

   提供包括子网掩码的 IP 地址。

   3 3 3

   提供 MAC 地址。

   注意

   静态 IP 地址和 MAC 地址不需要同时使用，您可以单独使用，也可以一起使用。

4. 要验证一个带有二级网络的 pod 的 IP 地址和 MAC 属性，请使用 oc 命令在 pod 中执行 ip 命令。

   $ oc exec -it <pod_name> -- ip a

   Copy to Clipboard Toggle word wrap