34.10. 使用 MetalLB 管理对称路由

流程

1. 创建一个 NodeNetworkConfigurationPolicy CR 来定义 VRF 实例：

   1. 创建一个文件，如 node-network-vrf.yaml，其内容类似以下示例：

      apiVersion: nmstate.io/v1
      kind: NodeNetworkConfigurationPolicy
      metadata:
        name: vrfpolicy 1
      spec:
        nodeSelector:
          vrf: "true" 2
        maxUnavailable: 3
        desiredState:
          interfaces:
            - name: ens4vrf 3
              type: vrf 4
              state: up
              vrf:
                port:
                  - ens4 5
                route-table-id: 2 6
          routes: 7
            config:
              - destination: 0.0.0.0/0
                metric: 150
                next-hop-address: 192.168.130.1
                next-hop-interface: ens4
                table-id: 2
          route-rules: 8
            config:
              - ip-to: 172.30.0.0/16
                priority: 998
                route-table: 254
              - ip-to: 10.132.0.0/14
                priority: 998
                route-table: 254

      1

      策略的名称。

      2

      这个示例将策略应用到带有 vrf:true 标签的所有节点。

      3

      接口的名称。

      4

      接口的类型。这个示例创建了一个 VRF 实例。

      5

      VRF 附加到的节点接口。

      6

      VRF 的路由表 ID 的名称。

      7

      定义网络路由的配置。next-hop-address 字段定义路由的下一跃点的 IP 地址。next-hop-interface 字段定义路由的传出接口。在本例中，VRF 路由表是 2，它引用您在 EgressService CR 中定义的 ID。

      8

      定义额外的路由规则。ip-to 字段必须与 Cluster Network CIDR 和 Service Network CIDR 匹配。您可以运行以下命令来查看这些 CIDR 地址规格的值： oc describe network.config/cluster。

   2. 运行以下命令来应用策略：

      $ oc apply -f node-network-vrf.yaml

2. 创建 BGPPeer 自定义资源 (CR)：

   1. 创建一个文件，如 frr-via-vrf.yaml，其内容类似以下示例：

      apiVersion: metallb.io/v1beta2
      kind: BGPPeer
      metadata:
        name: frrviavrf
        namespace: metallb-system
      spec:
        myASN: 100
        peerASN: 200
        peerAddress: 192.168.130.1
        vrf: ens4vrf 1

      1

      指定要与 BGP peer 关联的 VRF 实例。MetalLB 可以公告服务并根据 VRF 中的路由信息做出路由决策。

   2. 运行以下命令，应用 BGP peer 的配置：

      $ oc apply -f frr-via-vrf.yaml

3. 创建一个 IPAddressPool CR：

   1. 创建一个文件，如 first-pool.yaml，其内容类似以下示例：

      apiVersion: metallb.io/v1beta1
      kind: IPAddressPool
      metadata:
        name: first-pool
        namespace: metallb-system
      spec:
        addresses:
        - 192.169.10.0/32

   2. 运行以下命令，为 IP 地址池应用配置：

      $ oc apply -f first-pool.yaml

4. 创建 BGPAdvertisement CR：

   1. 创建一个文件，如 first-adv.yaml，其内容类似以下示例：

      apiVersion: metallb.io/v1beta1
      kind: BGPAdvertisement
      metadata:
        name: first-adv
        namespace: metallb-system
      spec:
        ipAddressPools:
          - first-pool
        peers:
          - frrviavrf 1
        nodeSelectors:
          - matchLabels:
              egress-service.k8s.ovn.org/test-server1: "" 2

      1

      在本例中，MetalLB 将来自 first-pool IP 地址池的 IP 地址范围公告给 frrviavrf BGP peer。

      2

      在本例中，EgressService CR 将出口流量的源 IP 地址配置为使用负载均衡器服务 IP 地址。因此，您必须指定负载均衡器节点返回流量，以便为来自 pod 的流量使用相同的返回路径。

   2. 运行以下命令，应用 BGP 公告的配置：

      $ oc apply -f first-adv.yaml

5. 创建一个 EgressService CR：

   1. 创建一个文件，如 egress-service.yaml，其内容类似以下示例：

      apiVersion: k8s.ovn.org/v1
      kind: EgressService
      metadata:
        name: server1 1
        namespace: test 2
      spec:
        sourceIPBy: "LoadBalancerIP" 3
        nodeSelector:
          matchLabels:
            vrf: "true" 4
        network: "2" 5

      1

      指定出口服务的名称。EgressService 资源的名称必须与您要修改的负载均衡器服务的名称匹配。

      2

      指定出口服务的命名空间。EgressService 的命名空间必须与您要修改的负载均衡器服务的命名空间匹配。egress 服务是命名空间范围的。

      3

      这个示例将 LoadBalancer 服务入口 IP 地址分配为出口流量的源 IP 地址。

      4

      如果为 sourceIPBy 规格指定 LoadBalancer，则单一节点处理 LoadBalancer 服务流量。在本例中，只有标签 vrf: "true" 的节点才能处理服务流量。如果没有指定节点，OVN-Kubernetes 会选择一个 worker 节点来处理服务流量。当选择节点时，OVN-Kubernetes 以以下格式标记节点： egress-service.k8s.ovn.org/<svc_namespace>-<svc_name>: ""。

      5

      指定出口流量的路由表。

   2. 运行以下命令，为出口服务应用配置：

      $ oc apply -f egress-service.yaml

验证

1. 运行以下命令，验证您可以访问 MetalLB 服务后运行的 pod 的应用程序端点：

   $ curl <external_ip_address>:<port_number> 1

   1

   更新外部 IP 地址和端口号，以适合您的应用程序端点。

2. 可选：如果您将 LoadBalancer 服务入口 IP 地址指定为出口流量的源 IP 地址，请使用 tcpdump 等工具分析外部客户端接收的数据包，以此验证此配置。