7장. 경로 알림
7.1. 경로 알림 정보 링크 복사링크가 클립보드에 복사되었습니다!
네트워크 관리를 단순화하고 페일오버 가시성을 개선하려면 경로 알림을 사용하여 클러스터와 공급자 네트워크 간의 Pod 및 송신 IP 경로를 공유할 수 있습니다. 이 기능에는 OVN-Kubernetes 플러그인 및 BGP(Border Gateway Protocol) 공급자가 필요합니다.
자세한 내용은 BGP 라우팅 정보를 참조하십시오.
7.1.1. Border Gateway Protocol을 사용하여 클러스터 네트워크 경로 광고 링크 복사링크가 클립보드에 복사되었습니다!
수동 경로 관리 없이 라우팅을 단순화하고 페일오버 가시성을 개선하기 위해 경로 알림을 활성화할 수 있습니다. 경로 알림을 사용하면 클러스터와 공급자 네트워크 간에 EgressIP를 포함하여 기본 및 사용자 정의 네트워크 경로를 알릴 수 있습니다.
경로 알림을 활성화하면 기본 Pod 네트워크 및 사용자 정의 네트워크의 네트워크 경로를 EgressIP를 포함하여 공급자 네트워크에서 기본 pod 네트워크 및 CUDNs로 경로를 가져올 수 있습니다. 이는 페일오버 가시성을 개선하는 동시에 라우팅을 단순화하고 수동 경로 관리를 제거합니다.
공급자 네트워크에서 기본 Pod 네트워크 및 사용자 정의 네트워크에서 알리는 IP 주소는 직접 연결할 수 있으며 그 반대의 경우도 마찬가지입니다.
예를 들어 기본 Pod 네트워크로 경로를 가져올 수 있으므로 더 이상 각 노드에서 경로를 수동으로 구성할 필요가 없습니다. 이전에는 routingViaHost 매개변수를 true 로 설정하고 각 노드의 경로를 수동으로 구성하여 유사한 구성에 근접할 수 있었습니다. 경로 알림을 사용하면 routingViaHost 매개변수가 false 로 설정된 상태에서 이 작업을 원활하게 수행할 수 있습니다.
클러스터의 Network 사용자 정의 리소스 CR에서 routingViaHost 매개변수를 true 로 설정할 수도 있지만 유사한 구성을 시뮬레이션하려면 각 노드의 경로를 수동으로 구성해야 합니다. 경로 알림을 활성화하면 각 노드 하나씩 수동으로 경로를 구성하지 않고도 Network CR에 routingViaHost=false 를 설정할 수 있습니다.
공급자 네트워크의 경로 리플렉터가 지원되며 대규모 네트워크에서 경로를 알리는 데 필요한 BGP 연결 수를 줄일 수 있습니다.
경로 알림 활성화와 함께 EgressIP를 사용하는 경우 계층 3 공급자 네트워크는 EgressIP 페일오버를 인식합니다. 즉, 다른 계층 2 세그먼트에서 EgressIP를 호스팅하는 클러스터 노드를 찾을 수 있지만 계층 2 공급자 네트워크만 인식하기 전에 모든 송신 노드가 동일한 계층 2 세그먼트에 있어야 했습니다.
7.1.1.1. 지원되는 플랫폼 링크 복사링크가 클립보드에 복사되었습니다!
BGP(Border Gateway Protocol)를 사용하는 광고 경로는 베어 메탈 인프라 유형에서 지원됩니다.
7.1.1.2. 인프라 요구사항 링크 복사링크가 클립보드에 복사되었습니다!
라우팅 알림을 사용하려면 네트워크 인프라에 대해 BGP를 구성해야 합니다. 네트워크 인프라의 중단 또는 잘못된 구성으로 인해 클러스터 네트워크가 중단될 수 있습니다.
7.1.1.3. 다른 네트워킹 기능과의 호환성 링크 복사링크가 클립보드에 복사되었습니다!
경로 알림은 다음 OpenShift Container Platform 네트워킹 기능을 지원합니다.
- 여러 외부 게이트웨이(MEG)
- 이 기능에서는 MEG가 지원되지 않습니다.
- EgressIPs
EgressIP의 사용 및 알림을 지원합니다. 송신 IP 주소가 있는 노드는 EgressIP를 알립니다. 송신 IP 주소는 송신 노드와 동일한 계층 2 네트워크 서브넷에 있어야 합니다. 다음과 같은 제한 사항이 적용됩니다.
- 계층 2 모드에서 작동하는 CUDN(사용자 정의 네트워크)의 EgressIP는 지원되지 않습니다.
- 추가 네트워크 인터페이스에 할당된 송신 IP 주소와 송신 IP 주소가 모두 할당된 네트워크의 EgressIP는 비현실적입니다. 모든 EgressIP는 EgressIP가 할당되는 것과 동일한 인터페이스를 통해 이러한 세션이 설정되는지 여부에 관계없이 선택한 FRRConfiguration 인스턴스의 모든 BGP 세션에 광고되며 이로 인해 원하지 않는 광고가 발생할 수 있습니다.
- 서비스
- MetalLB Operator와 함께 작동하여 공급자 네트워크에 서비스를 알립니다.
- 송신 서비스
- 완전 지원.
- 송신 방화벽
- 완전 지원.
- 송신 QoS
- 완전 지원.
- 네트워크 정책
- 완전 지원.
- 직접 Pod 수신
- 기본 클러스터 네트워크 및 CUDN(클러스터 사용자 정의) 네트워크에 대한 완전한 지원
7.1.1.4. MetalLB Operator와 함께 사용할 고려 사항 링크 복사링크가 클립보드에 복사되었습니다!
MetalLB Operator는 클러스터에 대한 애드온으로 설치됩니다. MetalLB Operator를 배포하면 FRR-K8s를 추가 라우팅 기능 공급자로 자동으로 활성화합니다. 이 기능과 MetalLB Operator는 동일한 FRR-K8s 배포를 사용합니다.
7.1.1.5. 클러스터 사용자 정의 네트워크 이름 지정 (CUDN) 고려 사항 링크 복사링크가 클립보드에 복사되었습니다!
FRRConfiguration CR에서 VRF 장치를 참조할 때 VRF 이름은 15자 미만의 VRF 이름의 CUDN 이름과 동일합니다. VRF 이름을 CUDN 이름에서 유추할 수 있도록 VRF 이름을 15자를 넘지 않는 것이 좋습니다.
7.1.1.6. BGP 라우팅 사용자 정의 리소스 링크 복사링크가 클립보드에 복사되었습니다!
다음 CR(사용자 정의 리소스)은 BGP를 사용하여 경로 알림을 구성하는 데 사용됩니다.
RouteAdvertisements-
이 CR은 BGP 라우팅에 대한 알림을 정의합니다. 이 CR에서 OVN-Kubernetes 컨트롤러는 클러스터 네트워크 경로를 알리도록 FRR 데몬을 구성하는
FRRConfiguration오브젝트를 생성합니다. 이 CR은 클러스터 범위입니다. FRRConfiguration-
이 CR은 BGP 피어를 정의하고 공급자 네트워크에서 클러스터 네트워크로 경로 가져오기를 구성하는 데 사용됩니다.
RouteAdvertisements오브젝트를 적용하기 전에 BGP 피어를 구성하기 위해 처음에 하나 이상의 FRRConfiguration 오브젝트를 정의해야 합니다. 이 CR은 네임스페이스가 지정됩니다.
7.1.1.7. FRRConfiguration 오브젝트의 OVN-Kubernetes 컨트롤러 생성 링크 복사링크가 클립보드에 복사되었습니다!
FRRConfiguration 오브젝트는 각 노드에 적용되는 적절한 광고 접두사를 사용하여 RouteAdvertisements CR에서 선택한 각 네트워크 및 노드에 대해 생성됩니다. OVN-Kubernetes 컨트롤러는 RouteAdvertisements-CR 선택 노드가 RouteAdvertisements-CR-selected FRR 구성에서 선택한 노드의 서브 세트인지 확인합니다.
수신할 접두사의 모든 필터링 또는 선택은 RouteAdvertisement CR에서 생성된 FRRConfiguration 오브젝트에서는 고려되지 않습니다. 다른 FRRConfiguration 개체에서 수신하도록 접두사를 구성합니다. OVN-Kubernetes는 VRF에서 적절한 네트워크로 경로를 가져옵니다.
7.1.1.8. CNO(Cluster Network Operator) 구성 링크 복사링크가 클립보드에 복사되었습니다!
CNO(Cluster Network Operator) API는 여러 필드를 노출하여 경로 알림을 구성합니다.
-
spec.additionalRoutingCapabilities.providers: 경로를 알리는 데 필요한 추가 라우팅 공급자를 지정합니다. 지원되는 유일한 값은FRR-K8S 데몬을 클러스터에 배포할 수 있는 FRR입니다. 활성화되면 FRR-K8S 데몬이 모든 노드에 배포됩니다. -
spec.defaultNetwork.ovnKubernetesConfig.routeAdvertisements: 기본 클러스터 네트워크 및 CUDN 네트워크에 대한 경로 알림을 활성화합니다. 이 기능을 활성화하려면spec.additionalRoutingCapabilities필드를FRR로 설정해야 합니다.
7.1.2. RouteAdvertisements 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 네트워크 및 송신 IP 주소가 외부 라우터에 광고되는 방법을 제어하려면 클러스터 범위 RouteAdvertisements 오브젝트를 구성하여 네트워크를 지정하고 해당 환경의 적절한 노드 및 라우팅 대상을 선택합니다.
다음 속성을 사용하여 클러스터 범위인 RouteAdvertisements 오브젝트를 정의할 수 있습니다.
RouteAdvertisements CR(사용자 정의 리소스)의 필드는 다음 표에 설명되어 있습니다.
| 필드 | 유형 | 설명 |
|---|---|---|
|
|
|
|
|
|
|
알릴 다양한 유형의 네트워크 목록을 포함할 수 있는 배열을 지정합니다. |
|
|
|
OVN-Kubernetes 기반 |
|
|
|
기본 클러스터 네트워크 및 클러스터 사용자 정의 네트워크(CUDN)에서 알릴 네트워크를 지정합니다. 각 항목은 |
|
|
|
선택한 노드로 알림을 제한합니다. advertisement |
|
|
|
에서 경로를 알릴 라우터를 결정합니다. 경로는 선택한 |
7.1.3. BGP를 사용한 Pod IP 주소 광고의 예 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 BGP(Border Gateway Protocol)를 구현하려면 이러한 예제를 사용하여 Pod IP 주소 및 송신 IP 주소에 대한 경로 알림을 구성할 수 있습니다. 예를 들어 기본 클러스터 네트워크, 사용자 정의 네트워크, VRF-lite 설계에 대한 구성이 있습니다.
다음 예제에서는 BGP(Border Gateway Protocol)를 사용하여 Pod IP 주소 및 EgressIP를 알리기 위한 몇 가지 구성을 설명합니다. 외부 네트워크 테두리 라우터에는 172.18.0.5 IP 주소가 있습니다. 이러한 구성에서는 클러스터 네트워크의 모든 노드로 경로를 릴레이할 수 있는 외부 경로 리플렉션을 구성했다고 가정합니다.
7.1.3.1. 기본 클러스터 네트워크 알림 링크 복사링크가 클립보드에 복사되었습니다!
이 시나리오에서는 기본 클러스터 네트워크가 외부 네트워크에 노출되므로 Pod IP 주소와 EgressIP가 공급자 네트워크에 광고됩니다.
이 시나리오는 다음 FRRConfiguration 오브젝트에 의존합니다.
FRRConfiguration CR
apiVersion: k8s.ovn.org/v1
kind: RouteAdvertisements
metadata:
name: default
spec:
advertisements:
- PodNetwork
- EgressIP
networkSelectors:
- networkSelectionType: DefaultNetwork
frrConfigurationSelector:
matchLabels:
routeAdvertisements: receive-all
nodeSelector: {}
OVN-Kubernetes 컨트롤러에서 이 RouteAdvertisements CR을 볼 때 기본 클러스터 네트워크의 경로를 알리기 위해 선택한 FRR 데몬을 기반으로 추가 FRRConfiguration 개체를 생성합니다.
OVN-Kubernetes에서 생성된 FRRConfiguration CR의 예
apiVersion: frrk8s.metallb.io/v1beta1
kind: FRRConfiguration
metadata:
name: ovnk-generated-abcdef
namespace: openshift-frr-k8s
spec:
bgp:
routers:
- asn: 64512
neighbors:
- address: 172.18.0.5
asn: 64512
toReceive:
allowed:
mode: filtered
toAdvertise:
allowed:
prefixes:
- <default_network_host_subnet>
prefixes:
- <default_network_host_subnet>
nodeSelector:
matchLabels:
kubernetes.io/hostname: ovn-worker
생성된 FRRConfiguration 오브젝트에서 < default_network_host_subnet >은 공급자 네트워크에 알리는 기본 클러스터 네트워크의 서브넷입니다.
7.1.3.2. BGP를 통해 클러스터 사용자 정의 네트워크에서 Pod IP 광고 링크 복사링크가 클립보드에 복사되었습니다!
이 시나리오에서는 Blue 클러스터 사용자 정의 네트워크(CUDN)가 외부 네트워크에 노출되므로 네트워크의 Pod IP 주소 및 EgressIP가 공급자 네트워크에 광고됩니다.
이 시나리오는 다음 FRRConfiguration 오브젝트에 의존합니다.
FRRConfiguration CR
apiVersion: frrk8s.metallb.io/v1beta1
kind: FRRConfiguration
metadata:
name: receive-all
namespace: openshift-frr-k8s
labels:
routeAdvertisements: receive-all
spec:
bgp:
routers:
- asn: 64512
neighbors:
- address: 172.18.0.5
asn: 64512
disableMP: true
toReceive:
allowed:
mode: all
이 FRRConfiguration 오브젝트를 사용하면 인접한 172.18.0.5 에서 기본 VRF로 경로를 가져오고 기본 클러스터 네트워크에서 사용할 수 있습니다.
다음 다이어그램에 설명된 대로 CUDN은 기본 VRF를 통해 광고됩니다.
- Red CUDN
-
빨간색이라는 CUDN과 연결된redVRF라는 VRF -
서브넷
10.0.0.0/24
-
- Blue CUDN
-
blue라는 CUDN과 연결된blue라는 VRF -
10.0.1.0/24서브넷
-
이 구성에서는 별도의 두 개의 CUDN이 정의됩니다. 빨간색 네트워크는 10.0.0.0/24 서브넷을 처리하고 blue 네트워크는 10.0.1.0/24 서브넷을 다룹니다. 빨간색 및 파란색 네트워크는 export: true 로 레이블이 지정됩니다.
다음 RouteAdvertisements CR은 빨간색 및 파란색 테넌트에 대한 구성을 설명합니다.
빨간색 및 파란색 테넌트에 대한 RouteAdvertisements CR
apiVersion: k8s.ovn.org/v1
kind: RouteAdvertisements
metadata:
name: advertise-cudns
spec:
advertisements:
- PodNetwork
- EgressIP
networkSelectors:
- networkSelectionType: ClusterUserDefinedNetworks
clusterUserDefinedNetworkSelector:
networkSelector:
matchLabels:
export: "true"
frrConfigurationSelector:
matchLabels:
routeAdvertisements: receive-all
nodeSelector: {}
OVN-Kubernetes 컨트롤러에서 이 RouteAdvertisements CR을 볼 때 해당 경로를 알리기 위해 선택한 FRR 데몬을 기반으로 추가 FRRConfiguration 오브젝트를 생성합니다. 다음 예제는 선택된 노드 및 네트워크에 따라 생성된 FRRConfiguration 오브젝트 수를 사용하여 이러한 구성 오브젝트 중 하나입니다.
OVN-Kubernetes에서 생성된 FRRConfiguration CR의 예
apiVersion: frrk8s.metallb.io/v1beta1
kind: FRRConfiguration
metadata:
name: ovnk-generated-abcdef
namespace: openshift-frr-k8s
spec:
bgp:
routers:
- asn: 64512
vrf: blue
imports:
- vrf: default
- asn: 64512
neighbors:
- address: 172.18.0.5
asn: 64512
toReceive:
allowed:
mode: filtered
toAdvertise:
allowed:
prefixes:
- 10.0.1.0/24
prefixes:
- 10.0.1.0/24
imports:
- vrf: blue
nodeSelector:
matchLabels:
kubernetes.io/hostname: ovn-worker
생성된 FRRConfiguration 오브젝트는 네트워크 blue에 속하는 서브넷 10.0.1.0/24 를 구성하여 기본 VRF로 가져오고 172.18.0.5 인접자에게 광고합니다. FRRConfiguration 오브젝트는 각 노드에 적용되는 적절한 접두사를 사용하여 RouteAdvertisements CR에서 선택한 각 네트워크 및 노드에 대해 생성됩니다.
targetVRF 필드를 생략하면 경로가 유출되고 기본 VRF를 통해 광고됩니다. 또한 초기 FRRConfiguration 오브젝트 정의 후 기본 VRF로 가져온 경로도 blue VRF로 가져옵니다.
7.1.3.3. VPN을 사용하여 BGP를 통해 클러스터 사용자 정의 네트워크에서 Pod IP 광고 링크 복사링크가 클립보드에 복사되었습니다!
이 시나리오에서는 VLAN 인터페이스가 파란색 네트워크와 연결된 VRF 장치에 연결됩니다. 이 설정은 VRF lite 설계를 제공합니다. 여기서 FRR-K8S는 파란색 네트워크 VRF/VLAN 링크의 해당 BGP 세션을 다음 홉 제공 에지(PE) 라우터에 통해서만 파란색 네트워크를 알리는 데 사용됩니다. 빨간색 테넌트는 동일한 구성을 사용합니다. 파란색 및 빨간색 네트워크는 export: true 로 레이블이 지정됩니다.
이 시나리오에서는 EgressIP 사용을 지원하지 않습니다.
다음 다이어그램에서는 이 구성을 보여줍니다.
- Red CUDN
-
빨간색이라는 CUDN과 연결된redVRF라는 VRF - VRF 장치에 연결되어 외부 PE 라우터에 연결된 VLAN 인터페이스
-
10.0.2.0/24의 할당된 서브넷
-
- Blue CUDN
-
blue라는 CUDN과 연결된blue라는 VRF - VRF 장치에 연결되어 외부 PE 라우터에 연결된 VLAN 인터페이스
-
10.0.1.0/24의 할당된 서브넷
-
이 방법은 OVN-Kubernetes 네트워크 플러그인의 ovnKubernetesConfig.gatewayConfig 사양에 routingViaHost=true 를 설정하는 경우에만 사용할 수 있습니다.
다음 구성에서 추가 FRRConfiguration CR은 파란색 및 빨간색 VLAN의 PE 라우터로 피어링을 구성합니다.
BGP VPN 설정을 위해 수동으로 구성된 FRRConfiguration CR
apiVersion: frrk8s.metallb.io/v1beta1
kind: FRRConfiguration
metadata:
name: vpn-blue-red
namespace: openshift-frr-k8s
labels:
routeAdvertisements: vpn-blue-red
spec:
bgp:
routers:
- asn: 64512
vrf: blue
neighbors:
- address: 182.18.0.5
asn: 64512
toReceive:
allowed:
mode: filtered
- asn: 64512
vrf: red
neighbors:
- address: 192.18.0.5
asn: 64512
toReceive:
allowed:
mode: filtered
다음 RouteAdvertisements CR은 파란색 및 빨간색 테넌트에 대한 구성을 설명합니다.
Blue 및 빨간색 테넌트에 대한 RouteAdvertisements CR
apiVersion: k8s.ovn.org/v1
kind: RouteAdvertisements
metadata:
name: advertise-vrf-lite
spec:
targetVRF: auto
advertisements:
- "PodNetwork"
nodeSelector: {}
frrConfigurationSelector:
matchLabels:
routeAdvertisements: vpn-blue-red
networkSelectors:
- networkSelectionType: ClusterUserDefinedNetworks
clusterUserDefinedNetworkSelector:
networkSelector:
matchLabels:
export: "true"
RouteAdvertisements CR에서 targetVRF 가 auto 로 설정되어 선택한 개별 네트워크에 해당하는 VRF 장치 내에서 알림이 발생합니다. 이 시나리오에서는 blue의 Pod 서브넷이 Blue VRF 장치를 통해 알려지고 빨간색의 pod 서브넷은 빨간색 VRF 장치를 통해 광고됩니다. 또한 각 BGP 세션은 초기 FRRConfiguration 개체에서 정의한 대로 해당 CUDN VRF로만 경로를 가져옵니다.
OVN-Kubernetes 컨트롤러에서 이 RouteAdvertisements CR을 볼 때 파란색 및 빨간색 테넌트의 경로를 알리도록 FRR 데몬을 구성하는 선택된 항목을 기반으로 추가 FRRConfiguration 개체를 생성합니다.
Blue 및 빨간색 테넌트를 위해 OVN-Kubernetes에서 생성한 FRRConfiguration CR
apiVersion: frrk8s.metallb.io/v1beta1
kind: FRRConfiguration
metadata:
name: ovnk-generated-abcde
namespace: openshift-frr-k8s
spec:
bgp:
routers:
- asn: 64512
neighbors:
- address: 182.18.0.5
asn: 64512
toReceive:
allowed:
mode: filtered
toAdvertise:
allowed:
prefixes:
- 10.0.1.0/24
vrf: blue
prefixes:
- 10.0.1.0/24
- asn: 64512
neighbors:
- address: 192.18.0.5
asn: 64512
toReceive:
allowed:
mode: filtered
toAdvertise:
allowed:
prefixes:
- 10.0.2.0/24
vrf: red
prefixes:
- 10.0.2.0/24
nodeSelector:
matchLabels:
kubernetes.io/hostname: ovn-worker
이 시나리오에서는 피어링 관계를 정의하는 FRRConfiguration CR에서 수신할 경로 필터링 또는 선택을 수행해야 합니다.
7.2. 경로 알림 활성화 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 대한 네트워크 도달 가능성 및 페일오버 가시성을 개선하기 위해 Pod 및 송신 IP 주소에 대한 경로 알림을 활성화할 수 있습니다. 이 구성에는 OVN-Kubernetes 네트워크 플러그인이 필요하며 클러스터가 외부 공급자 네트워크와 경로를 공유할 수 있습니다.
클러스터 관리자는 클러스터에 대한 추가 경로 알림을 구성할 수 있습니다. OVN-Kubernetes 네트워크 플러그인을 사용해야 합니다.
7.2.1. 경로 알림 활성화 링크 복사링크가 클립보드에 복사되었습니다!
네트워크 도달 가능성 및 페일오버 가시성을 개선하기 위해 클러스터에 대한 추가 라우팅 지원을 활성화할 수 있습니다. 경로 알림을 활성화하여 사용자 환경 내의 네트워크 트래픽을 관리할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 로그인되어 있습니다. - 클러스터는 호환 가능한 인프라에 설치됩니다.
프로세스
라우팅 공급자 및 추가 경로 알림을 활성화하려면 다음 명령을 입력합니다.
$ oc patch Network.operator.openshift.io cluster --type=merge \ -p='{ "spec": { "additionalRoutingCapabilities": { "providers": ["FRR"] }, "defaultNetwork": { "ovnKubernetesConfig": { "routeAdvertisements": "Enabled" }}}}'
7.3. 경로 알림 비활성화 링크 복사링크가 클립보드에 복사되었습니다!
공급자 네트워크에 대한 클러스터 네트워크 경로 및 송신 IP 주소의 브로드캐스트를 중지하려면 경로 알림을 비활성화할 수 있습니다. 이 기능을 비활성화하면 기존 네트워크 인프라를 유지 관리하는 동안 자동으로 생성된 라우팅 구성이 제거됩니다.
7.3.1. 경로 알림 비활성화 링크 복사링크가 클립보드에 복사되었습니다!
클러스터가 네트워크에 대한 추가 경로를 알리지 못하도록 하려면 네트워크 운영자 구성에서 경로 알림 기능을 비활성화해야 합니다. 경로 알림을 비활성화하여 네트워크 트래픽을 관리하고 환경 내에서 보안을 유지할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 로그인되어 있습니다. - 클러스터는 호환 가능한 인프라에 설치됩니다.
프로세스
추가 라우팅 지원을 비활성화하려면 다음 명령을 입력합니다.
$ oc patch network.operator cluster -p '{ "spec": { "defaultNetwork": { "ovnKubernetesConfig": { "routeAdvertisements": "Disabled" } } } }'
7.4. 경로 알림 설정 예 링크 복사링크가 클립보드에 복사되었습니다!
베어 메탈 인프라에서 경로 구문 설정을 구현하는 방법을 알아보려면 이 샘플 구성을 따를 수 있습니다. 이 예제에서는 필요한 기능 게이트를 활성화하고 Pod 및 송신 IP 경로를 알리기 위해 오브젝트를 구성하는 방법을 보여줍니다.
클러스터 관리자는 클러스터에 대한 다음 예제 경로 알림 설정을 구성할 수 있습니다. 이 구성은 경로 알림을 구성하는 방법을 보여주는 샘플로 사용됩니다.
7.4.1. 샘플 경로 알림 설정 링크 복사링크가 클립보드에 복사되었습니다!
클러스터의 경로 알림을 설정하기 위해 샘플 구성을 사용하여 BGP(Border Gateway Protocol) 라우팅을 구현할 수 있습니다. 이 구성은 Pod 및 송신 IP 경로를 공유하도록 베어 메탈 인프라에서 경로 정보를 구성하는 방법을 보여줍니다.
클러스터 관리자는 클러스터에 대한 BGP(Border Gateway Protocol) 라우팅 지원을 활성화할 수 있습니다. 구성은 전체 메시 설정이 아닌 경로 리플렉션을 사용합니다.
BGP 라우팅은 베어 메탈 인프라에서만 지원됩니다.
사전 요구 사항
-
OpenShift CLI(
oc)를 설치합니다. -
cluster-admin권한이 있는 사용자로 클러스터에 로그인합니다. - 클러스터는 베어 메탈 인프라에 설치됩니다.
- FRR 데몬 컨테이너를 실행하려는 클러스터에 액세스할 수 있는 베어 메탈 시스템이 있어야 합니다.
프로세스
다음 명령을 실행하여
RouteAdvertisements기능 게이트가 활성화되어 있는지 확인합니다.$ oc get featuregate -oyaml | grep -i routeadvertisement출력 예
- name: RouteAdvertisements다음 명령을 실행하여 CNO(Cluster Network Operator)를 구성합니다.
$ oc patch Network.operator.openshift.io cluster --type=merge \ -p=' {"spec":{ "additionalRoutingCapabilities": { "providers": ["FRR"]}, "defaultNetwork":{"ovnKubernetesConfig"{ "routeAdvertisements":"Enabled" }}}}'CNO가 모든 노드를 다시 시작하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 노드의 IP 주소를 가져옵니다.
$ oc get node -owide출력 예
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME master-0 Ready control-plane,master 27h v1.31.3 192.168.111.20 <none> Red Hat Enterprise Linux CoreOS 418.94.202501062026-0 5.14.0-427.50.1.el9_4.x86_64 cri-o://1.31.4-2.rhaos4.18.git33d7598.el9 master-1 Ready control-plane,master 27h v1.31.3 192.168.111.21 <none> Red Hat Enterprise Linux CoreOS 418.94.202501062026-0 5.14.0-427.50.1.el9_4.x86_64 cri-o://1.31.4-2.rhaos4.18.git33d7598.el9 master-2 Ready control-plane,master 27h v1.31.3 192.168.111.22 <none> Red Hat Enterprise Linux CoreOS 418.94.202501062026-0 5.14.0-427.50.1.el9_4.x86_64 cri-o://1.31.4-2.rhaos4.18.git33d7598.el9 worker-0 Ready worker 27h v1.31.3 192.168.111.23 <none> Red Hat Enterprise Linux CoreOS 418.94.202501062026-0 5.14.0-427.50.1.el9_4.x86_64 cri-o://1.31.4-2.rhaos4.18.git33d7598.el9 worker-1 Ready worker 27h v1.31.3 192.168.111.24 <none> Red Hat Enterprise Linux CoreOS 418.94.202501062026-0 5.14.0-427.50.1.el9_4.x86_64 cri-o://1.31.4-2.rhaos4.18.git33d7598.el9 worker-2 Ready worker 27h v1.31.3 192.168.111.25 <none> Red Hat Enterprise Linux CoreOS 418.94.202501062026-0 5.14.0-427.50.1.el9_4.x86_64 cri-o://1.31.4-2.rhaos4.18.git33d7598.el9다음 명령을 실행하여 각 노드의 기본 Pod 네트워크를 가져옵니다.
$ oc get node <node_name> -o=jsonpath={.metadata.annotations.k8s\\.ovn\\.org/node-subnets}출력 예
{"default":["10.129.0.0/23"],"ns1.udn-network-primary-layer3":["10.150.6.0/24"]}베어 메탈 하이퍼바이저에서 다음 명령을 실행하여 사용할 외부 FRR 컨테이너의 IP 주소를 가져옵니다.
$ ip -j -d route get <a cluster node's IP> | jq -r '.[] | .dev' | xargs ip -d -j address show | jq -r '.[] | .addr_info[0].local'다음 예와 같이 각 노드의 IP 주소를 포함하는 FRR용
frr.conf파일을 만듭니다.frr.conf구성 파일 예router bgp 64512 no bgp default ipv4-unicast no bgp default ipv6-unicast no bgp network import-check neighbor 192.168.111.20 remote-as 64512 neighbor 192.168.111.20 route-reflector-client neighbor 192.168.111.21 remote-as 64512 neighbor 192.168.111.21 route-reflector-client neighbor 192.168.111.22 remote-as 64512 neighbor 192.168.111.22 route-reflector-client neighbor 192.168.111.40 remote-as 64512 neighbor 192.168.111.40 route-reflector-client neighbor 192.168.111.47 remote-as 64512 neighbor 192.168.111.47 route-reflector-client neighbor 192.168.111.23 remote-as 64512 neighbor 192.168.111.23 route-reflector-client neighbor 192.168.111.24 remote-as 64512 neighbor 192.168.111.24 route-reflector-client neighbor 192.168.111.25 remote-as 64512 neighbor 192.168.111.25 route-reflector-client address-family ipv4 unicast network 192.168.1.0/24 network 192.169.1.1/32 exit-address-family address-family ipv4 unicast neighbor 192.168.111.20 activate neighbor 192.168.111.20 next-hop-self neighbor 192.168.111.21 activate neighbor 192.168.111.21 next-hop-self neighbor 192.168.111.22 activate neighbor 192.168.111.22 next-hop-self neighbor 192.168.111.40 activate neighbor 192.168.111.40 next-hop-self neighbor 192.168.111.47 activate neighbor 192.168.111.47 next-hop-self neighbor 192.168.111.23 activate neighbor 192.168.111.23 next-hop-self neighbor 192.168.111.24 activate neighbor 192.168.111.24 next-hop-self neighbor 192.168.111.25 activate neighbor 192.168.111.25 next-hop-self exit-address-family neighbor remote-as 64512 neighbor route-reflector-client address-family ipv6 unicast network 2001:db8::/128 exit-address-family address-family ipv6 unicast neighbor activate neighbor next-hop-self exit-address-family다음 콘텐츠가 포함된
데몬이라는 파일을 생성합니다.데몬구성 파일 예# This file tells the frr package which daemons to start. # # Sample configurations for these daemons can be found in # /usr/share/doc/frr/examples/. # # ATTENTION: # # When activating a daemon for the first time, a config file, even if it is # empty, has to be present *and* be owned by the user and group "frr", else # the daemon will not be started by /etc/init.d/frr. The permissions should # be u=rw,g=r,o=. # When using "vtysh" such a config file is also needed. It should be owned by # group "frrvty" and set to ug=rw,o= though. Check /etc/pam.d/frr, too. # # The watchfrr and zebra daemons are always started. # bgpd=yes ospfd=no ospf6d=no ripd=no ripngd=no isisd=no pimd=no ldpd=no nhrpd=no eigrpd=no babeld=no sharpd=no pbrd=no bfdd=yes fabricd=no vrrpd=no # # If this option is set the /etc/init.d/frr script automatically loads # the config via "vtysh -b" when the servers are started. # Check /etc/pam.d/frr if you intend to use "vtysh"! # vtysh_enable=yes zebra_options=" -A 127.0.0.1 -s 90000000" bgpd_options=" -A 127.0.0.1" ospfd_options=" -A 127.0.0.1" ospf6d_options=" -A ::1" ripd_options=" -A 127.0.0.1" ripngd_options=" -A ::1" isisd_options=" -A 127.0.0.1" pimd_options=" -A 127.0.0.1" ldpd_options=" -A 127.0.0.1" nhrpd_options=" -A 127.0.0.1" eigrpd_options=" -A 127.0.0.1" babeld_options=" -A 127.0.0.1" sharpd_options=" -A 127.0.0.1" pbrd_options=" -A 127.0.0.1" staticd_options="-A 127.0.0.1" bfdd_options=" -A 127.0.0.1" fabricd_options="-A 127.0.0.1" vrrpd_options=" -A 127.0.0.1" # configuration profile # #frr_profile="traditional" #frr_profile="datacenter" # # This is the maximum number of FD's that will be available. # Upon startup this is read by the control files and ulimit # is called. Uncomment and use a reasonable value for your # setup if you are expecting a large number of peers in # say BGP. #MAX_FDS=1024 # The list of daemons to watch is automatically generated by the init script. #watchfrr_options="" # for debugging purposes, you can specify a "wrap" command to start instead # of starting the daemon directly, e.g. to use valgrind on ospfd: # ospfd_wrap="/usr/bin/valgrind" # or you can use "all_wrap" for all daemons, e.g. to use perf record: # all_wrap="/usr/bin/perf record --call-graph -" # the normal daemon command is added to this at the end.-
frr.conf와데몬파일을 모두 동일한 디렉토리에 저장합니다(예:/tmp/frr). 다음 명령을 실행하여 외부 FRR 컨테이너를 생성합니다.
$ sudo podman run -d --privileged --network host --rm --ulimit core=-1 --name frr --volume /tmp/frr:/etc/frr quay.io/frrouting/frr:9.1.0다음
FRRConfiguration및RouteAdvertisements구성을 생성합니다.다음 콘텐츠를 포함하는
receive_all.yaml파일을 생성합니다.receive_all.yaml구성 파일의 예apiVersion: frrk8s.metallb.io/v1beta1 kind: FRRConfiguration metadata: name: receive-all namespace: openshift-frr-k8s spec: bgp: routers: - asn: 64512 neighbors: - address: 192.168.111.1 asn: 64512 toReceive: allowed: mode: all다음 콘텐츠가 포함된
ra.yaml파일을 생성합니다.ra.yaml구성 파일의 예apiVersion: k8s.ovn.org/v1 kind: RouteAdvertisements metadata: name: default spec: nodeSelector: {} frrConfigurationSelector: {} networkSelectors: - networkSelectionType: DefaultNetwork advertisements: - "PodNetwork" - "EgressIP"
다음 명령을 실행하여
receive_all.yaml및ra.yaml파일을 적용합니다.$ for f in receive_all.yaml ra.yaml; do oc apply -f $f; done
검증
구성이 적용되었는지 확인합니다.
다음 명령을 실행하여
FRRConfiguration구성이 생성되었는지 확인합니다.$ oc get frrconfiguration -A출력 예
NAMESPACE NAME AGE openshift-frr-k8s ovnk-generated-6lmfb 4h47m openshift-frr-k8s ovnk-generated-bhmnm 4h47m openshift-frr-k8s ovnk-generated-d2rf5 4h47m openshift-frr-k8s ovnk-generated-f958l 4h47m openshift-frr-k8s ovnk-generated-gmsmw 4h47m openshift-frr-k8s ovnk-generated-kmnqg 4h47m openshift-frr-k8s ovnk-generated-wpvgb 4h47m openshift-frr-k8s ovnk-generated-xq7v6 4h47m openshift-frr-k8s receive-all 4h47m다음 명령을 실행하여
RouteAdvertisements구성이 생성되었는지 확인합니다.$ oc get ra -A출력 예
NAME STATUS default Accepted
다음 명령을 실행하여 외부 FRR 컨테이너 ID를 가져옵니다.
$ sudo podman ps | grep frr출력 예
22cfc713890e quay.io/frrouting/frr:9.1.0 /usr/lib/frr/dock... 5 hours ago Up 5 hours ago frr이전 단계에서 얻은 컨테이너 ID를 사용하여 외부 FRR 컨테이너의
vtysh세션의 BGP 주변 및 경로를 확인합니다. 다음 명령을 실행합니다.$ sudo podman exec -it <container_id> vtysh -c "show ip bgp"출력 예
BGP table version is 10, local router ID is 192.168.111.1, vrf id 0 Default local pref 100, local AS 64512 Status codes: s suppressed, d damped, h history, * valid, > best, = multipath, i internal, r RIB-failure, S Stale, R Removed Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self Origin codes: i - IGP, e - EGP, ? - incomplete RPKI validation codes: V valid, I invalid, N Not found Network Next Hop Metric LocPrf Weight Path *>i10.128.0.0/23 192.168.111.22 0 100 0 i *>i10.128.2.0/23 192.168.111.23 0 100 0 i *>i10.129.0.0/23 192.168.111.20 0 100 0 i *>i10.129.2.0/23 192.168.111.24 0 100 0 i *>i10.130.0.0/23 192.168.111.21 0 100 0 i *>i10.130.2.0/23 192.168.111.40 0 100 0 i *>i10.131.0.0/23 192.168.111.25 0 100 0 i *>i10.131.2.0/23 192.168.111.47 0 100 0 i *> 192.168.1.0/24 0.0.0.0 0 32768 i *> 192.169.1.1/32 0.0.0.0 0 32768 i다음 명령을 실행하여 각 클러스터 노드에 대해
frr-k8sPod를 찾습니다.$ oc -n openshift-frr-k8s get pod -owide출력 예
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES frr-k8s-86wmq 6/6 Running 0 25h 192.168.111.20 master-0 <none> <none> frr-k8s-h2wl6 6/6 Running 0 25h 192.168.111.21 master-1 <none> <none> frr-k8s-jlbgs 6/6 Running 0 25h 192.168.111.40 node1.example.com <none> <none> frr-k8s-qc6l5 6/6 Running 0 25h 192.168.111.25 worker-2 <none> <none> frr-k8s-qtxdc 6/6 Running 0 25h 192.168.111.47 node2.example.com <none> <none> frr-k8s-s5bxh 6/6 Running 0 25h 192.168.111.24 worker-1 <none> <none> frr-k8s-szgj9 6/6 Running 0 25h 192.168.111.22 master-2 <none> <none> frr-k8s-webhook-server-6cd8b8d769-kmctw 1/1 Running 0 25h 10.131.2.9 node3.example.com <none> <none> frr-k8s-zwmgh 6/6 Running 0 25h 192.168.111.23 worker-0 <none> <none>OpenShift Container Platform 클러스터에서 다음 명령을 실행하여 FRR 컨테이너의 클러스터 노드의
frr-k8sPod에서 BGP 경로를 확인합니다.$ oc -n openshift-frr-k8s -c frr rsh frr-k8s-86wmq다음 명령을 실행하여 클러스터 노드의 IP 경로를 확인합니다.
sh-5.1# vtysh출력 예
Hello, this is FRRouting (version 8.5.3). Copyright 1996-2005 Kunihiro Ishiguro, et al.다음 명령을 실행하여 IP 경로를 확인합니다.
worker-2# show ip bgp출력 예
BGP table version is 10, local router ID is 192.168.111.25, vrf id 0 Default local pref 100, local AS 64512 Status codes: s suppressed, d damped, h history, * valid, > best, = multipath, i internal, r RIB-failure, S Stale, R Removed Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self Origin codes: i - IGP, e - EGP, ? - incomplete RPKI validation codes: V valid, I invalid, N Not found Network Next Hop Metric LocPrf Weight Path *>i10.128.0.0/23 192.168.111.22 0 100 0 i *>i10.128.2.0/23 192.168.111.23 0 100 0 i *>i10.129.0.0/23 192.168.111.20 0 100 0 i *>i10.129.2.0/23 192.168.111.24 0 100 0 i *>i10.130.0.0/23 192.168.111.21 0 100 0 i *>i10.130.2.0/23 192.168.111.40 0 100 0 i *> 10.131.0.0/23 0.0.0.0 0 32768 i *>i10.131.2.0/23 192.168.111.47 0 100 0 i *>i192.168.1.0/24 192.168.111.1 0 100 0 i *>i192.169.1.1/32 192.168.111.1 0 100 0 i Displayed 10 routes and 10 total pathsOpenShift Container Platform 클러스터에서 다음 명령을 실행하여 노드를 디버깅합니다.
$ oc debug node/<node_name>출력 예
Temporary namespace openshift-debug-lbtgh is created for debugging node... Starting pod/worker-2-debug-zrg4v ... To use host binaries, run `chroot /host` Pod IP: 192.168.111.25 If you don't see a command prompt, try pressing enter.다음 명령을 실행하여 BGP 경로가 광고되고 있는지 확인합니다.
sh-5.1# ip route show | grep bgp출력 예
10.128.0.0/23 nhid 268 via 192.168.111.22 dev br-ex proto bgp metric 20 10.128.2.0/23 nhid 259 via 192.168.111.23 dev br-ex proto bgp metric 20 10.129.0.0/23 nhid 260 via 192.168.111.20 dev br-ex proto bgp metric 20 10.129.2.0/23 nhid 261 via 192.168.111.24 dev br-ex proto bgp metric 20 10.130.0.0/23 nhid 266 via 192.168.111.21 dev br-ex proto bgp metric 20 10.130.2.0/23 nhid 262 via 192.168.111.40 dev br-ex proto bgp metric 20 10.131.2.0/23 nhid 263 via 192.168.111.47 dev br-ex proto bgp metric 20 192.168.1.0/24 nhid 264 via 192.168.111.1 dev br-ex proto bgp metric 20 192.169.1.1 nhid 264 via 192.168.111.1 dev br-ex proto bgp metric 20