고급 네트워킹

프로세스

1. 하드웨어 MTU에 대한 구성을 준비하세요.

   • 하드웨어 MTU가 DHCP로 지정된 경우 다음 dnsmasq 구성과 같이 DHCP 구성을 업데이트하세요.

     dhcp-option-force=26,<mtu>

     Copy to Clipboard Toggle word wrap

     다음과 같습니다.

     <mtu>

     DHCP 서버가 광고할 하드웨어 MTU를 지정합니다.

   • PXE를 사용하는 커널 명령줄을 통해 하드웨어 MTU가 지정된 경우 해당 구성을 적절히 업데이트합니다.

   • NetworkManager 연결 구성에서 하드웨어 MTU가 지정된 경우 다음 단계를 완료하세요. DHCP, 커널 명령줄 또는 기타 방법을 사용하여 네트워크 구성을 명시적으로 지정하지 않으면 이 접근 방식이 OpenShift Container Platform의 기본값입니다. 다음 절차가 수정되지 않고 작동하려면 모든 클러스터 노드가 동일한 기본 네트워크 구성을 사용해야 합니다.

     1. 다음 명령을 입력하여 기본 네트워크 인터페이스를 찾으세요.

        $ oc debug node/<node_name> -- chroot /host nmcli -g connection.interface-name c show ovs-if-phys0

        Copy to Clipboard Toggle word wrap

        다음과 같습니다.

        <node_name>

        클러스터의 노드 이름을 지정합니다.

     2. <interface>-mtu.conf 파일에 다음 NetworkManager 구성을 만듭니다.

        [connection-<interface>-mtu]
        match-device=interface-name:<interface>
        ethernet.mtu=<mtu>

        Copy to Clipboard Toggle word wrap

        다음과 같습니다.

        <interface>

        기본 네트워크 인터페이스 이름을 지정합니다.

        <mtu>

        새로운 하드웨어 MTU 값을 지정합니다.

프로세스

1. 클러스터의 제어 평면 노드용 하나와 작업자 노드용 하나, 총 두 개의 MachineConfig 객체를 만듭니다.

   1. control-plane-interface.bu 파일에 다음 Butane 구성을 만듭니다.

      참고

      구성 파일에서 지정하는 Butane 버전은 OpenShift Container Platform 버전과 일치해야 하며 항상 0 으로 끝나야 합니다. 예를 들어, 4.19.0입니다. Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

      variant: openshift
      version: 4.19.0
      metadata:
        name: 01-control-plane-interface
        labels:
          machineconfiguration.openshift.io/role: master
      storage:
        files:
          - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 

      1

      
            contents:
              local: <interface>-mtu.conf 

      2

      
            mode: 0600

      Copy to Clipboard Toggle word wrap

      1

      기본 네트워크 인터페이스에 대한 NetworkManager 연결 이름을 지정합니다.

      2

      이전 단계에서 업데이트된 NetworkManager 구성 파일의 로컬 파일 이름을 지정합니다.

   2. worker-interface.bu 파일에 다음 Butane 구성을 만듭니다.

      참고

      구성 파일에서 지정하는 Butane 버전은 OpenShift Container Platform 버전과 일치해야 하며 항상 0 으로 끝나야 합니다. 예를 들어, 4.19.0입니다. Butane에 대한 자세한 내용은 “Butane 을 사용하여 머신 구성 생성”을 참조하십시오.

      variant: openshift
      version: 4.19.0
      metadata:
        name: 01-worker-interface
        labels:
          machineconfiguration.openshift.io/role: worker
      storage:
        files:
          - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 

      1

      
            contents:
              local: <interface>-mtu.conf 

      2

      
            mode: 0600

      Copy to Clipboard Toggle word wrap

      1

      기본 네트워크 인터페이스에 대한 NetworkManager 연결 이름을 지정합니다.

      2

      이전 단계에서 업데이트된 NetworkManager 구성 파일의 로컬 파일 이름을 지정합니다.

2. 다음 명령을 실행하여 Butane 구성에서 MachineConfig 객체를 만듭니다.

   $ for manifest in control-plane-interface worker-interface; do
       butane --files-dir . $manifest.bu > $manifest.yaml
     done

   Copy to Clipboard Toggle word wrap
   주의

   이 절차의 뒷부분에서 명시적으로 지시하기 전까지는 이러한 머신 구성을 적용하지 마세요. 지금 이러한 머신 구성을 적용하면 클러스터의 안정성이 저하됩니다.

프로세스

1. MTU 마이그레이션을 시작하려면 다음 명령을 입력하여 마이그레이션 구성을 지정합니다. Machine Config Operator는 MTU 변경에 대비하여 클러스터의 노드에 대한 롤링 재부팅을 수행합니다.

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": <overlay_from>, "to": <overlay_to> } , "machine": { "to" : <machine_to> } } } } }'

   Copy to Clipboard Toggle word wrap

   다음과 같습니다.

   <overlay_from>

   현재 클러스터 네트워크 MTU 값을 지정합니다.

   <overlay_to>

   클러스터 네트워크의 대상 MTU를 지정합니다. 이 값은 <machine_to> 값을 기준으로 설정됩니다. OVN-Kubernetes의 경우 이 값은 <machine_to> 값보다 100 미만이어야 합니다.

   <machine_to>

   기본 호스트 네트워크의 기본 네트워크 인터페이스에 대한 MTU를 지정합니다.

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": { "mtu": { "network": { "from": 1400, "to": 9000 } , "machine": { "to" : 9100} } } } }'

   Copy to Clipboard Toggle word wrap

2. 머신 구성 운영자가 각 머신 구성 풀의 머신을 업데이트함에 따라 운영자는 각 노드를 하나씩 재부팅합니다. 모든 노드가 업데이트될 때까지 기다려야 합니다. 다음 명령을 입력하여 머신 구성 풀 상태를 확인합니다.

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   업데이트된 노드의 상태가 UPDATED=true, UPDATING=false,DEGRADED=false입니다.

   참고

   기본적으로 Machine Config Operator는 풀당 한 대의 머신을 한 번에 업데이트하므로 마이그레이션에 걸리는 총 시간은 클러스터 크기에 따라 증가합니다.

프로세스

1. 기본 네트워크 인터페이스 MTU 값을 업데이트합니다.

   • NetworkManager 연결 구성으로 새 MTU를 지정하는 경우 다음 명령을 입력합니다. MachineConfig Operator는 클러스터의 노드에 대한 롤링 재부팅을 자동으로 수행합니다.

     $ for manifest in control-plane-interface worker-interface; do
         oc create -f $manifest.yaml
       done

     Copy to Clipboard Toggle word wrap
   • DHCP 서버 옵션이나 커널 명령줄 및 PXE를 사용하여 새로운 MTU를 지정하는 경우 인프라에 맞게 필요한 변경을 수행하세요.

2. 머신 구성 운영자가 각 머신 구성 풀의 머신을 업데이트함에 따라 운영자는 각 노드를 하나씩 재부팅합니다. 모든 노드가 업데이트될 때까지 기다려야 합니다. 다음 명령을 입력하여 머신 구성 풀 상태를 확인합니다.

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   업데이트된 노드의 상태가 UPDATED=true, UPDATING=false,DEGRADED=false입니다.

   참고

   기본적으로 Machine Config Operator는 풀당 한 대의 머신을 한 번에 업데이트하므로 마이그레이션에 걸리는 총 시간은 클러스터 크기에 따라 증가합니다.

3. 호스트의 새 머신 구성 상태를 확인합니다.

   1. 머신 구성 상태 및 적용된 머신 구성 이름을 나열하려면 다음 명령을 입력합니다.

      $ oc describe node | egrep "hostname|machineconfig"

      Copy to Clipboard Toggle word wrap

      출력 예

      kubernetes.io/hostname=master-0
      machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
      machineconfiguration.openshift.io/reason:
      machineconfiguration.openshift.io/state: Done

      Copy to Clipboard Toggle word wrap

      다음 구문이 올바른지 확인합니다.

      • machineconfiguration.openshift.io/state 필드의 값은 Done입니다.
      • machineconfiguration.openshift.io/currentConfig 필드의 값은 machineconfiguration.openshift.io/desiredConfig 필드의 값과 동일합니다.

   2. 머신 구성이 올바른지 확인하려면 다음 명령을 입력합니다.

      $ oc get machineconfig <config_name> -o yaml | grep path:

      Copy to Clipboard Toggle word wrap

      다음과 같습니다.

      <config_name>

      machineconfiguration.openshift.io/currentConfig 필드에서 머신 구성의 이름을 지정합니다.

      머신 구성이 성공적으로 배포되면 이전 출력에 /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 파일 경로와 ExecStart=/usr/local/bin/mtu-migration.sh 줄이 포함됩니다.

프로세스

1. MTU 마이그레이션을 완료하려면 OVN-Kubernetes 네트워크 플러그인에 대해 다음 명령을 입력하세요.

   $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
     '{"spec": { "migration": null, "defaultNetwork":{ "ovnKubernetesConfig": { "mtu": <mtu> }}}}'

   Copy to Clipboard Toggle word wrap

   다음과 같습니다.

   <mtu>

   <overlay_to> 로 지정한 새 클러스터 네트워크 MTU를 지정합니다.

2. MTU 마이그레이션을 완료한 후 각 머신 구성 풀 노드는 하나씩 재부팅됩니다. 모든 노드가 업데이트될 때까지 기다려야 합니다. 다음 명령을 입력하여 머신 구성 풀 상태를 확인합니다.

   $ oc get machineconfigpools

   Copy to Clipboard Toggle word wrap

   업데이트된 노드의 상태가 UPDATED=true, UPDATING=false,DEGRADED=false입니다.

검증

1. 클러스터 네트워크의 현재 MTU를 얻으려면 다음 명령을 입력하세요.

   $ oc describe network.config cluster

   Copy to Clipboard Toggle word wrap

2. 노드의 기본 네트워크 인터페이스에 대한 현재 MTU를 가져옵니다.

   1. 클러스터의 노드를 나열하려면 다음 명령을 입력하세요.

      $ oc get nodes

      Copy to Clipboard Toggle word wrap

   2. 노드의 기본 네트워크 인터페이스에 대한 현재 MTU 설정을 얻으려면 다음 명령을 입력하세요.

      $ oc adm node-logs <node> -u ovs-configuration | grep configure-ovs.sh | grep mtu | grep <interface> | head -1

      Copy to Clipboard Toggle word wrap

      다음과 같습니다.

      <node>

      이전 단계의 출력에서 노드를 지정합니다.

      <interface>

      노드의 기본 네트워크 인터페이스 이름을 지정합니다.

      출력 예

      ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8051

      Copy to Clipboard Toggle word wrap

1. openshift-frr-k8s 네임스페이스를 생성하려면 다음 명령을 입력하세요.

   $ oc create namespace openshift-frr-k8s

   Copy to Clipboard Toggle word wrap

2. 마이그레이션을 자동화하려면 다음 내용을 포함하는 migrate.sh 라는 셸 스크립트를 만듭니다.

   #!/bin/bash
   OLD_NAMESPACE="metallb-system"
   NEW_NAMESPACE="openshift-frr-k8s"
   FILTER_OUT="metallb-"
   oc get frrconfigurations.frrk8s.metallb.io -n "${OLD_NAMESPACE}" -o json |\
     jq -r '.items[] | select(.metadata.name | test("'"${FILTER_OUT}"'") | not)' |\
     jq -r '.metadata.namespace = "'"${NEW_NAMESPACE}"'"' |\
     oc create -f -

   Copy to Clipboard Toggle word wrap

3. 마이그레이션을 실행하려면 다음 명령을 실행하세요.

   $ bash migrate.sh

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 RouteAdvertisements 기능 게이트가 활성화되었는지 확인하세요.

   $ oc get featuregate -oyaml | grep -i routeadvertisement

   Copy to Clipboard Toggle word wrap

   출력 예

         - name: RouteAdvertisements

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 클러스터 네트워크 운영자(CNO)를 구성합니다.

   $ oc patch Network.operator.openshift.io cluster --type=merge \
     -p='
       {"spec":{
         "additionalRoutingCapabilities": {
           "providers": ["FRR"]},
           "defaultNetwork":{"ovnKubernetesConfig"{
             "routeAdvertisements":"Enabled"
             }}}}'

   Copy to Clipboard Toggle word wrap

   CNO가 모든 노드를 다시 시작하는 데 몇 분이 걸릴 수 있습니다.

3. 다음 명령을 실행하여 노드의 IP 주소를 가져옵니다.

   $ oc get node -owide

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                       STATUS   ROLES                  AGE   VERSION   INTERNAL-IP      EXTERNAL-IP   OS-IMAGE                                                KERNEL-VERSION                 CONTAINER-RUNTIME
   master-0                                   Ready    control-plane,master   27h   v1.31.3   192.168.111.20   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   master-1                                   Ready    control-plane,master   27h   v1.31.3   192.168.111.21   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   master-2                                   Ready    control-plane,master   27h   v1.31.3   192.168.111.22   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   worker-0                                   Ready    worker                 27h   v1.31.3   192.168.111.23   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   worker-1                                   Ready    worker                 27h   v1.31.3   192.168.111.24   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9
   worker-2                                   Ready    worker                 27h   v1.31.3   192.168.111.25   <none>        Red Hat Enterprise Linux CoreOS 418.94.202501062026-0   5.14.0-427.50.1.el9_4.x86_64   cri-o://1.31.4-2.rhaos4.18.git33d7598.el9

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 각 노드의 기본 Pod 네트워크를 가져옵니다.

   $ oc get node <node_name> -o=jsonpath={.metadata.annotations.k8s\\.ovn\\.org/node-subnets}

   Copy to Clipboard Toggle word wrap

   출력 예

   {"default":["10.129.0.0/23"],"ns1.udn-network-primary-layer3":["10.150.6.0/24"]}

   Copy to Clipboard Toggle word wrap

5. 베어 메탈 하이퍼바이저에서 다음 명령을 실행하여 사용할 외부 FRR 컨테이너의 IP 주소를 가져옵니다.

   $ ip -j -d route get <a cluster node's IP> | jq -r '.[] | .dev' | xargs ip -d -j address show | jq -r '.[] | .addr_info[0].local'

   Copy to Clipboard Toggle word wrap

6. 다음 예와 같이 각 노드의 IP 주소를 포함하는 FRR에 대한 frr.conf 파일을 만듭니다.

   frr.conf 구성 파일 예시

   router bgp 64512
    no bgp default ipv4-unicast
    no bgp default ipv6-unicast
    no bgp network import-check
    neighbor 192.168.111.20 remote-as 64512
    neighbor 192.168.111.20 route-reflector-client
    neighbor 192.168.111.21 remote-as 64512
    neighbor 192.168.111.21 route-reflector-client
    neighbor 192.168.111.22 remote-as 64512
    neighbor 192.168.111.22 route-reflector-client
    neighbor 192.168.111.40 remote-as 64512
    neighbor 192.168.111.40 route-reflector-client
    neighbor 192.168.111.47 remote-as 64512
    neighbor 192.168.111.47 route-reflector-client
    neighbor 192.168.111.23 remote-as 64512
    neighbor 192.168.111.23 route-reflector-client
    neighbor 192.168.111.24 remote-as 64512
    neighbor 192.168.111.24 route-reflector-client
    neighbor 192.168.111.25 remote-as 64512
    neighbor 192.168.111.25 route-reflector-client
    address-family ipv4 unicast
     network 192.168.1.0/24
     network 192.169.1.1/32
    exit-address-family
    address-family ipv4 unicast
     neighbor 192.168.111.20 activate
     neighbor 192.168.111.20 next-hop-self
     neighbor 192.168.111.21 activate
     neighbor 192.168.111.21 next-hop-self
     neighbor 192.168.111.22 activate
     neighbor 192.168.111.22 next-hop-self
     neighbor 192.168.111.40 activate
     neighbor 192.168.111.40 next-hop-self
     neighbor 192.168.111.47 activate
     neighbor 192.168.111.47 next-hop-self
     neighbor 192.168.111.23 activate
     neighbor 192.168.111.23 next-hop-self
     neighbor 192.168.111.24 activate
     neighbor 192.168.111.24 next-hop-self
     neighbor 192.168.111.25 activate
     neighbor 192.168.111.25 next-hop-self
    exit-address-family
    neighbor  remote-as 64512
    neighbor  route-reflector-client
    address-family ipv6 unicast
     network 2001:db8::/128
    exit-address-family
    address-family ipv6 unicast
     neighbor  activate
     neighbor  next-hop-self
    exit-address-family

   Copy to Clipboard Toggle word wrap

7. 다음 내용을 포함하는 daemons 라는 파일을 만듭니다.

   데몬 구성 파일 예

   # This file tells the frr package which daemons to start.
   #
   # Sample configurations for these daemons can be found in
   # /usr/share/doc/frr/examples/.
   #
   # ATTENTION:
   #
   # When activating a daemon for the first time, a config file, even if it is
   # empty, has to be present *and* be owned by the user and group "frr", else
   # the daemon will not be started by /etc/init.d/frr. The permissions should
   # be u=rw,g=r,o=.
   # When using "vtysh" such a config file is also needed. It should be owned by
   # group "frrvty" and set to ug=rw,o= though. Check /etc/pam.d/frr, too.
   #
   # The watchfrr and zebra daemons are always started.
   #
   bgpd=yes
   ospfd=no
   ospf6d=no
   ripd=no
   ripngd=no
   isisd=no
   pimd=no
   ldpd=no
   nhrpd=no
   eigrpd=no
   babeld=no
   sharpd=no
   pbrd=no
   bfdd=yes
   fabricd=no
   vrrpd=no
   
   #
   # If this option is set the /etc/init.d/frr script automatically loads
   # the config via "vtysh -b" when the servers are started.
   # Check /etc/pam.d/frr if you intend to use "vtysh"!
   #
   vtysh_enable=yes
   zebra_options="  -A 127.0.0.1 -s 90000000"
   bgpd_options="   -A 127.0.0.1"
   ospfd_options="  -A 127.0.0.1"
   ospf6d_options=" -A ::1"
   ripd_options="   -A 127.0.0.1"
   ripngd_options=" -A ::1"
   isisd_options="  -A 127.0.0.1"
   pimd_options="   -A 127.0.0.1"
   ldpd_options="   -A 127.0.0.1"
   nhrpd_options="  -A 127.0.0.1"
   eigrpd_options=" -A 127.0.0.1"
   babeld_options=" -A 127.0.0.1"
   sharpd_options=" -A 127.0.0.1"
   pbrd_options="   -A 127.0.0.1"
   staticd_options="-A 127.0.0.1"
   bfdd_options="   -A 127.0.0.1"
   fabricd_options="-A 127.0.0.1"
   vrrpd_options="  -A 127.0.0.1"
   
   # configuration profile
   #
   #frr_profile="traditional"
   #frr_profile="datacenter"
   
   #
   # This is the maximum number of FD's that will be available.
   # Upon startup this is read by the control files and ulimit
   # is called. Uncomment and use a reasonable value for your
   # setup if you are expecting a large number of peers in
   # say BGP.
   #MAX_FDS=1024
   
   # The list of daemons to watch is automatically generated by the init script.
   #watchfrr_options=""
   
   # for debugging purposes, you can specify a "wrap" command to start instead
   # of starting the daemon directly, e.g. to use valgrind on ospfd:
   #   ospfd_wrap="/usr/bin/valgrind"
   # or you can use "all_wrap" for all daemons, e.g. to use perf record:
   #   all_wrap="/usr/bin/perf record --call-graph -"
   # the normal daemon command is added to this at the end.

   Copy to Clipboard Toggle word wrap

8. frr.conf 와 daemons 파일을 모두 같은 디렉토리(예: /tmp/frr) 에 저장합니다.

9. 다음 명령을 실행하여 외부 FRR 컨테이너를 만듭니다.

   $ sudo podman run -d --privileged --network host --rm --ulimit core=-1 --name frr --volume /tmp/frr:/etc/frr quay.io/frrouting/frr:9.1.0

   Copy to Clipboard Toggle word wrap

10. 다음 FRRConfiguration 및 RouteAdvertisements 구성을 만듭니다.

    1. 다음 내용을 포함하는 receive_all.yaml 파일을 만듭니다.

       receive_all.yaml 구성 파일 예시

       apiVersion: frrk8s.metallb.io/v1beta1
       kind: FRRConfiguration
       metadata:
         name: receive-all
         namespace: openshift-frr-k8s
       spec:
         bgp:
           routers:
           - asn: 64512
             neighbors:
             - address: 192.168.111.1
               asn: 64512
               toReceive:
                 allowed:
                   mode: all

       Copy to Clipboard Toggle word wrap

    2. 다음 내용을 포함하는 ra.yaml 파일을 만듭니다.

       ra.yaml 구성 파일 예시

       apiVersion: k8s.ovn.org/v1
       kind: RouteAdvertisements
       metadata:
         name: default
       spec:
         nodeSelector: {}
         frrConfigurationSelector: {}
         networkSelectors:
         - networkSelectionType: DefaultNetwork
         advertisements:
         - "PodNetwork"
         - "EgressIP"

       Copy to Clipboard Toggle word wrap

11. 다음 명령을 실행하여 receive_all.yaml 및 ra.yaml 파일을 적용합니다.

    $ for f in receive_all.yaml ra.yaml; do oc apply -f $f; done

    Copy to Clipboard Toggle word wrap

검증

1. 구성이 적용되었는지 확인하세요.

   1. 다음 명령을 실행하여 FRRConfiguration 구성이 생성되었는지 확인하세요.

      $ oc get frrconfiguration -A

      Copy to Clipboard Toggle word wrap

      출력 예

      NAMESPACE           NAME                   AGE
      openshift-frr-k8s   ovnk-generated-6lmfb   4h47m
      openshift-frr-k8s   ovnk-generated-bhmnm   4h47m
      openshift-frr-k8s   ovnk-generated-d2rf5   4h47m
      openshift-frr-k8s   ovnk-generated-f958l   4h47m
      openshift-frr-k8s   ovnk-generated-gmsmw   4h47m
      openshift-frr-k8s   ovnk-generated-kmnqg   4h47m
      openshift-frr-k8s   ovnk-generated-wpvgb   4h47m
      openshift-frr-k8s   ovnk-generated-xq7v6   4h47m
      openshift-frr-k8s   receive-all            4h47m

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 RouteAdvertisements 구성이 생성되었는지 확인하세요.

      $ oc get ra -A

      Copy to Clipboard Toggle word wrap

      출력 예

      NAME      STATUS
      default   Accepted

      Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 외부 FRR 컨테이너 ID를 가져옵니다.

   $ sudo podman ps | grep frr

   Copy to Clipboard Toggle word wrap

   출력 예

   22cfc713890e  quay.io/frrouting/frr:9.1.0              /usr/lib/frr/dock...  5 hours ago   Up 5 hours ago               frr

   Copy to Clipboard Toggle word wrap

3. 이전 단계에서 얻은 컨테이너 ID를 사용하여 외부 FRR 컨테이너의 vtysh 세션에서 BGP 이웃과 경로를 확인합니다. 다음 명령을 실행합니다.

   $ sudo podman exec -it <container_id> vtysh -c "show ip bgp"

   Copy to Clipboard Toggle word wrap

   출력 예

   BGP table version is 10, local router ID is 192.168.111.1, vrf id 0
   Default local pref 100, local AS 64512
   Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
                  i internal, r RIB-failure, S Stale, R Removed
   Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
   Origin codes:  i - IGP, e - EGP, ? - incomplete
   RPKI validation codes: V valid, I invalid, N Not found
   
       Network          Next Hop            Metric LocPrf Weight Path
    *>i10.128.0.0/23    192.168.111.22           0    100      0 i
    *>i10.128.2.0/23    192.168.111.23           0    100      0 i
    *>i10.129.0.0/23    192.168.111.20           0    100      0 i
    *>i10.129.2.0/23    192.168.111.24           0    100      0 i
    *>i10.130.0.0/23    192.168.111.21           0    100      0 i
    *>i10.130.2.0/23    192.168.111.40           0    100      0 i
    *>i10.131.0.0/23    192.168.111.25           0    100      0 i
    *>i10.131.2.0/23    192.168.111.47           0    100      0 i
    *> 192.168.1.0/24   0.0.0.0                  0         32768 i
    *> 192.169.1.1/32   0.0.0.0                  0         32768 i

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 각 클러스터 노드의 frr-k8s Pod를 찾으세요.

   $ oc -n openshift-frr-k8s get pod -owide

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                      READY   STATUS    RESTARTS   AGE   IP               NODE                                       NOMINATED NODE   READINESS GATES
   frr-k8s-86wmq                             6/6     Running   0          25h   192.168.111.20   master-0                                   <none>           <none>
   frr-k8s-h2wl6                             6/6     Running   0          25h   192.168.111.21   master-1                                   <none>           <none>
   frr-k8s-jlbgs                             6/6     Running   0          25h   192.168.111.40   node1.example.com   <none>           <none>
   frr-k8s-qc6l5                             6/6     Running   0          25h   192.168.111.25   worker-2                                   <none>           <none>
   frr-k8s-qtxdc                             6/6     Running   0          25h   192.168.111.47   node2.example.com   <none>           <none>
   frr-k8s-s5bxh                             6/6     Running   0          25h   192.168.111.24   worker-1                                   <none>           <none>
   frr-k8s-szgj9                             6/6     Running   0          25h   192.168.111.22   master-2                                   <none>           <none>
   frr-k8s-webhook-server-6cd8b8d769-kmctw   1/1     Running   0          25h   10.131.2.9       node3.example.com   <none>           <none>
   frr-k8s-zwmgh                             6/6     Running   0          25h   192.168.111.23   worker-0                                   <none>           <none>

   Copy to Clipboard Toggle word wrap

5. OpenShift Container Platform 클러스터에서 다음 명령을 실행하여 FRR 컨테이너의 클러스터 노드 frr-k8s Pod에서 BGP 경로를 확인합니다.

   $ oc -n openshift-frr-k8s -c frr rsh frr-k8s-86wmq

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 클러스터 노드의 IP 경로를 확인하세요.

   sh-5.1# vtysh

   Copy to Clipboard Toggle word wrap

   출력 예

   Hello, this is FRRouting (version 8.5.3).
   Copyright 1996-2005 Kunihiro Ishiguro, et al.

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 IP 경로를 확인하세요.

   worker-2# show ip bgp

   Copy to Clipboard Toggle word wrap

   출력 예

   BGP table version is 10, local router ID is 192.168.111.25, vrf id 0
   Default local pref 100, local AS 64512
   Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
                  i internal, r RIB-failure, S Stale, R Removed
   Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
   Origin codes:  i - IGP, e - EGP, ? - incomplete
   RPKI validation codes: V valid, I invalid, N Not found
   
       Network          Next Hop            Metric LocPrf Weight Path
    *>i10.128.0.0/23    192.168.111.22           0    100      0 i
    *>i10.128.2.0/23    192.168.111.23           0    100      0 i
    *>i10.129.0.0/23    192.168.111.20           0    100      0 i
    *>i10.129.2.0/23    192.168.111.24           0    100      0 i
    *>i10.130.0.0/23    192.168.111.21           0    100      0 i
    *>i10.130.2.0/23    192.168.111.40           0    100      0 i
    *> 10.131.0.0/23    0.0.0.0                  0         32768 i
    *>i10.131.2.0/23    192.168.111.47           0    100      0 i
    *>i192.168.1.0/24   192.168.111.1            0    100      0 i
    *>i192.169.1.1/32   192.168.111.1            0    100      0 i
   
   Displayed  10 routes and 10 total paths

   Copy to Clipboard Toggle word wrap

8. OpenShift Container Platform 클러스터에서 다음 명령을 실행하여 노드를 디버깅합니다.

   $ oc debug node/<node_name>

   Copy to Clipboard Toggle word wrap

   출력 예

   Temporary namespace openshift-debug-lbtgh is created for debugging node...
   Starting pod/worker-2-debug-zrg4v ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.111.25
   If you don't see a command prompt, try pressing enter.

   Copy to Clipboard Toggle word wrap

9. 다음 명령을 실행하여 BGP 경로가 광고되는지 확인하세요.

   sh-5.1# ip route show | grep bgp

   Copy to Clipboard Toggle word wrap

   출력 예

   10.128.0.0/23 nhid 268 via 192.168.111.22 dev br-ex proto bgp metric 20
   10.128.2.0/23 nhid 259 via 192.168.111.23 dev br-ex proto bgp metric 20
   10.129.0.0/23 nhid 260 via 192.168.111.20 dev br-ex proto bgp metric 20
   10.129.2.0/23 nhid 261 via 192.168.111.24 dev br-ex proto bgp metric 20
   10.130.0.0/23 nhid 266 via 192.168.111.21 dev br-ex proto bgp metric 20
   10.130.2.0/23 nhid 262 via 192.168.111.40 dev br-ex proto bgp metric 20
   10.131.2.0/23 nhid 263 via 192.168.111.47 dev br-ex proto bgp metric 20
   192.168.1.0/24 nhid 264 via 192.168.111.1 dev br-ex proto bgp metric 20
   192.169.1.1 nhid 264 via 192.168.111.1 dev br-ex proto bgp metric 20

   Copy to Clipboard Toggle word wrap