7.5. 네트워크 문제 해결

프로세스

1. 힌트 파일을 /etc/default/nodeip-configuration 파일에 추가합니다. 예를 들면 다음과 같습니다.

   NODEIP_HINT=192.0.2.1

   중요
   • 노드의 정확한 IP 주소를 힌트로 사용하지 마십시오(예: 192.0.2.5). 노드의 정확한 IP 주소를 사용하면 노드가 힌트 IP 주소를 사용하는 경우 올바르게 구성되지 않습니다.
   • 힌트 파일의 IP 주소는 올바른 서브넷을 결정하는 데만 사용됩니다. 힌트 파일에 나타나는 결과로 트래픽을 수신하지 않습니다.

2. 다음 명령을 실행하여 base-64 로 인코딩된 콘텐츠를 생성합니다.

   $ echo -n 'NODEIP_HINT=192.0.2.1' | base64 -w0

   출력 예

   Tk9ERUlQX0hJTlQ9MTkyLjAuMCxxxx==

3. 클러스터를 배포하기 전에 master 및 worker 역할에 대한 머신 구성 매니페스트를 생성하여 힌트를 활성화합니다.

   99-nodeip-hint-master.yaml

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master
     name: 99-nodeip-hint-master
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,<encoded_content> 

   1

   
           mode: 0644
           overwrite: true
           path: /etc/default/nodeip-configuration

   1 1

   <encoded_contents>를 /etc/default/nodeip-configuration 파일의 base64 인코딩 콘텐츠(예: Tk9ERUlQX0hJTlQ9MTkyLjAuMC=== ) 로 바꿉니다. 쉼표 이후와 인코딩된 콘텐츠 전에는 공백을 사용할 수 없습니다.

   99-nodeip-hint-worker.yaml

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
    labels:
      machineconfiguration.openshift.io/role: worker
      name: 99-nodeip-hint-worker
   spec:
    config:
      ignition:
        version: 3.2.0
      storage:
        files:
        - contents:
            source: data:text/plain;charset=utf-8;base64,<encoded_content> 

   1

   
          mode: 0644
          overwrite: true
          path: /etc/default/nodeip-configuration

   <encoded_contents>를 /etc/default/nodeip-configuration 파일의 base64 인코딩 콘텐츠(예: Tk9ERUlQX0hJTlQ9MTkyLjAuMC=== ) 로 바꿉니다. 쉼표 이후와 인코딩된 콘텐츠 전에는 공백을 사용할 수 없습니다.

4. 클러스터 구성을 저장하는 디렉터리에 매니페스트를 저장합니다(예: ~/clusterconfigs ).
5. 클러스터를 배포합니다.

1. 선택한 머신 구성 풀을 기준으로 단일 순서로 노드를 비웁니다.
2. 각 노드에 Ignition 구성 파일을 주입하여 각 노드가 추가 br-ex1 브리지 네트워크 구성을 수신하도록 합니다.
3. br-ex MAC 주소가 br-ex가 네트워크 연결에 사용하는 인터페이스의 MAC 주소와 일치하는지 확인합니다.
4. 새로운 인터페이스 정의를 참조하는 configure-ovs.sh 셸 스크립트를 실행합니다.
5. 호스트 노드에 br-ex 와 br-ex1을 추가합니다.
6. 노드 차단 해제

프로세스

1. 선택 사항: 다음 단계를 완료하여 추가 브리지인 br-ex1 에서 사용할 수 있는 인터페이스 연결을 만듭니다. 예시 단계에서는 머신 구성 매니페스트 파일에 정의된 새로운 본드와 그에 종속된 인터페이스를 만드는 방법을 보여줍니다. 추가 브리지는 MachineConfig 객체를 사용하여 추가 본드 인터페이스를 형성합니다.

   중요

   추가 인터페이스를 정의하기 위해 Kubernetes NMState Operator 또는 NodeNetworkConfigurationPolicy (NNCP) 매니페스트 파일을 사용하지 마십시오. 본딩 인터페이스를 정의할 때 기존 br-ex OVN Kubernetes 네트워크 배포에서 추가 인터페이스 또는 하위 인터페이스를 사용하지 않는지 확인합니다.

   br-ex 브리지 또는 기본 인터페이스를 사후 설치 작업으로 변경할 수 없습니다. 이 문제를 해결하려면 호스트 또는 스위치에 연결된 보조 네트워크 인터페이스를 사용합니다.

   1. 다음 인터페이스 정의 파일을 만듭니다. 이러한 파일은 호스트 노드가 정의 파일에 액세스할 수 있도록 머신 구성 매니페스트 파일에 추가됩니다.

      eno1.config 라는 이름의 첫 번째 인터페이스 정의 파일의 예

      [connection]
      id=eno1
      type=ethernet
      interface-name=eno1
      master=bond1
      slave-type=bond
      autoconnect=true
      autoconnect-priority=20

      eno2.config 라는 이름의 두 번째 인터페이스 정의 파일의 예

      [connection]
      id=eno2
      type=ethernet
      interface-name=eno2
      master=bond1
      slave-type=bond
      autoconnect=true
      autoconnect-priority=20

      bond1.config 라는 이름의 두 번째 본드 인터페이스 정의 파일의 예

      [connection]
      id=bond1
      type=bond
      interface-name=bond1
      autoconnect=true
      connection.autoconnect-slaves=1
      autoconnect-priority=20
      
      [bond]
      mode=802.3ad
      miimon=100
      xmit_hash_policy="layer3+4"
      
      [ipv4]
      method=auto

   2. 다음 명령을 실행하여 정의 파일을 Base64로 인코딩된 문자열로 변환합니다.

      $ base64 <directory_path>/en01.config

      $ base64 <directory_path>/eno2.config

      $ base64 <directory_path>/bond1.config

2. 환경 변수를 준비합니다. <machine_role>을 worker 와 같은 노드 역할로 바꾸고, <interface_name>을 추가 br-ex 브리지 이름으로 바꾸세요.

   $ export ROLE=<machine_role>

3. 머신 구성 매니페스트 파일에 각 인터페이스 정의를 정의합니다.

   bond1 , eno1 및 en02 에 대한 정의가 추가된 머신 구성 파일의 예

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: ${worker}
     name: 12-${ROLE}-sec-bridge-cni
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - contents:
             source: data:;base64,<base-64-encoded-contents-for-bond1.conf>
           path: /etc/NetworkManager/system-connections/bond1.nmconnection
           filesystem: root
           mode: 0600
         - contents:
             source: data:;base64,<base-64-encoded-contents-for-eno1.conf>
           path: /etc/NetworkManager/system-connections/eno1.nmconnection
           filesystem: root
           mode: 0600
         - contents:
             source: data:;base64,<base-64-encoded-contents-for-eno2.conf>
           path: /etc/NetworkManager/system-connections/eno2.nmconnection
           filesystem: root
           mode: 0600
   # ...

4. 터미널에 다음 명령을 입력하여 네트워크 플러그인을 구성하기 위한 머신 구성 매니페스트 파일을 만듭니다.

   $ oc create -f <machine_config_file_name>

5. OVN-Kubernetes 네트워크 플러그인을 사용하여 extra_bridge 파일을 생성하여 노드에 Open vSwitch(OVS) 브리지 br-ex1을 생성합니다. 호스트의 /etc/ovnk/extra_bridge 경로에 파일을 저장했는지 확인하세요. 해당 파일에는 추가 브리지를 지원하는 인터페이스 이름이 명시되어야 하며, 노드의 기본 IP 주소를 보유하는 br-ex를 지원하는 기본 인터페이스는 명시되어서는 안 됩니다.

   추가 인터페이스를 참조하는 extra_bridge 파일 /etc/ovnk/extra_bridge 에 대한 구성 예

   bond1

6. 클러스터에서 다시 시작된 모든 노드에서 br-ex1을 호스팅하는 기존 정적 인터페이스를 정의하는 머신 구성 매니페스트 파일을 만듭니다.

   br-ex1 호스팅을 위한 인터페이스로 bond1을 정의하는 머신 구성 파일의 예

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: ${worker}
     name: 12-worker-extra-bridge
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/ovnk/extra_bridge
             mode: 0420
             overwrite: true
             contents:
               source: data:text/plain;charset=utf-8,bond1
             filesystem: root

7. 선택한 노드에 머신 구성을 적용합니다.

   $ oc create -f <machine_config_file_name>

8. 선택 사항: 노드에 대한 br-ex 선택 논리를 재정의하려면 /var/lib/ovnk/iface_default_hint 리소스를 생성하는 머신 구성 파일을 생성하면 됩니다.

   참고

   리소스는 br-ex가 클러스터에 대해 선택한 인터페이스의 이름을 나열합니다. 기본적으로 br-ex는 부팅 순서와 머신 네트워크의 IP 주소 서브넷을 기반으로 노드의 기본 인터페이스를 선택합니다. 특정 머신 네트워크 구성에서는 br-ex가 호스트 노드에 대한 기본 인터페이스 또는 본드를 계속 선택해야 할 수도 있습니다.

   1. 기본 인터페이스를 재정의하려면 호스트 노드에 머신 구성 파일을 만듭니다.

      중요

      br-ex 선택 논리를 변경하는 목적으로만 이 머신 구성 파일을 생성하세요. 이 파일을 사용하여 클러스터의 기존 노드의 IP 주소를 변경하는 것은 지원되지 않습니다.

      기본 인터페이스를 재정의하는 머신 구성 파일의 예

      apiVersion: machineconfiguration.openshift.io/v1
      kind: MachineConfig
      metadata:
        labels:
          machineconfiguration.openshift.io/role: ${worker}
        name: 12-worker-br-ex-override
      spec:
        config:
          ignition:
            version: 3.2.0
          storage:
            files:
              - path: /var/lib/ovnk/iface_default_hint
                mode: 0420
                overwrite: true
                contents:
                  source: data:text/plain;charset=utf-8,bond0 

      1

      
                filesystem: root

      1

      노드에 머신 구성 파일을 적용하기 전에 노드에 bond0이 있는지 확인하세요.

   2. 클러스터의 모든 새 노드에 구성을 적용하기 전에 호스트 노드를 재부팅하여 br-ex가 의도한 인터페이스를 선택하고 br-ex1 에서 정의한 새 인터페이스와 충돌하지 않는지 확인합니다.

   3. 클러스터의 모든 새 노드에 머신 구성 파일을 적용합니다.

      $ oc create -f <machine_config_file_name>

검증

1. 클러스터에서 exgw-ip-addresses 레이블이 있는 노드의 IP 주소를 식별하여 노드가 기본 브리지 대신 추가 브리지를 사용하는지 확인하세요.

   $ oc get nodes -o json | grep --color exgw-ip-addresses

   출력 예

   "k8s.ovn.org/l3-gateway-config":
      \"exgw-ip-address\":\"172.xx.xx.yy/24\",\"next-hops\":[\"xx.xx.xx.xx\"],

2. 호스트 노드의 네트워크 인터페이스 이름을 검토하여 대상 노드에 추가 브리지가 있는지 확인하세요.

   $ oc debug node/<node_name> -- chroot /host sh -c "ip a | grep mtu | grep br-ex"

   출력 예

   Starting pod/worker-1-debug ...
   To use host binaries, run `chroot /host`
   # ...
   5: br-ex: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
   6: br-ex1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000

3. 선택 사항: /var/lib/ovnk/iface_default_hint를 사용하는 경우 br-ex 의 MAC 주소가 기본 선택 인터페이스의 MAC 주소와 일치하는지 확인하세요.

   $ oc debug node/<node_name> -- chroot /host sh -c "ip a | grep -A1 -E 'br-ex|bond0'

   br-ex 의 기본 인터페이스를 bond0 로 표시하는 예제 출력

   Starting pod/worker-1-debug ...
   To use host binaries, run `chroot /host`
   # ...
   sh-5.1# ip a | grep -A1 -E 'br-ex|bond0'
   2: bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000
       link/ether fa:16:3e:47:99:98 brd ff:ff:ff:ff:ff:ff
   --
   5: br-ex: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether fa:16:3e:47:99:98 brd ff:ff:ff:ff:ff:ff
       inet 10.xx.xx.xx/21 brd 10.xx.xx.255 scope global dynamic noprefixroute br-ex