8.9. OVS TC-flower 하드웨어 오프로드 문제 해결

절차

1. 배포하는 동안 호스트 네트워크 구성 툴 os-net-config 를 사용하여 hw-tc-offload 를 활성화합니다.
2. 컴퓨팅 노드를 재부팅할 때마다 sriov_config 서비스에서 hw-tc-offload 를 활성화합니다.

3. 본딩에 연결된 NIC의 hw-tc-offload 매개변수를 on 으로 설정합니다.

   예제

   $ ethtool -k ens1f0 | grep tc-offload
   
   hw-tc-offload: on

   Copy to Clipboard Toggle word wrap

절차

1. HW 오프로드에 사용하는 인터페이스에 대해 eswitch 모드를 switchdev 로 설정합니다.
2. 호스트 네트워크 구성 툴 os-net-config 를 사용하여 배포 중에 eswitch 를 활성화합니다.

3. 컴퓨팅 노드를 재부팅할 때마다 sriov_config 서비스에서 eswitch 를 활성화합니다.

   예제

   $ devlink dev eswitch show pci/$(ethtool -i ens1f0 | grep bus-info \
   | cut -d ':' -f 2,3,4 | awk '{$1=$1};1')

   Copy to Clipboard Toggle word wrap

절차

1. Broadcom 칩 테이블 콘텐츠를 가져오려면 bcmcmd 명령을 사용합니다.

   $ cl-bcmcmd l2 show

   Copy to Clipboard Toggle word wrap

   샘플 출력

   mac=00:02:00:00:00:08 vlan=2000 GPORT=0x2 modid=0 port=2/xe1
   mac=00:02:00:00:00:09 vlan=2000 GPORT=0x2 modid=0 port=2/xe1 Hit

   Copy to Clipboard Toggle word wrap

2. TC(트래픽 제어) 계층을 검사합니다.

   $ tc -s filter show dev p5p1_1 ingress

   Copy to Clipboard Toggle word wrap

   샘플 출력

   …
   filter block 94 protocol ip pref 3 flower chain 5
   filter block 94 protocol ip pref 3 flower chain 5 handle 0x2
     eth_type ipv4
     src_ip 172.0.0.1
     ip_flags nofrag
     in_hw in_hw_count 1
           action order 1: mirred (Egress Redirect to device eth4) stolen
           index 3 ref 1 bind 1 installed 364 sec used 0 sec
           Action statistics:
           Sent 253991716224 bytes 169534118 pkt (dropped 0, overlimits 0 requeues 0)
           Sent software 43711874200 bytes 30161170 pkt
           Sent hardware 210279842024 bytes 139372948 pkt
           backlog 0b 0p requeues 0
           cookie 8beddad9a0430f0457e7e78db6e0af48
           no_percpu

   Copy to Clipboard Toggle word wrap

3. 이 출력에서 in_hw 플래그 및 통계를 검사합니다. 하드웨어라는 용어는 하드웨어 가 네트워크 트래픽을 처리함을 나타냅니다. tc-policy=none 을 사용하는 경우 이 출력 또는 tcpdump를 확인하여 하드웨어 또는 소프트웨어가 패킷을 처리할 때 조사할 수 있습니다. 드라이버가 패킷을 오프로드할 수 없는 경우 dmesg 또는 ovs-vswitch.log 에서 해당 로그 메시지를 볼 수 있습니다.

4. 예: Mellanox의 경우 로그 항목은 dmesg 의 syndrome 메시지와 유사합니다.

   샘플 출력

   [13232.860484] mlx5_core 0000:3b:00.0: mlx5_cmd_check:756:(pid 131368): SET_FLOW_TABLE_ENTRY(0x936) op_mod(0x0) failed, status bad parameter(0x3), syndrome (0x6b1266)

   Copy to Clipboard Toggle word wrap

   이 예에서 오류 코드 (0x6b1266)는 다음 동작을 나타냅니다.

   샘플 출력

   0x6B1266 |  set_flow_table_entry: pop vlan and forward to uplink is not allowed

   Copy to Clipboard Toggle word wrap

절차

1. 시스템에서 SR-IOV 및 VT-d가 활성화되어 있는지 확인합니다.
2. GRUB을 사용하여 커널 매개 변수에 intel_iommu=on 을 추가하여 Linux에서 IOMMU를 활성화합니다.