9.2. TX 큐 잠금 경합 방지: 패킷 이동

프로세스

1. 사용 가능한 대기열 수를 표시합니다.

   # ethtool -l enp1s0
   Channel parameters for enp1s0:
   Pre-set maximums:
   RX:		0
   TX:		0
   Other:		0
   Combined:	4
   Current hardware settings:
   RX:		0
   TX:		0
   Other:		0
   Combined:	1

   사전 설정 최대값 섹션에서는 총 대기열 수와 현재 하드웨어 설정을 수신, 전송, 기타 또는 결합된 큐에 현재 할당한 대기열 수를 보여줍니다.

2. 선택 사항: 특정 채널에 대기열이 필요한 경우 그에 따라 큐를 할당합니다. 예를 들어, 4개의 대기열을 Combined 채널에 할당하려면 다음을 입력합니다.

   # ethtool -L enp1s0 combined 4

3. NIC가 할당되는 NUMA(Non-Uniform Memory Access) 노드를 표시합니다.

   # cat /sys/class/net/enp1s0/device/numa_node
   0

   파일이 없거나 명령이 -1 을 반환하면 호스트는 NUMA 시스템이 아닙니다.

4. 호스트가 NUMA 시스템인 경우 어떤 NUMA 노드에 할당되는 CPU를 표시합니다.

   # lscpu | grep NUMA
   NUMA node(s):       2
   NUMA node0 CPU(s):  0-3
   NUMA node1 CPU(s):  4-7

5. 이 예에서 NIC에는 4개의 큐가 있으며 NIC는 NUMA 노드 0에 할당됩니다. 이 노드는 CPU 코어 0-3을 사용합니다. 결과적으로 각 전송 대기열을 0-3의 CPU 코어 중 하나에 매핑합니다.

   # echo 1 > /sys/class/net/enp1s0/queues/tx-0/xps_cpus
   # echo 2 > /sys/class/net/enp1s0/queues/tx-1/xps_cpus
   # echo 4 > /sys/class/net/enp1s0/queues/tx-2/xps_cpus
   # echo 8 > /sys/class/net/enp1s0/queues/tx-3/xps_cpus

   CPU 코어 및 전송(TX) 대기열의 수가 동일한 경우 1~1 매핑을 사용하여 TX 대기열의 모든 종류의 경합을 방지합니다. 그렇지 않으면 동일한 TX 큐에 여러 CPU를 매핑하는 경우 다른 CPU에서 작업을 전송하면 TX 대기열 잠금 경합이 발생하고 전송 처리량에 부정적인 영향을 미칩니다.

   CPU의 코어 번호를 포함하는 비트맵을 큐에 전달해야 합니다. 다음 명령을 사용하여 비트맵을 계산합니다.

   # printf %x $((1 << <core_number> ))

검증

1. 트래픽을 전송하는 서비스의 프로세스 ID(PID)를 식별합니다.

   # pidof <process_name>
   12345 98765

2. XPS를 사용하는 코어에 PID를 고정합니다.

   # numactl -C 0-3 12345 98765

3. 프로세스에서 트래픽을 보내는 동안 requeues 카운터를 모니터링합니다.

   # tc -s qdisc
   qdisc fq_codel 0: dev enp10s0u1 root refcnt 2 limit 10240p flows 1024 quantum 1514 target 5ms interval 100ms memory_limit 32Mb ecn drop_batch 64
    Sent 125728849 bytes 1067587 pkt (dropped 0, overlimits 0 requeues 30)
    backlog 0b 0p requeues 30
    ...

   큐 카운터가 더 이상 상당한 속도로 증가하지 않으면 TX 큐 잠금 경합이 더 이상 발생하지 않습니다.