34.9. 避免侦听队列锁争用

1. 启用 rhel-8-for-x86_64-baseos-debug-rpms 存储库：

   # subscription-manager repos --enable rhel-8-for-x86_64-baseos-debug-rpms

   Copy to Clipboard Toggle word wrap

2. 安装 kernel-debuginfo-common-x86_64 软件包：

   # yum install kernel-debuginfo-common-x86_64

   Copy to Clipboard Toggle word wrap
3. 代码示例现在在 /usr/src/debug/kernel-<version>/linux-<version>/tools/testing/selftests/net/reuseport_bpf_cpu.c 文件中。

流程

1. 显示可用队列的数量：

   # ethtool -l enp1s0
   Channel parameters for enp1s0:
   Pre-set maximums:
   RX:		0
   TX:		0
   Other:		0
   Combined:	4
   Current hardware settings:
   RX:		0
   TX:		0
   Other:		0
   Combined:	1

   Copy to Clipboard Toggle word wrap

   Pre-set maximums 部分显示队列的总数，Current hardware settings 显示当前分配给接收、传输、其他或组合队列的队列数。

2. 可选：如果您需要特定通道上的队列，请相应地分配它们。例如，要将 4 个队列分配给 Combined 通道，请输入：

   # ethtool -L enp1s0 combined 4

   Copy to Clipboard Toggle word wrap

3. 显示 NIC 被分配给了哪个 Non-Uniform Memory Access (NUMA)节点：

   # cat /sys/class/net/enp1s0/device/numa_node
   0

   Copy to Clipboard Toggle word wrap

   如果文件未找到，或者命令返回 -1， 则主机不是 NUMA 系统。

4. 如果主机是 NUMA 系统，显示哪些 CPU 被分配给了哪个 NUMA 节点：

   # lscpu | grep NUMA
   NUMA node(s):       2
   NUMA node0 CPU(s):  0-3
   NUMA node1 CPU(s):  4-7

   Copy to Clipboard Toggle word wrap

5. 在上例中，NIC 有 4 个队列，NIC 被分配给 NUMA 节点 0。此节点使用 CPU 核 0-3。因此，将每个传输队列映射到 CPU 核 0-3 中的一个：

   # echo 1 > /sys/class/net/enp1s0/queues/tx-0/xps_cpus
   # echo 2 > /sys/class/net/enp1s0/queues/tx-1/xps_cpus
   # echo 4 > /sys/class/net/enp1s0/queues/tx-2/xps_cpus
   # echo 8 > /sys/class/net/enp1s0/queues/tx-3/xps_cpus

   Copy to Clipboard Toggle word wrap

   如果 CPU 核数和传输(TX)队列相同，请使用 1 对 1 映射，以避免 TX 队列上的任何类型的争用。否则，如果您在同一 TX 队列上映射多个 CPU，则不同 CPU 上的传输操作将导致 TX 队列锁竞争，并对传输吞吐量造成负面影响。

   请注意，您必须将包含 CPU 核号的位图传给队列。使用以下命令计算位图：

   # printf %x $((1 << <core_number> ))

   Copy to Clipboard Toggle word wrap

验证

1. 识别发送流量的服务的进程 ID (PID)：

   # pidof <process_name>
   12345 98765

   Copy to Clipboard Toggle word wrap

2. 将 PID 固定到使用 XPS 的核：

   # numactl -C 0-3 12345 98765

   Copy to Clipboard Toggle word wrap

3. 在进程发送流量时监控 requeues 计数器：

   # tc -s qdisc
   qdisc fq_codel 0: dev enp10s0u1 root refcnt 2 limit 10240p flows 1024 quantum 1514 target 5ms interval 100ms memory_limit 32Mb ecn drop_batch 64
    Sent 125728849 bytes 1067587 pkt (dropped 0, overlimits 0 requeues 30)
    backlog 0b 0p requeues 30
    ...

   Copy to Clipboard Toggle word wrap

   如果 requeues 计数器不再以显著速率增加，则 TX 队列锁争用不再发生。

流程

1. 可选：显示 NetworkManager 连接配置文件：

   # nmcli connection show
   NAME     UUID                                  TYPE      DEVICE
   example  f2f33f29-bb5c-3a07-9069-be72eaec3ecf  ethernet  enp1s0

   Copy to Clipboard Toggle word wrap

2. 在连接配置文件中禁用 GRO 支持：

   # nmcli connection modify example ethtool.feature-gro off

   Copy to Clipboard Toggle word wrap

3. 重新激活连接配置文件：

   # nmcli connection up example

   Copy to Clipboard Toggle word wrap

验证

1. 验证 GRO 是否已禁用：

   # ethtool -k enp1s0 | grep generic-receive-offload
   generic-receive-offload: off

   Copy to Clipboard Toggle word wrap
2. 监控服务器上的吞吐量。如果设置对主机上的其他应用程序有负面影响，请在 NetworkManager 配置文件中重新启用 GRO。