32.9. リッスンキューのロック競合の回避

1. rhel-9-for-x86_64-baseos-debug-rpms リポジトリーを有効にします。

   # subscription-manager repos --enable rhel-9-for-x86_64-baseos-debug-rpms

   Copy to Clipboard Toggle word wrap

2. kernel-debuginfo-common-x86_64 パッケージをインストールします。

   # dnf install kernel-debuginfo-common-x86_64

   Copy to Clipboard Toggle word wrap
3. コード例は /usr/src/debug/kernel-<version>/linux-<version>/tools/testing/selftests/net/reuseport_bpf_cpu.c ファイルで利用できるようになりました。

手順

1. 使用可能なキューの数を表示します。

   # ethtool -l enp1s0
   Channel parameters for enp1s0:
   Pre-set maximums:
   RX:		0
   TX:		0
   Other:		0
   Combined:	4
   Current hardware settings:
   RX:		0
   TX:		0
   Other:		0
   Combined:	1

   Copy to Clipboard Toggle word wrap

   Pre-set maximums セクションにはキューの総数が表示され、Current hardware settings には受信キュー、送信キュー、その他のキュー、または結合されたキューに現在割り当てられているキューの数が表示されます。

2. オプション: 特定のチャネルにキューが必要な場合は、それに応じてキューを割り当てます。たとえば、4 つのキューを Combined チャネルに割り当てるには、次のように入力します。

   # ethtool -L enp1s0 combined 4

   Copy to Clipboard Toggle word wrap

3. NIC がどの Non-Uniform Memory Access (NUMA) ノードに割り当てられているかを表示します。

   # cat /sys/class/net/enp1s0/device/numa_node
   0

   Copy to Clipboard Toggle word wrap

   ファイルが見つからない場合、またはコマンドが -1 を返す場合は、ホストは NUMA システムではありません。

4. ホストが NUMA システムの場合は、どの CPU がどの NUMA ノードに割り当てられているかを表示します。

   # lscpu | grep NUMA
   NUMA node(s):       2
   NUMA node0 CPU(s):  0-3
   NUMA node1 CPU(s):  4-7

   Copy to Clipboard Toggle word wrap

5. 上の例では、NIC には 4 つのキューがあり、NIC は NUMA ノード 0 に割り当てられています。このノードは CPU コア 0 - 3 を使用します。したがって、各送信キューを 0 - 3 の CPU コアの 1 つにマッピングします。

   # echo 1 > /sys/class/net/enp1s0/queues/tx-0/xps_cpus
   # echo 2 > /sys/class/net/enp1s0/queues/tx-1/xps_cpus
   # echo 4 > /sys/class/net/enp1s0/queues/tx-2/xps_cpus
   # echo 8 > /sys/class/net/enp1s0/queues/tx-3/xps_cpus

   Copy to Clipboard Toggle word wrap

   CPU コアと送信 (TX) キューの数が同じ場合は、TX キューで何らかの競合が発生するのを避けるために、1 対 1 マッピングを使用してください。複数の CPU を同じ TX キューにマップすると、各 CPU の送信操作によって TX キューのロック競合が発生し、送信スループットに悪影響が発生します。

   CPU のコア番号を含むビットマップをキューに渡す必要があることに注意してください。次のコマンドを使用してビットマップを計算します。

   # printf %x $((1 << <core_number> ))

   Copy to Clipboard Toggle word wrap

検証

1. トラフィックを送信するサービスのプロセス ID (PID) を特定します。

   # pidof <process_name>
   12345 98765

   Copy to Clipboard Toggle word wrap

2. XPS を使用するコアに PID を固定します。

   # numactl -C 0-3 12345 98765

   Copy to Clipboard Toggle word wrap

3. プロセスがトラフィックを送信している間、requeues カウンターを監視します。

   # tc -s qdisc
   qdisc fq_codel 0: dev enp10s0u1 root refcnt 2 limit 10240p flows 1024 quantum 1514 target 5ms interval 100ms memory_limit 32Mb ecn drop_batch 64
    Sent 125728849 bytes 1067587 pkt (dropped 0, overlimits 0 requeues 30)
    backlog 0b 0p requeues 30
    ...

   Copy to Clipboard Toggle word wrap

   requeues カウンターが大幅な速度で増加しなくなると、TX キューロックの競合は発生しなくなります。

手順

1. オプション: NetworkManager 接続プロファイルを表示します。

   # nmcli connection show
   NAME     UUID                                  TYPE      DEVICE
   example  f2f33f29-bb5c-3a07-9069-be72eaec3ecf  ethernet  enp1s0

   Copy to Clipboard Toggle word wrap

2. 接続プロファイルで GRO サポートを無効にします。

   # nmcli connection modify example ethtool.feature-gro off

   Copy to Clipboard Toggle word wrap

3. 接続プロファイルを再度アクティベートします。

   # nmcli connection up example

   Copy to Clipboard Toggle word wrap

検証

1. GRO が無効になっていることを確認します。

   # ethtool -k enp1s0 | grep generic-receive-offload
   generic-receive-offload: off

   Copy to Clipboard Toggle word wrap
2. サーバー上のスループットを監視します。この設定がホスト上の他のアプリケーションにマイナスの影響を与える場合は、NetworkManager プロファイルで GRO を再度有効にします。