第 34 章 调优网络性能

流程

1. 显示接口的数据包丢包统计信息：

   # ethtool -S enp1s0
       ...
       rx_queue_0_drops: 97326
       rx_queue_1_drops: 63783
       ...

   请注意，命令的输出取决于网卡和驱动程序。

   discard 或 drop 计数器中的高值表示可用缓冲区的填满速度快于内核可以处理数据包的速度。增加环缓冲有助于避免此类丢失。

2. 显示最大环缓冲大小：

   # ethtool -g enp1s0
    Ring parameters for enp1s0:
    Pre-set maximums:
    RX:             4096
    RX Mini:        0
    RX Jumbo:       16320
    TX:             4096
    Current hardware settings:
    RX:             255
    RX Mini:        0
    RX Jumbo:       0
    TX:             255

   如果 Pre-set maximums 部分中的值大于 Current hardware settings 部分的值，您可以在下一步中更改设置。

3. 确定使用接口的 NetworkManager 连接配置文件：

   # nmcli connection show
   NAME                UUID                                  TYPE      DEVICE
   Example-Connection  a5eb6490-cc20-3668-81f8-0314a27f3f75  ethernet  enp1s0

4. 更新连接配置文件，并增加环缓冲：

   • 要增加 RX 环缓冲区，请输入：

     # nmcli connection modify Example-Connection ethtool.ring-rx 4096

   • 要增加 TX 环缓冲区，请输入：

     # nmcli connection modify Example-Connection ethtool.ring-tx 4096

5. 重新载入 NetworkManager 连接：

   # nmcli connection up Example-Connection

   重要

   根据 NIC 使用的驱动程序，环缓冲中的更改可能会短暂中断网络连接。

流程

1. 确定是否需要调整积压队列，显示 /proc/net/softnet_stat 文件中的计数器：

   # awk '{for (i=1; i<=NF; i++) printf strtonum("0x" $i) (i==NF?"\n":" ")}' /proc/net/softnet_stat | column -t
   221951548  0      0  0  0  0  0  0  0  0  0  0  0
   192058677  18862  0  0  0  0  0  0  0  0  0  0  1
   455324886  0      0  0  0  0  0  0  0  0  0  0  2
   ...

   此 awk 命令将 /proc/net/softnet_stat 中的值从十六进制转换为十进制格式，并以表格式显示它们。每行代表核 0 开始的 CPU 核。

   相关的列有：

   • 第一列：收到的总帧数
   • 第二列：由于积压队列满了而丢弃的帧数
   • 最后一列：CPU 核数

2. 如果 /proc/net/softnet_stat 文件的第二列中的值随着时间而递增，请增加积压队列的大小：

   1. 显示当前积压队列大小：

      # sysctl net.core.netdev_max_backlog
      net.core.netdev_max_backlog = 1000

   2. 使用以下内容创建 /etc/sysctl.d/10-netdev_max_backlog.conf 文件：

      net.core.netdev_max_backlog = 2000

      将 net.core.netdev_max_backlog 参数设置为当前值的两倍。

   3. 从 /etc/sysctl.d/10-netdev_max_backlog.conf 文件中载入设置：

      # sysctl -p /etc/sysctl.d/10-netdev_max_backlog.conf

流程

1. 显示当前传输队列长度：

   # ip -s link show enp1s0
   2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
   ...

   在本例中，enp1s0 接口的传输队列长度(qlen)是 1000。

2. 监控网络接口的软件传输队列丢弃的数据包计数：

   # tc -s qdisc show dev enp1s0
   qdisc fq_codel 0: root refcnt 2 limit 10240p flows 1024 quantum 1514 target 5ms interval 100ms memory_limit 32Mb ecn drop_batch 64
    Sent 16889923 bytes 426862765 pkt (dropped 191980, overlimits 0 requeues 2)
   ...

3. 如果您遇到较高或不断增加的传输错误计数，请设置更高的传输队列长度：

   1. 识别使用此接口的 NetworkManager 连接配置文件：

      # nmcli connection show
      NAME                UUID                                  TYPE      DEVICE
      Example-Connection  a5eb6490-cc20-3668-81f8-0314a27f3f75  ethernet  enp1s0

   2. 使用以下内容创建 /etc/NetworkManager/dispatcher.d/99-set-tx-queue-length-up NetworkManager 分配程序脚本：

      #!/bin/bash
      # Set TX queue length on enp1s0 to 2000
      
      if [ "$1" == "enp1s0" ] && [ "$2" == "up" ] ; then
          ip link set dev enp1s0 txqueuelen 2000
      fi

   3. 在 /etc/NetworkManager/dispatcher.d/99-set-tx-queue-length-up 文件上设置可执行位：

      # chmod +x /etc/NetworkManager/dispatcher.d/99-set-tx-queue-length-up

   4. 应用更改：

      # nmcli connection up Example-Connection

验证

1. 显示传输队列长度：

   # ip -s link show enp1s0
   2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 2000
   ...

2. 监控丢弃的数据包计数：

   # tc -s qdisc show dev enp1s0

   如果 丢弃 的计数还在增加，请再次加倍传输队列长度。重复此过程，直到计数不再增加。