31.6. 调优 UDP 连接

流程

1. 确定网络接口控制器(NIC)是否丢弃了数据包：

   1. 显示 NIC 和特定于驱动程序的统计信息：

      # ethtool -S enp1s0
      NIC statistics:
           ...
           rx_queue_0_drops: 17657
           ...

      统计的命名以及其是否可用取决于 NIC 和驱动程序。

   2. 显示接口统计信息：

      # ip -s link show enp1s0
      2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
          link/ether 52:54:00:74:79:56 brd ff:ff:ff:ff:ff:ff
          RX:   bytes  packets errors dropped  missed   mcast_
          84697611107 56866482      0   10904       0       0
          TX:   bytes  packets errors dropped carrier collsns_
           5540028184  3722234      0       0       0       0

      RX 代表接收的数据包和传输的数据包 TX 的统计信息。

2. 识别由于套接字缓冲太小，或者应用程序处理速度较慢导致的特定于 UDP 协议的数据包丢弃：

   # nstat -az UdpSndbufErrors UdpRcvbufErrors
   #kernel
   UdpSndbufErrors           4    0.0
   UdpRcvbufErrors    45716659    0.0

   输出中的第二列列出了计数。

流程

1. 可选：在服务器和客户端上显示网络接口控制器(NIC)的最大网络速度：

   # ethtool enp1s0 | grep "Speed"
      Speed: 10000Mb/s

2. 在服务器中：

   1. 显示最大 UDP 套接字读缓冲区大小，并记录值：

      # sysctl net.core.rmem_max
      net.core.rmem_max = 16777216

      显示的值以字节为单位。

   2. 在 firewalld 服务中临时打开默认的 iperf3 端口 5201 ：

      # firewall-cmd --add-port=5201/tcp --add-port=5201/udp
      # firewall-cmd --reload

      请注意，iperf3 只打开服务器上的一个 TCP 套接字。如果客户端希望使用 UDP，它首先连接到此 TCP 端口，然后服务器在同一端口号上打开一个 UDP 套接字，以执行 UDP 流量吞吐量测试。因此，您必须在本地防火墙中为 TCP 和 UDP 协议打开端口 5201。

   3. 在服务器模式下启动 iperf3 ：

      # iperf3 --server

      服务现在等待传入的客户端连接。

3. 在客户端中：

   1. 显示客户端用于连接服务器的接口的最大传输单元(MTU)，并记录值：

      # ip link show enp1s0
      2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
      ...

   2. 显示最大 UDP 套接字写缓冲区大小，并记录值：

      # sysctl net.core.wmem_max
      net.core.wmem_max = 16777216

      显示的值以字节为单位。

   3. 开始测量吞吐量：

      # iperf3 --udp --time 60 --window 16777216 --length 1472 --bitrate 2G --client 192.0.2.1

      • --udp ：使用 UDP 协议进行测试。
      • --time <seconds>：定义客户端停止传输时的时间（以秒为单位）。
      • --window <size> ：设置 UDP 套接字缓冲区大小。理想情况下，客户端和服务器上的大小相同。如果不同，则将此参数设置为：比客户端上的net.core.wmem_max或服务器上的 net.core.rmem_max 更小的值。
      • --length <size> ：设置要读和写的缓冲区的长度。将这个选项设置为最大的未碎片的有效负载。按如下所示计算理想的值：MTU - IP 标头(IPv4 为 20 字节，IPv6 为 40 字节) - 8 字节 UDP 标头。

      • --bitrate <rate> ：将比特率限制为指定的值，单位是比特每秒。您可以指定单位，如 2G 代表 2 Gbps。

        将此参数设置为您希望正常工作的值，并在稍后的测量中增加它。如果服务器以比传输路径上的设备更快的速度发送数据包，或者客户端可以处理它们，则数据包可以被丢弃。

      • --client <server> ：启用客户端模式并设置运行 iperf3 服务器的服务器的 IP 地址或名称。

4. 等待 iperf3 完成测试。服务器和客户端都显示每秒的统计信息，并在结尾显示总结。例如，以下是在客户端上显示的总结：

   [ ID] Interval       Transfer      Bitrate         Jitter    Lost/Total Datagrams
   [ 5] 0.00-60.00 sec  14.0 GBytes   2.00 Gbits/sec  0.000 ms  0/10190216 (0%) sender
   [ 5] 0.00-60.04 sec  14.0 GBytes   2.00 Gbits/sec  0.002 ms  0/10190216 (0%) receiver

   在这个示例中，平均比特率为 2 Gbps，没有丢失数据包。

5. 在服务器中：

   1. 按 Ctrl+C 停止 iperf3 服务器。

   2. 关闭 firewalld 中的端口 5201 ：

      # firewall-cmd --remove-port=5201/tcp --remove-port=5201/udp
      # firewall-cmd --reload

流程

1. 根据您的要求，创建 /etc/sysctl.d/10-udp-socket-buffers.conf 文件，并设置最大读或写缓冲区大小，或两个都设置：

   net.core.rmem_max = 16777216
   net.core.wmem_max = 16777216

   指定值（以字节为单位）。本例中的值将缓冲区的最大大小设置为 16 MiB。这两个参数的默认值都为 212992 字节(208 KiB)。

2. 从 /etc/sysctl.d/10-udp-socket-buffers.conf 文件中载入设置：

   # sysctl -p /etc/sysctl.d/10-udp-socket-buffers.conf

3. 将应用程序配置为使用更大的套接字缓冲大小。

   net.core.rmem_max 和 net.core.wmem_max 参数定义应用程序中 setsockopt() 函数可以请求的最大缓冲区大小。请注意，如果您将应用程序配置为不使用 setsockopt() 函数，则内核将使用 rmem_default 和 wmem_default 参数的值。

   详情请查看应用程序的编程语言的文档。如果您不是应用程序的开发人员，请联系开发人员。

4. 重启应用程序以使用新的 UDP 缓冲区大小。