34.6. 调优 UDP 连接

流程

1. 确定网络接口控制器(NIC)是否丢弃了数据包：

   1. 显示 NIC 和特定于驱动程序的统计信息：

      # ethtool -S enp1s0
      NIC statistics:
           ...
           rx_queue_0_drops: 17657
           ...

      统计的命名，以及其是否可根据 NIC 和驱动程序可用。

   2. 显示接口统计信息：

      # ip -s link show enp1s0
      2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
          link/ether 52:54:00:74:79:56 brd ff:ff:ff:ff:ff:ff
          RX:   bytes  packets errors dropped  missed   mcast_
          84697611107 56866482      0   10904       0       0
          TX:   bytes  packets errors dropped carrier collsns_
           5540028184  3722234      0       0       0       0

      RX 代表接收的数据包的统计信息，TX 代表传输的数据包的统计信息。

2. 识别特定于 UDP 协议的数据包丢弃，因为套接字缓冲区太小，或者应用程序处理速度太慢：

   # nstat -az UdpSndbufErrors UdpRcvbufErrors
   #kernel
   UdpSndbufErrors           4    0.0
   UdpRcvbufErrors    45716659    0.0

   输出中的第二列列出了计数。

流程

1. 可选：显示服务器和客户端上网络接口控制器(NIC)的最大网络速度：

   # ethtool enp1s0 | grep "Speed"
      Speed: 10000Mb/s

2. 在服务器中：

   1. 显示最大 UDP 套接字读缓冲区大小，并记录此值：

      # sysctl net.core.rmem_max
      net.core.rmem_max = 16777216

      显示的值以字节为单位。

   2. 在 firewalld 服务中临时打开默认的 iperf3 端口 5201 ：

      # firewall-cmd --add-port=5201/tcp --add-port=5201/udp
      # firewall-cmd --reload

      请注意，iperf3 只在服务器上打开一个 TCP 套接字。如果客户端希望使用 UDP，它首先连接到此 TCP 端口，然后服务器会在同一端口号上打开一个 UDP 套接字，以执行 UDP 流量吞吐量测试。因此，您必须在本地防火墙中为 TCP 和 UDP 协议打开端口 5201。

   3. 在服务器模式下启动 iperf3 ：

      # iperf3 --server

      服务现在等待传入的客户端连接。

3. 在客户端中：

   1. 显示客户端将用来连接到服务器的接口的最大传输单元(MTU)，并记录此值：

      # ip link show enp1s0
      2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
      ...

   2. 显示最大 UDP 套接字写缓冲区大小，并记录此值：

      # sysctl net.core.wmem_max
      net.core.wmem_max = 16777216

      显示的值以字节为单位。

   3. 开始测量吞吐量：

      # iperf3 --udp --time 60 --window 16777216 --length 1472 --bitrate 2G --client 192.0.2.1

      • --udp ：使用 UDP 协议进行测试。
      • --time <seconds> ：定义客户端停止传输时的时间（以秒为单位）。
      • --window <size> ：设置 UDP 套接字缓冲区大小。理想情况下，客户端和服务器上的大小都一样。如果不一样，则将此参数设置为较小的值：客户端上的 net.core.wmem_max 或服务器上的 net.core.rmem_max。
      • --length <size> ：设置要读和写的缓冲区的长度。将这个选项设置为最大未碎片的有效负载。按如下所示计算理想的值：MTU - IP 标头(20 字节用于 IPv4 ，40 字节用于 IPv6) - 8 字节 UDP 标头。

      • --bitrate <rate> ：将比特率限制为指定的值，单位是比特每秒。您可以指定单位，如 2G 代表 2 Gbps。

        将此参数设置为您希望工作的值，并在稍后的测量中增加它。如果服务器发送数据包的速度比传输路径上的设备或者客户端能够处理它们的速度快，则可以丢弃数据包。

      • --client <server>：启用客户端模式，并设置运行 iperf3 服务器的服务器的 IP 地址或名称。

4. 等待 iperf3 完成测试。服务器和客户端都显示每秒的统计信息，并在结尾显示总结。例如，以下是客户端上显示的总结：

   [ ID] Interval       Transfer      Bitrate         Jitter    Lost/Total Datagrams
   [ 5] 0.00-60.00 sec  14.0 GBytes   2.00 Gbits/sec  0.000 ms  0/10190216 (0%) sender
   [ 5] 0.00-60.04 sec  14.0 GBytes   2.00 Gbits/sec  0.002 ms  0/10190216 (0%) receiver

   在这个示例中，平均波特率为 2 Gbps，没有数据包丢失。

5. 在服务器中：

   1. 按 Ctrl+C 停止 iperf3 服务器。

   2. 关闭 firewalld 中的端口 5201 ：

      # firewall-cmd --remove-port=5201/tcp --remove-port=5201/udp
      # firewall-cmd --reload

流程

1. 创建 /etc/sysctl.d/10-udp-socket-buffers.conf 文件，并根据您的要求设置最大读或写缓冲区大小，或者两者：

   net.core.rmem_max = 16777216
   net.core.wmem_max = 16777216

   指定以字节为单位的值。本例中的值将缓冲区的最大大小设置为 16 MiB。这两个参数的默认值都为 212992 字节(208 KiB)。

2. 从 /etc/sysctl.d/10-udp-socket-buffers.conf 文件中载入设置：

   # sysctl -p /etc/sysctl.d/10-udp-socket-buffers.conf

3. 将应用程序配置为使用大型套接字缓冲大小。

   net.core.rmem_max 和 net.core.wmem_max 参数定义应用程序中 setsockopt() 函数可以请求的最大缓冲区大小。请注意，如果您将应用程序配置为不使用 setsockopt() 函数，则内核使用 rmem_default 和 wmem_default 参数的值。

   详情请查看应用程序的编程语言的文档。如果您不是应用的开发人员，请联系开发人员。

4. 重启应用程序以使用新的 UDP 缓冲区大小。