34.5. 为高吞吐量调优 TCP 连接

流程

1. 可选：显示服务器和客户端上网络接口控制器(NIC)的最大网络速度：

   # ethtool enp1s0 | grep "Speed"
      Speed: 100000Mb/s

2. 在服务器中：

   1. 临时在 firewalld 服务中打开默认的 iperf3 TCP 端口 5201 ：

      # firewall-cmd --add-port=5201/tcp
      # firewall-cmd --reload

   2. 在服务器模式下启动 iperf3 ：

      # iperf3 --server

      服务现在等待传入的客户端连接。

3. 在客户端中：

   1. 开始测量吞吐量：

      # iperf3 --time 60 --zerocopy --client 192.0.2.1

      • --time <seconds> ：定义客户端停止传输时的时间（以秒为单位）。

        将此参数设置为您希望工作的值，并在稍后的测量中增加它。如果服务器发送数据包的速度比传输路径上的设备或者客户端可以处理的速度快，则数据包可能被丢弃。

      • --zerocopy ：启用零复制方法，而不是使用 write（） 系统调用。只有在您要模拟可零复制的应用程序或在单个流上达到 40 Gbps 及更多时，才需要这个选项。
      • --client <server>：启用客户端模式，并设置运行 iperf3 服务器的服务器的 IP 地址或名称。

4. 等待 iperf3 完成测试。服务器和客户端都显示每秒的统计信息，并在结尾显示总结。例如，以下是客户端上显示的总结：

   [ ID] Interval         Transfer    Bitrate         Retr
   [  5] 0.00-60.00  sec  101 GBytes   14.4 Gbits/sec   0   sender
   [  5] 0.00-60.04  sec  101 GBytes   14.4 Gbits/sec       receiver

   在这个示例中，平均比特率为 14.4 Gbps。

5. 在服务器中：

   1. 按 Ctrl+C 停止 iperf3 服务器。

   2. 关闭 firewalld 中的 TCP 端口 5201：

      # firewall-cmd --remove-port=5201/tcp
      # firewall-cmd --reload

流程

1. 确定连接的延迟。例如，从客户端 ping 服务器来测量平均 Round Trip Time (RTT)：

   # ping -c 10 server.example.com
   ...
   --- server.example.com ping statistics ---
   10 packets transmitted, 10 received, 0% packet loss, time 9014ms
   rtt min/avg/max/mdev = 117.208/117.056/119.333/0.616 ms

   在本例中，延迟为 117 ms。

2. 使用以下公式为您要调优的流量计算 Bandwidth Delay Product(BDP)：

   connection speed in bytes * latency in ms = BDP in bytes

   例如，要计算具有 117 ms 延迟的 10 Gbps 连接的 BDP：

   (10 * 1000 * 1000 * 1000 / 8) * 117 = 10683760 bytes

3. 根据您的要求，创建 /etc/sysctl.d/10-tcp-socket-buffers.conf 文件，并设置最大读或写缓冲区大小，或者两者：

   net.ipv4.tcp_rmem = 4096 262144 21367520
   net.ipv4.tcp_wmem = 4096 24576 21367520

   指定以字节为单位的值。当您尝试识别为您的环境优化的值时，请使用以下经验法则：

   • 默认缓冲区大小（第二个值）：仅稍微增加此值或将其最多设为 524288 (512 KiB)。太高的默认缓冲区大小可能会导致缓冲区崩溃，因此延迟激增。
   • 最大缓冲区大小（第三个值）：两到三倍 BDP 的值通常就足够了。

4. 从 /etc/sysctl.d/10-tcp-socket-buffers.conf 文件载入设置：

   # sysctl -p /etc/sysctl.d/10-tcp-socket-buffers.conf

5. 配置应用程序以使用更大的套接字缓冲区大小。net.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem 参数中的第三个值定义应用程序中 setsockopt（） 函数可以请求的最大缓冲区大小。

   详情请查看应用程序的编程语言的文档。如果您不是应用的开发人员，请联系开发人员。

6. 如果您已更改了 net.ipv4.tcp_rmem 或 net.ipv4.tcp_wmem 参数中的第二个值，请重启应用程序以使用新的 TCP 缓冲区大小。

   如果您只更改了第三个值，则不需要重启应用程序，因为自动调优会动态应用这些设置。

验证

1. 可选：使用 iperf3 测试 TCP 吞吐量。

2. 使用与您遇到数据包丢弃时相同的方法来监控数据包丢弃统计信息。

   如果数据包丢弃仍然发生，但比率较低，请进一步增加缓冲区大小。