31.5. 为高吞吐量调整 TCP 连接

流程

1. 可选：在服务器和客户端上显示网络接口控制器(NIC)的最大网络速度：

   # ethtool enp1s0 | grep "Speed"
      Speed: 100000Mb/s

2. 在服务器中：

   1. 在 firewalld 服务中临时打开默认的 iperf3 TCP 端口 5201 ：

      # firewall-cmd --add-port=5201/tcp
      # firewall-cmd --reload

   2. 在服务器模式下启动 iperf3 ：

      # iperf3 --server

      服务现在正在等待传入的客户端连接。

3. 在客户端中：

   1. 开始测量吞吐量：

      # iperf3 --time 60 --zerocopy --client 192.0.2.1

      • --time <seconds>：定义客户端停止传输时的时间（以秒为单位）。

        将此参数设置为您希望正常工作的值，并在稍后的测量中增加它。如果服务器以比传输路径上的设备更快的速度发送数据包，或者客户端可以处理，则可以丢弃数据包。

      • --zerocopy ：启用零复制方法，而不使用 write（） 系统调用。只有在您想模拟具有零复制的应用程序或在单一流上达到 40 Gbps 和更高时，才需要这个选项。
      • --client <server> ：启用客户端模式并设置运行 iperf3 服务器的服务器的 IP 地址或名称。

4. 等待 iperf3 完成测试。服务器和客户端都显示每秒的统计信息，并在结尾显示总结。例如，以下是在客户端上显示的总结：

   [ ID] Interval         Transfer    Bitrate         Retr
   [  5] 0.00-60.00  sec  101 GBytes   14.4 Gbits/sec   0   sender
   [  5] 0.00-60.04  sec  101 GBytes   14.4 Gbits/sec       receiver

   在这个示例中，平均比特率为 14.4 Gbps。

5. 在服务器中：

   1. 按 Ctrl+C 停止 iperf3 服务器。

   2. 关闭 firewalld 中的 TCP 端口 5201：

      # firewall-cmd --remove-port=5201/tcp
      # firewall-cmd --reload

流程

1. 确定连接的延迟。例如，从客户端 ping 服务器以测量平均 Round Trip Time (RTT)：

   # ping -c 10 server.example.com
   ...
   --- server.example.com ping statistics ---
   10 packets transmitted, 10 received, 0% packet loss, time 9014ms
   rtt min/avg/max/mdev = 117.208/117.056/119.333/0.616 ms

   在本例中，延迟为 117 ms。

2. 使用以下公式为您要调整的流量计算 Bandwidth Delay 产品(BDP)：

   connection speed in bytes * latency in ms = BDP in bytes

   例如，要计算有 117 ms 延迟的 10 Gbps 连接的 BDP：

   (10 * 1000 * 1000 * 1000 / 8) * 117 = 10683760 bytes

3. 根据您的要求，创建 /etc/sysctl.d/10-tcp-socket-buffers.conf 文件，并设置最大取或写缓冲区大小：

   net.ipv4.tcp_rmem = 4096 262144 21367520
   net.ipv4.tcp_wmem = 4096 24576 21367520

   指定值（以字节为单位）。当您尝试识别您环境的优化值时，请使用以下经验法则：

   • 默认缓冲区大小（第二个值）：仅稍微增加这个值或将其最多设为 524288 (512 KiB)。太高的默认缓冲区大小可能会导致缓冲区崩溃，从而导致延迟激增。
   • 最大缓冲区大小（第三个值）：通常 BDP 的两倍到三倍的值就足够了。

4. 从 /etc/sysctl.d/10-tcp-socket-buffers.conf 文件中载入设置：

   # sysctl -p /etc/sysctl.d/10-tcp-socket-buffers.conf

5. 将应用程序配置为使用更大的套接字缓冲区大小。net.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem 参数中的第三个值定义应用程序中 setsockopt （） 函数可以请求的最大缓冲区大小。

   详情请查看应用程序的编程语言的文档。如果您不是应用程序的开发人员，请联系开发人员。

6. 如果您更改了 net.ipv4.tcp_rmem 或 net.ipv4.tcp_wmem 参数中的第二个值，请重新启动应用程序以使用新的 TCP 缓冲区大小。

   如果您只更改了第三个值，则不需要重启应用程序，因为自动调整会动态应用这些设置。

验证

1. 可选：使用 iperf3 测试 TCP 吞吐量。

2. 使用您遇到数据包丢弃时使用的同样方法来监控数据包丢弃统计信息。

   如果数据包仍然以较低的速率发生，请进一步增加缓冲区大小。