34.5. 高スループットのための TCP 接続のチューニング

手順

1. オプション: サーバーとクライアントの両方のネットワークインターフェイスコントローラー (NIC) の最大ネットワーク速度を表示します。

   # ethtool enp1s0 | grep "Speed"
      Speed: 100000Mb/s

2. サーバー上では以下の設定になります。

   1. firewalld サービスでデフォルトの iperf3 TCP ポート 5201 を一時的に開きます。

      # firewall-cmd --add-port=5201/tcp

   2. iperf3 をサーバーモードで起動します。

      # iperf3 --server

      サービスは現在、受信クライアント接続を待機しています。

3. クライアントで以下を実行します。

   1. スループットの測定を開始します。

      # iperf3 --time 60 --zerocopy --client 192.0.2.1

      • --time <seconds>: クライアントが送信を停止する時間を秒単位で定義します。

        このパラメーターを機能すると予想される値に設定し、後の測定で値を増やします。クライアントが送信パス上のデバイスまたはサーバーが処理できる速度よりも速い速度でパケットを送信すると、パケットがドロップされる可能性があります。

      • --zerocopy: write() システムコールを使用する代わりに、ゼロコピーメソッドを有効にします。このオプションは、ゼロコピー対応アプリケーションをシミュレートする場合、または単一ストリームで 40 Gbps 以上に達する場合にのみ必要です。
      • --client <server>: クライアントモードを有効にし、iperf3 サーバーを実行するサーバーの IP アドレスまたは名前を設定します。

4. iperf3 がテストを完了するまで待ちます。サーバーとクライアントの両方で統計が毎秒表示され、最後に概要が表示されます。たとえば、以下はクライアントに表示される概要です。

   [ ID] Interval         Transfer    Bitrate         Retr
   [  5] 0.00-60.00  sec  101 GBytes   14.4 Gbits/sec   0   sender
   [  5] 0.00-60.04  sec  101 GBytes   14.4 Gbits/sec       receiver

   この例では、平均ビットレートは 14.4 Gbps でした。

5. サーバー上では以下の設定になります。

   1. Ctrl+C を押して iperf3 サーバーを停止します。

   2. firewalld で TCP ポート 5201 を閉じます。

      # firewall-cmd --remove-port=5201/tcp

手順

1. 接続の遅延を決定します。たとえば、クライアントからサーバーに ping を実行して、平均ラウンドトリップ時間 (RTT) を測定します。

   # ping -c 10 server.example.com
   ...
   --- server.example.com ping statistics ---
   10 packets transmitted, 10 received, 0% packet loss, time 9014ms
   rtt min/avg/max/mdev = 117.208/117.056/119.333/0.616 ms

   この例では、レイテンシーは 117 ミリ秒です。

2. 次の式を使用して、チューニングするトラフィックの帯域幅遅延積 (BDP) を計算します。

   connection speed in bytes * latency in ms = BDP in bytes

   たとえば、レイテンシーが 117 ミリ秒の 10 Gbps 接続の BDP を計算するには、次のようにします。

   (10 * 1000 * 1000 * 1000 / 8) * 117 = 10683760 bytes

3. /etc/sysctl.d/10-tcp-socket-buffers.conf ファイルを作成し、要件に基づいて、最大読み取りバッファーサイズまたは書き込みバッファーサイズ、またはその両方を設定します。

   net.ipv4.tcp_rmem = 4096 262144 21367520
   net.ipv4.tcp_wmem = 4096 24576 21367520

   値をバイト単位で指定します。環境に最適化された値を特定するには、以下の大体の目安を参考にしてください。

   • デフォルトのバッファーサイズ (2 番目の値): この値をわずかに増やすか、最大でも 524288 (512 KiB) に設定します。デフォルトのバッファーサイズが大きすぎると、バッファーの崩壊が発生し、その結果、遅延が急増する可能性があります。
   • 最大バッファーサイズ (3 番目の値): 多くの場合、BDP の 2 倍から 3 倍の値で十分です。

4. /etc/sysctl.d/10-tcp-socket-buffers.conf ファイルから設定をロードします。

   # sysctl -p /etc/sysctl.d/10-tcp-socket-buffers.conf

5. より大きなソケットバッファーサイズを使用するようにアプリケーションを設定します。net.ipv4.tcp_rmem および net.ipv4.tcp_wmem パラメーターの 3 番目の値は、アプリケーションの setsockopt() 関数が要求できる最大バッファーサイズを定義します。

   詳細は、アプリケーションのプログラミング言語のドキュメントを参照してください。アプリケーションの開発者ではない場合は、開発者にお問い合わせください。

6. net.ipv4.tcp_rmem または net.ipv4.tcp_wmem パラメーターの 2 番目の値を変更した場合は、新しい TCP バッファーサイズを使用するようにアプリケーションを再起動します。

   3 番目の値のみを変更した場合は、自動チューニングによってこれらの設定が動的に適用されるため、アプリケーションを再起動する必要はありません。

検証

1. オプション: iperf3 を使用して TCP スループットをテストします。

2. パケットドロップが発生したときに使用したのと同じ方法を使用して、パケットドロップ統計を監視します。

   パケットドロップが依然として発生するが、レートが低い場合は、バッファーサイズをさらに増やします。