31.5. 높은 처리량을 위해 TCP 연결 튜닝

절차

1. 선택 사항: 서버와 클라이언트 모두에서 NIC(네트워크 인터페이스 컨트롤러)의 최대 네트워크 속도를 표시합니다.

   # ethtool enp1s0 | grep "Speed"
      Speed: 100000Mb/s

2. 서버에서 다음을 수행합니다.

   1. firewalld 서비스에서 기본 iperf3 TCP 포트 5201을 임시로 엽니다.

      # firewall-cmd --add-port=5201/tcp
      # firewall-cmd --reload

   2. 서버 모드에서 iperf3 을 시작합니다.

      # iperf3 --server

      이제 서비스가 들어오는 클라이언트 연결을 대기 중입니다.

3. 클라이언트에서 다음을 수행합니다.

   1. 처리량 측정을 시작합니다.

      # iperf3 --time 60 --zerocopy --client 192.0.2.1

      • --time <seconds > : 클라이언트가 전송을 중지할 때의 시간을 초 단위로 정의합니다.

        이 매개변수를 작업할 것으로 예상되는 값으로 설정하고 이후 측정에서 늘릴 수 있습니다. 서버가 전송 경로의 장치보다 빠른 속도로 패킷을 전송하거나 클라이언트가 처리할 수 있는 경우 패킷을 삭제할 수 있습니다.

      • --zerocopy: write() 시스템 호출을 사용하는 대신 0 복사 메서드를 활성화합니다. 복사 가능 애플리케이션을 시뮬레이션하거나 단일 스트림에서 40Gbps에 도달하려는 경우에만 이 옵션이 필요합니다.
      • --client <server >: 클라이언트 모드를 활성화하고 iperf3 서버를 실행하는 서버의 IP 주소 또는 이름을 설정합니다.

4. iperf3 가 테스트를 완료할 때까지 기다립니다. 서버와 클라이언트 모두 1초마다 통계를 표시하고 마지막에 요약을 표시합니다. 예를 들어 다음은 클라이언트에 표시되는 요약입니다.

   [ ID] Interval         Transfer    Bitrate         Retr
   [  5] 0.00-60.00  sec  101 GBytes   14.4 Gbits/sec   0   sender
   [  5] 0.00-60.04  sec  101 GBytes   14.4 Gbits/sec       receiver

   이 예에서 평균 비트레이트는 14.4 Gbps였습니다.

5. 서버에서 다음을 수행합니다.

   1. Ctrl+C 눌러 iperf3 서버를 중지합니다.

   2. firewalld 에서 TCP 포트 5201을 닫습니다.

      # firewall-cmd --remove-port=5201/tcp
      # firewall-cmd --reload

절차

1. 연결 대기 시간을 확인합니다. 예를 들어 클라이언트에서 서버로 ping하여 평균 Round Trip Time(RTT)를 측정합니다.

   # ping -c 10 server.example.com
   ...
   --- server.example.com ping statistics ---
   10 packets transmitted, 10 received, 0% packet loss, time 9014ms
   rtt min/avg/max/mdev = 117.208/117.056/119.333/0.616 ms

   이 예에서 대기 시간은 117ms입니다.

2. 튜닝하려는 트래픽에 대해 다음 공식을 사용하여 BMC(Delay Product)를 계산합니다.

   connection speed in bytes * latency in ms = BDP in bytes

   예를 들어 117ms 대기 시간이 있는 10Gbps 연결에 대한 BDP를 계산하려면 다음을 수행합니다.

   (10 * 1000 * 1000 * 1000 / 8) * 117 = 10683760 bytes

3. 요구 사항에 따라 /etc/sysctl.d/10-tcp-socket-buffers.conf 파일을 만들고 최대 읽기 또는 쓰기 버퍼 크기를 설정합니다.

   net.ipv4.tcp_rmem = 4096 262144 21367520
   net.ipv4.tcp_wmem = 4096 24576 21367520

   값을 바이트 단위로 지정합니다. 환경에 최적화된 값을 식별하려고 할 때 다음 규칙을 사용합니다.

   • 기본 버퍼 크기(초 값): 이 값을 약간만 늘리거나 524288 (512 KiB)으로 설정합니다. 너무 높은 기본 버퍼 크기는 버퍼가 충돌하여 결과적으로 대기 시간이 급증할 수 있습니다.
   • 최대 버퍼 크기(세번째 값): BDP의 곱셈에 두 번이면 충분한 경우가 많습니다.

4. /etc/sysctl.d/10-tcp-socket-buffers.conf 파일에서 설정을 로드합니다.

   # sysctl -p /etc/sysctl.d/10-tcp-socket-buffers.conf

5. 더 큰 소켓 버퍼 크기를 사용하도록 애플리케이션을 구성합니다. net.ipv4.tcp_rmem 및 net.ipv4.tcp_wmem 매개변수의 세 번째 값은 애플리케이션에서 setsockopt() 함수에서 요청할 수 있는 최대 버퍼 크기를 정의합니다.

   자세한 내용은 애플리케이션 프로그래밍 언어 설명서를 참조하십시오. 애플리케이션 개발자가 아닌 경우 개발자에게 문의하십시오.

6. net.ipv4.tcp_rmem 또는 net.ipv4.tcp_wmem 매개변수에서 두 번째 값을 변경한 경우 애플리케이션을 다시 시작하여 새 TCP 버퍼 크기를 사용합니다.

   세 번째 값만 변경한 경우 자동 조정이 이러한 설정을 동적으로 적용하므로 애플리케이션을 다시 시작할 필요가 없습니다.

검증

1. 선택 사항: iperf3을 사용하여 TCP 처리량을 테스트합니다.

2. 패킷이 삭제될 때 사용한 것과 동일한 방법을 사용하여 패킷을 모니터링합니다.

   패킷이 계속 발생하지만 더 낮은 속도로 패킷이 발생하면 버퍼 크기를 더 늘립니다.