Red Hat Summit26.4. RoCE 구성
RoCE(Remote Direct Memory Access) over Converged Ethernet(RoCE)은 이더넷 네트워크를 통해 RDMA를 사용하는 네트워크 프로토콜입니다. 구성을 위해 RoCE에는 특정 하드웨어가 필요하며 일부 하드웨어 공급업체는 Mellanox, Broadcom 및 QLogic입니다.
26.4.1. RoCE 프로토콜 버전 개요
다음은 다른 RoCE 버전입니다.
- RoCE v1
-
RoCE 버전 1 프로토콜은 Ethertype
0x8915가 있는 이더넷 링크 계층 프로토콜로, 동일한 이더넷 브로드캐스트 도메인에 있는 두 호스트 간의 통신을 가능하게 합니다. - RoCE v2
-
RoCE 버전 2 프로토콜은 IPv4를 통한 UDP 또는 IPv6 프로토콜을 통한 UDP 상단에 있습니다. RoCE v2의 경우 UDP 대상 포트 번호는
4791입니다.
RDMA_CM은 데이터 전송을 위한 클라이언트와 서버 간의 안정적인 연결을 설정합니다. RDMA_CM은 연결을 설정하기 위한 RDMA 전송 중립 인터페이스를 제공합니다. 통신은 특정 RDMA 장치 및 메시지 기반 데이터 전송을 사용합니다.
클라이언트에서 RoCE v2 및 RoCE v1과 같은 다른 버전을 사용하는 것은 지원되지 않습니다. 이러한 경우 RoCE v1을 통해 통신하도록 서버와 클라이언트를 모두 구성합니다.
RoCE v1은 데이터 링크 계층(Layer 2)에서 작동하며 동일한 네트워크에서 두 머신의 통신만 지원합니다. 기본적으로 RoCE v2를 사용할 수 있습니다. 네트워크 계층(Layer 3)에서 작동합니다. RoCE v2는 여러 이더넷 연결을 제공하는 패킷 라우팅을 지원합니다.
26.4.2. 기본 RoCE 버전 임시 변경
서버에서 RoCE v2 프로토콜을 클라이언트 및 RoCE v1에서 사용하는 것은 지원되지 않습니다. 서버의 하드웨어가 RoCE v1만 지원하는 경우 RoCE v1이 서버와 통신하도록 클라이언트를 구성합니다. 예를 들어 RoCE v1만 지원하는 Mellanox ConnectX-5 InfiniBand 장치에 mlx5_0 드라이버를 사용하는 클라이언트를 구성할 수 있습니다.
여기에서 설명된 변경 사항은 호스트를 재부팅할 때까지 적용됩니다.
사전 요구 사항
- 클라이언트는 RoCE v2 프로토콜과 함께 InfiniBand 장치를 사용합니다.
- 서버는 RoCE v1만 지원하는 InfiniBand 장치를 사용합니다.
프로세스
/sys/kernel/config/rdma_cm/mlx5_0/디렉터리를 만듭니다.mkdir /sys/kernel/config/rdma_cm/mlx5_0/
# mkdir /sys/kernel/config/rdma_cm/mlx5_0/Copy to Clipboard Copied! Toggle word wrap Toggle overflow 기본 RoCE 모드를 표시합니다.
cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode RoCE v2
# cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode RoCE v2Copy to Clipboard Copied! Toggle word wrap Toggle overflow 기본 RoCE 모드를 버전 1로 변경합니다.
echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode
# echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_modeCopy to Clipboard Copied! Toggle word wrap Toggle overflow
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}