13.3. 配置 Soft-RoCE

过程 13.2. 配置 Soft-RoCE

1. 以 root 用户身份，输入以下命令显示 RXE 的当前配置状态：

   ~]# rxe_cfg
     rdma_rxe module not loaded
     Name        Link  Driver   Speed   NMTU  IPv4_addr  RDEV  RMTU
     igb_1       yes   igb
     mlx4_1      no    mlx4_en
     mlx4_2      no    mlx4_en

   Copy to Clipboard Toggle word wrap
2. 要载入 RXE 内核模块并启动 RXE，以 root 用户身份输入：

   ~]# rxe_cfg start
     Name        Link  Driver   Speed   NMTU  IPv4_addr  RDEV  RMTU
     igb_1       yes   igb
     mlx4_1      no    mlx4_en
     mlx4_2      no    mlx4_en

   Copy to Clipboard Toggle word wrap

   另外，要验证是否载入了 RXE 内核模块，请输入：

   ~]# lsmod |grep rdma_rxe
     rdma_rxe              111129  0
     ip6_udp_tunnel         12755  1 rdma_rxe
     udp_tunnel             14423  1 rdma_rxe
     ib_core               236827  15 rdma_cm,ib_cm,iw_cm,rpcrdma,mlx4_ib,ib_srp,ib_ucm,ib_iser,ib_srpt,ib_umad,ib_uverbs,rdma_rxe,rdma_ucm,ib_ipoib,ib_isert
   

   Copy to Clipboard Toggle word wrap
3. 在通过以太网接口添加新 RXE 设备之前，应打开对应的接口并分配有有效的 IP 地址。添加新的 RXE 设备，如 igb_1 ：

   ~]# rxe_cfg add igb_1

   Copy to Clipboard Toggle word wrap

   ~]# rxe_cfg status
     Name        Link  Driver   Speed   NMTU  IPv4_addr  RDEV  RMTU
     igb_1       yes   igb                               rxe0  1024  (3)
     mlx4_1      no    mlx4_en
     mlx4_2      no    mlx4_en

   Copy to Clipboard Toggle word wrap

   RDEV 列中的 rxe0 表示为 igb_1 设备启用了 rxe。
4. 要验证 RXE 设备的状态，请使用 ibv_devices 命令：

   ~]# ibv_devices
     device                 node GUID
     ------              ----------------
     mlx4_0              0002c90300b3cff0
     rxe0                a2369ffffe018294

   Copy to Clipboard Toggle word wrap

   或者，输入 aibstat 作为详细状态：

   ~]# ibstat rxe0
   CA 'rxe0'
       CA type:
       Number of ports: 1
       Firmware version:
       Hardware version:
       Node GUID: 0xa2369ffffe018294
       System image GUID: 0x0000000000000000
       Port 1:
           State: Active
           Physical state: LinkUp
           Rate: 2.5
           Base lid: 0
           LMC: 0
           SM lid: 0
           Capability mask: 0x00890000
           Port GUID: 0xa2369ffffe018294
           Link layer: Ethernet

   Copy to Clipboard Toggle word wrap