2장. rdma 서비스 구성

절차

1. rdma-core 및 opensm 패키지를 설치합니다.

   # dnf install rdma-core opensm

   Copy to Clipboard Toggle word wrap

2. opensm 서비스를 활성화합니다.

   # systemctl enable opensm

   Copy to Clipboard Toggle word wrap

3. opensm 서비스를 시작합니다.

   # systemctl start opensm

   Copy to Clipboard Toggle word wrap

4. /etc/rdma/modules/rdma.conf 파일을 편집하고 활성화하려는 모듈의 주석을 제거합니다.

   # These modules are loaded by the system if any RDMA devices is installed
   
   # iSCSI over RDMA client support
   ib_iser
   
   # iSCSI over RDMA target support
   ib_isert
   
   # SCSI RDMA Protocol target driver
   ib_srpt
   
   # User access to RDMA verbs (supports libibverbs)
   ib_uverbs
   
   # User access to RDMA connection management (supports librdmacm)
   rdma_ucm
   
   # RDS over RDMA support
   # rds_rdma
   
   # NFS over RDMA client support
   xprtrdma
   
   # NFS over RDMA server support
   svcrdma

   Copy to Clipboard Toggle word wrap

5. 서비스를 다시 시작하여 변경 사항을 적용합니다.

   # systemctl restart <rdma-load-modules@rdma.service>

   Copy to Clipboard Toggle word wrap

검증

1. libibverbs-utils 및 infiniband-diags 패키지를 설치합니다.

   # dnf install libibverbs-utils infiniband-diags

   Copy to Clipboard Toggle word wrap

2. 사용 가능한 InfiniBand 장치를 나열합니다.

   # ibv_devices
   
       device                 node GUID
       ------              ----------------
       mlx4_0              0002c903003178f0
       mlx4_1              f4521403007bcba0

   Copy to Clipboard Toggle word wrap

3. mlx4_1 장치의 정보를 표시합니다.

   # ibv_devinfo -d mlx4_1
   
   hca_id: mlx4_1
        transport:                  InfiniBand (0)
        fw_ver:                     2.30.8000
        node_guid:                  f452:1403:007b:cba0
        sys_image_guid:             f452:1403:007b:cba3
        vendor_id:                  0x02c9
        vendor_part_id:             4099
        hw_ver:                     0x0
        board_id:                   MT_1090120019
        phys_port_cnt:              2
             port:   1
                   state:              PORT_ACTIVE (4)
                   max_mtu:            4096 (5)
                   active_mtu:         2048 (4)
                   sm_lid:             2
                   port_lid:           2
                   port_lmc:           0x01
                   link_layer:         InfiniBand
   
             port:   2
                   state:              PORT_ACTIVE (4)
                   max_mtu:            4096 (5)
                   active_mtu:         4096 (5)
                   sm_lid:             0
                   port_lid:           0
                   port_lmc:           0x00
                   link_layer:         Ethernet

   Copy to Clipboard Toggle word wrap

4. mlx4_1 장치의 상태를 표시합니다.

   # ibstat mlx4_1
   
   CA 'mlx4_1'
        CA type: MT4099
        Number of ports: 2
        Firmware version: 2.30.8000
        Hardware version: 0
        Node GUID: 0xf4521403007bcba0
        System image GUID: 0xf4521403007bcba3
        Port 1:
              State: Active
              Physical state: LinkUp
              Rate: 56
              Base lid: 2
              LMC: 1
              SM lid: 2
              Capability mask: 0x0251486a
              Port GUID: 0xf4521403007bcba1
              Link layer: InfiniBand
        Port 2:
              State: Active
              Physical state: LinkUp
              Rate: 40
              Base lid: 0
              LMC: 0
              SM lid: 0
              Capability mask: 0x04010000
              Port GUID: 0xf65214fffe7bcba2
              Link layer: Ethernet

   Copy to Clipboard Toggle word wrap

5. ibping 유틸리티는 InfiniBand 주소를 ping하고 매개 변수를 구성하여 클라이언트/서버로 실행됩니다.

   1. Start server mode -S on port number -P with -C InfiniBand channel adapter (CA) name on the host:

      # ibping -S -C mlx4_1 -P 1

      Copy to Clipboard Toggle word wrap

   2. 클라이언트 모드를 시작하려면 호스트에서 - C InfiniBand 채널 어댑터(CA) 이름을 사용하여 포트 번호 -P 에서 - LID(Local Identifier)를 사용하여 일부 패킷을 보냅니다.

      # ibping -c 50 -C mlx4_0 -P 1 -L 2

      Copy to Clipboard Toggle word wrap