InfiniBand ネットワークおよび RDMA ネットワークの設定

手順

1. デバイス ib0 のハードウェアアドレスを表示します。

   # ip link show ib0
   8: ib0: >BROADCAST,MULTICAST,UP,LOWER_UP< mtu 65520 qdisc pfifo_fast state UP mode DEFAULT qlen 256
       link/infiniband 80:00:02:00:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:f2 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff

   アドレスの最後の 8 バイトは、次のステップで udev ルールを作成するために必要です。

2. 00:02:c9:03:00:31:78:f2 のハードウェアアドレスを持つデバイスの名前を mlx4_ib0 に変更するルールを設定するには、/etc/udev/rules.d/70-persistent-ipoib.rules ファイルを編集して ACTION ルールを追加してください。

   ACTION=="add", SUBSYSTEM=="net", DRIVERS=="?*", ATTR{type}=="32", ATTR{address}=="?*00:02:c9:03:00:31:78:f2", NAME="mlx4_ib0"

3. ホストを再起動します。

   # reboot

手順

1. InfiniBand 接続を作成して、Connected トランスポートモードで mlx4_ib0 インターフェイスを使用し、最大 MTU が 65520 バイトになるようにします。

   # nmcli connection add type infiniband con-name mlx4_ib0 ifname mlx4_ib0 transport-mode Connected mtu 65520

2. P_Key を設定します。次に例を示します。

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

3. IPv4 を設定します。

   • DHCP を使用するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv4.method auto

     ipv4.method がすでに auto (デフォルト) に設定されている場合は、この手順をスキップしてください。

   • 静的 IPv4 アドレス、ネットワークマスク、デフォルトゲートウェイ、DNS サーバー、および検索ドメインを設定するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv4.method manual ipv4.addresses 192.0.2.1/24 ipv4.gateway 192.0.2.254 ipv4.dns 192.0.2.200 ipv4.dns-search example.com

4. IPv6 設定を行います。

   • ステートレスアドレス自動設定 (SLAAC) を使用するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv6.method auto

     ipv6.method がすでに auto (デフォルト) に設定されている場合は、この手順をスキップしてください。

   • 静的 IPv6 アドレス、ネットワークマスク、デフォルトゲートウェイ、DNS サーバー、および検索ドメインを設定するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv6.method manual ipv6.addresses 2001:db8:1::fffe/64 ipv6.gateway 2001:db8:1::fffe ipv6.dns 2001:db8:1::ffbb ipv6.dns-search example.com

5. プロファイルの他の設定をカスタマイズするには、次のコマンドを使用します。

   # nmcli connection modify mlx4_ib0 <setting> <value>

   値はスペースまたはセミコロンで引用符で囲みます。

6. プロファイルをアクティブ化します。

   # nmcli connection up mlx4_ib0

手順

1. 次の内容を含む Playbook ファイル (例: ~/playbook.yml) を作成します。

   ---
   - name: Configure the network
     hosts: managed-node-01.example.com
     tasks:
       - name: IPoIB connection profile with static IP address settings
         ansible.builtin.include_role:
           name: redhat.rhel_system_roles.network
         vars:
           network_connections:
             # InfiniBand connection mlx4_ib0
             - name: mlx4_ib0
               interface_name: mlx4_ib0
               type: infiniband
   
             # IPoIB device mlx4_ib0.8002 on top of mlx4_ib0
             - name: mlx4_ib0.8002
               type: infiniband
               autoconnect: yes
               infiniband:
                 p_key: 0x8002
                 transport_mode: datagram
               parent: mlx4_ib0
               ip:
                 address:
                   - 192.0.2.1/24
                   - 2001:db8:1::1/64
               state: up

   サンプル Playbook で指定されている設定は次のとおりです。

   type: <profile_type>

   作成するプロファイルのタイプを設定します。このサンプル Playbook では、2 つの接続プロファイルを作成します。1 つは InfiniBand 接続用、もう 1 つは IPoIB デバイス用です。

   parent: <parent_device>

   IPoIB 接続プロファイルの親デバイスを設定します。

   p_key: <value>

   InfiniBand パーティションキーを設定します。この変数を設定する場合は、IPoIB デバイスに interface_name を設定しないでください。

   transport_mode: <mode>

   IPoIB 接続の動作モードを設定します。この変数は、datagram (デフォルト) または connected に設定できます。

   Playbook で使用されるすべての変数の詳細は、コントロールノードの /usr/share/ansible/roles/rhel-system-roles.network/README.md ファイルを参照してください。

2. Playbook の構文を検証します。

   $ ansible-playbook --syntax-check ~/playbook.yml

   このコマンドは構文を検証するだけであり、有効だが不適切な設定から保護するものではないことに注意してください。

3. Playbook を実行します。

   $ ansible-playbook ~/playbook.yml

検証

1. mlx4_ib0.8002 デバイスの IP 設定を表示します。

   # ansible managed-node-01.example.com -m command -a 'ip address show mlx4_ib0.8002'
   managed-node-01.example.com | CHANGED | rc=0 >>
   ...
   inet 192.0.2.1/24 brd 192.0.2.255 scope global noprefixroute ib0.8002
      valid_lft forever preferred_lft forever
   inet6 2001:db8:1::1/64 scope link tentative noprefixroute
      valid_lft forever preferred_lft forever

2. mlx4_ib0.8002 デバイスのパーティションキー (P_Key) を表示します。

   # ansible managed-node-01.example.com -m command -a 'cat /sys/class/net/mlx4_ib0.8002/pkey'
   managed-node-01.example.com | CHANGED | rc=0 >>
   0x8002

3. mlx4_ib0.8002 デバイスのモードを表示します。

   # ansible managed-node-01.example.com -m command -a 'cat /sys/class/net/mlx4_ib0.8002/mode'
   managed-node-01.example.com | CHANGED | rc=0 >>
   datagram

手順

1. 次の内容を含む YAML ファイル (例: ~/create-IPoIB-profile.yml) を作成します。

   interfaces:
   - name: mlx4_ib0.8002
     type: infiniband
     state: up
     ipv4:
       enabled: true
       address:
       - ip: 192.0.2.1
         prefix-length: 24
       dhcp: false
     ipv6:
       enabled: true
       address:
       - ip: 2001:db8:1::1
         prefix-length: 64
       autoconf: false
       dhcp: false
     infiniband:
       base-iface: "mlx4_ib0"
       mode: datagram
       pkey: "0x8002"
   
   routes:
     config:
     - destination: 0.0.0.0/0
       next-hop-address: 192.0.2.254
       next-hop-interface: mlx4_ib0.8002
     - destination: ::/0
       next-hop-address: 2001:db8:1::fffe
       next-hop-interface: mlx4_ib0.8002

   IPoIB 接続に以下が設定されました。

   • IPOIB デバイス名: mlx4_ib0.8002
   • 基本インターフェイス (親): mlx4_ib0
   • InfiniBand パーティションキー: 0x8002
   • トランスポートモード: datagram
   • 静的 IPv4 アドレス: 192.0.2.1 (サブネットマスクが /24)
   • 静的 IPv6 アドレス: 2001:db8:1::1 (サブネットマスクが /64)
   • IPv4 デフォルトゲートウェイ: 192.0.2.254
   • IPv6 デフォルトゲートウェイ: 2001:db8:1::fffe

2. 設定をシステムに適用します。

   # nmstatectl apply ~/create-IPoIB-profile.yml

検証

1. mlx4_ib0.8002 デバイスの IP 設定を表示します。

   # ip address show mlx4_ib0.8002
   ...
   inet 192.0.2.1/24 brd 192.0.2.255 scope global noprefixroute ib0.8002
      valid_lft forever preferred_lft forever
   inet6 2001:db8:1::1/64 scope link tentative noprefixroute
      valid_lft forever preferred_lft forever

2. mlx4_ib0.8002 デバイスのパーティションキー (P_Key) を表示します。

   # cat /sys/class/net/mlx4_ib0.8002/pkey
   0x8002

3. mlx4_ib0.8002 デバイスのモードを表示します。

   # cat /sys/class/net/mlx4_ib0.8002/mode
   datagram

手順

1. コマンドを入力します。

   $ nm-connection-editor

2. + ボタンをクリックして、新しい接続を追加します。
3. InfiniBand 接続タイプを選択し、Create をクリックします。

4. InfiniBand タブで以下を行います。

   1. 必要に応じて、接続名を変更します。
   2. トランスポートモードを選択します。
   3. デバイスを選択します。
   4. 必要に応じて MTU を設定します。
5. IPv4 Settings タブで、IPv4 設定を設定します。たとえば、静的な IPv4 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。
6. IPv6 Settings タブで、IPv6 設定を設定します。たとえば、静的な IPv6 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。
7. Save をクリックして、チーム接続を保存します。
8. nm-connection-editor を閉じます。

9. P_Key インターフェイスを設定することができます。この設定は nm-connection-editor では利用できないため、コマンドラインでこのパラメーターを設定する必要があります。

   たとえば、mlx4_ib0 接続の P_Key インターフェイスとして 0x8002 を設定するには、以下のコマンドを実行します。

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

手順

1. サーバーとして機能するオプションを指定せずに、いずれかのホストで qperf を起動します。

   # qperf

2. クライアントで以下のコマンドを使用します。コマンドは、クライアントの mlx4_0 ホストチャネルアダプターのポート 1 を使用して、サーバーの InfiniBand アダプターに割り当てられた IP アドレス 192.0.2.1 に接続します。

   1. ホストチャネルアダプターの設定を表示します。

      # qperf -v -i mlx4_0:1 192.0.2.1 conf
      
      conf:
          loc_node   =  rdma-dev-01.lab.bos.redhat.com
          loc_cpu    =  12 Cores: Mixed CPUs
          loc_os     =  Linux 4.18.0-187.el8.x86_64
          loc_qperf  =  0.4.11
          rem_node   =  rdma-dev-00.lab.bos.redhat.com
          rem_cpu    =  12 Cores: Mixed CPUs
          rem_os     =  Linux 4.18.0-187.el8.x86_64
          rem_qperf  =  0.4.11

   2. Reliable Connection (RC) ストリーミングの双方向帯域幅を表示します。

      # qperf -v -i mlx4_0:1 192.0.2.1 rc_bi_bw
      
      rc_bi_bw:
          bw             =  10.7 GB/sec
          msg_rate       =   163 K/sec
          loc_id         =  mlx4_0
          rem_id         =  mlx4_0:1
          loc_cpus_used  =    65 % cpus
          rem_cpus_used  =    62 % cpus

   3. RC ストリーミングの一方向帯域幅を表示します。

      # qperf -v -i mlx4_0:1 192.0.2.1 rc_bw
      
      rc_bw:
          bw              =  6.19 GB/sec
          msg_rate        =  94.4 K/sec
          loc_id          =  mlx4_0
          rem_id          =  mlx4_0:1
          send_cost       =  63.5 ms/GB
          recv_cost       =    63 ms/GB
          send_cpus_used  =  39.5 % cpus
          recv_cpus_used  =    39 % cpus

手順

1. /sys/kernel/config/rdma_cm/mlx5_0/ ディレクトリーを作成します。

   # mkdir /sys/kernel/config/rdma_cm/mlx5_0/

2. デフォルトの RoCE モードを表示します。

   # cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode
   
   RoCE v2

3. デフォルトの RoCE モードをバージョン 1 に変更します。

   # echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

手順

1. iproute パッケージ、libibverbs パッケージ、libibverbs-utils パッケージ、および infiniband-diags パッケージをインストールします。

   # yum install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA リンクを表示します。

   # rdma link show

3. enp0s1 インターフェイスを使用する rxe0 という名前の新しい rxe デバイスを追加します。

   # rdma link add rxe0 type rxe netdev enp1s0

検証

1. すべての RDMA リンクの状態を表示します。

   # rdma link show
   
   link rxe0/1 state ACTIVE physical_state LINK_UP netdev enp1s0

2. 利用可能な RDMA デバイスをリスト表示します。

   # ibv_devices
   
       device          	   node GUID
       ------          	----------------
       rxe0            	505400fffed5e0fb

3. ibstat ユーティリティーを使用して詳細なステータスを表示することができます。

   # ibstat rxe0
   
   CA 'rxe0'
   	CA type:
   	Number of ports: 1
   	Firmware version:
   	Hardware version:
   	Node GUID: 0x505400fffed5e0fb
   	System image GUID: 0x0000000000000000
   	Port 1:
   		State: Active
   		Physical state: LinkUp
   		Rate: 100
   		Base lid: 0
   		LMC: 0
   		SM lid: 0
   		Capability mask: 0x00890000
   		Port GUID: 0x505400fffed5e0fb
   		Link layer: Ethernet

手順

1. iproute パッケージ、libibverbs パッケージ、libibverbs-utils パッケージ、および infiniband-diags パッケージをインストールします。

   # yum install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA リンクを表示します。

   # rdma link show

3. siw カーネルモジュールをロードします。

   # modprobe siw

4. enp0s1 インターフェイスを使用する、siw0 という名前の新しい siw デバイスを追加します。

   # rdma link add siw0 type siw netdev enp0s1

検証

1. すべての RDMA リンクの状態を表示します。

   # rdma link show
   
   link siw0/1 state ACTIVE physical_state LINK_UP netdev enp0s1

2. 利用可能な RDMA デバイスをリスト表示します。

   # ibv_devices
   
    device                 node GUID
    ------              ----------------
    siw0                0250b6fffea19d61

3. ibv_devinfo ユーティリティーを使用して、詳細なステータスを表示することができます。

   # ibv_devinfo siw0
   
       hca_id:               siw0
       transport:            iWARP (1)
       fw_ver:               0.0.0
       node_guid:            0250:b6ff:fea1:9d61
       sys_image_guid:       0250:b6ff:fea1:9d61
       vendor_id:            0x626d74
       vendor_part_id:       1
       hw_ver:               0x0
       phys_port_cnt:          1
           port:               1
               state:          PORT_ACTIVE (4)
               max_mtu:        1024 (3)
               active_mtu:     1024 (3)
               sm_lid:         0
               port_lid:       0
               port_lmc:       0x00
               link_layer:     Ethernet