InfiniBand ネットワークおよび RDMA ネットワークの設定

手順

1. デバイス ib0 のハードウェアアドレスを表示します。

   # ip addr show ib0
   
   7: ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc fq_codel state UP group default qlen 256
       link/infiniband 80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
       altname ibp7s0
       altname ibs2
       inet 172.31.0.181/24 brd 172.31.0.255 scope global dynamic noprefixroute ib0
          valid_lft 2899sec preferred_lft 2899sec
       inet6 fe80::f652:1403:7b:e1b1/64 scope link noprefixroute
          valid_lft forever preferred_lft forever

2. 80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1 という MAC アドレスを持つインターフェイスに mlx4_ib0 という名前を付けるには、/etc/systemd/network/70-custom-ifnames.link ファイルを次の内容で作成します。

   [Match]
   MACAddress=80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1
   
   [Link]
   Name=mlx4_ib0

   このリンクファイルによって MAC アドレスが照合され、ネットワークインターフェイスの名前が Name パラメーターに設定された名前に変更されます。

検証

1. ホストを再起動します。

   # reboot

2. リンクファイルで指定した MAC アドレスを持つデバイスが mlx4_ib0 に割り当てられていることを確認します。

   # ip addr show mlx4_ib0
   
   7: mlx4_ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc fq_codel state UP group default qlen 256
       link/infiniband 80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
       altname ibp7s0
       altname ibs2
       inet 172.31.0.181/24 brd 172.31.0.255 scope global dynamic noprefixroute mlx4_ib0
          valid_lft 2899sec preferred_lft 2899sec
       inet6 fe80::f652:1403:7b:e1b1/64 scope link noprefixroute
          valid_lft forever preferred_lft forever

手順

1. InfiniBand 接続を作成して、Connected トランスポートモードで mlx4_ib0 インターフェイスを使用し、最大 MTU が 65520 バイトになるようにします。

   # nmcli connection add type infiniband con-name mlx4_ib0 ifname mlx4_ib0 transport-mode Connected mtu 65520

2. P_Key を設定します。次に例を示します。

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

3. IPv4 を設定します。

   • DHCP を使用するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv4.method auto

     ipv4.method がすでに auto (デフォルト) に設定されている場合は、この手順をスキップしてください。

   • 静的 IPv4 アドレス、ネットワークマスク、デフォルトゲートウェイ、DNS サーバー、および検索ドメインを設定するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv4.method manual ipv4.addresses 192.0.2.1/24 ipv4.gateway 192.0.2.254 ipv4.dns 192.0.2.200 ipv4.dns-search example.com

4. IPv6 設定を行います。

   • ステートレスアドレス自動設定 (SLAAC) を使用するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv6.method auto

     ipv6.method がすでに auto (デフォルト) に設定されている場合は、この手順をスキップしてください。

   • 静的 IPv6 アドレス、ネットワークマスク、デフォルトゲートウェイ、DNS サーバー、および検索ドメインを設定するには、次のように実行します。

     # nmcli connection modify mlx4_ib0 ipv6.method manual ipv6.addresses 2001:db8:1::fffe/64 ipv6.gateway 2001:db8:1::fffe ipv6.dns 2001:db8:1::ffbb ipv6.dns-search example.com

5. プロファイルの他の設定をカスタマイズするには、次のコマンドを使用します。

   # nmcli connection modify mlx4_ib0 <setting> <value>

   値はスペースまたはセミコロンで引用符で囲みます。

6. プロファイルをアクティブ化します。

   # nmcli connection up mlx4_ib0

手順

1. 次の内容を含む Playbook ファイル (例: ~/playbook.yml) を作成します。

   ---
   - name: Configure the network
     hosts: managed-node-01.example.com
     tasks:
       - name: IPoIB connection profile with static IP address settings
         ansible.builtin.include_role:
           name: redhat.rhel_system_roles.network
         vars:
           network_connections:
             # InfiniBand connection mlx4_ib0
             - name: mlx4_ib0
               interface_name: mlx4_ib0
               type: infiniband
   
             # IPoIB device mlx4_ib0.8002 on top of mlx4_ib0
             - name: mlx4_ib0.8002
               type: infiniband
               autoconnect: yes
               infiniband:
                 p_key: 0x8002
                 transport_mode: datagram
               parent: mlx4_ib0
               ip:
                 address:
                   - 192.0.2.1/24
                   - 2001:db8:1::1/64
               state: up

   サンプル Playbook で指定されている設定は次のとおりです。

   type: <profile_type>

   作成するプロファイルのタイプを設定します。このサンプル Playbook では、2 つの接続プロファイルを作成します。1 つは InfiniBand 接続用、もう 1 つは IPoIB デバイス用です。

   parent: <parent_device>

   IPoIB 接続プロファイルの親デバイスを設定します。

   p_key: <value>

   InfiniBand パーティションキーを設定します。この変数を設定する場合は、IPoIB デバイスに interface_name を設定しないでください。

   transport_mode: <mode>

   IPoIB 接続の動作モードを設定します。この変数は、datagram (デフォルト) または connected に設定できます。

   Playbook で使用されるすべての変数の詳細は、コントロールノードの /usr/share/ansible/roles/rhel-system-roles.network/README.md ファイルを参照してください。

2. Playbook の構文を検証します。

   $ ansible-playbook --syntax-check ~/playbook.yml

   このコマンドは構文を検証するだけであり、有効だが不適切な設定から保護するものではないことに注意してください。

3. Playbook を実行します。

   $ ansible-playbook ~/playbook.yml

検証

1. mlx4_ib0.8002 デバイスの IP 設定を表示します。

   # ansible managed-node-01.example.com -m command -a 'ip address show mlx4_ib0.8002'
   managed-node-01.example.com | CHANGED | rc=0 >>
   ...
   inet 192.0.2.1/24 brd 192.0.2.255 scope global noprefixroute ib0.8002
      valid_lft forever preferred_lft forever
   inet6 2001:db8:1::1/64 scope link tentative noprefixroute
      valid_lft forever preferred_lft forever

2. mlx4_ib0.8002 デバイスのパーティションキー (P_Key) を表示します。

   # ansible managed-node-01.example.com -m command -a 'cat /sys/class/net/mlx4_ib0.8002/pkey'
   managed-node-01.example.com | CHANGED | rc=0 >>
   0x8002

3. mlx4_ib0.8002 デバイスのモードを表示します。

   # ansible managed-node-01.example.com -m command -a 'cat /sys/class/net/mlx4_ib0.8002/mode'
   managed-node-01.example.com | CHANGED | rc=0 >>
   datagram

手順

1. 次の内容を含む YAML ファイル (例: ~/create-IPoIB-profile.yml) を作成します。

   interfaces:
   - name: mlx4_ib0.8002
     type: infiniband
     state: up
     ipv4:
       enabled: true
       address:
       - ip: 192.0.2.1
         prefix-length: 24
       dhcp: false
     ipv6:
       enabled: true
       address:
       - ip: 2001:db8:1::1
         prefix-length: 64
       autoconf: false
       dhcp: false
     infiniband:
       base-iface: "mlx4_ib0"
       mode: datagram
       pkey: "0x8002"
   
   routes:
     config:
     - destination: 0.0.0.0/0
       next-hop-address: 192.0.2.254
       next-hop-interface: mlx4_ib0.8002
     - destination: ::/0
       next-hop-address: 2001:db8:1::fffe
       next-hop-interface: mlx4_ib0.8002

   IPoIB 接続に以下が設定されました。

   • IPOIB デバイス名: mlx4_ib0.8002
   • 基本インターフェイス (親): mlx4_ib0
   • InfiniBand パーティションキー: 0x8002
   • トランスポートモード: datagram
   • 静的 IPv4 アドレス: 192.0.2.1 (サブネットマスクが /24)
   • 静的 IPv6 アドレス: 2001:db8:1::1 (サブネットマスクが /64)
   • IPv4 デフォルトゲートウェイ: 192.0.2.254
   • IPv6 デフォルトゲートウェイ: 2001:db8:1::fffe

2. 設定をシステムに適用します。

   # nmstatectl apply ~/create-IPoIB-profile.yml

検証

1. mlx4_ib0.8002 デバイスの IP 設定を表示します。

   # ip address show mlx4_ib0.8002
   ...
   inet 192.0.2.1/24 brd 192.0.2.255 scope global noprefixroute ib0.8002
      valid_lft forever preferred_lft forever
   inet6 2001:db8:1::1/64 scope link tentative noprefixroute
      valid_lft forever preferred_lft forever

2. mlx4_ib0.8002 デバイスのパーティションキー (P_Key) を表示します。

   # cat /sys/class/net/mlx4_ib0.8002/pkey
   0x8002

3. mlx4_ib0.8002 デバイスのモードを表示します。

   # cat /sys/class/net/mlx4_ib0.8002/mode
   datagram

手順

1. コマンドを入力します。

   $ nm-connection-editor

2. + ボタンをクリックして、新しい接続を追加します。
3. InfiniBand 接続タイプを選択し、Create をクリックします。

4. InfiniBand タブで以下を行います。

   1. 必要に応じて、接続名を変更します。
   2. トランスポートモードを選択します。
   3. デバイスを選択します。
   4. 必要に応じて MTU を設定します。
5. IPv4 Settings タブで、IPv4 設定を設定します。たとえば、静的な IPv4 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。
6. IPv6 Settings タブで、IPv6 設定を設定します。たとえば、静的な IPv6 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。
7. Save をクリックして、チーム接続を保存します。
8. nm-connection-editor を閉じます。

9. P_Key インターフェイスを設定することができます。この設定は nm-connection-editor では利用できないため、コマンドラインでこのパラメーターを設定する必要があります。

   たとえば、mlx4_ib0 接続の P_Key インターフェイスとして 0x8002 を設定するには、以下のコマンドを実行します。

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

手順

1. iperf3 をシステム上のサーバーとして実行するには、時間の間隔を定義して、定期的な帯域幅の更新 -i を指定し、クライアント接続の応答を待機するサーバー -s としてリッスンします。

   # iperf3 -i 5 -s

2. iperf3 を別のシステムでクライアントとして実行するには、時間の間隔を定義して、定期的な帯域幅の更新 -i を指定し、-t 秒使用して IP アドレス 192.168.2.2 のリスニングサーバー -c に接続します。

   # iperf3 -i 5 -t 60 -c 192.168.2.2

3. 以下のコマンドを使用します。

   1. サーバーとして動作するシステムでテスト結果を表示します。

      # iperf3 -i 10 -s
      -----------------------------------------------------------
      Server listening on 5201
      -----------------------------------------------------------
      Accepted connection from 192.168.2.3, port 22216
      [5] local 192.168.2.2 port 5201 connected to 192.168.2.3 port 22218
      [ID] Interval           Transfer     Bandwidth
      [5]   0.00-10.00  sec  17.5 GBytes  15.0 Gbits/sec
      [5]  10.00-20.00  sec  17.6 GBytes  15.2 Gbits/sec
      [5]  20.00-30.00  sec  18.4 GBytes  15.8 Gbits/sec
      [5]  30.00-40.00  sec  18.0 GBytes  15.5 Gbits/sec
      [5]  40.00-50.00  sec  17.5 GBytes  15.1 Gbits/sec
      [5]  50.00-60.00  sec  18.1 GBytes  15.5 Gbits/sec
      [5]  60.00-60.04  sec  82.2 MBytes  17.3 Gbits/sec
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ID] Interval           Transfer     Bandwidth
      [5]   0.00-60.04  sec  0.00 Bytes    0.00 bits/sec  sender
      [5]   0.00-60.04  sec   107 GBytes  15.3 Gbits/sec  receiver

   2. クライアントとして動作するシステムでテスト結果を表示します。

      # iperf3 -i 1 -t 60 -c 192.168.2.2
      
      Connecting to host 192.168.2.2, port 5201
      [4] local 192.168.2.3 port 22218 connected to 192.168.2.2 port 5201
      [ID] Interval           Transfer     Bandwidth       Retr  Cwnd
      [4]   0.00-10.00  sec  17.6 GBytes  15.1 Gbits/sec    0   6.01 MBytes
      [4]  10.00-20.00  sec  17.6 GBytes  15.1 Gbits/sec    0   6.01 MBytes
      [4]  20.00-30.00  sec  18.4 GBytes  15.8 Gbits/sec    0   6.01 MBytes
      [4]  30.00-40.00  sec  18.0 GBytes  15.5 Gbits/sec    0   6.01 MBytes
      [4]  40.00-50.00  sec  17.5 GBytes  15.1 Gbits/sec    0   6.01 MBytes
      [4]  50.00-60.00  sec  18.1 GBytes  15.5 Gbits/sec    0   6.01 MBytes
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ID] Interval           Transfer     Bandwidth       Retr
      [4]   0.00-60.00  sec   107 GBytes  15.4 Gbits/sec    0   sender
      [4]   0.00-60.00  sec   107 GBytes  15.4 Gbits/sec        receiver

手順

1. /sys/kernel/config/rdma_cm/mlx5_0/ ディレクトリーを作成します。

   # mkdir /sys/kernel/config/rdma_cm/mlx5_0/

2. デフォルトの RoCE モードを表示します。

   # cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode
   
   RoCE v2

3. デフォルトの RoCE モードをバージョン 1 に変更します。

   # echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

手順

1. iproute パッケージ、libibverbs パッケージ、libibverbs-utils パッケージ、および infiniband-diags パッケージをインストールします。

   # dnf install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA リンクを表示します。

   # rdma link show

3. enp0s1 インターフェイスを使用する rxe0 という名前の新しい rxe デバイスを追加します。

   # rdma link add rxe0 type rxe netdev enp1s0

検証

1. すべての RDMA リンクの状態を表示します。

   # rdma link show
   
   link rxe0/1 state ACTIVE physical_state LINK_UP netdev enp1s0

2. 利用可能な RDMA デバイスをリスト表示します。

   # ibv_devices
   
       device          	   node GUID
       ------          	----------------
       rxe0            	505400fffed5e0fb

3. ibstat ユーティリティーを使用して詳細なステータスを表示することができます。

   # ibstat rxe0
   
   CA 'rxe0'
   	CA type:
   	Number of ports: 1
   	Firmware version:
   	Hardware version:
   	Node GUID: 0x505400fffed5e0fb
   	System image GUID: 0x0000000000000000
   	Port 1:
   		State: Active
   		Physical state: LinkUp
   		Rate: 100
   		Base lid: 0
   		LMC: 0
   		SM lid: 0
   		Capability mask: 0x00890000
   		Port GUID: 0x505400fffed5e0fb
   		Link layer: Ethernet

手順

1. iproute パッケージ、libibverbs パッケージ、libibverbs-utils パッケージ、および infiniband-diags パッケージをインストールします。

   # dnf install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA リンクを表示します。

   # rdma link show

3. siw カーネルモジュールをロードします。

   # modprobe siw

4. enp0s1 インターフェイスを使用する、siw0 という名前の新しい siw デバイスを追加します。

   # rdma link add siw0 type siw netdev enp0s1

検証

1. すべての RDMA リンクの状態を表示します。

   # rdma link show
   
   link siw0/1 state ACTIVE physical_state LINK_UP netdev enp0s1

2. 利用可能な RDMA デバイスをリスト表示します。

   # ibv_devices
   
    device                 node GUID
    ------              ----------------
    siw0                0250b6fffea19d61

3. ibv_devinfo ユーティリティーを使用して、詳細なステータスを表示することができます。

   # ibv_devinfo siw0
   
       hca_id:               siw0
       transport:            iWARP (1)
       fw_ver:               0.0.0
       node_guid:            0250:b6ff:fea1:9d61
       sys_image_guid:       0250:b6ff:fea1:9d61
       vendor_id:            0x626d74
       vendor_part_id:       1
       hw_ver:               0x0
       phys_port_cnt:          1
           port:               1
               state:          PORT_ACTIVE (4)
               max_mtu:        1024 (3)
               active_mtu:     1024 (3)
               sm_lid:         0
               port_lid:       0
               port_lmc:       0x00
               link_layer:     Ethernet