25.6. 使用 tc-ctinfo 工具配置数据包的速率限制

流程

1. 在服务器上执行以下步骤：

   1. 在网络接口中添加一个虚拟链接：

      # ip link add name ifb4eth0 numtxqueues 48 numrxqueues 48 type ifb

      Copy to Clipboard Toggle word wrap

      这个命令有以下参数：

      name ifb4eth0

      设置新的虚拟设备接口。

      numtxqueues 48

      设置传输队列的数量。

      numrxqueues 48

      设置接收队列的数量。

      type ifb

      设置新设备的类型。

   2. 更改接口的状态：

      # ip link set dev ifb4eth0 up

      Copy to Clipboard Toggle word wrap

   3. 在物理网络接口上添加 qdisc 属性，并将其应用到传入流量：

      # tc qdisc add dev enp1s0 handle ffff: ingress

      Copy to Clipboard Toggle word wrap

      在 handle ffff: 选项中，handle 参数将主号 ffff: 作为默认值分配给 enp1s0 物理网络接口上的类 qdisc，其中 qdisc 是一个分析流量控制的排队规则参数。

   4. 在 ip 协议的物理接口上添加一个过滤器，以对数据包进行分类：

      # tc filter add dev enp1s0 parent ffff: protocol ip u32 match u32 0 0 action ctinfo cpmark 100 action mirred egress redirect dev ifb4eth0

      Copy to Clipboard Toggle word wrap

      这个命令有以下属性：

      parent ffff:

      为父 qdisc 设置主号 ffff:。

      u32 match u32 0 0

      设置 u32 过滤器，以 匹配 u32 模式的 IP 头。第一个 0 表示 IP 标头的第二个字节，另一个 0 用于掩码匹配，告知过滤器要匹配哪个位。

      action ctinfo

      设置操作，以将连接跟踪标记的数据检索到各个字段。

      cpmark 100

      将连接跟踪标记(connmark) 100 复制到数据包 IP 标头字段中。

      action mirred egress redirect dev ifb4eth0

      将 action 设置为 mirred ，来将接收的数据包重定向到 ifb4eth0 目的地接口。

   5. 向接口中添加类 qdisc ：

      # tc qdisc add dev ifb4eth0 root handle 1: htb default 1000

      Copy to Clipboard Toggle word wrap

      此命令将主号 1 设置为 root qdisc，并将 htb 层次结构令牌存储桶与 minor-id 1000 的类 qdisc 一起使用。

   6. 将接口上的流量限制为 1 Mbit/s，上限为 2 Mbit/s：

      # tc class add dev ifb4eth0 parent 1:1 classid 1:100 htb ceil 2mbit rate 1mbit prio 100

      Copy to Clipboard Toggle word wrap

      这个命令有以下参数：

      parent 1:1

      将 parent 设为 classid 为 1，将 root 设为 1。

      classid 1:100

      将 classid 设置为 1:100，其中 1 是父 qdisc 的数量，100 是父 qdisc 的类的数量。

      htb ceil 2mbit

      htb 类 qdisc 允许上限带宽 2 Mbit/s 作为 ceil 速率限制。

   7. 将无类别 qdisc 的 Stochastic Fairness Queuing (sfq)应用到 时间间隔为 60 秒的接口，以减少队列算法的影响：

      # tc qdisc add dev ifb4eth0 parent 1:100 sfq perturb 60

      Copy to Clipboard Toggle word wrap

   8. 在接口中添加防火墙标记(fw)过滤器：

      # tc filter add dev ifb4eth0 parent 1:0 protocol ip prio 100 handle 100 fw classid 1:100

      Copy to Clipboard Toggle word wrap

   9. 从连接标记(CONNMARK)恢复数据包元标记：

      # nft add rule ip mangle PREROUTING counter meta mark set ct mark

      Copy to Clipboard Toggle word wrap

      在这个命令中，nft 工具有一个带有 PREROUTING 链规则规范的 mangle 表，该表在路由之前更改传入的数据包，来将数据包标记替换为 CONNMARK。

   10. 如果没有 nft 表和链存在，请创建一个表并添加一个链规则：

       # nft add table ip mangle
       # nft add chain ip mangle PREROUTING {type filter hook prerouting priority mangle \;}

       Copy to Clipboard Toggle word wrap

   11. 在指定目标地址 192.0.2.3 上接收的 tcp 数据包上设置 meta 标记：

       # nft add rule ip mangle PREROUTING ip daddr 192.0.2.3 counter meta mark set 0x64

       Copy to Clipboard Toggle word wrap

   12. 将数据包标记保存到连接标记中：

       # nft add rule ip mangle PREROUTING counter ct mark set mark

       Copy to Clipboard Toggle word wrap

   13. 使用 -s 参数在系统上运行 iperf3 工具来作为服务器，然后服务器等待客户端连接的响应：

       # iperf3 -s

       Copy to Clipboard Toggle word wrap

2. 在客户端上，将 iperf3 作为客户端运行，并连接到在 IP 地址 192.0.2.3 上侦听定期的 HTTP 请求响应时间戳的服务器：

   # iperf3 -c 192.0.2.3 | tee rate

   Copy to Clipboard Toggle word wrap

   192.0.2.3 是服务器的 IP 地址，而 192.0.2.4 是客户端的 IP 地址。

3. 按 Ctrl+C 终止服务器上的 iperf3 工具：

   Accepted connection from 192.0.2.4, port 52128
   [5]  local 192.0.2.3 port 5201 connected to 192.0.2.4 port 52130
   [ID] Interval       	Transfer 	Bitrate
   [5]   0.00-1.00   sec   119 KBytes   973 Kbits/sec
   [5]   1.00-2.00   sec   116 KBytes   950 Kbits/sec
   ...
   [ID] Interval       	Transfer 	Bitrate
   [5]   0.00-14.81  sec  1.51 MBytes   853 Kbits/sec  receiver
   
   iperf3: interrupt - the server has terminated

   Copy to Clipboard Toggle word wrap

4. 按 Ctrl+C 终止客户端上的 iperf3 工具：

   Connecting to host 192.0.2.3, port 5201
   [5] local 192.0.2.4 port 52130 connected to 192.0.2.3 port 5201
   [ID] Interval       	Transfer 	Bitrate     	Retr  Cwnd
   [5]   0.00-1.00   sec   481 KBytes  3.94 Mbits/sec	0   76.4 KBytes
   [5]   1.00-2.00   sec   223 KBytes  1.83 Mbits/sec	0   82.0 KBytes
   ...
   [ID] Interval       	Transfer 	Bitrate     	Retr
   [5]   0.00-14.00  sec  3.92 MBytes  2.35 Mbits/sec   32     sender
   [5]   0.00-14.00  sec  0.00 Bytes  0.00 bits/sec            receiver
   
   iperf3: error - the server has terminated

   Copy to Clipboard Toggle word wrap

验证

1. 显示接口上 htb 和 sfq 类的数据包计数的统计信息：

   # tc -s qdisc show dev ifb4eth0
   
   qdisc htb 1: root
   ...
    Sent 26611455 bytes 3054 pkt (dropped 76, overlimits 4887 requeues 0)
   ...
   qdisc sfq 8001: parent
   ...
    Sent 26535030 bytes 2296 pkt (dropped 76, overlimits 0 requeues 0)
   ...

   Copy to Clipboard Toggle word wrap

2. 显示 mirred 和 ctinfo 操作的数据包计数的统计信息：

   # tc -s filter show dev enp1s0 ingress
   filter parent ffff: protocol ip pref 49152 u32 chain 0
   filter parent ffff: protocol ip pref 49152 u32 chain 0 fh 800: ht divisor 1
   filter parent ffff: protocol ip pref 49152 u32 chain 0 fh 800::800 order 2048 key ht 800 bkt 0 terminal flowid not_in_hw (rule hit 8075 success 8075)
     match 00000000/00000000 at 0 (success 8075 )
       action order 1: ctinfo zone 0 pipe
         index 1 ref 1 bind 1 cpmark 0x00000064 installed 3105 sec firstused 3105 sec DSCP set 0 error 0
         CPMARK set 7712
       Action statistics:
       Sent 25891504 bytes 3137 pkt (dropped 0, overlimits 0 requeues 0)
       backlog 0b 0p requeues 0
   
       action order 2: mirred (Egress Redirect to device ifb4eth0) stolen
          index 1 ref 1 bind 1 installed 3105 sec firstused 3105 sec
       Action statistics:
       Sent 25891504 bytes 3137 pkt (dropped 0, overlimits 61 requeues 0)
       backlog 0b 0p requeues 0

   Copy to Clipboard Toggle word wrap

3. 显示 htb 速率限制器及其配置的统计信息：

   # tc -s class show dev ifb4eth0
   class htb 1:100 root leaf 8001: prio 7 rate 1Mbit ceil 2Mbit burst 1600b cburst 1600b
    Sent 26541716 bytes 2373 pkt (dropped 61, overlimits 4887 requeues 0)
    backlog 0b 0p requeues 0
    lended: 7248 borrowed: 0 giants: 0
    tokens: 187250 ctokens: 93625

   Copy to Clipboard Toggle word wrap