Re: [测试] Mellanox ConnectX-3 40GbE 网卡测试

楼主: tacovirus (小璋丸)   2021-08-03 15:20:45
※ 引述《tacovirus (大怒神のスイッチ)》之铭言:
: 这张网卡装在先前 5950X + WS X570-ACE 的机器上
: 型号是 MCX313A-BCCT
: https://i.imgur.com/x7LwWyd.jpg
: https://i.imgur.com/UFNWn7W.jpg
: 由于是买别人淘汰的卡, 一张 2800 就弄到了, 比全新的 10G 卡还便宜
: 不过目前拍卖上最便宜的是 HP 544FLR, 目前没屋顶一张不到 800,
: 不过这张卡造型特殊需要转一下才能用, 详情可以去 YT 搜寻 "测速怪"
: Proxmox VE 7.0 能侦测到, 使用的驱动程式是 mlx4_en
: ...
40GbE 爽卡已经搞定, 接下来要解决稳定问题
为了让系统能够在 40G 网卡故障时, 用比较弱的卡接手工作
所以使用 Linux Bonding 做一组 Active Backup
用 PVE 接口来设定大概长这样
https://imgur.com/a/vy513pX
接着来实测, 三秒时拔掉光纤观察, 然后插回去
# iperf3 -c 172.16.50.32 -t 60
Connecting to host 172.16.50.32, port 5201
[ 5] local 172.16.50.31 port 42834 connected to 172.16.50.32 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 3.97 GBytes 34.1 Gbits/sec 0 1.38 MBytes
[ 5] 1.00-2.00 sec 3.19 GBytes 27.4 Gbits/sec 0 1.49 MBytes
[ 5] 2.00-3.00 sec 2.78 GBytes 23.9 Gbits/sec 0 1.49 MBytes
[ 5] 3.00-4.00 sec 95.0 MBytes 797 Mbits/sec 1011 321 KBytes
[ 5] 4.00-5.00 sec 112 MBytes 944 Mbits/sec 0 352 KBytes
[ 5] 5.00-6.00 sec 112 MBytes 944 Mbits/sec 0 352 KBytes
[ 5] 6.00-7.00 sec 111 MBytes 933 Mbits/sec 0 352 KBytes
[ 5] 7.00-8.00 sec 112 MBytes 944 Mbits/sec 0 352 KBytes
[ 5] 8.00-9.00 sec 97.5 MBytes 818 Mbits/sec 0 352 KBytes
[ 5] 9.00-10.00 sec 2.98 GBytes 25.6 Gbits/sec 242 1.42 MBytes
[ 5] 10.00-11.00 sec 3.43 GBytes 29.5 Gbits/sec 0 1.42 MBytes
[ 5] 11.00-12.00 sec 3.53 GBytes 30.3 Gbits/sec 0 1.42 MBytes
[ 5] 12.00-13.00 sec 3.82 GBytes 32.8 Gbits/sec 0 1.42 MBytes
实测结果看起来确实有接手, 恢复正常时也会自己切回 40G
接着来观察流量损失
# iperf -c 172.16.50.32 -P 3

Links booklink

Contact Us: admin [ a t ] ucptt.com