全球快訊:6個(gè)常見的IB網(wǎng)絡(luò)不通問題
摘要：如果遇到IB網(wǎng)絡(luò)不通，可以試著從高層往底層逐步分析看看。本文分
2023-06-26全球快訊:6個(gè)常見的IB網(wǎng)絡(luò)不通問題
摘要：如果遇到IB網(wǎng)絡(luò)不通，可以試著從高層往底層逐步分析看看。
本文分享自華為云社區(qū)《常見IB網(wǎng)絡(luò)不通問題記錄》，作者： tsjsdbd 。
如果遇到IB網(wǎng)絡(luò)不通，可以試著從高層往底層逐步分析看看。僅記錄下，供難友參考：
(資料圖片僅供參考)
報(bào)錯(cuò)：
machine-19: [0] transport/net_ib.cc:839 NCCL WARN NET/IB : Got completion with error 12, opcode 0, len 0, vendor err 129
原因：錯(cuò)誤12，說明RDMA網(wǎng)絡(luò)不通。
需要分析底層網(wǎng)絡(luò)為什么不通。
比如：
是否單純網(wǎng)絡(luò)不通pfc流控不對導(dǎo)致丟包。如果是（2）這種偶現(xiàn)不通的話，可以參考pfc設(shè)置規(guī)則：《為什么華為云上AI訓(xùn)練必須設(shè)置NCCL_IB_TC=128》
二、ib_write_bw不通報(bào)錯(cuò)1：
root@tsjsdbd:~# ib_write_bw---------------------------------------------------------- RDMA_Write BW Test Dual-port : OFFDevice : mlx4_0 Number of qps : 1Transport type : IB Connection type : RCUsing SRQ : OFF CQ Moderation : 100 Mtu : 2048[B] Link type : IB Max inline data : 0[B] rdma_cm QPs : OFF Data ex. method : Ethernet-------------------------------------------------------- local address: LID 0x81 QPN 0x160b3 PSN 0xa072 RKey 0x68010802 VAddr 0x007f184171a000 remote address: LID 0x35 QPN 0xc5a0b PSN 0xaa465a RKey 0x20010802 VAddr 0x007f3ca2b9c000--------------------------------------------------------------------------------------- #bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps]ethernet_read_keys: Couldn"t read remote address Unable to read to socket/rdam_cm Failed to exchange data between server and clients
報(bào)錯(cuò)2：
root@tsjsdbd:~# ib_write_bw -F 29.26.130.185 -d mlx5_5---------------------------------------------------------- RDMA_Write BW Test Dual-port : OFF Device : mlx5_5 Number of qps : 1 Transport type : IB Connection type : RC Using SRQ : OFF PCIe relax order: ON ibv_wr* API : ON TX depth : 128 CQ Moderation : 1 Mtu : 2048[B] Link type : Ethernet GID index : 3 Max inline data : 0[B] rdma_cm QPs : OFF Data ex. method : Ethernet-------------------------------------------------------- local address: LID 0x81 QPN 0x160b3 PSN 0xa072 RKey 0x68010802 VAddr 0x007f184171a000 GID: 00:00:00:00:00:00:00:00:00:00:255:255:29:26:130:235 remote address: LID 0x35 QPN 0xc5a0b PSN 0xaa465a RKey 0x20010802 VAddr 0x007f3ca2b9c000 GID: 00:00:00:00:00:00:00:00:00:00:255:255:29:26:130:185--------------------------------------------------------------------------------------- #bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps] Completion with error at client Failed status 12: wr_id 0 Syndrom 0x81scnt=128, ccnt=0 Failed to complete run_iter_bw function successfully
說明網(wǎng)絡(luò)不通，需要繼續(xù)分析RDMA鏈路。
三、ibv_rc_pingpong不通報(bào)錯(cuò)：
ibv_rc_pingpong -d mlx5_bond_0 -g 3 29.28.195.228 local address: LID 0x0000, QPN 0x01417f, PSN 0x63d7fa, GID ::ffff:29.28.201.21 remote address: LID 0x0000, QPN 0x00132d, PSN 0x8c0a5b, GID ::ffff:29.28.195.228Failed status transport retry counter exceeded (12) for wr_id 2parse WC failed 1
說明網(wǎng)絡(luò)不通，需要分析IP網(wǎng)絡(luò)為什么不通。
四、rping不通報(bào)錯(cuò)1：
rping -c -a 29.28.195.228 -v -C 10cma event RDMA_CM_EVENT_ADDR_ERROR, error -110waiting for addr/route resolution state 1
說明地址連不上，需要繼續(xù)判斷IP鏈路是否通。
報(bào)錯(cuò)2：
rping -c -a 29.28.197.165 -C 10 -vcma event RDMA_CM_EVENT_REJECTED, error 8wait for CONNECTED state 4connect error -1
這個(gè)Reject表示連接被拒絕了。只是單純的因?yàn)?rping 工作時(shí)需首先啟動一個(gè) server side 進(jìn)程，然后從 client side 試圖向 server side 發(fā)起連接。
所以要先啟動Server端。
rping -s 29.28.201.211 -v五、ping不通
報(bào)錯(cuò)：
ping 29.28.195.228PING 29.28.195.228 (29.28.195.228) 56(84) bytes of data.From 29.28.204.80 icmp_seq=1 Destination Host UnreachableFrom 29.28.204.80 icmp_seq=2 Destination Host UnreachableFrom 29.28.204.80 icmp_seq=3 Destination Host UnreachableFrom 29.28.204.80 icmp_seq=4 Destination Host Unreachable^C--- 29.28.195.228 ping statistics ---5 packets transmitted, 0 received, +4 errors, 100% packet loss, time 4045ms
這個(gè)估計(jì)就快到根錯(cuò)誤了，假設(shè)交換機(jī)連接都是OK的。那基本就是路由設(shè)置問題：
可以用
# ip route get 29.28.204.80 from 29.28.201.21129.28.204.80 from 29.28.201.211 dev enp137s0f0 uid 0
來確認(rèn)發(fā)送報(bào)文的網(wǎng)卡是否選擇正確。
如果是「同網(wǎng)段多IB網(wǎng)卡」的情況，如A100 或者 A800服務(wù)，帶8個(gè)IB網(wǎng)卡，并都在同一個(gè)網(wǎng)段。則需要通過策略路由設(shè)置「源地址路由」規(guī)則來解決各個(gè)IP互通的問題。見：《RoCE多網(wǎng)卡時(shí)，報(bào)文可以過去，但是回不來》
六、ARP表不對如果ping是通的，但是rping又不通。 那就還要再底層看一看了（你也算天選之子了，跑這么底層定位錯(cuò)誤）。
正常情況，學(xué)習(xí)到的arp表，一個(gè)IP地址對應(yīng)一個(gè)網(wǎng)卡的MAC地址。
如下：
/home/tsj # arp -n | grep 29.28.201.21129.28.201.211 ether 08:c0:eb:8c:10:6d C enp137s0f1
兩端同時(shí)查看，如果發(fā)現(xiàn)一個(gè)IP地址，學(xué)習(xí)到的arp記錄有多條不一樣的，說明arp設(shè)置不對。
需要
先清空arp表設(shè)置arp應(yīng)答規(guī)則其中，
（1）清空arp表有2種方式：
指定某個(gè)IP清空：arp -d 192.168.1.1清空所有arp：（咱們直接執(zhí)行這個(gè)就行）
ip -s -s neigh flush all
（2）設(shè)置arp應(yīng)答規(guī)則：
sysctl -w net.ipv4.conf.all.arp_ignore=1sysctl -w net.ipv4.conf.all.arp_announce=2
意思是只答復(fù)對應(yīng)網(wǎng)卡的arp響應(yīng)。
設(shè)置完后，再ping一次后，確認(rèn)兩邊學(xué)習(xí)到的arp表是正確的。
點(diǎn)擊關(guān)注，第一時(shí)間了解華為云新鮮技術(shù)~
標(biāo)簽：
