(資料圖片僅供參考)

封面新聞?dòng)浾?歐陽(yáng)宏宇

在BAT、360、商湯等國(guó)內(nèi)企業(yè)紛紛宣布入局AI大模型之后，面向大模型訓(xùn)練的高性能計(jì)算需求也迎來(lái)井噴式增長(zhǎng)。

近日，騰訊披露自研高性能計(jì)算網(wǎng)絡(luò)星脈高性能計(jì)算集群。據(jù)介紹，該計(jì)算集群具備3.2T通信帶寬，能提升40%的GPU利用率，節(jié)省30%~60%的模型訓(xùn)練成本，為AI大模型帶來(lái)10倍通信性能提升?；隍v訊云新一代算力集群HCC，可支持10萬(wàn)卡的超大計(jì)算規(guī)模。

不久前，為了降低算力支出，OpenAI開(kāi)始限流。這背后是通用人工智能的火爆帶動(dòng)了AI大模型參數(shù)量級(jí)飆。為支撐海量數(shù)據(jù)的大規(guī)模訓(xùn)練，需要大量服務(wù)器通過(guò)高速網(wǎng)絡(luò)組成算力集群。國(guó)內(nèi)廠商正試圖通過(guò)技術(shù)的演進(jìn)對(duì)算力使用效益優(yōu)化。

今年4月，阿里云也已披露了其高性能AI訓(xùn)練計(jì)算平臺(tái)靈駿智算；上月底，聯(lián)想高性能計(jì)算與人工智能主任技術(shù)顧問(wèn)郝常杰也對(duì)外表示，在高性能計(jì)算上走開(kāi)放融合技術(shù)路線。此外，華為云、商湯、科大訊飛在高性能計(jì)算集群上都有布局。

不過(guò)，大集群不等于大算力，相反，GPU集群越大，產(chǎn)生的額外通信損耗越多。比如，千億、萬(wàn)億參數(shù)規(guī)模的大模型，訓(xùn)練過(guò)程中通信占比最大可達(dá)50%，傳統(tǒng)低速網(wǎng)絡(luò)的帶寬遠(yuǎn)遠(yuǎn)無(wú)法支撐。同時(shí)，傳統(tǒng)網(wǎng)絡(luò)協(xié)議容易導(dǎo)致網(wǎng)絡(luò)擁塞、高延時(shí)和丟包，而僅0.1%的網(wǎng)絡(luò)丟包就可能導(dǎo)致50%的算力損失，最終造成算力資源的嚴(yán)重浪費(fèi)。

解決這類問(wèn)題，需要面向AI大模型打造高性能計(jì)算網(wǎng)絡(luò)。騰訊云副總裁王亞晨認(rèn)為，大帶寬、高利用率以及零丟包的高性能網(wǎng)絡(luò)服務(wù)，將助力突破算力瓶頸，進(jìn)一步釋放AI潛能，全面提升企業(yè)大模型的訓(xùn)練效率。比如，騰訊云自研的端到端全棧網(wǎng)絡(luò)運(yùn)營(yíng)系統(tǒng)將整體故障排查時(shí)間降低至分鐘級(jí)，大模型訓(xùn)練系統(tǒng)的整體部署時(shí)間也得以從19天縮減至4.5天。

在專家看來(lái)，高性能計(jì)算將開(kāi)啟算力賦能數(shù)字經(jīng)濟(jì)的新篇章。中國(guó)工程院院士陳左寧指出，在先進(jìn)計(jì)算產(chǎn)業(yè)浪潮下，實(shí)現(xiàn)高性能計(jì)算的可持續(xù)發(fā)展，能打造以新型算力為基礎(chǔ)的軟硬件協(xié)同的創(chuàng)新生態(tài)環(huán)境，助推行業(yè)賦能，以及數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化水平的不斷躍升。

關(guān)鍵詞：