(資料圖片僅供參考)

北京日報客戶端 | 記者 袁璐

AIGC的爆發(fā)除了帶來算力上的挑戰(zhàn)，對網(wǎng)絡(luò)的要求也達到了前所未有的高度。

6月26日，騰訊云首次對外完整披露自研星脈高性能計算網(wǎng)絡(luò)：星脈網(wǎng)絡(luò)具備3.2T通信帶寬，能提升40%的GPU利用率，節(jié)省30%至60%的模型訓(xùn)練成本，為AI大模型帶來10倍通信性能提升。基于騰訊云新一代算力集群HCC，可支持10萬卡的超大計算規(guī)模。

“星脈網(wǎng)絡(luò)是為大模型而生?！彬v訊云副總裁王亞晨表示，該網(wǎng)絡(luò)所提供的大帶寬、高利用率以及零丟包的高性能網(wǎng)絡(luò)服務(wù)，將助力算力瓶頸的突破，進一步釋放AI潛能，全面提升企業(yè)大模型的訓(xùn)練效率，在云上加速大模型技術(shù)的迭代升級和落地應(yīng)用?！?/p>

記者注意到，AIGC的火爆帶來AI大模型參數(shù)量從億級到萬億級的飆升。為支撐海量數(shù)據(jù)的大規(guī)模訓(xùn)練，大量服務(wù)器通過高速網(wǎng)絡(luò)組成算力集群，互聯(lián)互通，共同完成訓(xùn)練任務(wù)。但大集群不等于大算力，相反，GPU（圖形處理器）集群越大，產(chǎn)生的額外通信損耗越多。大帶寬、高利用率、信息無損，是AI大模型時代網(wǎng)絡(luò)面臨的核心挑戰(zhàn)。

據(jù)了解，千億、萬億參數(shù)規(guī)模的大模型，訓(xùn)練過程中通信占比最大可達50%，傳統(tǒng)低速網(wǎng)絡(luò)的帶寬遠(yuǎn)遠(yuǎn)無法支撐。同時，傳統(tǒng)網(wǎng)絡(luò)協(xié)議容易導(dǎo)致網(wǎng)絡(luò)擁塞、高延時和丟包，而僅0.1%的網(wǎng)絡(luò)丟包就可能導(dǎo)致50%的算力損失，最終造成算力資源的嚴(yán)重浪費。

AI大模型催生了巨大的算力需求，當(dāng)前，A100是大模型應(yīng)用的“主力芯片”，價格大約為1萬美元。OpenAI表示，AI大模型要持續(xù)取得突破，所需消耗的計算資源每3至4個月就要翻一倍，資金也需要通過指數(shù)級增長獲得匹配。英偉達的研究表明，GPT3最大規(guī)模的模型需要使用175 Billions的參數(shù)量，需要使用512顆V100顯卡訓(xùn)練7個月時間，或者使用1024顆A100芯片訓(xùn)練一個月時間。測算下來，大模型訓(xùn)練每月成本在數(shù)百萬美元以上量級。

目前大模型開發(fā)和訓(xùn)練為何十分昂貴？業(yè)內(nèi)專家表示，首先，大模型需要大量的計算資源，包括CPU（中央處理器）、GPU、FPGA（現(xiàn)場可編程門陣列）、ASIC（專用集成芯片）等硬件設(shè)備，以及支持大規(guī)模并行計算的軟件平臺和框架。這些設(shè)備和平臺的成本非常高昂，而且不斷更新?lián)Q代，需要不斷投入新的資金和人力進行維護和升級。其次，大模型的訓(xùn)練和開發(fā)涉及大量的數(shù)據(jù)存儲和數(shù)據(jù)傳輸，這也需要相應(yīng)的網(wǎng)絡(luò)和存儲資源，成本同樣不低。最后，大模型的開發(fā)和訓(xùn)練需要大量的人力和時間投入，同時也需要成熟的算法設(shè)計和調(diào)優(yōu)技術(shù)來保證其效率和準(zhǔn)確性。

關(guān)鍵詞：