鄭緯民院士：綜合考慮，構(gòu)建基于國產(chǎn)AI卡的萬卡大模型訓(xùn)練平臺

4月28日消息（九九）今天上午，以“算力網(wǎng)絡(luò)點亮AI新時代”為主題的中國移動算力網(wǎng)絡(luò)大會在蘇州開幕。在大會主論壇上，中國工程院院士鄭緯民指出，人工智能對算力產(chǎn)生爆發(fā)式需求，模型研發(fā)、模型訓(xùn)練、模型精調(diào)、模型推理都需要算力，算力存在于大模型生命周期的每一環(huán)。

鄭緯民進一步指出，構(gòu)建基于國產(chǎn)AI卡的萬卡大模型訓(xùn)練平臺需要考慮到幾個問題：

一是半精度運算性能與雙精度運算性能的平衡

設(shè)計中不僅要考慮半精度運算性能，還要考慮雙精度運算能力，雙精度與半精度運算性能之比為1：50-100為宜。根據(jù)科學(xué)計算（AI For Science）和大模型訓(xùn)練的發(fā)展趨勢，提出了變精度平衡設(shè)計的思想，為適應(yīng)科學(xué)計算和更廣泛的AI算法和應(yīng)用提供了保障。

二是網(wǎng)絡(luò)平衡設(shè)計

網(wǎng)絡(luò)設(shè)計不能針對CNN算法，還需考慮極大規(guī)模預(yù)訓(xùn)練模型對系統(tǒng)的需求。大規(guī)模預(yù)訓(xùn)練模型需要高帶寬低延遲網(wǎng)絡(luò)。并支持?jǐn)?shù)據(jù)并行，模型并行和專家平行模式。

三是體系結(jié)構(gòu)感知的內(nèi)存平衡設(shè)計

一方面訪問內(nèi)存的請求使網(wǎng)絡(luò)擁塞，降低吞吐量，反映到應(yīng)用程序上表現(xiàn)為訪存性能顯著下降；另一方面，多個訪問內(nèi)存的請求可能訪問同一存控對應(yīng)的內(nèi)存空間，負(fù)載不均，存控需要順序處理訪存請求。

四是IO子系統(tǒng)平衡設(shè)計

需要支持檢查點，增加SSD。另外，系統(tǒng)的本地nvme ssd僅通過本地文件系統(tǒng)訪問，限制了其應(yīng)用范圍，需要將每臺服務(wù)器上的快速本地nvme整合成應(yīng)用可見的全局分布式文件系統(tǒng)。

“大模型基礎(chǔ)設(shè)施平衡設(shè)計的幾點考慮做得好，別人要用1萬塊卡，我們用9000塊卡就可以了。”鄭緯民說。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。