標(biāo)題:DeepSeek開(kāi)源新突破:DeepGEMM庫(kù)揭秘,訓(xùn)練推理動(dòng)力強(qiáng)勁
DeepSeek在開(kāi)源周的第三天宣布開(kāi)放DeepGEMM代碼庫(kù),這一舉措無(wú)疑在深度學(xué)習(xí)社區(qū)中引起了廣泛的關(guān)注。DeepGEMM是為簡(jiǎn)潔高效的FP8通用矩陣乘法(GEMMs)而設(shè)計(jì),其性能在各種矩陣形狀上與專家調(diào)優(yōu)的庫(kù)相匹配或超越。
DeepGEMM是專為英偉達(dá)Hopper架構(gòu)運(yùn)算設(shè)計(jì)的,其設(shè)計(jì)理念是簡(jiǎn)潔高效。為了解決FP8張量核心累加不精確的問(wèn)題,它采用了CUDA核心的兩級(jí)累加(提升)方法,這一創(chuàng)新性的解決方案使得DeepGEMM在性能上有了顯著的提升。
在設(shè)計(jì)上,DeepGEMM只有一個(gè)核心內(nèi)核函數(shù),代碼量約為300行,這充分體現(xiàn)了其簡(jiǎn)潔高效的設(shè)計(jì)理念。然而,其性能表現(xiàn)卻讓人眼前一亮,無(wú)論是在普通的GEMM運(yùn)算還是在專家混合(MoE)分組的GEMM運(yùn)算中,DeepGEMM都表現(xiàn)出了強(qiáng)大的實(shí)力。
DeepSeek團(tuán)隊(duì)在H800上使用NVCC 12.8測(cè)試了DeepSeek-V3/R1推理中可能使用的所有形狀(包括預(yù)填充和解碼),結(jié)果顯示DeepGEMM計(jì)算性能最高可達(dá)1358 TFLOPS,內(nèi)存寬帶最高可達(dá)2668 GB/s。這一驚人的性能表現(xiàn)無(wú)疑證明了DeepGEMM的強(qiáng)大實(shí)力。
相比于基于CUTLASS 3.6的優(yōu)化實(shí)現(xiàn),DeepGEMM的可提速最高可達(dá)2.7倍。這一點(diǎn)足以證明DeepGEMM的優(yōu)越性。另外,在分組GEMM(MoE模型)中連續(xù)性布局、掩碼布局下,DeepGEMM的性能提升更是高達(dá)1.2倍。這無(wú)疑為MoE模型提供了強(qiáng)大的動(dòng)力支持。
為了更好地推廣和使用DeepGEMM,DeepSeek團(tuán)隊(duì)還對(duì)其環(huán)境要求進(jìn)行了詳細(xì)介紹。首先,必須支持Hopper架構(gòu)的GPU,sm_90a。其次,Python 3.8及以上和CUDA 12.3及以上(推薦12.8)也是必需的。另外,PyTorch 2.1及以上和CUTLASS 3.6及以上也是推薦的環(huán)境。這些環(huán)境要求不僅說(shuō)明了DeepGEMM的兼容性,也表明了DeepSeek對(duì)用戶支持的重視。
總的來(lái)說(shuō),DeepGEMM的開(kāi)源是一個(gè)重大的突破,它為深度學(xué)習(xí)社區(qū)提供了新的動(dòng)力和支持。它的簡(jiǎn)潔高效的設(shè)計(jì)和強(qiáng)大的性能表現(xiàn)使其在各種矩陣形狀上的表現(xiàn)都令人印象深刻。DeepSeek團(tuán)隊(duì)的努力和貢獻(xiàn)值得我們的贊賞和肯定。我們期待著DeepGEMM在未來(lái)的應(yīng)用中能夠帶來(lái)更多的驚喜和突破。
在未來(lái)的發(fā)展中,我們相信DeepGEMM將會(huì)成為深度學(xué)習(xí)領(lǐng)域的一股重要力量,為訓(xùn)練和推理提供更強(qiáng)大的動(dòng)力。同時(shí),我們也期待著DeepSeek團(tuán)隊(duì)能夠帶來(lái)更多的開(kāi)源突破,推動(dòng)深度學(xué)習(xí)領(lǐng)域的發(fā)展。
- 特斯拉奧斯汀自動(dòng)駕駛測(cè)試新動(dòng)態(tài):謹(jǐn)慎前行,商業(yè)服務(wù)何時(shí)落地?
- OpenAI雄心勃勃:未來(lái)五年收入翻倍,2029年目標(biāo)達(dá)1250億美元
- 小米辟謠:高階駕駛培訓(xùn)車禍純屬謠言,已啟動(dòng)法律程序追究造謠者責(zé)任
- “董明珠健康家”探店尋寶直播即將開(kāi)啟 鎖定6月10日18點(diǎn)京東直播
- 抄襲風(fēng)波后小米回應(yīng):設(shè)計(jì)稿說(shuō)明一切,原創(chuàng)才是硬道理
- 英特爾版Mac停更:告別歷史,新篇章開(kāi)啟?
- 蘋果WWDC25:AI不進(jìn)則退,警惕被競(jìng)爭(zhēng)對(duì)手拉開(kāi)差距
- TikTok積極拓展英國(guó)市場(chǎng),創(chuàng)新崗位擴(kuò)容,攜手就業(yè)新機(jī)遇
- 硅基智能“翻身”阿里云領(lǐng)投,流動(dòng)科技再獲億元融資,新賽道正式開(kāi)啟
- AI賦能網(wǎng)絡(luò)安全:Fortinet三大智能體引領(lǐng)數(shù)據(jù)鏈共享協(xié)同作戰(zhàn),揭秘未來(lái)安全新篇章
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。