明略科技開(kāi)源TensorBoard.cpp，助力大模型預(yù)訓(xùn)練

8月11日消息，近日，明略科技集團(tuán)實(shí)現(xiàn)了機(jī)器學(xué)習(xí)可視化工具——TensorBoard的C++接口，進(jìn)一步豐富了基于C++的大模型項(xiàng)目工具集，使得大模型預(yù)訓(xùn)練過(guò)程監(jiān)控更加便捷、高效，加速營(yíng)銷(xiāo)領(lǐng)域大模型預(yù)訓(xùn)練進(jìn)程。該工具已在Github開(kāi)源。

TensorBoard是Google開(kāi)發(fā)的一款機(jī)器學(xué)習(xí)可視化工具，常用于監(jiān)測(cè)機(jī)器學(xué)習(xí)過(guò)程的各項(xiàng)指標(biāo)。

明略科技高級(jí)技術(shù)總監(jiān)趙亮介紹：“在大模型訓(xùn)練過(guò)程中，數(shù)據(jù)監(jiān)測(cè)是一個(gè)重要維度，而TensorBoard通過(guò)可視化模型中的各種參數(shù)和結(jié)果，例如記錄大模型訓(xùn)練過(guò)程的Loss變化、驗(yàn)證集的PPL變化、學(xué)習(xí)率變化、Token消耗量、單步參數(shù)更新時(shí)延等指標(biāo)，幫助分析訓(xùn)練狀態(tài)，發(fā)現(xiàn)訓(xùn)練過(guò)程中出現(xiàn)的問(wèn)題并及時(shí)采取干預(yù)措施，提升大模型訓(xùn)練進(jìn)程和效果?！?/p>

明略科技開(kāi)源的C++接口TensorBoard工具頁(yè)面

此前，TensorBoard僅支持Python語(yǔ)言接口。此次明略科技通過(guò)C++實(shí)現(xiàn)TensorBoard，將進(jìn)一步豐富基于C++實(shí)現(xiàn)的大模型項(xiàng)目工具集，大幅提升模型訓(xùn)練監(jiān)測(cè)效率，加速模型訓(xùn)練進(jìn)程，改寫(xiě)接口后的工具將通過(guò)多維度的數(shù)據(jù)模式展示訓(xùn)練指標(biāo)，包括標(biāo)量、直方圖、圖像、圖像合集、音頻、文本等數(shù)據(jù)模式。該工具包通過(guò)github項(xiàng)目Tensorboard.cpp分享，助力更多研究者和開(kāi)發(fā)者參與并加速大模型的研發(fā)進(jìn)程，推動(dòng)人工智能多領(lǐng)域的應(yīng)用探索。

明略科技在Github開(kāi)源的兩款工具包：ASR-BlockFormer與tensorboard.cpp

明略科技集團(tuán)CTO郝杰表示：“我們要在更高效、更低成本的要求下做出營(yíng)銷(xiāo)領(lǐng)域的大模型，通過(guò)自適應(yīng)技術(shù)提升大模型的能力。好的行業(yè)大模型需要具備通用大模型的邏輯性、語(yǔ)言順暢度，同時(shí)還需要實(shí)現(xiàn)通用大模型所不具備的，在某個(gè)行業(yè)內(nèi)或具體的領(lǐng)域中的真實(shí)性、專(zhuān)業(yè)性。我們以明略科技憑借17年來(lái)積累的海量行業(yè)數(shù)據(jù)為基礎(chǔ)，從客戶(hù)實(shí)際需求出發(fā)，借助龐大的數(shù)據(jù)和知識(shí)庫(kù)進(jìn)行增強(qiáng)訓(xùn)練，滿足客戶(hù)多樣化的任務(wù)和場(chǎng)景需求。在訓(xùn)練監(jiān)測(cè)可視化工具的加持下，我們將提升訓(xùn)練速度，及時(shí)發(fā)現(xiàn)問(wèn)題，為客戶(hù)打造一個(gè)更加可靠、效果更好的行業(yè)大模型。”

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。