散戶組團挑戰(zhàn)算力霸權(quán)：40B模型+20萬億token刷新世界紀錄，掀起科技革命浪潮
隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人工智能（AI）的訓(xùn)練也日益受到關(guān)注。近日，Nous Research 宣布正式推出 Psyche 網(wǎng)絡(luò)，通過去中心化方式革新人工智能（AI）訓(xùn)練，這一舉措引發(fā)了廣泛關(guān)注。Psyche 網(wǎng)絡(luò)利用區(qū)塊鏈技術(shù)，匯聚全球計算資源，成功啟動了 40B 參數(shù)大語言模型 Consilience 的預(yù)訓(xùn)練任務(wù)，創(chuàng)下了迄今為止互聯(lián)網(wǎng)上最大規(guī)模的預(yù)訓(xùn)練紀錄。這一突破性的進展，無疑將掀起科技革命浪潮。
首先，我們需要理解 Psyche 網(wǎng)絡(luò)的技術(shù)原理。Psyche 網(wǎng)絡(luò)的核心在于 DisTrO 優(yōu)化器與 Solana 區(qū)塊鏈。通過利用全球閑置的計算資源（如 4090、A100 和 H100 等消費級 GPU），大幅降低訓(xùn)練成本。并行實驗鼓勵開源社區(qū)提出新的模型架構(gòu)和訓(xùn)練方法，這可能催生更多創(chuàng)新。值得注意的是，區(qū)塊鏈技術(shù)的引入，為 Psyche 網(wǎng)絡(luò)提供了無需許可、彈性與高可用性、激勵機制的開放平臺，協(xié)調(diào)并獎勵為網(wǎng)絡(luò)作出貢獻的參與者。
在這個去中心化的訓(xùn)練過程中，網(wǎng)絡(luò)帶寬一直是最令人擔(dān)憂的問題。傳統(tǒng)的數(shù)據(jù)中心具有極高帶寬的連接，而互聯(lián)網(wǎng)上的志愿者節(jié)點往往只有幾十甚至幾百兆每秒的帶寬。傳統(tǒng)的訓(xùn)練方式需要 GPU 之間持續(xù)地交換更新信息，而普通家用網(wǎng)絡(luò)來完成這些通信，很可能會陷入“災(zāi)難級”的訓(xùn)練體驗。然而，Nous 推出的 DisTrO 技術(shù)能夠讓所有訓(xùn)練節(jié)點保持高度同步，并將所需帶寬降低 1000 到 10000 倍。這一技術(shù)的成功驗證標志著分布式、去中心化訓(xùn)練邁出了從理論走向現(xiàn)實的關(guān)鍵一步。
此次 Psyche 網(wǎng)絡(luò)的成功實現(xiàn)去中心化的 AI 訓(xùn)練，開創(chuàng)了一個全新的模式。不僅降低了 AI 開發(fā)的門檻，還推動了全球協(xié)作和創(chuàng)新。Consilience 模型的預(yù)訓(xùn)練只是起點，未來 Psyche 網(wǎng)絡(luò)有望成為 AI 民主化的重要基石，為開源社區(qū)和小型團隊提供與科技巨頭抗衡的機會。這一轉(zhuǎn)變不僅在 AI 領(lǐng)域具有重要意義，也在科技界引發(fā)了廣泛討論。
在去中心化訓(xùn)練中，我們面臨的挑戰(zhàn)是如何協(xié)調(diào)不同硬件之間的計算資源，以及如何確保訓(xùn)練過程中的安全性與可靠性。區(qū)塊鏈技術(shù)的出現(xiàn)，為我們提供了解決這些問題的可能。區(qū)塊鏈的去中心化特性，使得每個參與者都有平等的權(quán)利和義務(wù)，避免了中心化系統(tǒng)的弊端。同時，區(qū)塊鏈的不可篡改性也保證了訓(xùn)練數(shù)據(jù)的真實性和安全性。
強化學(xué)習(xí)框架下的分布式訓(xùn)練在硬件能力和網(wǎng)絡(luò)延遲差異大的情況下表現(xiàn)出色。每個節(jié)點可以獨立行動，收集經(jīng)驗，并定期與其他節(jié)點分享進展。這極大緩解了傳統(tǒng)訓(xùn)練中常見的同步難題。每個節(jié)點在訓(xùn)練過程中的表現(xiàn)都將影響它的獎勵：計算能力更強或使用了更先進訓(xùn)練方法的節(jié)點可能會獲得更多代幣激勵。這種激勵機制將進一步激發(fā)參與者的積極性，推動訓(xùn)練任務(wù)的成功完成。
此外，我們也應(yīng)該看到區(qū)塊鏈技術(shù)在推動科技發(fā)展中的重要作用。在常常被斥為“過度炒作又頻頻令人失望”的區(qū)塊鏈生態(tài)中，能看到真正的創(chuàng)新成果，確實令人欣慰——這簡直讓人“冷漠的靈魂也重新燃起了熱情”。Nous 并不是一開始就擁抱區(qū)塊鏈技術(shù)的，但經(jīng)過深思熟慮和實際需求后，他們選擇了將技術(shù)棧遷移到 Solana 區(qū)塊鏈。他們需要一種方式，不論對方來自哪里，都能吸引計算資源與人才并進行公平支付；區(qū)塊鏈在這一點上表現(xiàn)得無比出色。他們需要一種手段，能夠協(xié)調(diào)并擴展大規(guī)模訓(xùn)練任務(wù)；而協(xié)調(diào)與擴展正是區(qū)塊鏈技術(shù)的第二天性。
總的來說，Psyche 網(wǎng)絡(luò)的成功預(yù)訓(xùn)練是科技創(chuàng)新的重大突破，也是對集中化計算模式的強有力挑戰(zhàn)。這一創(chuàng)新性的項目將為開源社區(qū)和小型團隊提供與科技巨頭抗衡的機會，推動 AI 發(fā)展的民主化。我們期待著 Psyche 網(wǎng)絡(luò)在未來能夠帶來更多的驚喜和突破，引領(lǐng)科技革命浪潮。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
