11月12日消息，像OpenAI這樣的人工智能公司正致力于開發(fā)新型訓練技術，以便克服在構建更大規(guī)模語言模型時遇到的意外延遲和挑戰(zhàn)。這些技術旨在使算法以更類似于人類的方式“思考”。
多位人工智能領域的科學家、研究人員和投資者認為，OpenAI最新發(fā)布的o1模型，其背后的技術可能會重塑人工智能領域的競爭格局，并影響人工智能公司對資源（如能源和芯片類型）的持續(xù)需求。
OpenAI對此未予置評。自聊天機器人ChatGPT發(fā)布以來，眾多科技公司從人工智能熱潮中受益，估值大幅上升。這些公司公開宣稱，通過增加數據和計算能力來“擴大”模型規(guī)模，可以持續(xù)改進人工智能技術。
然而，一些頂尖科學家現在公開指出，模型“越大越好”的理念存在局限性。OpenAI前首席科學家、Safe Superintelligence（SSI）創(chuàng)始人伊利亞·蘇茨克維（Ilya Sutskever）表示，擴大預訓練方式已進入瓶頸期。預訓練是指訓練人工智能模型的階段，模型使用大量未標記的數據來理解語言模式和結構。
蘇茨克維曾倡導通過增加數據和計算能力來推動生成式人工智能的進步，并因此創(chuàng)造了ChatGPT。今年早些時候，蘇茨克維離開OpenAI，并成立了SSI。他指出：“2010年代是模型規(guī)模擴張的時代，而現在我們又回到了奇跡和發(fā)現的時代。每個人都在尋找下一個突破點，現在選擇正確的擴展方式比以往任何時候都更為重要。”
蘇茨克維未透露SSI團隊在探索的新方法的具體細節(jié)，僅表示團隊正在研究擴大預訓練規(guī)模的替代途徑。
據三位知情人士透露，主要人工智能實驗室的研究人員在試圖發(fā)布超越OpenAI GPT-4模型性能的大語言模型時，遇到了延遲和一些不盡如人意的結果，而GPT-4模型至今已推出近兩年。
這些大模型的“訓練運行”不僅成本高昂，可能達到數千萬美元，而且需要同時運行數百個芯片，系統復雜，硬件故障風險也較高。此外，研究人員通常要等上數月才能評估模型的最終性能，這增加了開發(fā)過程中的不確定性。
更為棘手的是，大語言模型對數據的需求量極大，當前人工智能模型已幾乎耗盡全球所有易獲取的數據資源。同時，電力短缺也成為限制訓練運行的另一大難題，因為這一過程需要巨大的能源支持。
為應對這些挑戰(zhàn)，研究人員正積極探索“測試時間計算”技術，該技術在模型的“推理”階段增強其性能。例如，模型能夠實時生成并評估多種可能性，最終選擇最佳路徑，而非立即給出答案。
這種方法允許模型將更多的處理能力用于具有挑戰(zhàn)性的任務，如數學或編碼問題，或是需要類似人類推理和決策的復雜操作。
OpenAI研究員諾姆·布朗（Noam Brown）上個月在舊金山舉行的TED人工智能大會上表示：“事實證明，讓機器人在撲克牌游戲中思考20秒，與將模型擴大訓練10萬倍的效果相當?！?/p>
OpenAI在其新發(fā)布的o1模型中采用了“測試時間計算”技術，該模型原名Q*和“草莓”，能以多步驟方式“思考”問題，類似于人類的推理方式。同時，o1模型還結合了博士和行業(yè)專家的數據與反饋。其核心是在GPT-4等“基礎”模型之上進行了額外的訓練。OpenAI表示，計劃將此技術應用于更多、更大的基礎模型。
與此同時，據五名知情人士透露，Anthropic、xAI及谷歌DeepMind等其他頂尖人工智能實驗室的研究人員也在積極研發(fā)各自的“測試時間計算”技術。
OpenAI首席產品官凱文·威爾（Kevin Weil）在10月的一次科技會議上表示：“當前有很多成果觸手可及，我們可以迅速采納，進一步提升模型性能。當競爭對手追趕時，我們將力求保持領先三步。”
谷歌和xAI未回應置評請求，Anthropic也暫未發(fā)表評論。
這一趨勢或將重塑人工智能硬件的競爭格局。迄今為止，對英偉達人工智能芯片的需求一直占據市場主導地位。知名風險投資機構如紅杉資本和安德森·霍洛維茨（Andreessen Horowitz）等已敏銳捕捉到這一轉變，并正在評估其高額投資的影響。這些機構已向OpenAI、xAI等多家人工智能實驗室的人工智能模型開發(fā)投入巨資。
紅杉資本合伙人索尼婭·黃（Sonya Huang）表示：“這一轉變將引領我們從大規(guī)模預訓練集群邁向基于云的分布式推理服務器——推理云?！?/p>
英偉達最先進的人工智能芯片需求激增，推動該公司市值在10月份超越蘋果，成為全球市值最高的公司。然而，與英偉達在訓練芯片市場的主導地位不同，這家芯片巨頭在推理市場可能會面臨更多競爭。
針對其產品需求可能受到的影響，英偉達回應稱，在最近的演示中已強調o1模型背后技術的重要性。英偉達首席執(zhí)行官黃仁勛指出，使用其芯片進行推理的需求正在不斷上升。
他在印度的一次會議上表示：“我們現已發(fā)現第二個縮放定律，即推理時的縮放定律……所有這些因素共同推動了Blackwell（該公司最新的人工智能芯片）需求的激增?！保ㄐ⌒。?/p>
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
