標(biāo)題：清華聯(lián)手上海AI實(shí)驗(yàn)室破解AI推理熵難題，引領(lǐng)強(qiáng)化學(xué)習(xí)新紀(jì)元
隨著人工智能技術(shù)的飛速發(fā)展，大型語(yǔ)言模型（LLMs）在推理能力上的突破，強(qiáng)化學(xué)習(xí)（RL）的應(yīng)用范圍也從單一任務(wù)擴(kuò)展到更廣泛的場(chǎng)景。然而，強(qiáng)化學(xué)習(xí)中的策略熵問(wèn)題，成為了訓(xùn)練中的關(guān)鍵難題。為了解決這一問(wèn)題，上海人工智能實(shí)驗(yàn)室聯(lián)合清華大學(xué)、伊利諾伊大學(xué)香檳分校等學(xué)府，組建國(guó)際團(tuán)隊(duì)研發(fā)新方法，通過(guò)Clip-Cov和KL-Cov技術(shù)有效應(yīng)對(duì)策略熵崩潰問(wèn)題。
一、強(qiáng)化學(xué)習(xí)中的熵值問(wèn)題
強(qiáng)化學(xué)習(xí)中，策略熵是反映了模型在利用已知策略和探索新策略之間的平衡。當(dāng)策略熵過(guò)低時(shí)，模型可能會(huì)過(guò)度依賴(lài)已有策略，喪失探索能力。這一探索-利用權(quán)衡是強(qiáng)化學(xué)習(xí)的基礎(chǔ)，如何控制策略熵成為訓(xùn)練中的關(guān)鍵難題。
二、新方法的提出與實(shí)驗(yàn)結(jié)果
為了解決策略熵崩潰問(wèn)題，研究團(tuán)隊(duì)提出了一個(gè)經(jīng)驗(yàn)公式：R = ?a exp H + b，其中H代表策略熵，R為下游任務(wù)表現(xiàn)，a和b為擬合系數(shù)。這一公式揭示了策略性能與熵值之間的權(quán)衡關(guān)系，并指出熵耗盡是性能瓶頸。
研究進(jìn)一步分析了熵動(dòng)態(tài)變化，發(fā)現(xiàn)其受動(dòng)作概率與logits變化協(xié)方差的驅(qū)動(dòng)。為此，團(tuán)隊(duì)創(chuàng)新性地提出了Clip-Cov和KL-Cov兩種技術(shù)，分別通過(guò)裁剪高協(xié)方差token和施加KL懲罰來(lái)維持熵水平。
實(shí)驗(yàn)基于Qwen2.5模型和DAPOMATH數(shù)據(jù)集，覆蓋數(shù)學(xué)任務(wù)。結(jié)果顯示新方法在7B和32B模型上分別提升了2.0%和6.4%的性能，尤其在AIE24和AIE25等高難度基準(zhǔn)測(cè)試中，32B模型性能提升高達(dá)15.0%。這一結(jié)果證明了新方法的有效性和優(yōu)越性。
三、開(kāi)源模型與算法優(yōu)化
研究團(tuán)隊(duì)在包括Qwen2.5、Mistral、LLaMA和DeepSeek在內(nèi)的11個(gè)開(kāi)源模型上進(jìn)行了測(cè)試，涵蓋數(shù)學(xué)和編程任務(wù)的8個(gè)公開(kāi)基準(zhǔn)測(cè)試。訓(xùn)練采用veRL框架和零樣本設(shè)置，結(jié)合GRPO、REINFORCE++等算法優(yōu)化策略性能。這些測(cè)試結(jié)果進(jìn)一步驗(yàn)證了新方法的有效性和通用性。
四、未來(lái)發(fā)展方向
新方法的提出不僅解決了策略熵崩潰問(wèn)題，也為強(qiáng)化學(xué)習(xí)在語(yǔ)言模型中的擴(kuò)展提供了理論支持。未來(lái)，我們應(yīng)進(jìn)一步探索熵管理策略，以推動(dòng)更智能語(yǔ)言模型的發(fā)展。此外，我們還應(yīng)關(guān)注強(qiáng)化學(xué)習(xí)在其他領(lǐng)域的廣泛應(yīng)用，如自動(dòng)駕駛、醫(yī)療診斷等，這些領(lǐng)域需要更高效、更智能的優(yōu)化算法。
五、結(jié)語(yǔ)
清華聯(lián)手上海AI實(shí)驗(yàn)室破解AI推理熵難題，這一突破性的研究成果將引領(lǐng)強(qiáng)化學(xué)習(xí)進(jìn)入新紀(jì)元。我們期待更多類(lèi)似的研究出現(xiàn)，推動(dòng)人工智能技術(shù)的不斷發(fā)展，為人類(lèi)社會(huì)帶來(lái)更多的便利和進(jìn)步。
參考文獻(xiàn)：
（此處省略實(shí)際參考文獻(xiàn)）
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
