騰訊研發(fā)全新框架:用AI打,讓DeepSeek學(xué)會(huì )戰略性思考
電競體育10月05報道 據 decoder 今天報道,騰訊研究人員最近用《王者榮耀》游戲作為訓練平臺,探索如何讓 AI 在游戲中學(xué)會(huì )“戰略性思考”,研究全新 TiG(Think in Games)框架,相關(guān)成果已發(fā)表于 Hugging Face 網(wǎng)站和 arXiv 平臺。
研究團隊指出,目前的 AI 模型存在明顯的功能鴻溝,以游戲為取向的 AI 能正常游玩但無(wú)法理解自己所做的決策,而語(yǔ)言模型雖然可以推理策略,但很難真正執行操作,為此他們研發(fā)了全新 TiG 框架,讓模型在游戲中同步思考、行動(dòng)。
團隊選擇以《王者榮耀》游戲作為訓練范本,先使用匿名且標準化的賽事數據定義推上路、擊殺暴君、守家等 40 種宏觀(guān)行動(dòng),勝負回數均衡,AI 模型們必須要在每個(gè)定義好的場(chǎng)景下選擇最佳策略,并解釋其戰略緣由。
具體來(lái)說(shuō),訓練分為兩個(gè)階段,首先是在監督中學(xué)習,弄清楚這些策略的基本機制;隨后通過(guò)獎勵機制進(jìn)行強化學(xué)習,如果行動(dòng)正確能得 1 分,錯誤行動(dòng)則得 0 分。
隨后團隊測試了多種語(yǔ)言模型,涵蓋 Qwen2.5(7B、14B、32B)、Qwen3-14B 模型,并使用 DeepSeek-R1 大模型作為對照組;先從 DeepSeek-R1 提煉高質(zhì)量訓練數據,然后使用群體相對策略?xún)?yōu)化(GRPO)技術(shù),比較不同策略之間的優(yōu)劣。
最終經(jīng)過(guò) TiG 框架訓練的模型不僅能制定行動(dòng)計劃,還能解釋原因,例如 AI 會(huì )指出某個(gè)防御塔防守薄弱,是理想的進(jìn)攻目標,但需要注意埋伏的敵人。模型訓練后仍保持原有的文本理解、數學(xué)推理與問(wèn)答能力。