機(jī)器之心發(fā)布
(資料圖)
機(jī)器之心編輯部
從圍棋的 AlphaGo 到星際爭(zhēng)霸 II 的 AlphaStar，再到 Dota2 的 OpenAI Five，這些超級(jí)智能體研究在越來(lái)越擬真和開(kāi)放的虛擬環(huán)境中取得了一個(gè)個(gè)巨大的突破，現(xiàn)在通才 AI 智能體 "Ghost in the Minecraft"（GITM）已經(jīng)能夠玩轉(zhuǎn)《我的世界》游戲！
在全球最暢銷(xiāo)的游戲《我的世界》Minecraft 中，我們可以看到生存、探索和創(chuàng)造等各種活動(dòng)，無(wú)一不在緊密地模擬真實(shí)世界，《我的世界》好似一個(gè)縮小版的現(xiàn)實(shí)世界。包括 DeepMind、OpenAI 在內(nèi)全球許多著名研究團(tuán)隊(duì)，都投入到相關(guān) AI 智能體研究中，希望在其中尋求對(duì)真實(shí)世界的解答。
來(lái)自商湯、清華大學(xué)、上海人工智能實(shí)驗(yàn)室等機(jī)構(gòu)的研究者們提出的能夠自主學(xué)習(xí)解決任務(wù)的通才 AI 智能體 Ghost in the Minecraft ( GITM ) ，不但能夠在《我的世界》中比以往所有智能體，都有更加優(yōu)秀的表現(xiàn)，并大大減少訓(xùn)練投入。由此該研究在向通用人工智能（AGI）方向邁出了重要一步。通用人工智能（AGI）研究的目標(biāo)是發(fā)展智能體能夠在開(kāi)放世界環(huán)境中像人一樣的進(jìn)行感知、理解、和交互。AGI 的研究可以為機(jī)器人和自動(dòng)駕駛等產(chǎn)業(yè)帶來(lái)巨大的突破和進(jìn)步，推動(dòng)人工智能技術(shù)在產(chǎn)業(yè)落地方面取得更大發(fā)展。
該智能體能夠完全解鎖《我的世界》主世界的整體科技樹(shù)的 262 個(gè)物品（以往所有智能體方法包括 OpenAI 和 DeepMind 在內(nèi)總共只解鎖了 78 個(gè)）、在標(biāo)準(zhǔn)的 " 獲取鉆石 " 任務(wù)上將成功率大幅提升了 47.5%（從 OpenAI 提出的 VPT 方法的 20% 提升到 67.5%），而且僅需一個(gè) CPU 節(jié)點(diǎn)兩天就能完成訓(xùn)練，將與環(huán)境交互的所需的訓(xùn)練步數(shù)減小到了之前方法的萬(wàn)分之一，遠(yuǎn)遠(yuǎn)低于之前 OpenAI 提出的 VPT 方法所需的 6480 個(gè) GPU 天或 DeepMind 提出的 DreamerV3 所需的 17 個(gè) GPU 天。
項(xiàng)目主頁(yè)：https://github.com/OpenGVLab/GITMAI 也能應(yīng)對(duì)開(kāi)放世界，像人類(lèi)一樣生存，探索和創(chuàng)造！
通才 AI 智能體 "Ghost in the Minecraft"（GITM）玩轉(zhuǎn)《我的世界》游戲，生存模式白手起家，拿到主世界的所有物品，挖鉆石不在話下，還能制作附魔書(shū)！
"Ghost in the Minecraft"（GITM）成功制造附魔書(shū) —— 主世界科技樹(shù)的最高級(jí)別產(chǎn)物
挖鉆石不再是困難
GITM 面對(duì)各類(lèi)地形、環(huán)境、白天黑夜場(chǎng)景，甚至遇到怪物也能自如應(yīng)對(duì)為什么是《我的世界》
在當(dāng)前的人工智能研究中，我們?cè)絹?lái)越追求打造擁有通才能力的 AI 智能體。這些智能體被寄予厚望，希望它們能夠掌握廣泛的技能，適應(yīng)各種環(huán)境變化，更深入地模擬和應(yīng)對(duì)人類(lèi)在復(fù)雜問(wèn)題上的能力。
在全球最暢銷(xiāo)的游戲《我的世界》中，我們可以看到生存、探索和創(chuàng)造等各種活動(dòng)，無(wú)一不在緊密地模擬真實(shí)世界。《我的世界》好似一個(gè)縮小版的現(xiàn)實(shí)世界。研究者們的目標(biāo)是開(kāi)發(fā)一種能夠在《我的世界》中攻克所有技術(shù)挑戰(zhàn)的 AI 智能體，從而邁向構(gòu)建一個(gè)具備自主學(xué)習(xí)和掌握整個(gè)真實(shí)世界技能的通用人工智能的方向。
然而，《我的世界》中的 AI 智能體們卻面臨著一種有趣的莫拉維克悖論：
一些對(duì)于人類(lèi)而言相對(duì)困難的任務(wù)，例如下棋，對(duì) AI 來(lái)說(shuō)相對(duì)容易；而在《我的世界》這樣的開(kāi)放世界中與環(huán)境交互、進(jìn)行規(guī)劃和決策等對(duì)人類(lèi)來(lái)說(shuō)較為簡(jiǎn)單的事情，AI 卻面臨巨大挑戰(zhàn)。
GITM 成功打破了這一悖論的限制，在復(fù)雜且類(lèi)似于現(xiàn)實(shí)世界的環(huán)境中取得了重大突破。這為推動(dòng) AI 技術(shù)的進(jìn)步以及構(gòu)建更通用的 AI 智能體提供了新的可能性。
GITM 有多強(qiáng)
廣泛的任務(wù)覆蓋：GITM 在《我的世界》內(nèi)主世界的所有技術(shù)挑戰(zhàn)上實(shí)現(xiàn)了 100% 的任務(wù)覆蓋率（成功解鎖了完整的科技樹(shù)），而此前所有智能體的總和只能覆蓋 30%。
高任務(wù)成功率：在最受關(guān)注的 " 獲取鉆石 " 任務(wù)上，GITM 取得了 67.5% 的成功率，相比于目前最佳成績(jī)（OpenAI VPT）提高了 + 47.5%。極高的訓(xùn)練效率：令人驚喜的是，GITM 的訓(xùn)練效率也達(dá)到了新的高度：環(huán)境交互步數(shù)只需已有方法的萬(wàn)分之一，單一 CPU 節(jié)點(diǎn)訓(xùn)練 2 天即可完成，相比之前 OpenAI VPT 所需的 6480 個(gè) GPU 天或 DeepMind DreamerV3 所需的 17 個(gè) GPU 天，無(wú)疑是一個(gè)巨大的進(jìn)步。GITM 是如何搭建的傳統(tǒng) RL 智能體的困難在于如何將極為復(fù)雜的任務(wù)映射到最底層的鍵盤(pán)鼠標(biāo)操作。
GITM 打破傳統(tǒng)以 RL 為基礎(chǔ)的架構(gòu)，采用大型語(yǔ)言模型（LLM）作為智能體核心的新范式。
GITM 主要由 LLM Decomposer、LLM Planner、LLM Interface 三個(gè)部分組成，逐步將復(fù)雜任務(wù)分解為子任務(wù)、結(jié)構(gòu)化動(dòng)作、直到最底層的鍵盤(pán)鼠標(biāo)操作：LLM Decomposer利用外部知識(shí)，如互聯(lián)網(wǎng)上的游戲知識(shí)庫(kù)，將復(fù)雜任務(wù)分解為簡(jiǎn)單的子任務(wù)
LLM Planner為每個(gè)子任務(wù)制規(guī)劃一系列的結(jié)構(gòu)化動(dòng)作，并根據(jù)反饋信息調(diào)整規(guī)劃，還能通過(guò)不斷總結(jié)成功經(jīng)驗(yàn)提升自己
LLM Interface使用底層的鍵盤(pán)鼠標(biāo)操作執(zhí)行結(jié)構(gòu)化動(dòng)作，并在與環(huán)境交互的過(guò)程中獲取觀察信息
GITM 的高階應(yīng)用GITM 可以進(jìn)一步應(yīng)用在《我的世界》更加復(fù)雜的任務(wù)中，比如生存所需的避難所、農(nóng)田、鐵傀儡，創(chuàng)造自動(dòng)化設(shè)備所需的紅石電路、進(jìn)入下界所需的下界傳送門(mén)等。這些任務(wù)展示了 GITM 強(qiáng)大的能力和可擴(kuò)展性，使得智能體能夠在《我的世界》中長(zhǎng)時(shí)間生存、發(fā)展，探索更加高級(jí)的世界。THE END
投稿或?qū)で髨?bào)道：content@jiqizhixin.com
標(biāo)簽：
