1. 模擬引擎——作為交互式模擬器運(yùn)行，生成用于機(jī)器人學(xué)習(xí)的合成數(shù)據(jù)；
2. 策略增強(qiáng)——連接動(dòng)作頭，通過(guò)預(yù)測(cè)未來(lái)與世界模型的交互過(guò)程，進(jìn)一步優(yōu)化決策性能。

團(tuán)隊(duì)展示了機(jī)器人的部署情況：

官方表示，UnifoLM-WMA-0屬于Unitree機(jī)器人統(tǒng)一大模型系列成果，專(zhuān)為通用機(jī)器人學(xué)習(xí)量身打造，可以適配多種機(jī)器人本體。

目前，UnifoLM-WMA-0 開(kāi)源了訓(xùn)練代碼、推理代碼、模型 Checkpoints。GitHub 已收獲 100+ Star。

微調(diào)和訓(xùn)練

宇樹(shù)團(tuán)隊(duì)也發(fā)表了 UnifoLM-WMA-0 的訓(xùn)練步驟。

首先，團(tuán)隊(duì)在 Open-X 數(shù)據(jù)集上微調(diào)視頻生成模型，將其生成能力調(diào)節(jié)至與機(jī)器人作業(yè)場(chǎng)景適配。 模型接收?qǐng)D像及文本指令，生成與文本指令對(duì)應(yīng)的未來(lái)動(dòng)作視頻。

這是微調(diào)模型在測(cè)試集上的生成效果：

支持兩種運(yùn)行模式的策略架構(gòu)

隨后他們提出了一種基于世界模型的策略架構(gòu)，同時(shí)支持兩種運(yùn)行模式:

1. 決策模式: 提供機(jī)器人與環(huán)境進(jìn)行物理交互的預(yù)測(cè)信息, 輔助策略生成動(dòng)作；
2. 仿真模式: 基于機(jī)器人動(dòng)作生成高保真環(huán)境反饋。

這是訓(xùn)練后 UnifoLM-WMA 在下游任務(wù)數(shù)據(jù)集上的決策模式，團(tuán)隊(duì)在下游任務(wù)數(shù)據(jù)集上分別做了后訓(xùn)練優(yōu)化:

團(tuán)隊(duì)還公開(kāi)了五個(gè)模型訓(xùn)練的開(kāi)源數(shù)據(jù)集。測(cè)試結(jié)果顯示，模型作為仿真引擎，可根據(jù)"當(dāng)前圖像"及一定數(shù)量的“機(jī)器人未來(lái)動(dòng)作”，實(shí)現(xiàn)交互可控生成。

生成結(jié)果與原視頻對(duì)比如下所示:

實(shí)現(xiàn)通用機(jī)器人任重道遠(yuǎn)

宇樹(shù)宣稱(chēng)“世界模型—?jiǎng)幼鳌奔軜?gòu)將完整開(kāi)源并持續(xù)更新。此開(kāi)源架構(gòu)旨在推動(dòng)具身智能發(fā)展，加快通用機(jī)器人實(shí)現(xiàn)的進(jìn)程。

作為人形機(jī)器人領(lǐng)域以硬件實(shí)力著稱(chēng)的企業(yè)，宇樹(shù)在軟件層面的布局同樣備受關(guān)注。創(chuàng)始人兼CEO王興興表示，公司在具身智能模型研發(fā)上依然保持謹(jǐn)慎投入。雖然企業(yè)規(guī)模已顯著擴(kuò)大，但與大型AI公司相比，宇樹(shù)的投入仍有限。

王興興指出，目前機(jī)器人硬件總體“夠用但不夠好”，若要實(shí)現(xiàn)規(guī)模化應(yīng)用、更低成本和更高可靠性，仍需不斷完善。而在他看來(lái)，具身智能模型研發(fā)是當(dāng)前的核心任務(wù)，現(xiàn)階段模型遠(yuǎn)未成熟，無(wú)法滿足行業(yè)需求。

在談到訓(xùn)練數(shù)據(jù)時(shí)，他表示，與大語(yǔ)言模型依靠大規(guī)模高質(zhì)量數(shù)據(jù)快速提升不同，機(jī)器人領(lǐng)域在模型與實(shí)體對(duì)齊上存在更大挑戰(zhàn)，因此對(duì)AI模型能力的要求更高。

他強(qiáng)調(diào)，具身智能的突破并非資源和資金投入的單一比拼，過(guò)去的經(jīng)驗(yàn)已證明，中小團(tuán)隊(duì)同樣可能取得領(lǐng)先成果。