1. 真正的多模態(tài)智能意味著什么？

2. LLM 范式對(duì)感覺建模真的有意義嗎？

3. 為什么人類的感知如此輕松、如此直覺，卻又如此強(qiáng)大？

謝賽寧認(rèn)為，多模態(tài)模型缺少了某種根本性的東西。如果不先建立超級(jí)感知能力，就無法建立超級(jí)智能。

在他看來，超感知能力并不是指高級(jí)傳感器或更好的攝像頭。它講述的是數(shù)字生命體如何真正體驗(yàn)世界，吸收源源不斷的輸入并從中學(xué)習(xí)。

謝賽寧團(tuán)隊(duì)劃分了多模態(tài)智能從現(xiàn)代到未來的發(fā)展路徑：

• 0. 僅語言理解：缺乏感官能力；推理僅限于文本和符號(hào)。目前的多語言學(xué)習(xí)模型已經(jīng)超越了這一階段，但仍然保留著其偏見的痕跡。
• 1. 語義感知：將像素解析為對(duì)象、屬性和關(guān)系。這與多層線性模型中存在的強(qiáng)大的多模態(tài)“展示與講述”能力相對(duì)應(yīng)。
• 2. 流式事件認(rèn)知：處理實(shí)時(shí)、無界的流，同時(shí)主動(dòng)解釋和響應(yīng)正在發(fā)生的事件。這與目前將多語言學(xué)習(xí)者（MLLM）打造為實(shí)時(shí)助手的努力方向一致。
• 3. 內(nèi)隱三維空間認(rèn)知：將視頻理解為三維世界的投影。智能體必須知道物體存在什么、它們?cè)谀睦�、它們之間如何關(guān)聯(lián)以及它們?nèi)绾坞S時(shí)間變化。目前的多模態(tài)模型在這方面仍然非常有限。
• 4. 預(yù)測(cè)性世界建模：大腦通過基于先前預(yù)期預(yù)測(cè)潛在的世界狀態(tài)來進(jìn)行“無意識(shí)推斷”。目前的多模態(tài)系統(tǒng)沒有能夠預(yù)測(cè)未來狀態(tài)、維持持久記憶或進(jìn)行推理和計(jì)劃的內(nèi)部模型。

團(tuán)隊(duì)嘗試了一種全新的原型——預(yù)測(cè)感知（predictive sensing）。他們?cè)?Cambrian-S 上訓(xùn)練了一個(gè)潛變量幀預(yù)測(cè)（LFP）頭，并在推理過程中用兩種方式對(duì) “surprise” 的程度進(jìn)行估計(jì)及利用：

1. surprise-driven 的記憶管理 —— 壓縮或跳過不令人驚訝的幀，將算力集中在 “surprise” 的幀上

2. surprise-driven 的事件分割 —— 利用 “surprise” 的峰值來檢測(cè)事件邊界或場(chǎng)景變化

基準(zhǔn)測(cè)試空間超感知

常用的視頻多語言語言學(xué)習(xí)（MLLM）基準(zhǔn)測(cè)試大多側(cè)重于語言理解和語義感知，而忽略了超感知所需的更高級(jí)的空間和時(shí)間推理能力。

為了彌補(bǔ)這一關(guān)鍵缺陷，團(tuán)隊(duì)引入了 VSI-S，這是一個(gè)專門用于探測(cè)空間感知中這些更復(fù)雜、更持續(xù)的方面的新基準(zhǔn)測(cè)試，由兩個(gè)部分組成：

1. VSI-SRecall：長(zhǎng)時(shí)域空間觀測(cè)和召回。

2. VSI-SCount：在不斷變化的視角和場(chǎng)景下進(jìn)行連續(xù)計(jì)數(shù)

研究人員為向 Cambrian-1 模型輸入視頻設(shè)立了幾種實(shí)驗(yàn)條件：

• Multiple Frames (多幀): 模型處理從視頻片段中均勻采樣的 32 幀。這是文獻(xiàn)中表示視頻輸入的標(biāo)準(zhǔn)方法。

• Single Frame (單幀): 模型僅處理給定視頻片段的中間幀。此條件測(cè)試對(duì)最少的、上下文核心的視覺信息的依賴程度。

• Frame Captions (幀字幕): 模型不接收視頻幀，而是接收對(duì)應(yīng)于相同 32 幀均勻采樣圖像的字幕。

為了更好地理解這些條件下的性能，團(tuán)隊(duì)引入了另外兩個(gè)基準(zhǔn)：

• 盲測(cè)：模型僅使用任務(wù)問題本身來嘗試完成任務(wù)。所有視覺輸入均被忽略，不使用任何視覺提示。此基準(zhǔn)測(cè)試基于模型已有的知識(shí)、語言先驗(yàn)以及基準(zhǔn)問題中可能存在的任何偏差來衡量模型的性能。

• 隨機(jī)準(zhǔn)確率：這代表了在特定任務(wù)形式下隨機(jī)猜測(cè)所能達(dá)到的準(zhǔn)確率，作為表現(xiàn)的最低標(biāo)準(zhǔn)。

結(jié)果表明，Cambrian-1 是一款基于圖像的多級(jí)邏輯學(xué)習(xí)模型 (MLLM)，無需任何視頻后訓(xùn)練，即可在多個(gè)基準(zhǔn)測(cè)試中取得合理的性能，在某些情況下，其準(zhǔn)確率甚至比隨機(jī)水平高出 10-30%。這表明，這些基準(zhǔn)測(cè)試所針對(duì)的大部分知識(shí)都可以通過標(biāo)準(zhǔn)的單圖像指令調(diào)優(yōu)流程獲得。

然而，在兩個(gè)現(xiàn)有數(shù)據(jù)集 VSI-Bench 和 Tomato 上，該模型的性能低于隨機(jī)水平。對(duì)于 VSI-Bench，這主要是因?yàn)槠淇臻g理解問題需要真正的視頻感知以及有針對(duì)性的數(shù)據(jù)整理和訓(xùn)練。對(duì)于 Tomato，該基準(zhǔn)測(cè)試要求理解來自高幀率視頻的精細(xì)細(xì)節(jié)，所以這種結(jié)果也在預(yù)期之內(nèi)。

使用文本字幕代替視覺輸入也能顯著提升性能，在 EgoSchema 等基準(zhǔn)測(cè)試中，該模型的準(zhǔn)確率比隨機(jī)猜測(cè)高出 20% 以上。

當(dāng)前范式下的空間感知

研究人員從 10 個(gè)不同視頻類型和標(biāo)注的來源收集數(shù)據(jù)，以提高多樣性。這種方法得到的數(shù)據(jù)集比從單一來源獲得的同等規(guī)模數(shù)據(jù)集要穩(wěn)健得多。數(shù)據(jù)處理流程分為三步：

1. 標(biāo)注的真實(shí)視頻：多模態(tài)視覺空間推理依賴于對(duì)三維幾何和空間關(guān)系的扎實(shí)理解。

2. 模擬數(shù)據(jù)：利用具身模擬器程序化地生成空間相關(guān)的視頻軌跡和問答對(duì)，在 ProcTHOR場(chǎng)景中渲染了 625 個(gè)視頻。

3. 未標(biāo)注的真實(shí)視頻：從 YouTube 收集了約 1.9 萬個(gè)房間巡覽視頻，并整合了來自機(jī)器人學(xué)習(xí)數(shù)據(jù)集的視頻。

數(shù)據(jù)有效性排名為：帶注釋的真實(shí)視頻 > 模擬數(shù)據(jù) > 偽注釋圖像。

結(jié)果證明，更強(qiáng)的基礎(chǔ)模型在空間感知任務(wù)上能產(chǎn)生更好的 SFT 性能。

更強(qiáng)大的基礎(chǔ)模型能夠接觸到更多通用視頻數(shù)據(jù)，可以提高 SFT 后的空間感知能力。此外，采用更強(qiáng)大的基礎(chǔ)模型的 SFT 能夠增強(qiáng)空間理解能力。

結(jié)論

研究團(tuán)隊(duì)認(rèn)為，要實(shí)現(xiàn)超級(jí)智能，人工智能系統(tǒng)需要超越目前大多數(shù)多層邏輯模型（MLLM）所關(guān)注的基于文本的知識(shí)和語義感知，同時(shí)發(fā)展空間認(rèn)知和預(yù)測(cè)性世界模型。

盡管 Cambrian-S 在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中表現(xiàn)良好，但其在 VSI-S 數(shù)據(jù)集上的結(jié)果揭示了當(dāng)前 MLLM 范式的局限性。研究人員利用潛在幀預(yù)測(cè)和意外估計(jì)技術(shù)，構(gòu)建了預(yù)測(cè)感知原型來處理無界視覺流。該原型提升了 Cambrian-S 在 VSI-S 數(shù)據(jù)集上的性能。

相關(guān)人員表示，目前的基準(zhǔn)測(cè)試、數(shù)據(jù)集和模型設(shè)計(jì)在質(zhì)量、規(guī)模和泛化能力方面仍存在局限性，原型僅作為概念驗(yàn)證。未來的工作應(yīng)探索更多樣化、更具具身性的場(chǎng)景，并與視覺、語言和世界建模領(lǐng)域的最新進(jìn)展建立更緊密的聯(lián)系。

參考資料：

https://arxiv.org/pdf/2511.04670