目前，Mini-o3在 VisualProbe、VBench、HR-Bench、MME-Realworld 等基準(zhǔn)上取得了 7B 量級(jí)的最佳成績(jī)。訓(xùn)練代碼、模型權(quán)重以及包含 4,500 條數(shù)據(jù)的 Visual Probe 數(shù)據(jù)集也已開源。

訓(xùn)練數(shù)據(jù)收集

Mini-o3通過(guò)提出一種有效的多模態(tài)智能體訓(xùn)練方案來(lái)推進(jìn)交互深度和推理模式。該智能體支持多輪圖像工具使用，從而提高了視覺基礎(chǔ)任務(wù)的適應(yīng)性和推理多樣性。

訓(xùn)練過(guò)程包括兩個(gè)階段：

1. 監(jiān)督微調(diào)（SFT）：在數(shù)千個(gè)涉及圖像工具使用的多輪軌跡（即冷啟動(dòng)數(shù)據(jù)）上對(duì)模型進(jìn)行微調(diào)，使模型生成具有多樣化和魯棒推理模式的有效軌跡。
2. 具有可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）：使用可驗(yàn)證的、語(yǔ)義感知的獎(jiǎng)勵(lì)，采用外部 LLM 作為評(píng)判者來(lái)計(jì)算獎(jiǎng)勵(lì)信號(hào)�？偣苍O(shè)置 6 個(gè)交互輪次和 32K 上下文長(zhǎng)度的上限。

團(tuán)隊(duì)構(gòu)建了一個(gè)具有挑戰(zhàn)性的視覺搜索數(shù)據(jù)集——Visual Probe 數(shù)據(jù)集。它包含用于訓(xùn)練的 4,000個(gè)視覺問(wèn)答集和用于測(cè)試的 500個(gè)問(wèn)答集。 VisualProbe 的特點(diǎn)是：

1. 小目標(biāo)；
2. 大量干擾物；
3. 高分辨率圖像

為了生成高質(zhì)量、多樣化的多輪軌跡，Mini-o3只保留最終答案正確的軌跡。遵循此過(guò)程，團(tuán)隊(duì)從 6 個(gè)示例中收集了大約 6,000 條冷啟動(dòng)軌跡。

超輪次掩碼策略

為了增加每個(gè)環(huán)節(jié)中可行的輪次數(shù)，團(tuán)隊(duì)將每張圖像的最大像素?cái)?shù)減少至 200 萬(wàn)。這種簡(jiǎn)單的調(diào)整允許在相同的上下文預(yù)算內(nèi)容納更多輪次，提高了長(zhǎng)視野問(wèn)題的解決率。

為了防止模型陷入“提前回答”策略，團(tuán)隊(duì)還提出了一種超輪次掩碼技術(shù)，其目標(biāo)是避免對(duì)“未完成”的回答進(jìn)行懲罰。

這項(xiàng)技術(shù)削減了之前“屏蔽”未完成回答的損失，鼓勵(lì)模型繼續(xù)探索。

值得注意的是，盡管在訓(xùn)練期間采用了相對(duì)較小的翻轉(zhuǎn)輪次上限，但測(cè)試時(shí)間軌跡可以延伸至數(shù)十輪，準(zhǔn)確率也會(huì)隨著輪次增加而提升。因此，輪次掩碼對(duì)于實(shí)現(xiàn)測(cè)試時(shí)間在交互翻轉(zhuǎn)次數(shù)方面的擴(kuò)展優(yōu)勢(shì)至關(guān)重要。

實(shí)踐結(jié)果

本研究核心發(fā)現(xiàn)，盡管Mini-o3（藍(lán)線）訓(xùn)練時(shí)僅設(shè)定6輪上限，但在測(cè)試中，隨著交互輪次上限從4增至32輪，其在VisualProbe-Hard數(shù)據(jù)集上的準(zhǔn)確率從38%持續(xù)升至48%。這表明模型真正學(xué)會(huì)了“思考”，且思考越充分，效果越好。相比之下，未采用Over-turn Masking策略的模型（紅線）在6輪后性能便停止增長(zhǎng)。

在多項(xiàng)視覺搜索基準(zhǔn)測(cè)試中，Mini-o3均刷新了最新的SOTA成績(jī)，顯著超越現(xiàn)有開源模型。尤其是在最具挑戰(zhàn)性的 VisualProbe-Hard 任務(wù)上，Mini-o3的準(zhǔn)確率高達(dá) 48.0%，相比此前表現(xiàn)最佳的 DeepEyes（35.1%） 提升明顯。

消融實(shí)驗(yàn)結(jié)果進(jìn)一步印證了Mini-o3的創(chuàng)新設(shè)計(jì)：無(wú)論移除 Visual Probe 數(shù)據(jù)集、冷啟動(dòng) SFT，還是 Over-turn Masking，模型性能都會(huì)大幅下降。

結(jié)語(yǔ)

Mini-o3研究團(tuán)隊(duì)作者一共6人，其中賴昕和Junyi Li是項(xiàng)目的共同一作。

公開資料顯示，賴昕是字節(jié)跳動(dòng)的研究員，主攻大型多模態(tài)模型。他本科就讀于哈爾濱工業(yè)大學(xué)，后獲得香港中文大學(xué)博士學(xué)位。博士期間，他作為第一作者參與的Step-DPO項(xiàng)目在MATH和GSM8K分別獲得了70.8%和94.0%的準(zhǔn)確率。

Junyi Li曾就讀于華中科技大學(xué)，目前是香港大學(xué)的博士，參與字節(jié)研究工作。2024年，他作為第一作者的PartGLEE項(xiàng)目被ECCV接收。

在Mini-o3的工作中，團(tuán)隊(duì)研究了視覺語(yǔ)言模型（VLMs）的多輪基于圖像的工具使用。他們開發(fā)了一個(gè)三管齊下的方法：

1. 首先構(gòu)建VisualProbe——一個(gè)包含訓(xùn)練和評(píng)估任務(wù)的挑戰(zhàn)性視覺搜索數(shù)據(jù)集；
2. 其次通過(guò)利用現(xiàn)有VLM的上下文學(xué)習(xí)能力來(lái)收集冷啟動(dòng)數(shù)據(jù)；
3. 最后通過(guò)超輪次掩碼策略增強(qiáng)了原始GRPO，促進(jìn)了測(cè)試時(shí)的輪次擴(kuò)展

研究團(tuán)隊(duì)表示，Mini-o3的技術(shù)方案能為多輪交互式多模態(tài)模型的開發(fā)與強(qiáng)化學(xué)習(xí)應(yīng)用提供實(shí)際指導(dǎo)。