為了實(shí)現(xiàn)這種參數(shù)效率，目前探索了兩條主要途徑。

1. 擴(kuò)展訓(xùn)練語料庫，而不考慮模型規(guī)模

2. 利用“思維鏈 (CoT)”推理來提升推理時的計算能力

字節(jié) Seed 團(tuán)隊探索了基于架構(gòu)創(chuàng)新的第三條路徑：用固定預(yù)算在架構(gòu)中實(shí)現(xiàn)動態(tài)計算。

團(tuán)隊研究主要貢獻(xiàn)了以下 4 點(diǎn)：

1. 證明 14 億和 26 億參數(shù)的 LoopLM 在大多數(shù)基準(zhǔn)測試中與 40 億和 80 億參數(shù)的標(biāo)準(zhǔn) transformer 相當(dāng)，參數(shù)效率提高了 2-3 倍。

2. 自適應(yīng)退出策略往往會陷入較淺的深度或過度使用長循環(huán)，這種情況可以通過在退出步驟上使用均勻先驗進(jìn)行熵正則化來避免。

3. 遞歸并不會增加原始知識存儲量，但會顯著增強(qiáng)需要事實(shí)組合和多跳推理的任務(wù)中的知識操作能力。

4. 安全性和可靠性均有所提高。

循環(huán)架構(gòu)

團(tuán)隊的目標(biāo)是讓模型能夠自主選擇每個詞元和每個樣本的循環(huán)步數(shù)，增加處理輸入問題時的效率。

LoopLM 的設(shè)計具備 3 個優(yōu)點(diǎn)：

1. 通過學(xué)習(xí)到的提前退出機(jī)制實(shí)現(xiàn)自適應(yīng)計算，這使得計算深度與參數(shù)數(shù)量解耦

2. LoopLM 通過加深其內(nèi)部計算圖而不是擴(kuò)展輸出序列來擴(kuò)展，從而避免了上下文長度膨脹

3. LoopLM 可以提高每個參數(shù)的容量，并且在相同數(shù)據(jù)上訓(xùn)練時優(yōu)于更大規(guī)模的標(biāo)準(zhǔn) Transformer 模型

研究人員總共使用了 7.7T 個 token 來訓(xùn)練基礎(chǔ)模型 Ouro-1.4B 和 Ouro-2.6B。

訓(xùn)練數(shù)據(jù)的語料庫涵蓋網(wǎng)絡(luò)文本、數(shù)學(xué)公式、代碼和長上下文文檔，貫穿多個階段，在構(gòu)建核心語言理解能力的同時，強(qiáng)化推理、編碼和長上下文技能。

為提升穩(wěn)定性，研究人員減少了循環(huán)步數(shù)，并增加了批次。

性能直逼 Qwen

團(tuán)隊使用 LoopLM 架構(gòu)，對基于 7.7T 個 token 訓(xùn)練的 Ouro 基礎(chǔ)模型進(jìn)行了全面的評估。評估重點(diǎn)關(guān)注模型在通用知識、推理、數(shù)學(xué)、科學(xué)、編程和多語言能力方面的性能。

以下是關(guān)于模型性能評估的總結(jié)：

• 14 億參數(shù)的 Ouro 模型在大多數(shù)基準(zhǔn)測試中取得了與 40 億參數(shù)的 Qwen3-Base 模型相當(dāng)?shù)男阅?/strong>。在一些具有挑戰(zhàn)性的推理任務(wù)上，它的性能與 40 億參數(shù)的模型持平或更優(yōu)

• 參數(shù)量為 26 億的 Ouro 模型在推理密集型基準(zhǔn)測試中優(yōu)于參數(shù)量高達(dá) 80 億的密集模型。它在 MMLU-Pro、BBH、MATH500 等測試中皆超過了參數(shù)量為 80 億的 Qwen3-Base 模型

• 循環(huán)架構(gòu)在需要多步驟推理和知識操作的任務(wù)中表現(xiàn)出特別強(qiáng)大的優(yōu)勢，在 MMLU-Pro、BBH、GSM8K 和 MATH500 基準(zhǔn)測試中觀察到最明顯的提升