實(shí)驗(yàn)表明，當(dāng)文本標(biāo)記數(shù)量在視覺標(biāo)記數(shù)量的 10 倍以內(nèi)時(shí)，該模型的解碼 (OCR) 精度可達(dá) 97%。即使在 20 倍壓縮比下，OCR 精度仍能保持在 60% 左右。

DeepSeek-OCR 的主要貢獻(xiàn)有三點(diǎn)：

1. 對視覺-文本標(biāo)記壓縮比進(jìn)行了全面的定量分析。在 9-10 倍文本壓縮率下實(shí)現(xiàn)了 96% 以上的 OCR 解碼精度，在 10-12 倍壓縮率下實(shí)現(xiàn)了 ～90% 的解碼精度，在 20 倍壓縮率下實(shí)現(xiàn)了 ～60% 的解碼精度。

2. 引入了新架構(gòu) DeepEncoder。即使在高分辨率輸入下也能保持較低的激活內(nèi)存和最少的視覺標(biāo)記。

3. 基于 DeepEncoder 和 DeepSeek3B-MoE 開發(fā)了 DeepSeek-OCR。在 OmniDocBench 端到端模型中實(shí)現(xiàn)了最佳性能，同時(shí)使用了最少的視覺 token。

方法論

DeepSeek-OCR 采用統(tǒng)一的端到端 VLM 架構(gòu)，由編碼器和解碼器組成。編碼器（即 DeepEncoder）負(fù)責(zé)提取圖像特征、標(biāo)記化以及壓縮視覺表征。

DeepEncoder 主要由兩個(gè)組件組成：一個(gè)由窗口注意力機(jī)制主導(dǎo)的視覺感知特征提取組件，以及一個(gè)具有密集全局注意力機(jī)制的視覺知識特征提取組件。

為了測試不同壓縮率（需要不同數(shù)量的視覺標(biāo)記）下的模型性能并增強(qiáng) DeepSeek-OCR 的實(shí)用性，研究團(tuán)隊(duì)為其配置了多種分辨率模式。

生分辨率支持四種子模式：Tiny、Small、Base、Large，對應(yīng)的分辨率和 token 數(shù)量分別為 512×512（64）、640×640（100）、1024×1024（256）和 1280×1280（400）。

解碼器采用了 DeepSeekMoE，既擁有 3B 模型的表達(dá)能力，又能享受 500M 小型模型的推理效率。

研究人員還為 DeepSeek-OCR 構(gòu)建了復(fù)雜多樣的訓(xùn)練數(shù)據(jù)，包括場景圖像 OCR、文檔 OCR 等傳統(tǒng) OCR 任務(wù)、針對復(fù)雜人工圖像的解析任務(wù)。

訓(xùn)練流程非常簡單，主要包含兩個(gè)階段：

1. 獨(dú)立訓(xùn)練 DeepEncoder；

2. 訓(xùn)練 DeepSeek-OCR。

結(jié)果評估

結(jié)果顯示，**在 10 倍壓縮比內(nèi)，模型解碼精度可達(dá)約 97%**，這是一個(gè)非常有前景的結(jié)果。

當(dāng)壓縮比超過 10 倍時(shí)，性能開始下降。一是因?yàn)殚L文檔的排版變得更加復(fù)雜，二是長文本在 512×512 或 640×640 分辨率下會變得模糊。

為了量化 OCR 性能，研究團(tuán)隊(duì)在 OmniDocBench 上測試了 DeepSeekOCR。結(jié)果顯示，DeepSeek-OCR 僅需要 100 個(gè)視覺標(biāo)記（640×640 分辨率），就超越了使用 256 個(gè)標(biāo)記的 GOT-OCR2.0；使用 400 個(gè)標(biāo)記（285 個(gè)有效標(biāo)記，1280×1280 分辨率），它在該基準(zhǔn)測試中達(dá)到了與最先進(jìn)技術(shù)相當(dāng)?shù)男阅?/strong>。