訂閱
糾錯
加入自媒體

R2模型呼之欲出!「卷王」DeepSeek繼續(xù)給巨頭上壓力

2025-02-28 09:44
雷科技
關(guān)注

屬于OpenAI的時代結(jié)束了?

聚焦DeepSeek專題banner(補充標題) (1).png

DeepSeek-R1的熱度尚未消散,DeepSeek-R2就要來了?

日前路透社報道稱,三位知情人士透露,原計劃今年5月發(fā)布的DeepSeek-R2模型,正在加速開發(fā),或?qū)⑻崆鞍l(fā)布,新模型有望可以生成更好的代碼,并且使用英語之外的語言進行推理。對此,DeepSeek母公司幻方量化回應(yīng)稱,以官方消息為準。

考慮到DeepSeek成立于2023年7月17日,至今不滿兩年時間,已開發(fā)出了涵蓋編程、數(shù)學(xué)推理、大語言、多模態(tài)、對話等不同場景的多個模型。今年5月前推出R2模型,屬于DeepSeek大模型的正常更新頻率。R1模型到R2模型,DeepSeek正在改變AI行業(yè)。

巨頭驚慌失措,R1模型創(chuàng)下奇跡

2023年3月OpenAI發(fā)布GPT-4后,整個AI行業(yè)不但沒有因這款大模型的到來更加活躍,反而顯得有些沉寂。哪怕后續(xù)OpenAI接連推出了GPT-4o、o1、Sora等大模型,其他企業(yè)也紛紛推出了各種大語言、視頻生成、多模態(tài)模型,卻未能再現(xiàn)GPT-3到GPT-4的突破性進展。

直到DeepSeek-R1的到來,仿佛為AI行業(yè)注入了活力,讓各行各業(yè)都積極擁抱AI和R1模型。R1模型的能力得到證實后,國內(nèi)手機、電視、PC等行業(yè)大量企業(yè)紛紛為旗下的產(chǎn)品接入了R1模型。

QQ20250226-181815.png

(圖源:DeepSeek)

以手機行業(yè)為例,華為、榮耀、OPPO、vivo率先官宣,為智能助手接入R1模型,小米略作猶豫后也選擇跟進,為超級小愛接入了R1模型。日前著名數(shù)碼博主@i冰宇宙爆料稱,三星也在積極推進為國行版機型接入R1模型的工作。

不僅如此,騰訊、百度、360等互聯(lián)網(wǎng)企業(yè),雖已組建AI團隊,開發(fā)出了自己的大模型,但依然選擇為旗下的AI工具接入R1模型?梢,就連其他AI企業(yè),也承認了R1模型在某些領(lǐng)域領(lǐng)先自己。

更關(guān)鍵的是,R1模型誕生之前AI工具雖以免費使用為主,可不乏收費服務(wù)的平臺,例如ChatGPT和文心一言。OpenAI為了實現(xiàn)盈利,甚至放棄了開源模式,從OpenAI變成「CloseAI」,百度更是閉源方案的擁躉。

然而在R1模型的沖擊下,這兩家企業(yè)也改變了原有路線。百度宣布文心一言將從4月1日起免費為用戶提供服務(wù),并于6月30日正式開源。OpenAI則承諾,免費版ChatGPT在標準模式下可無限制使用GPT-5,其CEO山姆·奧特曼還在X平臺表示,將打造開源項目,并向網(wǎng)友們征集意見,究竟打造仍需在GPU上運行的o3-mini模型,還是能力強大的端側(cè)模型。

探究 DeepSeek-R1 訓(xùn)練成本低的原因.png

(圖源:豆包AI生成)

DeepSeek還通過R1模型證明了通過知識蒸餾、混合并行策略、動態(tài)稀疏訓(xùn)練、即時編譯、層次化稀疏注意力等技術(shù),大幅壓縮AI大模型訓(xùn)練成本的可能性。過去AI企業(yè)訓(xùn)練大模型,不但需要用到規(guī)模龐大的算力集群,還需要大量數(shù)據(jù),OpenAI甚至招聘人員編寫數(shù)據(jù)供大模型訓(xùn)練所用。馬斯克旗下的xAI為訓(xùn)練Grok 3模型,不惜搭建了一個具有10萬張GPU的全球最大算力集群。

長此以往,AI未必不會變成互聯(lián)網(wǎng)巨頭比拼財力的游戲,最終因數(shù)據(jù)量的不足進展緩慢。DeepSeek之所以能夠給AI行業(yè)帶來巨大的沖擊,能力強、訓(xùn)練成本低、開源三大因素缺一不可。尤其是采用指令集框架PTX和CUDA、ROCm、OpenCL等底層指令都封裝為統(tǒng)一接口的特性,讓其不再依賴NVIDIA GPU,能夠更加自由的部署在各種設(shè)備上。

在R1撬動了AI行業(yè)的地基后,DeepSeek并未止步不前,如今R2模型即將到來,或?qū)⒔恿1模型,進一步改變AI行業(yè)。

延續(xù)低成本、高性能傳統(tǒng),R2模型拉滿期待值

R1模型邏輯推理能力不輸字節(jié)跳動、阿里巴巴、月之暗面等企業(yè)花高成本訓(xùn)練出的大模型,對標行業(yè)領(lǐng)導(dǎo)者OpenAI開發(fā)的o1模型。但OpenAI不只有o1模型,ChatGPT專業(yè)版會員已能夠使用更強的o1 Pro和o3模型。在R1模型追上o1模型后,R2模型自然要向o3模型發(fā)起挑戰(zhàn)。

在動態(tài)稀疏架構(gòu)、量化知識蒸餾、混合專家(MoE)架構(gòu)與多頭潛在注意力(MLA)等技術(shù)的加持下,DeepSeek訓(xùn)練R2模型的成本有望進一步降低。開發(fā)訓(xùn)練數(shù)據(jù)與模型參數(shù)的共適應(yīng)系統(tǒng),則可動態(tài)調(diào)整數(shù)據(jù)與模型參數(shù)的協(xié)同關(guān)系,提升機器學(xué)習系統(tǒng)的效率、泛化性和適應(yīng)性。

最近幾天DeepSeek每天都會公開一批開源代碼庫,其公布的DeepGEMM采用FP8通用矩陣乘法,支持稠密和MoE模型,僅300行代碼即可實現(xiàn)超越專家優(yōu)化的內(nèi)核,能夠降低AI大模型的推理成本,該技術(shù)自然也要被用于R2模型。

探究 DeepSeek-R1 訓(xùn)練成本低的原因 (1).png

(圖源:豆包AI生成)

R1模型的論文中提到,RL(強化學(xué)習)數(shù)據(jù)的增加,不僅可以提升AI大模型面對復(fù)雜任務(wù)時的推理能力,還會自發(fā)地出現(xiàn)一些復(fù)雜行為能力,比如反思和探索不同方法,F(xiàn)階段R1模型所擁有的RL數(shù)據(jù)較少,未來版本將會大幅增加。

綜合來看,R2模型與R1模型相同,基于V3底座,對標OpenAI o3模型,以常規(guī)升級為主。在更多RL數(shù)據(jù)的支持下,R2模型有望提高推理能力和響應(yīng)速度,并依靠「反思」能力,生成更準確的推理結(jié)果。

未來將誕生的V4,對標OpenAI計劃在今年中期發(fā)布的GPT-4.5;赩4底座+RL開發(fā)的R3模型,競爭對手則是OpenAI下一代模型GPT-5。

除了成本和能力方面的提升,R2模型要將把開源理念推向新高度。從o1模型開始,OpenAI強化了閉源理念,不但大模型不再開放,就連思維鏈也被取消,甚至警告用戶使用提示詞誘導(dǎo)模型輸出完整思維鏈會被限制賬號,GPT-4.5將成為OpenAI最后一個獨立發(fā)布的基座模型。GPT-5將進入混合模型時代,讓AI大模型徹底變成「黑盒」模式。

探究 DeepSeek-R1 訓(xùn)練成本低的原因 (2).png

(圖源:豆包AI生成)

DeepSeek堅持開源理念,允許其他企業(yè)或個人部署、使用、修改、分發(fā)R2模型,持續(xù)推動AI行業(yè)的發(fā)展。360 CEO周鴻祎曾表示,沒有開源就沒有 Linux、沒有互聯(lián)網(wǎng),甚至包括我們自己借助了開源技術(shù)才能發(fā)展至今。閉源固然有機會獲取更多營收,但開源才能加快行業(yè)向前邁進。

從GPT-4發(fā)布以來,AI大模型雖不斷進步,卻不再有劃時代的改變。R1模型依靠低成本、高性能的特性,一定程度改變了AI行業(yè)。R2難以復(fù)刻R1的盛況,但推理能力方面會有大幅提升,給予其他AI企業(yè)更大壓力。

DeepSeek成「卷王」,友商被卷到頭疼?

DeepSeek-V1和R1模型發(fā)布時間間隔僅13個月,R1模型和R2模型之間間隔可能僅有三四個月,堪稱「終極卷王」。百度、騰訊、360等企業(yè)可以像之前接入R1模型一樣,再次接入R2模型,但頭部互聯(lián)網(wǎng)企業(yè)需要打造出自己的AI大模型,而不是指望著DeepSeek的開源模型去升級AI工具的能力。

就小雷的體驗而言,絕大多數(shù)國產(chǎn)AI大模型在深度思考方面表現(xiàn)不如R1模型,僅有少數(shù)能夠在部分場景下與R1模型平分秋色。將要到來的R2模型,給了AI企業(yè)更多壓力,他們需要在R2模型上線前,強化自己大模型的能力,避免被DeepSeek甩在身后。

借助DeepSeek開源模型提高AI工具的能力只是權(quán)宜之計,百度、騰訊、360從未放棄AI大模型的開發(fā)工作,例如百度的文心4.5已在路上。

探究 DeepSeek-R1 訓(xùn)練成本低的原因 (3).png

(圖源:豆包AI生成)

作為用戶,我們自然更傾向于AI工具能夠同時接入多個模型,方便自己選擇最好用的模型。尤其是頭部AI企業(yè),擁有更龐大的算力規(guī)模,接入R1模型后執(zhí)行推理任務(wù)時響應(yīng)更流暢,體驗優(yōu)于DeepSeek官網(wǎng)或App。

DeepSeek不僅僅帶來了能力出眾的R1模型,所采用的多種低成本方案,還給其他AI企業(yè)指明了方向,通過知識蒸餾和混合精度等技術(shù),任何AI公司都可以實現(xiàn)低成本訓(xùn)練大模型,至于大模型的能力如何,則要看研發(fā)人員的實力。

以開源為基調(diào)的DeepSeek將在AI行業(yè)起到鯰魚效應(yīng),督促每一家AI企業(yè)加快新模型的研發(fā)工作,并不斷探索新方向。

來源:雷科技

       原文標題 : R2模型呼之欲出!「卷王」DeepSeek繼續(xù)給巨頭上壓力

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號