DeepSeek珠玉在前。

一次AI革命，讓原本名聲不顯的OpenAI一躍成為全球知名企業(yè)，估值超過1500億美元。但若討論哪家企業(yè)才是AI時(shí)代的最大受益者，NVIDIA絕對(duì)是唯一答案。

財(cái)報(bào)數(shù)據(jù)顯示，2024年第三財(cái)季，NVIDIA營收高達(dá)350.82億美元，同比增長93.61%，歸母凈利潤193.09億美元，同比增長108.90%，其中數(shù)據(jù)中心業(yè)務(wù)營收為308億美元，同比增長高達(dá)112%，公司市值更是超越微軟，位列全球第二。

AI企業(yè)與NVIDIA屬于互相成就，前者需要后者提供GPU或?qū)�業(yè)AI計(jì)算卡，用于大模型的訓(xùn)練和推理，他們的需求助力NVIDIA營收、利潤屢創(chuàng)新高。正因如此，NVIDIA也清楚需要付出一定的成本扶持AI公司，培養(yǎng)客戶群體。

據(jù)英國《金融時(shí)報(bào)》報(bào)道，剛剛過去的2024年，NVIDIA累計(jì)參與了50多輪融資和多筆交易，向AI初創(chuàng)企業(yè)累計(jì)投資了約10億美元，相較2023年的8.72億美元增長了大約15%。按照這個(gè)趨勢(shì)，2025年NVIDIA大概率會(huì)投資更多AI初創(chuàng)公司。

除了NVIDIA，其他國內(nèi)外互聯(lián)網(wǎng)公司也在不斷增加AI領(lǐng)域的投入，一邊打造自己的AI團(tuán)隊(duì)，一邊投資其他AI公司。對(duì)于小型AI公司而言，有機(jī)會(huì)獲得大企業(yè)的投資無疑是好消息，基于這種情況，2024年無數(shù)企業(yè)瘋狂涌入AI行業(yè)。

天眼查數(shù)據(jù)顯示，2024年國內(nèi)新增AI相關(guān)企業(yè)超過50萬家。可在AI技術(shù)日漸成熟的今天，進(jìn)軍AI行業(yè)真的還有機(jī)會(huì)嗎？

“錢”字當(dāng)頭，AI創(chuàng)業(yè)入局難

AI大模型的黑盒特質(zhì)使其可解釋性和可調(diào)試性較弱，對(duì)于語義的理解能力、數(shù)學(xué)邏輯和推理能力，以及可能存在的AI“幻覺”，都是困擾開發(fā)者的技術(shù)難題。訓(xùn)練一款成熟可用的大模型，需要招募大量技術(shù)人才，去解決各種難題。然而行業(yè)的競(jìng)爭(zhēng)促使企業(yè)互相挖墻腳，吸納AI人才的成本不斷飆升。

例如前段時(shí)間小米CEO雷軍親自出手，將參與過DeepSeek-V2大模型開發(fā)工作的羅福莉挖到了小米。網(wǎng)上甚至有消息稱，小米公司向羅福莉開出了千萬年薪。傳言可能會(huì)有些夸張，但羅福莉的年薪恐怕至少是7位數(shù)。

人才之外，GPU算力也是壓在AI公司心頭的重?fù)?dān)。仍以小米為例，日前界面新聞爆料稱，小米正在著手打造萬卡算力集群。百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖曾表示，一個(gè)1.6萬張GPU的集群，采購成本就高達(dá)數(shù)十億元，更不用說搭建、運(yùn)營、維護(hù)成本。

（圖源：AI生成）

萬卡集群只是開始，若想打造出頂尖AI，還需要購買更多GPU或?qū)�業(yè)AI計(jì)算卡。民生證券計(jì)算機(jī)首席分析師呂偉表示，以ChatGPT的6億月活數(shù)據(jù)計(jì)算，訓(xùn)練任務(wù)大約需要12萬張A100，推理任務(wù)所需約35萬張A100。

為滿足未來AI大模型的訓(xùn)練和推理需求，OpenAI CEO山姆·奧特曼甚至提出了7萬億美元重塑全球半導(dǎo)體行業(yè)的計(jì)劃。算力集群的投入堪稱無底洞，最終需要多少才夠，現(xiàn)在任何AI公司都說不出確切數(shù)字。要知道，1984年上映的《終結(jié)者》電影中，覺醒了自我意識(shí)的天網(wǎng)系統(tǒng)，算力規(guī)模也僅為每秒60萬億次浮點(diǎn)運(yùn)算，不如一張RTX 4090。

招募人才和組建算力集群的成本或許很高，但總歸可以承受，更嚴(yán)重的問題在于，用于訓(xùn)練大模型的數(shù)據(jù)不夠了。原定2024年中后期面世的GPT-5，至今未能完成訓(xùn)練，主要原因之一就是數(shù)據(jù)不夠用。為解決數(shù)據(jù)不足的難題，OpenAI被迫招聘工程師、數(shù)學(xué)家、物理學(xué)家編寫數(shù)據(jù)，用于訓(xùn)練大模型。

（圖源：AI生成）

AI大模型的參數(shù)量越多，性能上限就越高，但參數(shù)量需要大量數(shù)據(jù)訓(xùn)練。為訓(xùn)練GPT-4和GPT-5，OpenAI幾乎耗盡了網(wǎng)上公開的論文、新聞資訊，以及社交平臺(tái)上的帖子，甚至因此惹上了官司，被加拿大新聞社、加拿大廣播公司、Torstar、環(huán)球郵報(bào)等媒體起訴。

倒不是說數(shù)據(jù)完全被耗盡，只是剩下的數(shù)據(jù)未經(jīng)公開，基本在各大公司內(nèi)部，AI公司難以獲取到。山姆·奧特曼直言，未來訓(xùn)練一個(gè)大模型的成本可能會(huì)超過10億美元。

人才、算力、數(shù)據(jù)三大成本在前，哪怕是互聯(lián)網(wǎng)巨頭也倍感壓力，更不用說涌入AI行業(yè)的初創(chuàng)公司了。

不過并非沒有低成本訓(xùn)練大模型的方法，小米開出天價(jià)年薪招募羅福莉，目的很可能在于羅福莉的身份——DeepSeek-V2開發(fā)工作的參與者。

DeepSeek大獲成功，降本增效不是不行

最近一段時(shí)間，AI行業(yè)最火的新聞無疑是DeepSeek-V3模型的到來，其低至557.6萬美元的訓(xùn)練成本，大約只是GPT-4的二十分之一，預(yù)計(jì)不到GPT-5的二百分之一。經(jīng)過小雷實(shí)測(cè)，DeepSeek-V3在文字生成、數(shù)學(xué)推理等領(lǐng)域的體驗(yàn)不輸豆包、文心一言、Kimi等國內(nèi)極負(fù)盛名的AI應(yīng)用。

DeepSeek全新大模型的成功，向其他AI公司傳達(dá)了一個(gè)信息——訓(xùn)練大模型的成本可以不用很高。然而有舍必有得，低成本訓(xùn)練出的大模型，存在一些難以解決的問題。

能夠以極低成本訓(xùn)練出部分場(chǎng)景體驗(yàn)媲美豆包、Kimi的大模型，DeepSeek的訣竅在于有三，第一來自MLA架構(gòu)和MoE架構(gòu)，前者利用多頭潛在注意力機(jī)制，可提取相鄰層的特征并進(jìn)行壓縮，從而減少計(jì)算量，降低大模型訓(xùn)練所需成本；后者屬于專家混合架構(gòu)，具備6710億參數(shù)，但每次僅激活370億參數(shù)，降低了對(duì)計(jì)算資源的需求。

（圖源：AI生成）

第二是FP8混合精度訓(xùn)練框架，以降低精度、壓縮鍵值為代價(jià)，在盡量不影響模型性能的前提下，大幅節(jié)省了顯存和計(jì)算資源，可提升訓(xùn)練速度，降低訓(xùn)練成本。

第三為模型蒸餾，普通大模型要利用大量數(shù)據(jù)進(jìn)行訓(xùn)練，蒸餾技術(shù)以被訓(xùn)練好的模型為“教師”，篩選出有效數(shù)據(jù)，去訓(xùn)練一個(gè)“學(xué)生”模型，從而降低成本。DeepSeek之所以在開源模型領(lǐng)域享有如此之高的聲譽(yù)，并將DeepSeek-V3打造成當(dāng)前最強(qiáng)開源大模型，蒸餾技術(shù)無疑是關(guān)鍵因素。

這些技術(shù)雖降低了成本，卻以犧牲精度為代價(jià)，尤其是蒸餾技術(shù)，存在一個(gè)極為嚴(yán)重的缺陷，即“學(xué)生模型”的能力無法超過“教師”模型。追求極致的AI企業(yè)不會(huì)過度采用蒸餾技術(shù)訓(xùn)練AI，南洋理工大學(xué)計(jì)算機(jī)研究人員王漢卿表示，他認(rèn)識(shí)的一線研究人員，基本沒人在搞模型蒸餾了。

事實(shí)上，利用其他AI產(chǎn)出的數(shù)據(jù)訓(xùn)練大模型，幾乎所有AI企業(yè)都在做，但若過度依賴數(shù)據(jù)蒸餾，會(huì)出現(xiàn)生成數(shù)據(jù)偏差、喪失多樣性等問題，甚至可能生成無意義的回答。DeepSeek-V3上線后，便出現(xiàn)了回答用戶問題時(shí)自稱是ChatGPT的情況。

對(duì)此山姆·奧特曼親自回應(yīng)稱，復(fù)制先行者的東西是相對(duì)容易的，去做新的、有風(fēng)險(xiǎn)的、有難度的事情是困難的，敢于挑戰(zhàn)困難的研究人員，理所應(yīng)當(dāng)獲得更多榮譽(yù)，這是世界上最酷的事。盡管沒有明說，但山姆·奧特曼已是在嘲諷DeepSeek-V3抄襲，未來蒸餾技術(shù)也可能面臨侵權(quán)問題。

無論如何，DeepSeek-V3的成功，都為其他AI公司和考慮入場(chǎng)的企業(yè)指出了一條新的道路，通過降低精度、壓縮內(nèi)容、蒸餾模型，無需數(shù)億美元的高昂成本，也能訓(xùn)練出表現(xiàn)出色的AI大模型。

AI行業(yè)，依然是“野心家”的樂園

近十年間，全球最成功的兩大新興企業(yè)該是新能源汽車和AI大模型，未來人形機(jī)器人有機(jī)會(huì)進(jìn)入此隊(duì)列。新能源汽車行業(yè)的發(fā)展歷程，將在AI行業(yè)復(fù)現(xiàn)，初期參與的企業(yè)極多，但經(jīng)過大浪淘沙，技術(shù)實(shí)力、管理能力不行的企業(yè)會(huì)逐漸被淘汰。

AI行業(yè)正處于從快速發(fā)展期向成熟期過渡的中級(jí)發(fā)展階段，任何企業(yè)都仍具有成長為巨頭的機(jī)會(huì)。只是能否利用好這些機(jī)會(huì)，則要看AI公司的技術(shù)實(shí)力、管理能力、戰(zhàn)略眼光。

（圖源：AI生成）

當(dāng)前AI行業(yè)依然可以入場(chǎng)，但只適合兩類企業(yè)，一類是財(cái)力雄厚，向行業(yè)頂峰進(jìn)發(fā)的企業(yè)。此類企業(yè)將承擔(dān)起引領(lǐng)行業(yè)進(jìn)步的責(zé)任，不斷開拓進(jìn)取，將AI的能力推向高峰。

投入大約100億美元卻沒能生產(chǎn)出新能源汽車的蘋果公司和血虧1100億元的恒馳汽車說明，任何新興行業(yè)都存在大量風(fēng)險(xiǎn)，不是錢多就一定能成事。AI行業(yè)同樣如此，投入和產(chǎn)出未必成正比。不過風(fēng)險(xiǎn)與機(jī)遇總是并存的，做到極致的企業(yè)未來才能賺大錢。

另一類企業(yè)則是以“夠用就行”為目的，不追求功能特性達(dá)到極致的公司，可通過降低精度和蒸餾技術(shù)，以較低成本打造體驗(yàn)不錯(cuò)的大模型。DeepSeek-V3訓(xùn)練成本僅557.6萬美元，能夠負(fù)擔(dān)得起的初創(chuàng)公司不在少數(shù)。

至于空有野心卻實(shí)力不足的企業(yè)或創(chuàng)業(yè)者，已不適合現(xiàn)在的AI行業(yè)。盡管有NVIDIA、微軟等巨頭向初創(chuàng)企業(yè)投資，但那點(diǎn)錢相對(duì)于頂級(jí)AI大模型的開發(fā)工作無異于杯水車薪。AI行業(yè)依然是野心家的樂園，只是門檻比過去高了一些，入場(chǎng)需要更加謹(jǐn)慎。

來源：雷科技

       原文標(biāo)題 : 英偉達(dá)10億美元投資初創(chuàng)公司！AI創(chuàng)業(yè)難度大但機(jī)會(huì)猶存？