眾人拾柴火焰高。

北京時(shí)間 12 月 14 日凌晨，OpenAI CEO Sam Altman 在 X（Twitter）上發(fā)布了一則推文，正式宣告重新開(kāi)放 ChatGPT Plus 新用戶(hù)訂閱。按照 Altman 的說(shuō)法，核心原因是 OpenAI 已經(jīng)找到了更多的 GPU，原文是：we found more gpus.

就在 1 個(gè)月前，也是 Altman 宣布暫停 ChatGPT Plus 新用戶(hù)訂閱（20 美元/月，約合人民幣 141 元/月），理由是「開(kāi)發(fā)日后使用量的激增超出了我們的承受能力，我們希望確保每個(gè)人都有良好的體驗(yàn)�！�

即使對(duì)于風(fēng)頭正盛的 OpenAI 來(lái)說(shuō)，這也不是一件易事。

要知道，頂級(jí) GPU，或者是算力早就成為了科技公司的一種戰(zhàn)略資源，甚至是吸引頂級(jí)研究人員的「利器」。公開(kāi)報(bào)道指出，作為全球英偉達(dá) H100 GPU 儲(chǔ)備第二多的公司，Meta 已經(jīng)將大量 H100 作為吸引頂級(jí) AI 人才的招聘策略。

難怪 Altman 新推文下面有網(wǎng)友再次感嘆道：「GPU 是新的石油�！�

圖/ X（Twitter）

但算力依然受限，核心是大模型訓(xùn)練、推理都嚴(yán)重依賴(lài)于英偉達(dá)高端 GPU，而英偉達(dá)又受限于臺(tái)積電先進(jìn)芯片制造工藝、封裝工藝以及韓國(guó) HBM 內(nèi)存的產(chǎn)能。

說(shuō)到底，還是算力不夠用，「供給」趕不上「需求」。這不僅是 OpenAI 一家公司，也是整個(gè) AI 行業(yè)所面臨的危機(jī)。但現(xiàn)在 OpenAI 重新開(kāi)放了 ChatGPT Plus 訂閱，又是否意味著行業(yè)已經(jīng)走出了算力短缺的危機(jī)？

并不盡然。

自始至終，OpenAI 都沒(méi)有明確指出所謂「找到」，是指從「算力之王」英偉達(dá)購(gòu)買(mǎi)到了更多的英偉達(dá) GPU，還是從「幕后大佬」微軟那里拿到的支持，又或是從「最強(qiáng)備胎」AMD 買(mǎi)到最新一批的 AI 芯片 Instinct MI300X。

但至少可以肯定，算力市場(chǎng)正在經(jīng)歷一輪洗牌。

英偉達(dá)的對(duì)手們

一周前，谷歌 DeepMind CEO Demis Hassabis 代表 Gemini 團(tuán)隊(duì)正式推出了全新一代多模態(tài)大模型 Gemini，擁有「視覺(jué)」和「聽(tīng)覺(jué)」，還有強(qiáng)大的學(xué)習(xí)和推理能力。其中，Gemini Ultra 直接對(duì)標(biāo)公認(rèn)最強(qiáng)大的 GPT-4 模型，行業(yè)推測(cè)參數(shù)超萬(wàn)億。

更耐人尋味的是，在一眾基于英偉達(dá)高端 GPU 訓(xùn)練出的大模型中，Gemini 是唯一一個(gè)完全基于自研 AI 芯片—— TPU 訓(xùn)練出的萬(wàn)億參數(shù)大模型。

TPU v5p 集群，圖/谷歌

從單片性能來(lái)看，不管是 TPU v5e、v4 還是最新發(fā)布的 v5p 其實(shí)都遠(yuǎn)不是英偉達(dá) H200、H100 的對(duì)手。以谷歌最新的 TPU v5p 為例，INT8 下的峰值算力僅為 918 TFLOPs，遠(yuǎn)低于上一代英偉達(dá) H100 的 1979 TFLOPs。

但就像半導(dǎo)體研究機(jī)構(gòu) Semianalys 首席分析師 Dylan Patel 指出的，「對(duì)人工智能基礎(chǔ)設(shè)施來(lái)說(shuō)，系統(tǒng)能力比微架構(gòu)更重要。」通俗來(lái)講就是，芯片集群的算力比單塊芯片的算力更重要。

在大模型訓(xùn)練、推理的大規(guī)模計(jì)算之中，單塊芯片計(jì)算完成后需要進(jìn)行通信，但受制于通信效率實(shí)際往往無(wú)法做到全部傳輸，這就意味著部分算力被浪費(fèi)了。行業(yè)搶購(gòu)英偉達(dá) GPU 除了因?yàn)樽畛墒斓?CUDA 生態(tài)，在于單塊更強(qiáng) GPU 提供的效率提升，更在于英偉達(dá) NVLink、NVSwitch 等通信技術(shù)可以實(shí)現(xiàn)芯片集群的算力最大。

圖/英偉達(dá)

而谷歌自研 TPU 一開(kāi)始的目的就是用在全球數(shù)據(jù)中心，不可能不重視多芯片互連技術(shù)。事實(shí)上，谷歌也沒(méi)有公布訓(xùn)練 Gemini 使用的 TPU 數(shù)目，而是強(qiáng)調(diào)動(dòng)用了不只一個(gè)集群，甚至不只一個(gè)數(shù)據(jù)中心。

不僅如此，谷歌還宣稱(chēng)，包括 Salesforce 和 Lightrick 等客戶(hù)已經(jīng)在使用谷歌云的 TPU v5p 超級(jí)計(jì)算機(jī)來(lái)訓(xùn)練大模型。

谷歌之外，微軟在 11 月舉辦的 Ignite 大會(huì)發(fā)布了自研 AI 芯片——Maia，亞馬遜也于同月舉辦的 re:Invent 大會(huì)上推出自研 AI 芯片——AWS Trainium2。不過(guò)，目前亞馬遜、微軟都還沒(méi)有推出基于自研 AI 芯片訓(xùn)練的大模型，更多還是用于大模型的推理，但也有 AI 獨(dú)角獸 Anthropic 宣布了基于 Trainium2 構(gòu)建模型的計(jì)劃。

圖/亞馬遜

不同于云計(jì)算三巨頭的競(jìng)爭(zhēng)，英偉達(dá)老對(duì)手、芯片巨頭 AMD 則在本月初的 Advancing AI 發(fā)布會(huì)上，正式推出了高端 GPU Instinct MI300X（以下簡(jiǎn)稱(chēng) MI300X），谷歌、亞馬遜、微軟、OpenAI、甲骨文、Meta、戴爾、惠普、聯(lián)想等公司紛紛為其站臺(tái)。

生態(tài)上，AMD ROCm 雖然相比英偉達(dá) CUDA 生態(tài)還有不小的差距，但 AMD 也借助整個(gè)行業(yè)加注「?jìng)涮ァ沟娘L(fēng)向緊趕慢趕，而且 AMD CEO 蘇姿豐今年早些時(shí)候就表示，她不相信在 AI 芯片市場(chǎng)發(fā)展如此之快的情況下還會(huì)有什么「護(hù)城河」一說(shuō)。

與此同時(shí)，微軟、Meta 也都承諾購(gòu)買(mǎi) MI300X 用于 AI 計(jì)算需求，甲骨文甚至提前先采購(gòu)了一批。另?yè)?jù)供應(yīng)鏈傳聞，微軟為此還提前一步砍掉了英偉達(dá)的部分訂單。

王權(quán)沒(méi)有永恒

眾所周知，GPU 最初的目的就是為游戲和視頻進(jìn)行圖像渲染。但前英偉達(dá)首席科學(xué)家戴維·柯克（David Kirk）一直有個(gè)夢(mèng)想——將主要服務(wù)于圖像渲染的 GPU 算力「通用化」，使之轉(zhuǎn)變?yōu)橥ㄓ盟懔χ行摹?/p>

2006 年，戴維·柯克說(shuō)服了英偉達(dá)創(chuàng)始人兼 CEO 黃仁勛推出了 CUDA（Compute Unified Device Architecture，統(tǒng)一計(jì)算架構(gòu)）。

CUDA 的今天從來(lái)不是一蹴而就的，而是老黃連續(xù)十多年堅(jiān)定的投入才實(shí)現(xiàn)的。從游戲、科學(xué)研究到區(qū)塊鏈、挖礦，再到元宇宙以及今天的生成式 AI，老黃不斷為 CUDA 和 GPU 算力尋找計(jì)算的出口和未來(lái)，包括在 2016 向剛剛成立的 OpenAI 捐出英偉達(dá)的第一臺(tái) AI 超級(jí)計(jì)算機(jī)——DGX-1。

黃仁勛，圖/英偉達(dá)

正如多年前老黃給俄勒岡州立大學(xué)畢業(yè)生的寄語(yǔ)：「當(dāng)有人全力以赴時(shí)，他們就能做你做不到的事情。全力以赴，不留后手�！�

而很多人并不知道，早在去年 ChatGPT 推出之前，英偉達(dá)的數(shù)據(jù)中心收入就超過(guò)了游戲業(yè)務(wù)，在 ChatGPT 引爆全球科技行業(yè)之后，數(shù)據(jù)中心業(yè)務(wù)更是如同開(kāi)掛般持續(xù)增長(zhǎng)，完全壓過(guò)了來(lái)自游戲玩家的收入。

但王權(quán)沒(méi)有永恒。

大模型的興起創(chuàng)造了海量的算力需求，英偉達(dá)的高端 GPU 幾乎成為了全球科技公司的首選目標(biāo)。但首先，英偉達(dá)一家公司難以滿(mǎn)足全球市場(chǎng)（以中美為主）對(duì)于 AI 算力的需求；其次，不管從風(fēng)險(xiǎn)控制還是成本角度考慮，大公司在長(zhǎng)期來(lái)看都不會(huì)接受「把雞蛋放在一個(gè)籃子」。

最后，算力市場(chǎng)從來(lái)不缺競(jìng)爭(zhēng)者，也并非贏家通吃，至少蘇媽就認(rèn)為，「這個(gè)市場(chǎng)將會(huì)有多個(gè)贏家。」

蘇姿豐，圖/ AMD

事實(shí)上除了英偉達(dá)，另一家芯片巨頭博通也是大模型浪潮的幕后贏家。更遑論，還有以谷歌為代表的云計(jì)算巨頭，正在試圖垂直整合，實(shí)現(xiàn)從底層芯片到訓(xùn)練框架的自研。

同時(shí)就像前文所述，英偉達(dá)一家公司難以滿(mǎn)足全球持續(xù)增長(zhǎng)又不斷變化的算力需求，而 AMD、谷歌、微軟、亞馬遜以及更多公司的加入，將會(huì)徹底改變算力的供給，提供更強(qiáng)大、更便宜的算力，才可能真正讓大模型成為「社會(huì)基礎(chǔ)設(shè)施」。

老黃會(huì)樂(lè)見(jiàn)這樣的變化嗎？很難講，但至少在送出那臺(tái)贈(zèng)送給 OpenAI 的超級(jí)計(jì)算機(jī)時(shí)，他還在上面寫(xiě)了一句話(huà)：

「為了計(jì)算和人類(lèi)的未來(lái)，我向你們獻(xiàn)上世界上第一臺(tái) DGX-1。」

圖/英偉達(dá)

來(lái)源：雷科技

       原文標(biāo)題 : GPT付費(fèi)訂閱再度開(kāi)放，AI界的「石油危機(jī)」解決了？