就跟數(shù)碼圈（juan）發(fā)新機(jī)，每次都要對(duì)比iPhone一樣。每次有新大模型發(fā)布，GPT－4都要被拉出來(lái)鞭尸。

贏不贏的，圖個(gè)樂(lè)吧。

不管你關(guān)不關(guān)注AI動(dòng)態(tài)，這兩天鋪天蓋地的報(bào)道，你也能知道谷歌推出了全新的AI大模型——Gemini。并且，再一次“吊打了”宿敵OpenAI的“地表最強(qiáng)”GPT－4。

圖源：Google

（我為什么要說(shuō)“再”？）

谷歌造假了？

這次Gemini的關(guān)注度，一點(diǎn)也不亞于OpenAI內(nèi)亂的時(shí)候。畢竟谷歌之前是打算早點(diǎn)發(fā)布Gemini的，就是打的“趁你病要你命”的主意。奈何團(tuán)隊(duì)拉胯的進(jìn)度，最后Gemini不得不延期。

提前也好，延期也罷。Gemini最后還是發(fā)布了，而且谷歌信心滿滿，儼然一副“GPT你好日子到頭了”的架勢(shì)。賬面數(shù)據(jù)和測(cè)試結(jié)果，也是一路默秒全。

而且谷歌還放出來(lái)一段6分鐘一鏡到底的視頻，坐等被夸“好牛X”“666”……

但是這時(shí)候有人跳出來(lái)說(shuō)，谷歌你這演示視頻造假了吧？

有人質(zhì)疑說(shuō)，這段所謂的一鏡到底，其實(shí)是經(jīng)過(guò)篩選、剪輯拼接起來(lái)的，根本不是實(shí)時(shí)錄制。

隨后，官方表示稱(chēng)，視頻確實(shí)是有后期制作和剪輯的成分。根據(jù)官方的一份技術(shù)聲明，Gemini所有的這些交互都不是實(shí)時(shí)感知到的，而是通過(guò)提示詞問(wèn)出來(lái)的。

這不能說(shuō)跟演示視頻一毛一樣，根本是八竿子打不著吧。比如“石頭、剪刀、布”游戲，不是Gemini看懂了游戲規(guī)則，而是識(shí)別出了三張圖，并做出了推理。

圖源：Google

而對(duì)“鴨子簡(jiǎn)筆畫(huà)”的每一個(gè)筆畫(huà)的識(shí)別能力，以及對(duì)顏色的看法，也不全是真的。谷歌DeepMind產(chǎn)品副總裁伊萊·柯林斯（Eli Collins）回應(yīng)說(shuō)，這個(gè)能力目前還是研究級(jí)別的，至少目前還沒(méi)有出現(xiàn)在谷歌的實(shí)際產(chǎn)品中。

圖源：YouTube

原來(lái)讓人直呼“vocal”的感知能力，結(jié)果還是識(shí)別、提示加引導(dǎo)。這讓很多人表示，谷歌你這是在誤導(dǎo)和欺騙大眾！

眼看著輿論有反噬的苗頭，谷歌最后還是慫了，在油管的演示視頻底下，標(biāo)注了免責(zé)聲明：為了演示的目的，已經(jīng)減少延遲，為了簡(jiǎn)潔，Gemini 的輸出也縮短了。

對(duì)比數(shù)據(jù)上“做手腳”

如果單純就是視頻做了“藝術(shù)”加工，也就還好。畢竟現(xiàn)在圈子里這么干的，不在少數(shù)。但是，谷歌還在其他對(duì)比GPT－4的結(jié)果上，搞了點(diǎn)小貓膩。

有人就發(fā)現(xiàn)，在谷歌曬出的MMLU 測(cè)試結(jié)果中，Gemini的結(jié)果下面有一行灰色小字，標(biāo)注著“CoT＠32”。

這是谷歌自己的“獨(dú)家秘籍”，明顯有利于Gemini，可想而知GPT－4的成績(jī)好不了哪里去。

還有人詬病圖示比例尺離譜，很小的差距，被做出了天差地別的視覺(jué)效果。

谷歌你這就不太厚道了吧。

而且圖上GPT－4最明顯的成績(jī)，用的測(cè)試方法和Gemini不一樣。

隨后，知名開(kāi)源社區(qū)HuggingFace的技術(shù)主管Philipp Schmid用技術(shù)報(bào)告中披露的數(shù)據(jù)修復(fù)了結(jié)果對(duì)比圖，結(jié)果顯示：

讓Gemini Ultra 和 GPT－4 跑在同一標(biāo)準(zhǔn)下，那Gemini的得分就只有 83．7 ，甚至還不如 GPT－4 。

圖源：X（原推特）

此外，谷歌在發(fā)布會(huì)上宣稱(chēng)，Gemini三個(gè)版本（Ultra、Pro、Nano），其中Ultra全面超越 GPT－4，Pro在大多數(shù)指標(biāo)上超越GPT－3．5。

但隨后有人經(jīng)過(guò)測(cè)試發(fā)現(xiàn)，一道8年級(jí)的故事題，GPT－3．5拿了滿分，Gemini Pro則是一塌糊涂。不過(guò)，該測(cè)試也就圖一樂(lè)，畢竟變量控制和細(xì)節(jié)并不完善，不像專(zhuān)業(yè)的測(cè)試數(shù)據(jù)那樣準(zhǔn)確。

谷歌發(fā)布Gemini時(shí)還提到，后續(xù)Bard將接入微調(diào)版的Gemini Pro，這樣一來(lái)，跟接入GPT3．5和GPT4的ChatGPT做一番對(duì)比，就變得更容易了。有興趣的朋友可以去嘗試一下。

雖有質(zhì)疑，但股價(jià)上漲

對(duì)此外界輿論，谷歌DeepMind研究和深度學(xué)習(xí)負(fù)責(zé)人副總裁奧里奧爾·維尼亞爾斯（Oriol Vinyals）表示，“我們這樣做是為了激勵(lì)開(kāi)發(fā)人員”。但很明顯，大部分人并不買(mǎi)賬。

甚至有谷歌的員工表示，對(duì)于公司這種夸大宣傳，早就習(xí)慣了。而且本身谷歌進(jìn)度落后于OpenAI，所以有點(diǎn)著急也是理所應(yīng)當(dāng)?shù)摹?/p>

當(dāng)然，做人還是要體面一點(diǎn)。

圖源：網(wǎng)絡(luò)

不過(guò)，谷歌倒也不是一無(wú)所有。在谷歌發(fā)布Gemini之后，12月7日，谷歌母公司Alphabet（Nasdaq：GOOG）的股價(jià)漲5．31％ ，收于136．93美元，迎來(lái)自今年8月29日以來(lái)表現(xiàn)最好的一天，總市值達(dá)到1．72萬(wàn)億美元 。

要知道，當(dāng)時(shí)在發(fā)布Bard時(shí)，谷歌的股價(jià)一天跌去了1000億美元。

雖然要求Gemini超越GPT－4有點(diǎn)苛刻，但誰(shuí)讓谷歌把牛吹這么大呢，所以什么輿論結(jié)果都得受著。具體Gemini最后能進(jìn)化到什么程度，還得看后續(xù)的進(jìn)展。

那么，嘗試過(guò)Gemini和ChatGPT的你，覺(jué)得效果如何？Gemini有希望超越GPT4嗎？