視頻大模型能圓我們的導(dǎo)演夢？

視頻生成大模型，能幫助我們成為視頻創(chuàng)作者嗎？

前段時(shí)間，AI歌手Yuri火爆全網(wǎng)，不少網(wǎng)友驚嘆AI大模型生成的視頻居然真假難辨，口型和聲音近乎完美同步。完全由AI創(chuàng)作的MV視頻《SURREAL》似乎向我們證明，每個(gè)人都可以使用AI創(chuàng)作出高質(zhì)量的視頻，但事實(shí)真的如此嗎？

《SURREAL》的背后是汗青工作室，擁有專業(yè)的后期團(tuán)隊(duì)，該MV的背后更有上萬張圖片，無法代表大眾水平。

為了驗(yàn)證視頻生成大模型的真實(shí)能力，雷科技挑選了國內(nèi)人氣和能力較強(qiáng)的可靈、即夢、清影、拍我四款視頻生成模型，將通過一場評測，展現(xiàn)當(dāng)前國產(chǎn)視頻生成模型的能力，以及探討哪款視頻生成模型最強(qiáng)。

（圖源：mockup網(wǎng)站套殼）

這四款模型中，可靈出自快手，曾有「國產(chǎn)Sora」的稱號，但上線時(shí)間比Sora更早；即夢出自字節(jié)跳動(dòng)，可用抖音掃碼登錄；清影出自智譜AI團(tuán)隊(duì)，而智譜核心成員來自國內(nèi)頂級學(xué)府清華大學(xué)的KEG（知識工程）實(shí)驗(yàn)室；拍我原名PixVerse，出自愛詩科技，此前主要面向海外市場，今年6月才推出國內(nèi)版App。

介紹完畢，四款A(yù)pp實(shí)力如何，咱們看表現(xiàn)說話。

四款模型橫評：均有瑕疵，能力差距明顯

先說一下測試環(huán)境，可靈選擇了2.1大師版本，即夢為視頻3.0版本，清影暫不支持更改版本，因而使用默認(rèn)版本，拍我為V4.5版本，生成的視頻均為16:9比例、5秒時(shí)長、720P分辨率，但由于圖片大小限制，雷科技將視頻制作成GIF時(shí)會進(jìn)行壓縮。

為了保證公平性，鏡頭運(yùn)動(dòng)、風(fēng)格等參數(shù)均不調(diào)整，保持默認(rèn)設(shè)置。所有視頻均生成一次，拒絕“人工篩選”優(yōu)秀作品或后期修改，測試共分為三輪。

第一輪《天凈沙·秋思》：靜態(tài)畫面完美，動(dòng)態(tài)可靈完勝。

若想實(shí)現(xiàn)讓每個(gè)人都能利用視頻生成模型揮灑創(chuàng)意，最重要的就是提高AI對自然語言的理解能力，而非依靠特定的提示詞，所有視頻生成大模型也都在朝著這個(gè)方向發(fā)展。

因此，第一題雷科技選擇了馬致遠(yuǎn)的《天凈沙·秋思》，這首初中課本上的散曲，相信大家還能背誦下來，作者僅用三言兩語，就勾勒出了一幅凄涼哀愁的晚景，能否解構(gòu)作者想要表達(dá)的意境，對于生成視頻的準(zhǔn)確性尤為重要。

有著「國產(chǎn)Sora」之稱的可靈，生成的視頻大體與散曲相符，水中的波紋、孤獨(dú)的老者，以及橋上欄桿和路邊草木的光影擬真程度較高，鏡頭的拉升凸顯出了孤寂感。美中不足的是，橋?qū)Π额愃扑淼赖亩纯�，以及上方如同被泥土掩埋的房子不夠協(xié)調(diào)。在我看來，前方一片平原，寥寥幾戶人家，再加上幾縷炊煙，更能凸顯寂寥的美感。

（圖源：可靈生成）

即夢生成的視頻若不看馬兒，可能會有點(diǎn)分不出來究竟是AI生成的，還是有人在黃昏時(shí)拍攝的，水面的波紋、天空云彩的變化，以及遠(yuǎn)處的夕陽，接近完美。然而兩匹馬走路的姿態(tài)卻有一點(diǎn)虛浮，導(dǎo)致我們認(rèn)真觀察時(shí)，能夠辨別出畫面由AI生成。最重要的是，這段視頻缺少了這首散曲的核心「斷腸人」。

（圖源：即夢生成）

清影生成的視頻就有些離譜了，先不說同樣缺少「斷腸人」這一核心元素，馬匹走著走著竟在空中飄起來就很不合理。清影生成的整個(gè)畫面真實(shí)度很高，特別是河流的細(xì)節(jié)，水流沖擊到河岸時(shí)會形成回流。只是馬兒騰空而起的畫面，問題實(shí)在太嚴(yán)重。

（圖源：清影生成）

拍我生成的畫面，能夠體現(xiàn)出孤獨(dú)的意境，后面的轉(zhuǎn)場令我想到了留守兒童送父母外出打工的畫面。不過這段視頻人物的整體裝束過于現(xiàn)代化，而且轉(zhuǎn)場有些突兀，馬兒和轉(zhuǎn)場后的英文略顯多余。

（圖源：拍我生成）

靜態(tài)景物和動(dòng)作幅度較小的動(dòng)態(tài)景物，四款A(yù)I大模型的差距不明顯，但到運(yùn)動(dòng)度較大的景物時(shí)差距立見分曉，即夢、清影的馬兒行動(dòng)都有些不自然。總體來說，本輪測試中，可靈表現(xiàn)最好，其次為即夢和拍我，清影生成的視頻中馬兒騰空而行，導(dǎo)致扣分嚴(yán)重。

第二輪《舞女謝幕》：面部、肢體均有瑕疵，協(xié)調(diào)性有待改進(jìn)，可靈、即夢不分仲伯。

與文生視頻不同，采用圖生視頻時(shí)，用戶可以限定環(huán)境和事物主體，便于創(chuàng)作連續(xù)性較高的長視頻。視頻生成大模型能否完美復(fù)刻圖片的環(huán)境和事物特點(diǎn)，則是考驗(yàn)它們能力的關(guān)鍵。本輪的測試題為：舞女結(jié)束了表演，向臺下觀眾鞠躬致敬。所用的圖片為豆包AI大模型生成，如下：

（圖源：豆包AI生成）

可靈在評測中發(fā)揮穩(wěn)定，人物的動(dòng)作幅度是幾款大模型生成的視頻中最大的，且地板的倒影和人物裙擺的實(shí)際擺動(dòng)一致，人物整體動(dòng)作還算自然。然而右手在最后的鞠躬?jiǎng)幼鲝纳贤�下擺動(dòng)時(shí)，還是出現(xiàn)了虛影。

（圖源：可靈生成）

即夢生成的視頻動(dòng)作幅度較小，鞠躬的動(dòng)作也較為標(biāo)準(zhǔn)，但手指處依然有一些不協(xié)調(diào)，在從上向下移動(dòng)時(shí)，手指數(shù)量似乎不對。不過即夢的表現(xiàn)已經(jīng)極為出色，沒有出現(xiàn)明顯的瑕疵。

（圖源：即夢生成）

上一輪測試中表現(xiàn)不太出色的清影，這一輪又出現(xiàn)了問題，人物鞠躬?jiǎng)幼黠@得極為緩慢，而且在移動(dòng)過程中，手臂、手指、面部都出現(xiàn)了扭曲變形的情況，顯然是根據(jù)人物的圖片生成立體動(dòng)作時(shí)處理不夠完善，以至于存在明顯的不協(xié)調(diào)畫面。

（圖源：清影生成）

拍我生成的視頻除了提示詞描述的舞女鞠躬，還主動(dòng)將鏡頭向后拉，展示出了下方觀眾鼓掌的畫面。問題是，人物的鼓掌動(dòng)作極度不協(xié)調(diào)，以至于畫蛇添足。

（圖源：拍我生成）

與上一輪評測的結(jié)果相似，靜態(tài)事物各家模型生成的視頻質(zhì)量相似，動(dòng)態(tài)事物的處理存在明顯差距。至于手指處不協(xié)調(diào)的問題，自從AI能夠創(chuàng)作圖片和視頻開始就一直存在，時(shí)至今日仍未被徹底解決。

可靈雖然有手臂虛影這一明顯問題，但主動(dòng)給自己增加難度的轉(zhuǎn)圈動(dòng)作屬于加分項(xiàng)，與即夢仍可并列第一，拍我雖然也存在觀眾鼓掌時(shí)動(dòng)作扭曲的問題，但類似電影鏡頭的處理，也能為其加分。清影在沒有主動(dòng)給自己增加難度的情況下，仍出現(xiàn)了手臂、手指、面部扭曲且動(dòng)作較為緩慢的問題，表現(xiàn)最差。

值得一提的是，四款A(yù)I大模型并未消除圖片的水印，比較尊重原創(chuàng)，但清影用自己的水印擋住了圖片的水印，處理不是太好。

第三輪《荷塘月色》：閱讀理解比拼，即夢堪稱「高考狀元」。

在課本、試卷上，我們經(jīng)常讀到名家散文，有時(shí)還需要結(jié)合自己的閱讀理解，回答相應(yīng)的問題。這一次，雷科技也給視頻模型準(zhǔn)備了一道閱讀理解，要求它們按照朱自清的散文《荷塘月色》段落生成一段視頻。具體內(nèi)容如下：

曲曲折折的荷塘上面，彌望的是田田的葉子。葉子出水很高，像亭亭的舞女的裙。層層的葉子中間，零星地點(diǎn)綴著些白花，有裊娜地開著的，有羞澀地打著朵兒的；正如一粒粒的明珠，又如碧天里的星星，又如剛出浴的美人。微風(fēng)過處，送來縷縷清香，仿佛遠(yuǎn)處高樓上渺茫的歌聲似的。這時(shí)候葉子與花也有一絲的顫動(dòng)，像閃電般，霎時(shí)傳過荷塘的那邊去了。葉子本是肩并肩密密地挨著，這便宛然有了一道凝碧的波痕。葉子底下是脈脈的流水，遮住了，不能見一些顏色；而葉子卻更見風(fēng)致了。

可靈生成的視頻一如既往高質(zhì)量，說是用手機(jī)或相機(jī)拍攝的，可能都有人信，荷葉、荷花真實(shí)度極高，水面的倒影、波紋也宛如真實(shí)畫面，鏡頭的移動(dòng)更為這段視頻增添了一絲靈動(dòng)感。美中不足的是，可靈可能誤解了「像閃電般」這句話，導(dǎo)致畫面開頭部分真的有閃電劃過。

（圖源：可靈生成）

即夢創(chuàng)作視頻的質(zhì)量同樣穩(wěn)定，荷花、荷葉隨風(fēng)搖擺，水中的倒影也在晃動(dòng)。盡管植物莖葉在水中晃動(dòng)時(shí)激起波紋的特性，該視頻沒能太好地展示出來，但不能掩蓋這段視頻的優(yōu)秀。

至于清影生成的視頻，荷葉與荷花鋪滿了水面，卻與段落中的「葉子出水很高」不相符，也沒有體現(xiàn)出來波痕、流水等特點(diǎn)，整個(gè)視頻宛如靜態(tài)，只有小幅度的變化。

（圖源：清影生成）

如果說可靈生成的視頻中掠過的閃電可以用晴空霹靂強(qiáng)行解釋，拍我生成的畫面中，從水中鉆出的詭異人頭，只能用 「荷花修煉成精」這樣的玩笑來解釋了。出現(xiàn)這種畫面，可能是拍我理解錯(cuò)了「又如剛出浴的美人」這句話。清影生成的畫面清新唯美，如果沒有人頭從水面鉆出的畫面，可以給高分，但很遺憾。

（圖源：拍我生成）

在這一輪測試中，表現(xiàn)最好的是即夢，畫面很好地展示出了荷花池隨風(fēng)而動(dòng)的景象，不存在多余的元素。其次則是可靈，鏡頭推進(jìn)絲滑順暢，開頭的閃電也容易修改。清影和拍我各有各的問題，表現(xiàn)相對較差。

相較于口語化的文字，散文通常更加晦澀難懂，出現(xiàn)些許偏差也可以理解，能夠?qū)⒑商�、荷花、荷葉展示出來，可見幾款A(yù)I大模型在人類語言識別方面已經(jīng)相當(dāng)出色。

小結(jié)：可靈、即夢并列冠軍，清影、拍我略顯遜色。

從三輪測試的結(jié)果不難看出，固定鏡頭下動(dòng)作幅度較小的場景，對于視頻生成大模型來說已不是難題，生成的視頻足以以假亂真。而到了動(dòng)作幅度較大的場景，可靈和即夢表現(xiàn)稍強(qiáng)一些。

其中可靈喜歡給自己增加難度，比如舞女轉(zhuǎn)個(gè)圈、荷塘鏡頭推進(jìn)等等，對于文字描述的理解能力也相對準(zhǔn)確。

即夢以求穩(wěn)為主，三輪測試均未出現(xiàn)大錯(cuò)。清影則在三輪測試中，均出現(xiàn)了較為嚴(yán)重的問題，生成的第一個(gè)視頻馬兒在空中行走，第二個(gè)視頻肢體和面部扭曲且動(dòng)作緩慢，第三個(gè)視頻未能正確刻畫出場景。

至于拍我，三輪測試中整體表現(xiàn)還算不錯(cuò)，除了最后一輪的詭異人頭。拍我全球用戶已突破6000萬，在國內(nèi)市場實(shí)力與名氣存在落差。

數(shù)月前，雷科技曾針對多款A(yù)I大模型做過一期評測，它們的表現(xiàn)卻令我大失所望，生成的畫面僵硬、虛假。短短幾個(gè)月過去，AI大模型對于真實(shí)世界物理變化的理解上升了一個(gè)臺階，光影效果、衣服的擺動(dòng)等等，都幾乎難以分辨真?zhèn)巍?/strong>