OpenAI曾在2017年戰(zhàn)勝Dota2世界頂級(jí)玩家Dendi，本月初戰(zhàn)勝了由職業(yè)選手和解說(shuō)員組成的半職業(yè)戰(zhàn)隊(duì)，這一系列出彩的表現(xiàn)提升了人們對(duì)人工智能再次奪冠的期望。8月22日在溫哥華舉行的TI8上，OpenAI聯(lián)合創(chuàng)始人兼CTO格雷格·布羅克曼（Greg Brockman）帶著全新的OpenAI Five如期而至，卻接連兩場(chǎng)輸給巴西站隊(duì)和中國(guó)戰(zhàn)隊(duì)，據(jù)悉，巴西戰(zhàn)隊(duì)目前世界排名第14位，這至少說(shuō)明一直想挑戰(zhàn)人類(lèi)“最強(qiáng)”的人工智能，目前還不能在Dota2電競(jìng)場(chǎng)上打敗人類(lèi)。

機(jī)器的短板

正如專(zhuān)注于游戲領(lǐng)域AI研究的邁克·庫(kù)克在Twitter上所說(shuō)，“機(jī)器人在即時(shí)即地的反應(yīng)上做得很好，但宏觀層面決策的表現(xiàn)卻很糟糕�！監(jiān)penAI計(jì)劃在當(dāng)?shù)貢r(shí)間周三、周四、周五連比三場(chǎng)，由于比賽采取三局兩勝制，OpenAI在輸給中國(guó)戰(zhàn)隊(duì)之后，就結(jié)束TI8之旅。

兩場(chǎng)比賽分別持續(xù)了51分鐘和45分鐘，從數(shù)據(jù)來(lái)看，OpenAI Five在比賽開(kāi)始的前20－35分鐘內(nèi)確實(shí)有很大的勝算。以AI的計(jì)算能力來(lái)看，OpenAI Five不乏出彩的表現(xiàn)，比如“圍剿”孤立的英雄，近距離進(jìn)行技能釋放，血量計(jì)算等。在與巴西戰(zhàn)隊(duì)paiN的較量中，AI也拿到比對(duì)手更多的“人頭”。畢竟，人工智能就是一臺(tái)機(jī)器，可以獲取游戲后端給予的精確的數(shù)字反饋，比如英雄狀態(tài)和英雄間距離等信息。但是在戰(zhàn)略上，人工智能遠(yuǎn)不及人類(lèi)，執(zhí)著于擊打Roshan、莫名其妙的在家、塔下插眼、在沒(méi)有對(duì)手的時(shí)候放大收野。

這種精準(zhǔn)的計(jì)算和不穩(wěn)定的戰(zhàn)略恰好反映了AI是如何學(xué)會(huì)打Dota的，OpenAI使用強(qiáng)化學(xué)習(xí)訓(xùn)練AI從頭自學(xué)，在一遍遍嘗試中堅(jiān)持下來(lái)有效的動(dòng)作。因此也導(dǎo)致了OpenAIFive在面對(duì)訓(xùn)練中沒(méi)有遇到的情況時(shí)束手無(wú)策，從事OpenAIDota項(xiàng)目的軟件工程師蘇珊·張表示，“如果AI在比賽中遇見(jiàn)了之前從未有過(guò)的情況，很難立即調(diào)整。同時(shí)，在訓(xùn)練過(guò)程中，機(jī)器人在判斷采取何種行動(dòng)時(shí)，最多會(huì)提前14分鐘。沒(méi)有任何一種機(jī)制讓機(jī)器人部署超過(guò)14分鐘的長(zhǎng)期戰(zhàn)略。”所以，AI的這一缺陷，在兩場(chǎng)比賽中展露無(wú)遺。

在比賽開(kāi)始前，格雷格·布羅克曼曾對(duì)TheVerge表示，公司曾進(jìn)行一場(chǎng)內(nèi)部員工投票，認(rèn)為OpenAIFive獲勝的可能性不到50％，這是普遍的共識(shí)。但是他補(bǔ)充說(shuō)，真正重要的是AI的進(jìn)步速度。AI在接近某戰(zhàn)隊(duì)水平時(shí)，就與他們打比賽，一、兩周之后，AI就能超過(guò)他們，這樣的事情已經(jīng)“驗(yàn)證”很多次了。

不可否認(rèn)的是AI強(qiáng)大的學(xué)習(xí)能力，即便完敗巴西、中國(guó)戰(zhàn)隊(duì)，OpenAI的AI選手也遠(yuǎn)遠(yuǎn)超越早期的電子競(jìng)技機(jī)器人。

“OpenAI Five”

在體育和游戲中，人工智能與人類(lèi)的對(duì)抗有著悠久的歷史。IBM開(kāi)發(fā)的深藍(lán)計(jì)算機(jī)在1996年成為了第一個(gè)與世界象棋冠軍較量并贏得比賽的電腦系統(tǒng)。戰(zhàn)勝越來(lái)越具有挑戰(zhàn)性的人類(lèi)冠軍則慢慢成為衡量人工智能進(jìn)步的標(biāo)準(zhǔn)。

2016年3月，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4：1的總比分勝出；之后，AlphaGo以網(wǎng)絡(luò)圍棋手“Master”的身份為與中日韓數(shù)十位圍棋高手進(jìn)行對(duì)決，以60勝零負(fù)收?qǐng)�。此后，DeepMind團(tuán)隊(duì)公布全新強(qiáng)化學(xué)習(xí)算法——AlphaZero，僅僅通過(guò)自我對(duì)弈的方式就達(dá)到超越人類(lèi)的水平。

去年，谷歌旗下的DeepMind和馬斯克創(chuàng)建的非盈利研究實(shí)驗(yàn)室OpenAI合作研究一種根據(jù)人類(lèi)反饋進(jìn)行強(qiáng)化學(xué)習(xí)的新方法，并發(fā)表論文《Deep reinforcement learning from human preferences》（根據(jù)人類(lèi)偏好進(jìn)行的深度強(qiáng)化學(xué)習(xí)）。要建立一個(gè)安全的AI系統(tǒng)，其中很重要的一步是不再讓人類(lèi)給AI系統(tǒng)寫(xiě)目標(biāo)函數(shù)，因?yàn)檫@都可能導(dǎo)致AI行為偏離軌道或引發(fā)危險(xiǎn)。新算法只需要人類(lèi)逐步告訴AI，兩種AI推薦的動(dòng)作中哪一種更好，AI由此推測(cè)人類(lèi)的需求進(jìn)行學(xué)習(xí)，比如新算法用來(lái)自人類(lèi)評(píng)價(jià)員的900次二選一反饋學(xué)會(huì)了后空翻。OpenAI和DeepMind希望通過(guò)新算法來(lái)提高人工智能的安全性。

DeepMind憑借Alpha Go不負(fù)眾望，同樣專(zhuān)注在強(qiáng)化學(xué)習(xí)領(lǐng)域的OpenAI則是放眼于Dota2上，因?yàn)樵跀?shù)學(xué)計(jì)算上，電競(jìng)游戲比象棋或者圍棋更復(fù)雜。這件看似“不正經(jīng)”的事情，對(duì)于人工智能來(lái)說(shuō)卻是巨大的挑戰(zhàn)，游戲中需要AI團(tuán)隊(duì)協(xié)同作戰(zhàn)、布局長(zhǎng)期戰(zhàn)略、制定復(fù)雜決策。如果賦予AI的這些技能可以通過(guò)游戲磨練“精進(jìn)”，便可以加以運(yùn)用到現(xiàn)實(shí)生活中。這也恰巧符合OpenAI的建立初衷——吸取所有的人類(lèi)優(yōu)點(diǎn)，建立安全的通用機(jī)器人。