前期回顧

作為人工智能的一個(gè)重要分支，認(rèn)知體系的研究和應(yīng)用經(jīng)過了近40年的發(fā)展，已取得了可見的成果。前兩期內(nèi)容對(duì)認(rèn)知體系的概念、感知和注意力進(jìn)行了介紹，本期將繼續(xù)分享關(guān)于行動(dòng)選擇和記憶的部分。

摘譯：認(rèn)知體系研究綜述（一）1 引言2 什么是認(rèn)知體系3 認(rèn)知體系的分類

摘譯：認(rèn)知體系研究綜述（二）4、感知

5、注意力

6 行動(dòng)選擇（Action Selection）

一般來說，行動(dòng)選擇決定在什么時(shí)間要做些什么，被分為“做什么”（即做什么決策）和“怎樣做”（即動(dòng)作如何控制）。例如，在MIDAS體系，行動(dòng)選擇包含了目標(biāo)任務(wù)和執(zhí)行這個(gè)選擇的動(dòng)作或行動(dòng)。同樣的，在MIDCA中，下一個(gè)動(dòng)作通常是從一個(gè)被計(jì)劃好的序列中選擇出來的（如果這個(gè)序列存在的話）。因?yàn)樵诓煌�的認(rèn)知體系中，行動(dòng)選擇的方法是不同的。在接下來的討論中，行動(dòng)選擇機(jī)制可應(yīng)用于決策和動(dòng)作。

圖7顯示了所有被執(zhí)行的行動(dòng)選擇機(jī)制，根據(jù)相關(guān)的體系類型（符號(hào)、混合、涌現(xiàn)）來組織。執(zhí)行行動(dòng)選擇的主要兩種方式：計(jì)劃和動(dòng)態(tài)。計(jì)劃是事先制定一系列的步驟以達(dá)到一個(gè)確定的目標(biāo)。在動(dòng)態(tài)的行動(dòng)選擇中，一個(gè)最好的動(dòng)作是從其他方案中被選擇出來的，基于當(dāng)時(shí)可獲得的知識(shí)。對(duì)于這個(gè)類別，我們考慮選擇的類別（贏者通吃、概率、預(yù)定義）和選擇的標(biāo)準(zhǔn)（相關(guān)性、效用、感情）。默認(rèn)選項(xiàng)一直是基于給定的標(biāo)準(zhǔn)做出的最好的動(dòng)作（有最高激活水平的動(dòng)作）。

最后，學(xué)習(xí)也可以影響行動(dòng)選擇，但會(huì)在第8節(jié)中討論。注意，這些行動(dòng)選擇機(jī)制并不互相排斥并且大多數(shù)體系中有不止一種機(jī)制。盡管很少的體系會(huì)執(zhí)行同樣的行動(dòng)選擇機(jī)制，可行的組合空間通常會(huì)很大。

圖7：行動(dòng)選擇所涉及的機(jī)制

圖7中可視化分為三列：符號(hào)、混合和涌現(xiàn)。注意，在這個(gè)圖中（以及第7節(jié)和第8節(jié)的圖中），排序順序強(qiáng)調(diào)具有相似動(dòng)作的選擇機(jī)制（或分別為記憶和學(xué)習(xí)方法）的體系結(jié)構(gòu)簇。

6．1 計(jì)劃與反應(yīng)式動(dòng)作

可以預(yù)見的是，計(jì)劃型行動(dòng)選擇在符號(hào)范式體系中更加常見，但是也能在一些混合的甚至是涌現(xiàn)范式體系中被發(fā)現(xiàn)。尤其是在任務(wù)分解中，當(dāng)目標(biāo)被遞歸地分解成子目標(biāo)，任務(wù)分解是計(jì)劃動(dòng)作的一種非常常見的形式。

其他被使用的計(jì)劃動(dòng)作的類型有：暫時(shí)性的、連續(xù)性的、層級(jí)性任務(wù)網(wǎng)絡(luò)的、生成式的、基于搜索的、局部擇優(yōu)的等等。在我們的選擇中，很少有體系僅僅只依賴于計(jì)劃，例如OSCAR做邏輯推理和IMPRINT使用任務(wù)分解來模擬人類行動(dòng)。除此之外，計(jì)劃型行動(dòng)選擇經(jīng)常利用加強(qiáng)動(dòng)態(tài)的行動(dòng)選擇機(jī)制，來提升對(duì)變化的環(huán)境的適應(yīng)性。

6．2 動(dòng)態(tài)行動(dòng)選擇

動(dòng)態(tài)行動(dòng)選擇能提供更多靈活性，并且能被用來模擬人類和動(dòng)物�！摆A者通吃”是神經(jīng)網(wǎng)絡(luò)中的一種選擇策略（最強(qiáng)的輸入被增強(qiáng)而其余的被抑制），它和它的變異體在各種新興體系中很常見。同樣的機(jī)制也被用來在所有體系中尋找最適合的動(dòng)作，通常行動(dòng)是多個(gè)并行過程的合作和競爭的結(jié)果。

行動(dòng)選擇的預(yù)定義序（方式）可能服務(wù)于不同目的。比如，在Subsumption體系中，機(jī)器人行動(dòng)被附屬行動(dòng)等級(jí)所表示，高級(jí)行動(dòng)優(yōu)先于（包含）低級(jí)行動(dòng)的輸出。

在FORR中，做決策的部分根據(jù)遞增順序來從顧問中考慮選項(xiàng)，以達(dá)到與人類成員類似的學(xué)習(xí)。在YMIR中，優(yōu)先級(jí)首先被給與到反應(yīng)層中的過程中，然后是內(nèi)容層，再是過程控制層。這里，目的是提供一個(gè)平滑的實(shí)時(shí)行動(dòng)生成。每層有一個(gè)不同的認(rèn)知反應(yīng)時(shí)間上限，因此，反應(yīng)式模塊為用戶提供自動(dòng)的反饋（變化的臉部表情、自動(dòng)發(fā)聲），而審議性模塊生成更復(fù)雜的行動(dòng)。剩余的行動(dòng)選擇機(jī)制包含有限狀態(tài)機(jī)制，被經(jīng)常用來表示動(dòng)作的順序甚至來編譯整個(gè)系統(tǒng)的行動(dòng)，概率行動(dòng)選擇也常見。

行動(dòng)選擇標(biāo)準(zhǔn)

在選擇下一個(gè)動(dòng)作時(shí)，有多個(gè)標(biāo)準(zhǔn)要被考慮到：相關(guān)性、效用和感情（包括動(dòng)機(jī)、情感狀態(tài)、情緒、心情、積極性等）。

相關(guān)性反映出動(dòng)作有多么契合現(xiàn)在的情況，這主要應(yīng)用于有符號(hào)范式推理的系統(tǒng)和在應(yīng)用前測(cè)試規(guī)則前／后的條件。動(dòng)作的效用是測(cè)量為了達(dá)到現(xiàn)有目標(biāo)的期望貢獻(xiàn)。一些體系也會(huì)執(zhí)行候選動(dòng)作的“干運(yùn)行（dry run）”，并觀察他們的效果來決定他們的效用。效用也會(huì)考慮到過去動(dòng)作的表現(xiàn)并在將來通過強(qiáng)化學(xué)習(xí)來促進(jìn)行動(dòng)的成長。其他機(jī)器學(xué)習(xí)技術(shù)也可以被用來把過去的成功行動(dòng)和目標(biāo)做關(guān)聯(lián)。最后，內(nèi)部因素并不直接決定下一個(gè)行動(dòng)，但是會(huì)使選擇存在偏差。

簡單來說，我們會(huì)考慮關(guān)聯(lián)到情緒、積極性和人類個(gè)性特征的短期、長期和終身因素�；�于這些因素對(duì)于人類的決策和其他認(rèn)知能力的影響，在認(rèn)知體系中模擬情緒和情感是重要的，特別在人機(jī)交互、社交機(jī)器人和虛擬代理的領(lǐng)域。

在認(rèn)知系統(tǒng)中，人工感情通常被模擬成能夠影響認(rèn)知能力的過度狀態(tài)。比如，在CoJACK中，斗志和恐懼的情緒能改變計(jì)劃選擇。在斗志高昂時(shí)，那些能應(yīng)對(duì)威脅的計(jì)劃有更高的效用，但當(dāng)恐懼時(shí)，效用低下。其他例子包括壓力影響決策的模型、影響21點(diǎn)策略的開心／悲傷情緒、在焦慮狀態(tài)下的類比推理、記憶喚醒的影響、基于目標(biāo)滿意度的正面和負(fù)面情感、在HCI場景中的情緒學(xué)習(xí)等。

積極性是內(nèi)部動(dòng)機(jī)的另一個(gè)源泉。一般來說，他們代表基本的生理需要，比如食物和安全，但也能包含高級(jí)和社交動(dòng)機(jī)。在ASMO中，3種相關(guān)的簡單積極性，“喜歡紅色、用戶與機(jī)器人的贊美“，通過調(diào)整相關(guān)模塊的權(quán)重來做偏差行動(dòng)選擇。在CHARISMA中，保存積極（避免傷害和饑餓）、好奇心和自我提升的欲望一起指導(dǎo)行動(dòng)生成。在MACSi中，好奇心驅(qū)使代理，探索到它學(xué)習(xí)最快的領(lǐng)域。同樣，在CERA－CRANIUM中，好奇心、恐懼和生氣通過可移動(dòng)的機(jī)器人來影響對(duì)環(huán)境的探索。

社交機(jī)器人Kismet的行動(dòng)被3種適應(yīng)性積極所影響：與人接觸、與玩具接觸以及休息。這些積極的外部事件會(huì)有助于機(jī)器人的情感狀態(tài)（情緒）和通過面部表情，站姿或聲音的語調(diào)來展示表情，比如生氣、惡心、恐懼、歡樂、悲傷和驚喜。與擁有過度本質(zhì)的情緒不同，性格特征是獨(dú)特的長期行動(dòng)模式，通過一貫的偏好例如內(nèi)部動(dòng)機(jī)，情緒，決策來展示。大部分的被識(shí)別的個(gè)性特征能被歸納到一個(gè)足夠廣泛定義人類個(gè)性的小的維度或因素集合里。

同樣的，認(rèn)知系統(tǒng)里的個(gè)性經(jīng)常被多個(gè)因素和維度所代表。這些特征，反過來，和系統(tǒng)可能經(jīng)歷的情緒和積極性相關(guān)。在最簡單的案例中，一個(gè)參數(shù)就足以在系統(tǒng)行動(dòng)中創(chuàng)建一個(gè)系統(tǒng)偏差。

NARS和CogPrime使用“個(gè)性參數(shù)”來定義需要多少證據(jù)來評(píng)價(jià)邏輯聲明的真實(shí)性或計(jì)劃下一個(gè)動(dòng)作。參數(shù)的值越大，系統(tǒng)就更加“保守”。在Novamente中，一個(gè)虛擬動(dòng)物的個(gè)性特征（攻擊性、好奇心、玩樂）通過概率規(guī)則與情緒狀態(tài)和動(dòng)作相關(guān)聯(lián)。同樣的，在AIS特征中，下流、冷淡、害羞、自信、懶散，它們被賦予一個(gè)整數(shù)值來定義被展示的程度�；�于個(gè)性，抽象的規(guī)則能定義什么行動(dòng)更有可能。在CLARION中，個(gè)性類型決定了很多預(yù)定義積極的基線強(qiáng)度和初始赤字。映像被包含在一個(gè)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中。

引人注目的是，這些簡單的模型甚至能生成一系列的個(gè)性。比如，Pogamut代理有9種可能的狀態(tài)和5種個(gè)性因素（基于FFM），能夠生成45種不同的映像，每種映像能夠不同程度地產(chǎn)生12 種預(yù)定義的意圖并生成廣泛的行動(dòng)。CLARION 和MAMID值得特殊的關(guān)注。CLARION提供一個(gè)認(rèn)知可信的框架，有能力處理情緒、積極性和個(gè)性特征，并把它們和其他包含決策的認(rèn)知系統(tǒng)相關(guān)聯(lián)。

情緒的3個(gè)方面被模擬：反應(yīng)式情感（情緒的潛意識(shí)經(jīng)歷）、審議性評(píng)估（可能有意識(shí)）和處理／動(dòng)作（在評(píng)估之后）。因此，情緒以顯性和隱形過程的交互形式出現(xiàn)并包含（和影響）認(rèn)知和動(dòng)作。多個(gè)CLARION模型已經(jīng)被心理學(xué)數(shù)據(jù)，F(xiàn)FM個(gè)性的計(jì)算機(jī)模型，用來處理校園霸凌，壓力下的表現(xiàn)退化和由社交焦慮所引起的成見偏差模型所驗(yàn)證。

MAMID是一個(gè)由外部事件、內(nèi)部解釋、目標(biāo)和個(gè)性特征所產(chǎn)生的生成與情緒效果的模型。在內(nèi)部，與信念網(wǎng)絡(luò)和任務(wù)標(biāo)準(zhǔn)、個(gè)體標(biāo)準(zhǔn)有關(guān)，即目標(biāo)失敗是否會(huì)導(dǎo)致在一個(gè)特殊的代理中出現(xiàn)焦慮。MAMID已經(jīng)在兩個(gè)領(lǐng)域被實(shí)例化了：保衛(wèi)和平的任務(wù)訓(xùn)練和搜救任務(wù)。它對(duì)于情緒和設(shè)計(jì)的跨學(xué)科理論的貢獻(xiàn)也有很大的價(jià)值。