神經(jīng)網(wǎng)絡(luò)在1980年代復(fù)興歸功于物理學(xué)家約翰·霍普菲爾德（Hopfield）。1982年，霍普菲爾德提出了一種新的神經(jīng)網(wǎng)絡(luò)，可以解決一大類模式識(shí)別問(wèn)題，還可以給出一類組合優(yōu)化問(wèn)題的近似解。這種神經(jīng)網(wǎng)絡(luò)模型后被稱為Hopfield神經(jīng)網(wǎng)絡(luò)。

Hopfield神經(jīng)網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)[請(qǐng)參見公眾號(hào)“科技優(yōu)化生活”之人工智能（23）]，由約翰·霍普菲爾德發(fā)明，他將物理學(xué)的相關(guān)思想（動(dòng)力學(xué)）引入到神經(jīng)網(wǎng)絡(luò)的構(gòu)造中，從而形成了Hopfield神經(jīng)網(wǎng)絡(luò)。貝爾實(shí)驗(yàn)室在1987年成功在Hopfield神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上研制出了神經(jīng)網(wǎng)絡(luò)芯片。

Hopfield神經(jīng)網(wǎng)絡(luò)是一種遞歸神經(jīng)網(wǎng)絡(luò)，從輸出到輸入均有反饋連接，每一個(gè)神經(jīng)元跟所有其他神經(jīng)元相互連接，又稱為全互聯(lián)網(wǎng)絡(luò)。

Hopfield神經(jīng)網(wǎng)絡(luò)概述：

Hopfield神經(jīng)網(wǎng)絡(luò)HNN（Hopfiled Neural Network)是一種結(jié)合存儲(chǔ)系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)。它保證了向局部極小的收斂，但收斂到錯(cuò)誤的局部極小值（local minimum），而非全局極�。╣lobal minimum）的情況也可能發(fā)生。Hopfield神經(jīng)網(wǎng)絡(luò)也提供了模擬人類記憶的模型。

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋神經(jīng)網(wǎng)絡(luò)，其輸出端又會(huì)反饋到其輸入端，在輸入的激勵(lì)下，其輸出會(huì)產(chǎn)生不斷的狀態(tài)變化，這個(gè)反饋過(guò)程會(huì)一直反復(fù)進(jìn)行。假如Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)收斂的穩(wěn)定網(wǎng)絡(luò)，則這個(gè)反饋與迭代的計(jì)算過(guò)程所產(chǎn)生的變化越來(lái)越小，一旦達(dá)到了穩(wěn)定的平衡狀態(tài)，Hopfield網(wǎng)絡(luò)就會(huì)輸出一個(gè)穩(wěn)定的恒值。

對(duì)于一個(gè)Hopfield神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，關(guān)鍵在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。

Hopfield神經(jīng)網(wǎng)絡(luò)分為兩種：1）離散型Hopfield神經(jīng)網(wǎng)絡(luò)；2）連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)。

離散型Hopfield神經(jīng)網(wǎng)絡(luò)：

Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，各神經(jīng)元的激勵(lì)函數(shù)為階躍函數(shù)或雙極值函數(shù),神經(jīng)元的輸入、輸出只取{0，1}或者{ -1，1}，所以也稱為離散型Hopfield神經(jīng)網(wǎng)絡(luò)DHNN（Discrete Hopfiled Neural Network）。在DHNN中，所采用的神經(jīng)元是二值神經(jīng)元；因此，所輸出的離散值1和0或者1和-1分別表示神經(jīng)元處于激活狀態(tài)和抑制狀態(tài)。

離散Hopfield神經(jīng)網(wǎng)絡(luò)DHNN是一個(gè)單層網(wǎng)絡(luò)，有n個(gè)神經(jīng)元節(jié)點(diǎn)，每個(gè)神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點(diǎn)沒(méi)有自反饋。每個(gè)節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激超過(guò)其閥值時(shí)，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1）。

DHNN有兩種工作方式：

1）串行（異步）方式：在時(shí)刻t時(shí)，只有某一個(gè)神經(jīng)元j的狀態(tài)發(fā)生變化，而其他n-1個(gè)神經(jīng)元的狀態(tài)不變，稱為串行工作方式。并且有：

2）并行（同步）方式：在任一時(shí)刻t，所有的神經(jīng)元的狀態(tài)都產(chǎn)生了變化，稱為并行工作方式。并且有：

DHNN穩(wěn)定性：

假設(shè)一個(gè)DHNN，其狀態(tài)為Y(t): 

如果對(duì)于任何Δt>0，當(dāng)神經(jīng)網(wǎng)絡(luò)從t=0開始，有初始狀態(tài)Y(0)。經(jīng)過(guò)有限時(shí)刻t，有： 

Y(t+Δt)=Y(t) 

則認(rèn)為該DHNN網(wǎng)絡(luò)是穩(wěn)定的，稱其狀態(tài)為為穩(wěn)定狀態(tài)。DHNN網(wǎng)絡(luò)的穩(wěn)定狀態(tài)X就是網(wǎng)絡(luò)的吸引子(attractor)，用于存儲(chǔ)記憶信息。串行方式下的穩(wěn)定性稱為串行穩(wěn)定性；并行方式下的穩(wěn)定性稱為并行穩(wěn)定性。

DHNN是一種多輸入、含有閾值的二值非線性動(dòng)態(tài)系統(tǒng)。在動(dòng)態(tài)系統(tǒng)中，平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)某種形式的能量函數(shù)（energy function）在系統(tǒng)運(yùn)行過(guò)程中，其能量不斷減少，最后處于最小值。

DHNN穩(wěn)定的充分條件：如果DHNN的權(quán)系數(shù)矩陣W是一個(gè)對(duì)稱矩陣，并且對(duì)角線元素為0，則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的。即在權(quán)系數(shù)矩陣W中，如果：

則該DHNN是穩(wěn)定的。

W是一個(gè)對(duì)稱矩陣僅是充分條件，不是必要條件。

DHNN聯(lián)想記憶功能：

DHNN一個(gè)重要功能是可以用于聯(lián)想記憶，即聯(lián)想存儲(chǔ)器，這是人類的智能特點(diǎn)之一。

要實(shí)現(xiàn)聯(lián)想記憶，DHNN必須具有兩個(gè)基本條件：

1) 網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；

2) 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。

DHNN實(shí)現(xiàn)聯(lián)想記憶過(guò)程分為兩個(gè)階段：

1)學(xué)習(xí)記憶階段: 設(shè)計(jì)者通過(guò)某一設(shè)計(jì)方法確定一組合適的權(quán)值，使DHNN記憶期望的穩(wěn)定平衡點(diǎn)。

2)聯(lián)想回憶階段: DHNN的工作過(guò)程。

記憶是分布式的，而聯(lián)想是動(dòng)態(tài)的。

對(duì)于DHNN，由于網(wǎng)絡(luò)狀態(tài)是有限的，不可能出現(xiàn)混沌狀態(tài)。

DHNN局限性：

1）記憶容量的有限性；

2）偽穩(wěn)定點(diǎn)的聯(lián)想與記憶；

3）當(dāng)記憶樣本較接近時(shí)，網(wǎng)絡(luò)不能始終回憶出正確的記憶等；

4）DHNN平衡穩(wěn)定點(diǎn)不可以任意設(shè)置，也沒(méi)有一個(gè)通用的方式來(lái)事先知道平衡穩(wěn)定點(diǎn)。

連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)：

連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)CHNN（Continuous Hopfield Neural Network）與DHNN在拓?fù)浣Y(jié)構(gòu)上是一致的。

CHNN穩(wěn)定性：

CHNN穩(wěn)定條件要求：

CHNN與DHNN不同之處在于其函數(shù)g不是階躍函數(shù)，而是S型的連續(xù)函數(shù)。一般�。� 

CHNN在時(shí)間上是連續(xù)的，所以CHNN網(wǎng)絡(luò)中各個(gè)神經(jīng)元是處于同步方式工作的。

當(dāng)CHNN網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)g是連續(xù)且有界的（如Sigmoid函數(shù)），并且CHNN網(wǎng)絡(luò)的權(quán)值系數(shù)矩陣對(duì)稱，則這個(gè)CHNN網(wǎng)絡(luò)是穩(wěn)定的。

優(yōu)化問(wèn)題：

在實(shí)際應(yīng)用中的系統(tǒng)，如果其優(yōu)化問(wèn)題可以用能量函數(shù)E(t)作為目標(biāo)函數(shù)，那么CHNN網(wǎng)絡(luò)和優(yōu)化問(wèn)題直接對(duì)應(yīng)。這樣，大量?jī)?yōu)化問(wèn)題都可以用CHNN網(wǎng)絡(luò)來(lái)求解。這也是Hopfield網(wǎng)絡(luò)用于神經(jīng)計(jì)算的基本原因。

CHNN與DHNN主要區(qū)別：

CHNN與DHNN的主要差別在于：CHNN神經(jīng)元激活函數(shù)使用Sigmoid函數(shù)，而DHNN神經(jīng)元激活函數(shù)使用了硬極限函數(shù)。

Hopfield神經(jīng)網(wǎng)絡(luò)應(yīng)用：

Hopfield神經(jīng)網(wǎng)絡(luò)早期應(yīng)用包括按內(nèi)容尋址存儲(chǔ)器，模數(shù)轉(zhuǎn)換及優(yōu)化組合計(jì)算等。具有代表意義的是解決TSP問(wèn)題，1985年Hopfield和Tank用Hopfield網(wǎng)絡(luò)求解N=30的TSP問(wèn)題，從而創(chuàng)建了神經(jīng)網(wǎng)絡(luò)優(yōu)化的新途徑。除此之外，Hopfield 神經(jīng)網(wǎng)絡(luò)在人工智能之機(jī)器學(xué)習(xí)、聯(lián)想記憶、模式識(shí)別、優(yōu)化計(jì)算、VLSI和光學(xué)設(shè)備的并行實(shí)現(xiàn)等方面有著廣泛應(yīng)用。

結(jié)語(yǔ):

Hopfield神經(jīng)網(wǎng)絡(luò)（HNN）是一種具有循環(huán)、遞歸特性，結(jié)合存儲(chǔ)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)。由約翰·霍普菲爾德在1982年發(fā)明。對(duì)于一個(gè)Hopfield神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，關(guān)鍵在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。Hopfield神經(jīng)網(wǎng)絡(luò)分為離散型和連續(xù)型兩種，主要差別在于激活函數(shù)的不同。Hopfield神經(jīng)網(wǎng)絡(luò)（HNN）提供了模擬人類記憶的模型。它在人工智能之機(jī)器學(xué)習(xí)、聯(lián)想記憶、模式識(shí)別、優(yōu)化計(jì)算、VLSI和光學(xué)設(shè)備的并行實(shí)現(xiàn)等方面有著廣泛應(yīng)用。

原創(chuàng)  張志榮