深度神經網絡,為何備受關注?
深度神經網絡是機器學習(ML, Machine Learning)領域中一種技術。
在監(jiān)督學習中,以前的多層神經網絡的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣本,那么學到的多層權重可以很好的用來預測新的測試樣本。但是很多任務難以得到足夠多的標記樣本,在這種情況下,簡單的模型,比如線性回歸或者決策樹往往能得到比多層神經網絡更好的結果(更好的泛化性,更差的訓練誤差)。
非監(jiān)督學習中,以往沒有有效的方法構造多層網絡。多層神經網絡的頂層是底層特征的高級表示,比如底層是像素點,上一層的結點可能表示橫線,三角; 而頂層可能有一個結點表示人臉。一個成功的算法應該能讓生成的頂層特征最大化的代表底層的樣例。如果對所有層同時訓練,時間復雜度會太高; 如果每次訓練一層,偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學習中相反的問題,會嚴重欠擬合。
2006年,hinton提出了在非監(jiān)督數據上建立多層神經網絡的一個有效方法,簡單的說,分為兩步,一是每次訓練一層網絡,二是調優(yōu)使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是
1,首先逐層構建單層神經元,這樣每次都是訓練一個單層網絡。
2,當所有層訓練完后,hinton使用wake-sleep算法進行調優(yōu)。將除最頂層的其它層間的權重變?yōu)殡p向的,這樣最頂層仍然是一個單層神經網絡,而其它層則變?yōu)榱藞D模型。向上的權重用于”認知“,向下的權重用于”生成“。然后使用Wake-Sleep算法調整所有的權重。讓認知和生成達成一致,也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉,那么所有人臉的圖像應該激活這個結點,并且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個部分。
2.1,wake階段,認知過程,通過外界的特征和向上的權重(認知權重)產生每一層的抽象表示(結點狀態(tài)),并且使用梯度下降修改層間的下行權重(生成權重)。也就是“如果現實跟我想像的不一樣,改變我的權重使得我想像的東西就是這樣的“。
2.2,sleep階段,生成過程,通過頂層表示(醒時學得的概念)和向下權重,生成底層的狀態(tài),同時修改層間向上的權重。也就是“如果夢中的景象不是我腦中的相應概念,改變我的認知權重使得這種景象在我看來就是這個概念“。
由于自動編碼器(auto-encoder,即上面說的神經網絡。廣義上的自動編碼器指所有的從低級表示得到高級表示,并能從高級表示生成低級表示的近似的結構,狹義上指的是其中的一種,谷歌的人臉識別用的)有聯想功能,也就是缺失部分輸入也能得到正確的編碼,所以上面說的算法也可以用于有監(jiān)督學習,訓練時y做為頂層網絡輸入的補充,應用時頂層網絡生成y'。

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數智主辦酒仙橋論壇,探索AI產業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關稅,能否乘機器人東風翻身?