麻省理工學院發(fā)現更小更容易訓練的神經網絡，或有望推動技術改革
2019-05-07 14:19
AI銳見
關注
神經網絡技術起源于上世紀五、六十年代，當時叫感知機，擁有輸入層、輸出層和一個隱含層。輸入的特征向量通過隱含層變換達到輸出層，在輸出層得到分類結果。
盡管人工智能取得了很大的進步，但現在大多數基于人工智能的產品仍然依賴于“深度神經網絡”。這種網絡通常非常大，而且訓練成本高得令人望而卻步。
麻省理工學院的研究人員希望改變這一現狀。在今天發(fā)表的一篇論文中，研究人員揭示了神經網絡中包含的“子網絡”，比之前的網絡小10倍，而且可以更便宜、更快地進行訓練。
為了訓練大多數神經網絡，工程師給它們提供大量的數據集，但這可能需要幾天的時間和昂貴的GPUs。
來自麻省理工學院計算機科學和人工智能實驗室(CSAIL)的研究人員發(fā)現，在這些訓練有素的網絡中，有更小的子網絡，可以做出同樣準確的預測。
CSAIL所謂的“彩票假說”就是基于這樣一種觀點，即訓練大多數神經網絡就像買所有的彩票，以確保中獎。相比之下，訓練子網就像只買有獎的那張彩票一樣。
問題在于，研究人員還沒有想出如何在不構建完整神經網絡的情況下找到這些子網，然后修剪掉不必要的位。研究人員目前還沒有找到這些子網絡的方法。
如果他們能找到一種方法跳過這一步，直接進入子網絡，那么這一過程可以節(jié)省數小時的工作。并使訓練神經網絡不僅僅對大公司開發(fā)而且對單個程序員開放。
但是，如何有效地找到子網絡，并明確為什么有些子網在訓練上比其他子網表現地更好，可能會讓研究人員忙上幾年。
分享
聲明：
本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權或其他問題，請聯系舉報。
請輸入評論內容...
請輸入評論/評論長度6~500個字
