2019年3月27日，Yoshua Bengio， Geoffrey Hinton 和 Yann LeCun 計算機科學(xué)界的最高榮譽——ACM 圖靈獎，它被譽為是計算機界的諾貝爾獎。Hinton、LeCun 和 Bengio 獨立工作，共同開發(fā)了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域的概念基礎(chǔ)，通過實驗和實際工程證明了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。

圖靈獎得主介紹及主要技術(shù)成就

Yann LeCun，紐約大學(xué)教授，同時也是 Facebook 的副總裁和首席 AI 科學(xué)家。ACM 表示 Yann LeCun 主要有三大重要貢獻：提出卷積神經(jīng)網(wǎng)絡(luò)，改進反向傳播算法，拓寬神經(jīng)網(wǎng)絡(luò)的視角。

Geoffrey Hinton，谷歌副總裁兼工程研究員，Vector Institute 的首席科學(xué)顧問，同時也是多倫多大學(xué)的名譽大學(xué)教授。Hinton 最重要的貢獻來自他 1986 年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”，1983 年發(fā)明的玻爾茲曼機（Boltzmann Machines），以及 2012 年對卷積神經(jīng)網(wǎng)絡(luò)的改進。

Yoshua Bengio，蒙特利爾大學(xué)教授，魁北克人工智能研究所 Mila 科學(xué)主管，Bengio 的主要貢獻是在 1990 年代發(fā)明的 Probabilistic models of sequences。自 2010 年以來，Bengio 非常關(guān)注生成式深度學(xué)習(xí)，特別是他與 Ian Goodfellow 等研究者提出的生成對抗網(wǎng)絡(luò)（GAN），這項研究引起了計算機視覺和計算機圖形學(xué)的革命。

時至今日，幾乎我們能聽到的所有關(guān)于 AI 的重要進展，背后都離不開深度學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)促進了現(xiàn)代計算機科學(xué)的極大進步，顯著提升了計算機感知世界的能力，正是上述三位獲獎?wù)邽榇说於�了重要基礎(chǔ)。

深度學(xué)習(xí)是否有盡頭？

但從去年開始，關(guān)于深度學(xué)習(xí)“寒冬論”、“天花板”的論調(diào)頻繁出現(xiàn)，不少人認為深度學(xué)習(xí)似乎遇到了瓶頸，需要特別大、特別深的網(wǎng)絡(luò)以及大量數(shù)據(jù)訓(xùn)練。

深度學(xué)習(xí)確有很多先天缺陷。比如低效率問題，我們都知道數(shù)據(jù)集的逐漸增大加上正確的訓(xùn)練有助于性能的提高，而樣本量的缺少容易出現(xiàn)算法偏差。深度學(xué)習(xí)模型很淺。人工智能應(yīng)用程序通過大量數(shù)據(jù)和深度學(xué)習(xí)算法的訓(xùn)練可以很好地完成一件事，但卻不能應(yīng)用在另一個方面，到目前為止，還沒有一個好的辦法可以將訓(xùn)練從一種情況轉(zhuǎn)移到另一種情況。

另外，深度學(xué)習(xí)算法里還有一個特別棘手的問題，應(yīng)用不穩(wěn)定。讓這些算法在沒有明確編程的情況下接受數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，目前為止，深度學(xué)習(xí)是很難達到預(yù)期效果的。

另一個威脅是易受對抗攻擊。由于它們的創(chuàng)建方式，深度學(xué)習(xí)算法可以以意想不到的方式運行 － 或者至少以對我們?nèi)祟悂碚f似乎不合邏輯的方式運行。鑒于神經(jīng)網(wǎng)絡(luò)的不透明性，很難找到它們包含的所有邏輯錯誤。

但斷定深度學(xué)習(xí)“已死”的論調(diào)顯然是不合理的，即使可能在未來幾年內(nèi)深度學(xué)習(xí)無法達到人類水平的認知，我們也會在許多其他領(lǐng)域看到深度學(xué)習(xí)有巨大的改進。以下是神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的一些重要趨勢。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展趨勢

膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò) （CapsNet）是Geoffrey Hinton提出的一種新型深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它們以類似于人腦的方式處理信息。這實質(zhì)上意味著膠囊網(wǎng)絡(luò)可以維持層次關(guān)系。

這與卷積神經(jīng)網(wǎng)絡(luò)形成對比。卷積神經(jīng)網(wǎng)絡(luò)未能考慮簡單和復(fù)雜對象之間存在的關(guān)鍵空間層次結(jié)構(gòu)。這導(dǎo)致錯誤分類和更高的錯誤率。膠囊網(wǎng)絡(luò)彌補了不少缺陷，比如數(shù)據(jù)量、準確度、訓(xùn)練數(shù)據(jù)多樣性等等，性能更好。

深層強化學(xué)習(xí)

深度強化學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的一種形式，它通過觀察、行動和獎勵與環(huán)境交流來學(xué)習(xí)。深度強化學(xué)習(xí)（DRL）已經(jīng)被成功地用于確定游戲策略，比如Atari和Go。著名的AlphaGo項目被用來擊敗人類冠軍，而且也取得了成功。

深度學(xué)習(xí)有較強的感知能力，但是缺乏一定的決策能力。而深度強化學(xué)習(xí)還具有決策能力，不僅能利用現(xiàn)有數(shù)據(jù)，還可以通過對環(huán)境的探索獲得新數(shù)據(jù)，并利用新數(shù)據(jù)循環(huán)往復(fù)地更新迭代現(xiàn)有模型的機器學(xué)習(xí)算法，為復(fù)雜系統(tǒng)的感知決策問題提供了解決思路。

元學(xué)習(xí)

元學(xué)習(xí)可幫助模型在少量樣本下快速學(xué)習(xí)，從元學(xué)習(xí)的使用角度看，人們也稱之為少次學(xué)習(xí)。更具體地，如果訓(xùn)練樣本數(shù)為 1，則稱為一次學(xué)習(xí)；訓(xùn)練樣本數(shù)為 K，稱為 K 次學(xué)習(xí)；更極端地，訓(xùn)練樣本數(shù)為 0，稱為零次學(xué)習(xí)。另外，多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)在理論層面上都能歸結(jié)到元學(xué)習(xí)的大家庭中。

元學(xué)習(xí)通過人工智能技術(shù)，把算法的設(shè)計自動化，降低了應(yīng)用門檻，使得自動化的人工智能開發(fā)成為可能。

帶記憶模型的網(wǎng)絡(luò)

區(qū)分人類和機器的一個重要方面是工作和思考的能力。毫無疑問，計算機可以預(yù)先編程，以極高的精度完成一項特定的任務(wù)。但是，當你需要它們在不同的環(huán)境中工作時，就會出現(xiàn)問題。

為了使機器能夠適應(yīng)現(xiàn)實世界的環(huán)境，神經(jīng)網(wǎng)絡(luò)必須能夠在不遺忘的情況下學(xué)習(xí)順序任務(wù)。神經(jīng)網(wǎng)絡(luò)需要借助多種強大的體系結(jié)構(gòu)來克服遺忘。這些可以包括：長期內(nèi)存網(wǎng)絡(luò)，可以處理和預(yù)測時間序列；彈性權(quán)重合并算法，可以根據(jù)先前完成的任務(wù)定義的優(yōu)先級減慢學(xué)習(xí)速度；不受遺忘影響的漸進式神經(jīng)網(wǎng)絡(luò)，能夠從已經(jīng)學(xué)過的網(wǎng)絡(luò)中提取有用的特征，以用于新的任務(wù)。

混合學(xué)習(xí)模式

不同類型的深度神經(jīng)網(wǎng)絡(luò)，例如生成對抗網(wǎng)絡(luò)（Generative adversarial networks， GANs）或DRL，已經(jīng)在性能和廣泛應(yīng)用層面顯示出了巨大的前景。這可以幫助我們實現(xiàn)更好的模型性能和可解釋性的模型，從而可以鼓勵更廣泛的應(yīng)用。通過概率編程語言的結(jié)合進行深度學(xué)習(xí)，以期看到更深層的學(xué)習(xí)方法獲得貝葉斯等價物。

深度學(xué)習(xí)不是終點，只是起步

深度學(xué)習(xí)在近年來能夠取得成功得益于兩個關(guān)鍵因素：一是計算機運算速度提高數(shù)倍；二是深度學(xué)習(xí)可順序計算的能力提高。目前深度學(xué)習(xí)依舊生命力旺盛，深度學(xué)習(xí)可用的工具和方法也成為了科學(xué)和商業(yè)中有價值應(yīng)用的堅實基礎(chǔ)。

技術(shù)進步，眾多行業(yè)借助AI賦能產(chǎn)業(yè)結(jié)構(gòu)，不斷升級換代與創(chuàng)新變革，走在技術(shù)前沿的公司也在不斷涌現(xiàn)。國內(nèi)誕生了諸如曠視科技、商湯科技、極鏈科技Video＋＋、依圖科技等優(yōu)秀人工智能初創(chuàng)企業(yè)。人工智能技術(shù)迎來了發(fā)展的春天，我們期待即將到來的新的革命。