2020 年是充滿科幻的一年，曾經(jīng)我們暢想飛行汽車、智能洗碗機(jī)器人以及能自動(dòng)寫代碼的程序，然而這一切都沒(méi)有發(fā)生。

2020 迎接我們的是澳洲大火、新冠病毒和漫天的蝗蟲�；叵脒^(guò)去的十年，我們或許覺(jué)得沒(méi)有什么科技的發(fā)展可以稱得上是飛躍，然而事實(shí)卻是，一切都變了，深度學(xué)習(xí)算法的進(jìn)步和影響就是起哄最明顯的標(biāo)志。

AI 之父 Jürgen Schmidhuber 在自己的 Medium 專欄發(fā)布了一篇文章，回顧了深度學(xué)習(xí)的十年發(fā)展歷程，回頭看看，才發(fā)現(xiàn)我們確實(shí)見證了歷史。

自然語(yǔ)言處理

盡管不像深度學(xué)習(xí)中的其他領(lǐng)域那么高大上，但可以說(shuō) NLP 算法是迄今為止最復(fù)雜、最成功的算法。這種成功可以歸因于，與圖像和視頻相比，在文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練相對(duì)比較容易。在過(guò)去的十年中，NLP 不僅取得了巨大進(jìn)步，而且還成功地成為了各種商業(yè)應(yīng)用中的重要組成部分。正如你將在下文中注意到的那樣，Google 的研究人員在改善 NLP 算法方面發(fā)揮了最重要的作用，不過(guò)實(shí)話說(shuō)，幾乎所有全球研究實(shí)驗(yàn)室都為這一領(lǐng)域的發(fā)展做出了貢獻(xiàn)。

圖片：Ontotext

01詞嵌入

在技術(shù)上也稱為分布語(yǔ)義模型，如今，幾乎所有 NLP 算法中都有使用詞嵌入。Bengio 等人早在 2003 年就提出將詞嵌入為向量這一方法。它仍然非常耗費(fèi)計(jì)算資源，并且需要更有效的算法來(lái)實(shí)現(xiàn)。2013 年，Google 提出了“連續(xù)詞袋模型”（Continuous Bag－of－Words Model， CBOW）和“連續(xù) Skpi－gram”模型，并使用 word2vec 以計(jì)算并實(shí)現(xiàn)開源，使得詞嵌入技術(shù)得到廣泛應(yīng)用。在 2015 年，斯坦福大學(xué)的研究人員介紹了 GloVe 模型，該模型對(duì)詞嵌入算法進(jìn)行了進(jìn)一步改進(jìn)。

圖片：Sebastian Ruder

02LSTM 算法

圖片：Christopher Olah

雖然 LSTM 最初是由 Hochreiter 和 Schmidhuber 早在 1997 年提出的，但在這過(guò)去的十年中，它們才真正地受到關(guān)注。盡管許多較新的算法在性能上比 LSTM 表現(xiàn)更好，但它們?cè)谝恍┥虡I(yè)上成功的翻譯軟件（例如Google Translate）和 Apple 的 Siri 中仍然發(fā)揮著重要作用。Cho Kyunghyun Cho 等研究人員通過(guò)提出門控循環(huán)單元（GRU），為 LSTM 體系結(jié)構(gòu)提供了進(jìn)一步的改進(jìn)。GRU 自然會(huì)引導(dǎo)我們進(jìn)行下一個(gè)創(chuàng)新……

03Seq2Seq 模型

來(lái)自 Google 的 Sutskever 等人在 2014 年推出了現(xiàn)在流行的  Seq2Seq 模型。在先前 RNN、LSTM 和 GRU 相關(guān)工作的基礎(chǔ)上，這種嵌入解碼技術(shù)為 Google Translate 和許多其他 NLP 任務(wù)賦能。在易于實(shí)現(xiàn)的同時(shí)，這一技術(shù)甚至可以用來(lái)創(chuàng)建聊天機(jī)器人。

04Transformers

Google Brain 那篇“ 你只需要注意力就夠了”（Attention is All You Need）論文可是引起了一場(chǎng)轟動(dòng)。通過(guò)將焦點(diǎn)僅集中在數(shù)據(jù)的重要組成部分上，這樣的注意力可以提供比 LSTM 更優(yōu)秀的表現(xiàn)，并且所需的計(jì)算量也更小。

05BERT

圖片：YNG Media

在十年結(jié)束之前，谷歌再次在 NLP 方面取得了突破：BERT 模型。它是一種可同時(shí)從左向右以及從右向左考慮文本的語(yǔ)言表示模型。雖然可以說(shuō)谷歌研究人員的確有助力于公司平臺(tái)無(wú)與倫比的處理能力而在多項(xiàng) NLP 任務(wù)中達(dá)到了最先進(jìn)的水平，模型本身也真的是非常靈活多變。經(jīng)過(guò)預(yù)訓(xùn)練的 BERT 模型可以通過(guò)簡(jiǎn)單添加額外的輸出層來(lái)適應(yīng)幾乎任何任務(wù)。

06語(yǔ)音助手

圖片：Business Insider ／ Yu Han

2011 年 10 月發(fā)布的 iPhone 4S 是第一款集成 Siri 的蘋果產(chǎn)品。這在智能手機(jī)領(lǐng)域是革命性的，因?yàn)檫@是首次向大眾商業(yè)市場(chǎng)提供與未來(lái)人工智能密切相關(guān)的技術(shù)。目前市場(chǎng)上充滿了語(yǔ)音助手，它們?cè)谥T如語(yǔ)音識(shí)別、語(yǔ)音轉(zhuǎn)文本、文本翻譯等一系列任務(wù)上的表現(xiàn)都非常出色。想要知道這一技術(shù)有多么普遍的話，你可以隨便走入任何一家稍微與科技接軌的家庭，喊出“ Alexa！”——您很可能會(huì)聽到熟悉的聲音回復(fù)呢。

計(jì)算機(jī)視覺(jué)

圖片：Ilija Mihajlovic

人工智能是人工智能領(lǐng)域中最令人興奮和研究最多的領(lǐng)域之一。從進(jìn)化型自動(dòng)駕駛汽車到已成為智能手機(jī)常見功能的人臉識(shí)別，計(jì)算機(jī)視覺(jué)無(wú)處不在。盡管這十年來(lái)主要是研究實(shí)驗(yàn)室希望挑戰(zhàn)計(jì)算機(jī)視覺(jué)任務(wù)的最新結(jié)果，我們?nèi)匀粐?yán)重依賴于數(shù)據(jù)數(shù)量和機(jī)器處理能力。

01CNN

圖片：Google

福島在 1980 年提出了第一個(gè)深度神經(jīng)網(wǎng)絡(luò)，隨后是 Yann LeCun 發(fā)明的我們今天所知的卷積神經(jīng)網(wǎng)絡(luò)（LeNet）。但是，盡管 CNN 已出現(xiàn)了很多年，它們似乎僅僅在最近十年中才進(jìn)入主流視野。

現(xiàn)在是計(jì)算機(jī)視覺(jué)任務(wù)的標(biāo)準(zhǔn)化基準(zhǔn)的 ImageNet 于 2010 年才開始年度競(jìng)賽。2012 年，來(lái)自多倫多大學(xué)的 Krizhevsky 等人在此項(xiàng)競(jìng)賽中提出了 AlexNet，它大大擊敗了 ImageNet 中的現(xiàn)有算法。這為接下來(lái)的十年中激烈競(jìng)爭(zhēng)設(shè)計(jì)最佳 CNN 的各大實(shí)驗(yàn)室奠定了技術(shù)基礎(chǔ)。

在接下來(lái)的幾年中，我們看到了幾種著名的 CNN 變體，例如 VGG 神經(jīng)網(wǎng)絡(luò)、提出更深的網(wǎng)絡(luò)性能更好的 Inception，以及甚至更深層的殘差學(xué)習(xí)框架 ResNet。盡管 CNN 架構(gòu)的發(fā)展一直在快速發(fā)展，但最近的重點(diǎn)已經(jīng)轉(zhuǎn)移到了魯棒性和效率而非僅僅是準(zhǔn)確性上。大眾對(duì)未來(lái)的希望是將這些高性能的 CNN 引入商業(yè)應(yīng)用。

02全能的 GANs

圖片：Sarvasv Kulpati／Sigmoid

自 2014 年 Goodfellow 提出了 GANs（Generative Adversarial Networks，生成對(duì)抗網(wǎng)絡(luò)），它現(xiàn)在已成為深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域最新和最成功的突破之一。它開辟了 AI 的全新應(yīng)用領(lǐng)域，而且我認(rèn)為它代表了深度學(xué)習(xí)中最直觀的架構(gòu)之一。

時(shí)至今日，GANs 在研究界非常流行，以至于你能發(fā)現(xiàn)各種名稱的 GANs。他們使用 X－GAN 規(guī)則命名，其中 X 代表你給自己的 GAN 所取的有趣的名字。這對(duì)他們的實(shí)用性絲毫無(wú)損，GANs 已被發(fā)現(xiàn)在多種任務(wù)中都表現(xiàn)出色。只有時(shí)間能夠證明，是否它的發(fā)現(xiàn)標(biāo)志著 AI 演進(jìn)中的一個(gè)重要里程碑。

03AI 的藝術(shù)

圖片：Christie’s

由 GANs 和類似深度學(xué)習(xí)模型的成功所推動(dòng)，AI 進(jìn)入了一個(gè)新方向，它模糊了真實(shí)的與 AI 生成的輸出之間的界限。我們現(xiàn)在擁有的 AI，可以為你描繪一幅美麗的藝術(shù)品，能創(chuàng)作和演奏歌曲，能生成文字故事，還能人工模擬很多事情。對(duì)于這些 deepfakes，大家顯然有擔(dān)憂；但也有一些人開始慢慢接受這種新的藝術(shù)潮流進(jìn)入我們的文化。2018 年 12 月 12 日，佳士得拍賣了一副 AI 創(chuàng)作的肖像畫，拍賣價(jià)格高達(dá) 432500 美元！

04自動(dòng)駕駛汽車

圖片：DownToEarth

不論你是否支持，它將最終發(fā)生，任何事情都無(wú)法阻止我們?nèi)粘Ｉ�活中的這個(gè)巨大改變。在 21 世紀(jì)的前 10 年，自動(dòng)駕駛汽車已變成商業(yè)現(xiàn)實(shí)，所有主要的技術(shù)和汽車公司都為此投入巨資。雖然自動(dòng)駕駛汽車沒(méi)成為這 10 年的重大革命，但他們已經(jīng)奠定了堅(jiān)實(shí)的基礎(chǔ)，并在下個(gè) 10 年大發(fā)展。如果你想了解這對(duì)我們意味著什么，可以查閱我們關(guān)于 AI 倫理的文章：自動(dòng)駕駛汽車。

強(qiáng)化學(xué)習(xí)

圖片：Intel AI

強(qiáng)化學(xué)習(xí)是全功能機(jī)器人的核心，其目標(biāo)就是設(shè)計(jì)出能像人一樣，學(xué)會(huì)實(shí)現(xiàn)基于獎(jiǎng)勵(lì)的任務(wù)的 AI。不像本文討論的其他領(lǐng)域，強(qiáng)化學(xué)習(xí)是完全無(wú)監(jiān)督學(xué)習(xí)，模型缺乏事先可供學(xué)習(xí)的正確數(shù)據(jù)。模型要學(xué)會(huì)在獎(jiǎng)勵(lì)最大化的前提下，對(duì)可能的解決方案排序。對(duì)于這種新技術(shù)，研究界也花費(fèi)了時(shí)間去采納。但從這個(gè)世紀(jì)之初，強(qiáng)化學(xué)習(xí)就已經(jīng)成為所有主要實(shí)驗(yàn)室深度學(xué)習(xí)研究的一個(gè)普遍組成部分。

01玩 Atari 的 DQN

圖片：DeepMind

DeepMind 將深度強(qiáng)化學(xué)習(xí)應(yīng)用在 Atari 游戲環(huán)境中玩復(fù)雜游戲。深度學(xué)習(xí)模型成功擊敗人類游戲?qū)＜业於�了深度�?qiáng)化學(xué)習(xí)在 AI 研究領(lǐng)域的領(lǐng)先地位。來(lái)年，Google 收購(gòu)了 DeepMind 實(shí)驗(yàn)室……

02AlphaGo 點(diǎn)亮新開端

是的，甚至有一部名為“AlphaGo Movie”的電影。

沒(méi)有比 Google 的 DeepMind AlphaGo 打敗職業(yè)圍棋世界冠軍更合適的例證，來(lái)說(shuō)明這十年強(qiáng)化學(xué)習(xí)的普及。他們更進(jìn)了一步，沒(méi)有任何人類監(jiān)督學(xué)習(xí)，AlphaGo Master 設(shè)法以 3－0 打敗了世界排名第一的圍棋選手。這個(gè)事件包攬了全球頭條，并使 AI 算法普及成為主流。AI 目前能在復(fù)雜賽事最高級(jí)別競(jìng)賽中擊敗人類，這是非常了不起的成就。

03機(jī)器人

索菲亞并非我們所期望的機(jī)器人。圖片：ELLE

強(qiáng)化學(xué)習(xí)模型最關(guān)鍵的應(yīng)用是設(shè)計(jì)機(jī)器人。我們目前仍在等待能安全部署在家中實(shí)用的商用機(jī)器人。盡管機(jī)器人在持續(xù)改進(jìn)，但他們作為實(shí)用工具（而非娛樂(lè)工具）尚不盡人意。機(jī)器人應(yīng)用包括了機(jī)器人手術(shù)臂、太空探索機(jī)器人和工業(yè)機(jī)器人。設(shè)計(jì)各種各樣實(shí)際工作的機(jī)器人，并確保它在任意環(huán)境中的性能，是項(xiàng)挑戰(zhàn)。在監(jiān)督環(huán)境中訓(xùn)練機(jī)器人的能力有明顯瓶頸，因此，研究者們期待基于獎(jiǎng)勵(lì)的深度強(qiáng)化學(xué)習(xí)能成為一個(gè)解決方案。

下一個(gè)十年會(huì)怎樣？

在見證了深度學(xué)習(xí)革命性的十年，我們確信接下來(lái)的十年應(yīng)該令我們所有人興奮。在這十年中，AI 將接手大部分的工作嗎（通常的小報(bào)標(biāo)題）？我們能夠優(yōu)化深度學(xué)習(xí)模型，從而在日常工作中持續(xù)使用嗎？接下來(lái)的內(nèi)容將會(huì)回答這些擔(dān)心。

01量子計(jì)算

圖片：Cisco

在過(guò)去十年里，物理學(xué)本身在探究量子力學(xué)方面取得了長(zhǎng)足的進(jìn)步，但我們即將見證一場(chǎng)技術(shù)上的巨大革命。量子計(jì)算的目標(biāo)是利用量子迭加和糾纏原理，提供領(lǐng)先于我們現(xiàn)有系統(tǒng)數(shù)光年的計(jì)算能力。如果我們能夠控制量子位，我們?cè)?21 世紀(jì) 20 年代能完美見證這些量子計(jì)算機(jī)的威力。盡管對(duì)于它可能解密我們現(xiàn)在所有的安全算法存在擔(dān)心，但每項(xiàng)革新，其優(yōu)點(diǎn)都將遠(yuǎn)遠(yuǎn)超過(guò)它的缺點(diǎn)。

02無(wú)監(jiān)督學(xué)習(xí)

圖片：Analytics India Magazine

今天大多數(shù)深度學(xué)習(xí)模型都嚴(yán)重依賴于海量訓(xùn)練數(shù)據(jù)的可獲取性。這個(gè)問(wèn)題可能的解決方案是元學(xué)習(xí)和小樣本學(xué)習(xí)。元學(xué)習(xí)算法的目的是通過(guò)有限任務(wù)的學(xué)習(xí)，學(xué)會(huì)如何執(zhí)行大量的新任務(wù)。按照相似的思路，小樣本學(xué)習(xí)算法是通過(guò)有限數(shù)量數(shù)據(jù)的學(xué)習(xí)來(lái)執(zhí)行任務(wù)。兩者都聚焦于有效表征的泛化。

03淺層學(xué)習(xí)網(wǎng)絡(luò)

圖片：Andrew Ng

更深入會(huì)是前進(jìn)的方向嗎？不一定，因?yàn)樵絹?lái)越多的研究者正在尋找深度學(xué)習(xí)模型的替代方案。深度模型需要更多的計(jì)算和更多的數(shù)據(jù)。雖然深度學(xué)習(xí)毋庸置疑是這十年的明星，但這十年也是一個(gè)好時(shí)機(jī)，可以使深度學(xué)習(xí)能很快被濃縮為提供相似或更好性能的更緊湊、可擴(kuò)展的模型。

04算力 vs 深度學(xué)習(xí)進(jìn)展

摩爾定律觀察發(fā)現(xiàn)，集成電路上元器件數(shù)量大約每隔 2 年翻一番。自 1975 年摩爾定律提出以來(lái)一直顛撲不破，但近 10 年來(lái)我們的發(fā)展慢了下來(lái)。因此，很多人相信技術(shù)進(jìn)步即將到來(lái)，很可能就是我們前文討論的量子計(jì)算。這將有助于推動(dòng)深度學(xué)習(xí)的重大進(jìn)步。

作者 ｜ Jürgen Schmidhuber     編譯 ｜ 張秋玥、馬莉