2020 迎接我們的是澳洲大火、新冠病毒和漫天的蝗蟲;叵脒^(guò)去的十年,我們或許" />
訂閱
糾錯(cuò)
加入自媒體

AI 之父 Jürgen Schmidhuber 眼中的深度學(xué)習(xí)十年,以及下一個(gè)十年展望

2020 年是充滿科幻的一年,曾經(jīng)我們暢想飛行汽車、智能洗碗機(jī)器人以及能自動(dòng)寫代碼的程序,然而這一切都沒(méi)有發(fā)生。

2020 迎接我們的是澳洲大火、新冠病毒和漫天的蝗蟲;叵脒^(guò)去的十年,我們或許覺(jué)得沒(méi)有什么科技的發(fā)展可以稱得上是飛躍,然而事實(shí)卻是,一切都變了,深度學(xué)習(xí)算法的進(jìn)步和影響就是起哄最明顯的標(biāo)志。

AI 之父 Jürgen Schmidhuber 在自己的 Medium 專欄發(fā)布了一篇文章,回顧了深度學(xué)習(xí)的十年發(fā)展歷程,回頭看看,才發(fā)現(xiàn)我們確實(shí)見證了歷史。

自然語(yǔ)言處理

盡管不像深度學(xué)習(xí)中的其他領(lǐng)域那么高大上,但可以說(shuō) NLP 算法是迄今為止最復(fù)雜、最成功的算法。這種成功可以歸因于,與圖像和視頻相比,在文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練相對(duì)比較容易。在過(guò)去的十年中,NLP 不僅取得了巨大進(jìn)步,而且還成功地成為了各種商業(yè)應(yīng)用中的重要組成部分。正如你將在下文中注意到的那樣,Google 的研究人員在改善 NLP 算法方面發(fā)揮了最重要的作用,不過(guò)實(shí)話說(shuō),幾乎所有全球研究實(shí)驗(yàn)室都為這一領(lǐng)域的發(fā)展做出了貢獻(xiàn)。

圖片:Ontotext

01詞嵌入

在技術(shù)上也稱為分布語(yǔ)義模型,如今,幾乎所有 NLP 算法中都有使用詞嵌入。Bengio 等人早在 2003 年就提出將詞嵌入為向量這一方法。它仍然非常耗費(fèi)計(jì)算資源,并且需要更有效的算法來(lái)實(shí)現(xiàn)。2013 年,Google 提出了“連續(xù)詞袋模型”(Continuous Bag-of-Words Model, CBOW)和“連續(xù) Skpi-gram”模型,并使用 word2vec 以計(jì)算并實(shí)現(xiàn)開源,使得詞嵌入技術(shù)得到廣泛應(yīng)用。在 2015 年,斯坦福大學(xué)的研究人員介紹了 GloVe 模型,該模型對(duì)詞嵌入算法進(jìn)行了進(jìn)一步改進(jìn)。

圖片:Sebastian Ruder

02LSTM 算法

圖片:Christopher Olah

雖然 LSTM 最初是由 Hochreiter 和 Schmidhuber 早在 1997 年提出的,但在這過(guò)去的十年中,它們才真正地受到關(guān)注。盡管許多較新的算法在性能上比 LSTM 表現(xiàn)更好,但它們?cè)谝恍┥虡I(yè)上成功的翻譯軟件(例如Google Translate)和 Apple 的 Siri 中仍然發(fā)揮著重要作用。Cho Kyunghyun Cho 等研究人員通過(guò)提出門控循環(huán)單元(GRU),為 LSTM 體系結(jié)構(gòu)提供了進(jìn)一步的改進(jìn)。GRU 自然會(huì)引導(dǎo)我們進(jìn)行下一個(gè)創(chuàng)新……

03Seq2Seq 模型

來(lái)自 Google 的 Sutskever 等人在 2014 年推出了現(xiàn)在流行的  Seq2Seq 模型。在先前 RNN、LSTM 和 GRU 相關(guān)工作的基礎(chǔ)上,這種嵌入解碼技術(shù)為 Google Translate 和許多其他 NLP 任務(wù)賦能。在易于實(shí)現(xiàn)的同時(shí),這一技術(shù)甚至可以用來(lái)創(chuàng)建聊天機(jī)器人。

04Transformers

Google Brain 那篇“ 你只需要注意力就夠了”(Attention is All You Need)論文可是引起了一場(chǎng)轟動(dòng)。通過(guò)將焦點(diǎn)僅集中在數(shù)據(jù)的重要組成部分上,這樣的注意力可以提供比 LSTM 更優(yōu)秀的表現(xiàn),并且所需的計(jì)算量也更小。

05BERT

圖片:YNG Media

在十年結(jié)束之前,谷歌再次在 NLP 方面取得了突破:BERT 模型。它是一種可同時(shí)從左向右以及從右向左考慮文本的語(yǔ)言表示模型。雖然可以說(shuō)谷歌研究人員的確有助力于公司平臺(tái)無(wú)與倫比的處理能力而在多項(xiàng) NLP 任務(wù)中達(dá)到了最先進(jìn)的水平,模型本身也真的是非常靈活多變。經(jīng)過(guò)預(yù)訓(xùn)練的 BERT 模型可以通過(guò)簡(jiǎn)單添加額外的輸出層來(lái)適應(yīng)幾乎任何任務(wù)。

06語(yǔ)音助手

圖片:Business Insider / Yu Han

2011 年 10 月發(fā)布的 iPhone 4S 是第一款集成 Siri 的蘋果產(chǎn)品。這在智能手機(jī)領(lǐng)域是革命性的,因?yàn)檫@是首次向大眾商業(yè)市場(chǎng)提供與未來(lái)人工智能密切相關(guān)的技術(shù)。目前市場(chǎng)上充滿了語(yǔ)音助手,它們?cè)谥T如語(yǔ)音識(shí)別、語(yǔ)音轉(zhuǎn)文本、文本翻譯等一系列任務(wù)上的表現(xiàn)都非常出色。想要知道這一技術(shù)有多么普遍的話,你可以隨便走入任何一家稍微與科技接軌的家庭,喊出“ Alexa!”——您很可能會(huì)聽到熟悉的聲音回復(fù)呢。

計(jì)算機(jī)視覺(jué)

圖片:Ilija Mihajlovic

人工智能是人工智能領(lǐng)域中最令人興奮和研究最多的領(lǐng)域之一。從進(jìn)化型自動(dòng)駕駛汽車到已成為智能手機(jī)常見功能的人臉識(shí)別,計(jì)算機(jī)視覺(jué)無(wú)處不在。盡管這十年來(lái)主要是研究實(shí)驗(yàn)室希望挑戰(zhàn)計(jì)算機(jī)視覺(jué)任務(wù)的最新結(jié)果,我們?nèi)匀粐?yán)重依賴于數(shù)據(jù)數(shù)量和機(jī)器處理能力。

01CNN

圖片:Google

福島在 1980 年提出了第一個(gè)深度神經(jīng)網(wǎng)絡(luò),隨后是 Yann LeCun 發(fā)明的我們今天所知的卷積神經(jīng)網(wǎng)絡(luò)(LeNet)。但是,盡管 CNN 已出現(xiàn)了很多年,它們似乎僅僅在最近十年中才進(jìn)入主流視野。

現(xiàn)在是計(jì)算機(jī)視覺(jué)任務(wù)的標(biāo)準(zhǔn)化基準(zhǔn)的 ImageNet 于 2010 年才開始年度競(jìng)賽。2012 年,來(lái)自多倫多大學(xué)的 Krizhevsky 等人在此項(xiàng)競(jìng)賽中提出了 AlexNet,它大大擊敗了 ImageNet 中的現(xiàn)有算法。這為接下來(lái)的十年中激烈競(jìng)爭(zhēng)設(shè)計(jì)最佳 CNN 的各大實(shí)驗(yàn)室奠定了技術(shù)基礎(chǔ)。

在接下來(lái)的幾年中,我們看到了幾種著名的 CNN 變體,例如 VGG 神經(jīng)網(wǎng)絡(luò)、提出更深的網(wǎng)絡(luò)性能更好的 Inception,以及甚至更深層的殘差學(xué)習(xí)框架 ResNet。盡管 CNN 架構(gòu)的發(fā)展一直在快速發(fā)展,但最近的重點(diǎn)已經(jīng)轉(zhuǎn)移到了魯棒性和效率而非僅僅是準(zhǔn)確性上。大眾對(duì)未來(lái)的希望是將這些高性能的 CNN 引入商業(yè)應(yīng)用。

02全能的 GANs

圖片:Sarvasv Kulpati/Sigmoid

自 2014 年 Goodfellow 提出了 GANs(Generative Adversarial Networks,生成對(duì)抗網(wǎng)絡(luò)),它現(xiàn)在已成為深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域最新和最成功的突破之一。它開辟了 AI 的全新應(yīng)用領(lǐng)域,而且我認(rèn)為它代表了深度學(xué)習(xí)中最直觀的架構(gòu)之一。

時(shí)至今日,GANs 在研究界非常流行,以至于你能發(fā)現(xiàn)各種名稱的 GANs。他們使用 X-GAN 規(guī)則命名,其中 X 代表你給自己的 GAN 所取的有趣的名字。這對(duì)他們的實(shí)用性絲毫無(wú)損,GANs 已被發(fā)現(xiàn)在多種任務(wù)中都表現(xiàn)出色。只有時(shí)間能夠證明,是否它的發(fā)現(xiàn)標(biāo)志著 AI 演進(jìn)中的一個(gè)重要里程碑。

03AI 的藝術(shù)

圖片:Christie’s

由 GANs 和類似深度學(xué)習(xí)模型的成功所推動(dòng),AI 進(jìn)入了一個(gè)新方向,它模糊了真實(shí)的與 AI 生成的輸出之間的界限。我們現(xiàn)在擁有的 AI,可以為你描繪一幅美麗的藝術(shù)品,能創(chuàng)作和演奏歌曲,能生成文字故事,還能人工模擬很多事情。對(duì)于這些 deepfakes,大家顯然有擔(dān)憂;但也有一些人開始慢慢接受這種新的藝術(shù)潮流進(jìn)入我們的文化。2018 年 12 月 12 日,佳士得拍賣了一副 AI 創(chuàng)作的肖像畫,拍賣價(jià)格高達(dá) 432500 美元!

04自動(dòng)駕駛汽車

圖片:DownToEarth

不論你是否支持,它將最終發(fā)生,任何事情都無(wú)法阻止我們?nèi)粘I钪械倪@個(gè)巨大改變。在 21 世紀(jì)的前 10 年,自動(dòng)駕駛汽車已變成商業(yè)現(xiàn)實(shí),所有主要的技術(shù)和汽車公司都為此投入巨資。雖然自動(dòng)駕駛汽車沒(méi)成為這 10 年的重大革命,但他們已經(jīng)奠定了堅(jiān)實(shí)的基礎(chǔ),并在下個(gè) 10 年大發(fā)展。如果你想了解這對(duì)我們意味著什么,可以查閱我們關(guān)于 AI 倫理的文章:自動(dòng)駕駛汽車。

強(qiáng)化學(xué)習(xí)

圖片:Intel AI

強(qiáng)化學(xué)習(xí)是全功能機(jī)器人的核心,其目標(biāo)就是設(shè)計(jì)出能像人一樣,學(xué)會(huì)實(shí)現(xiàn)基于獎(jiǎng)勵(lì)的任務(wù)的 AI。不像本文討論的其他領(lǐng)域,強(qiáng)化學(xué)習(xí)是完全無(wú)監(jiān)督學(xué)習(xí),模型缺乏事先可供學(xué)習(xí)的正確數(shù)據(jù)。模型要學(xué)會(huì)在獎(jiǎng)勵(lì)最大化的前提下,對(duì)可能的解決方案排序。對(duì)于這種新技術(shù),研究界也花費(fèi)了時(shí)間去采納。但從這個(gè)世紀(jì)之初,強(qiáng)化學(xué)習(xí)就已經(jīng)成為所有主要實(shí)驗(yàn)室深度學(xué)習(xí)研究的一個(gè)普遍組成部分。

01玩 Atari 的 DQN

圖片:DeepMind

DeepMind 將深度強(qiáng)化學(xué)習(xí)應(yīng)用在 Atari 游戲環(huán)境中玩復(fù)雜游戲。深度學(xué)習(xí)模型成功擊敗人類游戲?qū)<业於松疃葟?qiáng)化學(xué)習(xí)在 AI 研究領(lǐng)域的領(lǐng)先地位。來(lái)年,Google 收購(gòu)了 DeepMind 實(shí)驗(yàn)室……

02AlphaGo 點(diǎn)亮新開端

是的,甚至有一部名為“AlphaGo Movie”的電影。

沒(méi)有比 Google 的 DeepMind AlphaGo 打敗職業(yè)圍棋世界冠軍更合適的例證,來(lái)說(shuō)明這十年強(qiáng)化學(xué)習(xí)的普及。他們更進(jìn)了一步,沒(méi)有任何人類監(jiān)督學(xué)習(xí),AlphaGo Master 設(shè)法以 3-0 打敗了世界排名第一的圍棋選手。這個(gè)事件包攬了全球頭條,并使 AI 算法普及成為主流。AI 目前能在復(fù)雜賽事最高級(jí)別競(jìng)賽中擊敗人類,這是非常了不起的成就。

03機(jī)器人

索菲亞并非我們所期望的機(jī)器人。圖片:ELLE

強(qiáng)化學(xué)習(xí)模型最關(guān)鍵的應(yīng)用是設(shè)計(jì)機(jī)器人。我們目前仍在等待能安全部署在家中實(shí)用的商用機(jī)器人。盡管機(jī)器人在持續(xù)改進(jìn),但他們作為實(shí)用工具(而非娛樂(lè)工具)尚不盡人意。機(jī)器人應(yīng)用包括了機(jī)器人手術(shù)臂、太空探索機(jī)器人和工業(yè)機(jī)器人。設(shè)計(jì)各種各樣實(shí)際工作的機(jī)器人,并確保它在任意環(huán)境中的性能,是項(xiàng)挑戰(zhàn)。在監(jiān)督環(huán)境中訓(xùn)練機(jī)器人的能力有明顯瓶頸,因此,研究者們期待基于獎(jiǎng)勵(lì)的深度強(qiáng)化學(xué)習(xí)能成為一個(gè)解決方案。

下一個(gè)十年會(huì)怎樣?

在見證了深度學(xué)習(xí)革命性的十年,我們確信接下來(lái)的十年應(yīng)該令我們所有人興奮。在這十年中,AI 將接手大部分的工作嗎(通常的小報(bào)標(biāo)題)?我們能夠優(yōu)化深度學(xué)習(xí)模型,從而在日常工作中持續(xù)使用嗎?接下來(lái)的內(nèi)容將會(huì)回答這些擔(dān)心。

01量子計(jì)算

圖片:Cisco

在過(guò)去十年里,物理學(xué)本身在探究量子力學(xué)方面取得了長(zhǎng)足的進(jìn)步,但我們即將見證一場(chǎng)技術(shù)上的巨大革命。量子計(jì)算的目標(biāo)是利用量子迭加和糾纏原理,提供領(lǐng)先于我們現(xiàn)有系統(tǒng)數(shù)光年的計(jì)算能力。如果我們能夠控制量子位,我們?cè)?21 世紀(jì) 20 年代能完美見證這些量子計(jì)算機(jī)的威力。盡管對(duì)于它可能解密我們現(xiàn)在所有的安全算法存在擔(dān)心,但每項(xiàng)革新,其優(yōu)點(diǎn)都將遠(yuǎn)遠(yuǎn)超過(guò)它的缺點(diǎn)。

02無(wú)監(jiān)督學(xué)習(xí)

圖片:Analytics India Magazine

今天大多數(shù)深度學(xué)習(xí)模型都嚴(yán)重依賴于海量訓(xùn)練數(shù)據(jù)的可獲取性。這個(gè)問(wèn)題可能的解決方案是元學(xué)習(xí)和小樣本學(xué)習(xí)。元學(xué)習(xí)算法的目的是通過(guò)有限任務(wù)的學(xué)習(xí),學(xué)會(huì)如何執(zhí)行大量的新任務(wù)。按照相似的思路,小樣本學(xué)習(xí)算法是通過(guò)有限數(shù)量數(shù)據(jù)的學(xué)習(xí)來(lái)執(zhí)行任務(wù)。兩者都聚焦于有效表征的泛化。

03淺層學(xué)習(xí)網(wǎng)絡(luò)

圖片:Andrew Ng

更深入會(huì)是前進(jìn)的方向嗎?不一定,因?yàn)樵絹?lái)越多的研究者正在尋找深度學(xué)習(xí)模型的替代方案。深度模型需要更多的計(jì)算和更多的數(shù)據(jù)。雖然深度學(xué)習(xí)毋庸置疑是這十年的明星,但這十年也是一個(gè)好時(shí)機(jī),可以使深度學(xué)習(xí)能很快被濃縮為提供相似或更好性能的更緊湊、可擴(kuò)展的模型。

04算力 vs 深度學(xué)習(xí)進(jìn)展

摩爾定律觀察發(fā)現(xiàn),集成電路上元器件數(shù)量大約每隔 2 年翻一番。自 1975 年摩爾定律提出以來(lái)一直顛撲不破,但近 10 年來(lái)我們的發(fā)展慢了下來(lái)。因此,很多人相信技術(shù)進(jìn)步即將到來(lái),很可能就是我們前文討論的量子計(jì)算。這將有助于推動(dòng)深度學(xué)習(xí)的重大進(jìn)步。

作者 | Jürgen Schmidhuber     編譯 | 張秋玥、馬莉


聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)