AI熱點:深度強化學習
深度強化學習(DRL)是人工智能研究領域的一個令人興奮的領域,具有潛在的問題領域的適用性。有些人認為DRL是人工智能的一種途徑,因為它通過探索和接收來自環(huán)境的反饋來反映人類的學習。最近DRL代理的成功打敗了人類的視頻游戲玩家,廣為人知的圍棋大師被人工智能AlphaGo擊敗,以及在模擬中學習行走的兩足球員的演示,都讓人們對這個領域產生了普遍的熱情。
與監(jiān)督機器學習不同,在強化學習中,研究人員通過讓一個代理與環(huán)境交互來訓練模型。當代理的行為產生期望的結果時,它得到正反饋。例如,代理人獲得一個點數或贏得一場比賽的獎勵。簡單地說,研究人員加強了代理人的良好行為。
將DRL應用于非平凡問題的關鍵挑戰(zhàn)之一是構建一個獎勵功能,它鼓勵人們期望的行為而不會產生不良的副作用。當你犯錯時,會發(fā)生各種各樣的壞事,包括欺騙行為。(想想獎勵一個機器人服務員,在一些視覺上測量房間的清潔程度,只是教機器人打掃家具下面的污垢。)
值得注意的是,深度強化學習——“deep”指的是底層模型是一個深層的神經網絡——仍然是一個相對較新的領域,強化學習從20世紀70年代或更早的時候就開始了,這取決于你如何計算。正如Andrej Karpathy在他2016年的博客文章中所指出的,關鍵的DRL研究,如AlphaGo論文和Atari Deep Q-Learning paper都是基于已經存在了一段時間的算法,但是用深度學習代替了其他方法來近似函數。他們對深度學習的使用,當然是在過去20多年里我們看到的廉價計算能力的爆發(fā)。
DRL的承諾,以及谷歌在2014年以5億美元收購DeepMind的承諾,影響了一些希望利用這項技術的初創(chuàng)公司。本周,我采訪了Bonsai的創(chuàng)始人Mark Hammondfor。該公司提供了一個開發(fā)平臺,用于將深度強化學習應用于各種工業(yè)用例。我還與加州大學伯克利分校的Pieter Abbeelon討論了這個話題。從那以后,他創(chuàng)立了“實體智能”公司,這是一家依然隱秘的初創(chuàng)公司,打算將VR和DRL應用于機器人技術。
由楊致遠(Jerry Yang)、彼得?蒂爾(Peter Thiel)、肖恩?帕克(Sean Parker)以及其他知名投資者支持的Osaro,也希望在工業(yè)領域應用DRL。與此同時,人工智能正在尋找最佳的傳統(tǒng)對沖基金,并將其應用于算法交易,而DeepVu正在應對管理復雜企業(yè)供應鏈的挑戰(zhàn)。
由于對DRL的興趣增加,我們也看到了新的開源工具包和用于培訓DRL代理的環(huán)境。這些框架中的大多數本質上都是專用的仿真工具或接口。這些是目前AI中比較流行的工具:
OpenAI Gym
OpenAI gym是一個流行的開發(fā)和比較增強學習模型的工具箱。它的模擬器界面支持多種環(huán)境,包括經典的Atari游戲,以及像MuJoCo和darpa資助的Gazebo這樣的機器人和物理模擬器。和其他DRL工具包一樣,它提供了api來反饋意見和回報給代理。
DeepMind Lab
DeepMind Labis是一個基于Quake III第一人稱射擊游戲的3D學習環(huán)境,為學習代理提供導航和解謎任務。DeepMind最近添加了dmlab30,一個新級別的集合,并介紹了它的newImpaladistributed agent培訓體系結構。
Psychlab
另一個DeepMind工具包,今年早些時候開放源代碼,心理實驗室擴展DeepMind實驗室,以支持認知心理學實驗,如搜索特定目標的一系列項目或檢測一系列項目中的變化。然后,研究人員可以比較人類和人工智能在這些任務上的表現。
House3D
加州大學伯克利分校和Facebook人工智能研究人員之間的合作,在45000個模擬室內場景中模擬室內場景和家具布局。本文介紹的主要任務是“概念驅動的導航”,比如訓練一個代理導航到一所房子的房間,只提供一個高級的描述符,比如“餐廳”。
Unity Machine Learning Agents
在AI和MLDanny Lange副總裁的領導下,游戲引擎開發(fā)者Unity正在努力將尖端的人工智能技術融入其平臺。Unity Machine Learning Agents,于2017年9月發(fā)布,是一個開源Unity插件,可以在平臺上運行游戲和模擬,作為訓練智能代理的環(huán)境。
Ray
雖然這里列出的其他工具集中于DRL培訓環(huán)境,但Ray更關注DRL的基礎結構。Ray是在Berkeley RISELab開發(fā)的byIon Stoicaand他的團隊,它是高效運行集群和大型多核機器上的Python代碼的框架,具體目標是為增強學習提供一個低延遲的分布式執(zhí)行框架。
所有這些工具和平臺的出現將使DRL更易于開發(fā)人員和研究人員使用。但是,他們需要所有的幫助,因為深度強化學習在實踐中是很有挑戰(zhàn)性的。谷歌工程師亞歷克斯·伊爾潘最近發(fā)表了一篇頗具煽動性的文章,題為“深度強化學習還不起作用”。Irpan引用了DRL所需要的大量數據,事實上,DRL的大多數方法都沒有利用之前關于系統(tǒng)和環(huán)境的知識,以及前面提到的困難,在其他問題中也有一個有效的獎勵功能。
我希望在未來的一段時間內,從研究和應用的角度來看,深度強化學習將繼續(xù)成為人工智能領域的熱門話題。它在處理復雜、多面和順序的決策問題方面表現出了極大的希望,這使得它不僅對工業(yè)系統(tǒng)和游戲有用,而且對市場、廣告、金融、教育、甚至數據科學本身也有很大的用處。

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數智主辦酒仙橋論壇,探索AI產業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關稅,能否乘機器人東風翻身?