近日，OpenAI宣布推出Spinning Up，一個(gè)旨在提供深度強(qiáng)化學(xué)習(xí)的項(xiàng)目。OpenAI以在虛擬環(huán)境中制作外觀時(shí)髦的代理而聞名，這些代理能夠?qū)W習(xí)如何獨(dú)自行走，例如與華盛頓大學(xué)合作的Humanoid v2或POLO。

強(qiáng)化學(xué)習(xí)涉及到在激勵(lì)環(huán)境中向代理提供獎(jiǎng)勵(lì)信號(hào)，通過獎(jiǎng)勵(lì)最大化來完成預(yù)期目標(biāo)。

強(qiáng)化學(xué)習(xí)在重大人工智能突破中發(fā)揮了作用，如谷歌DeepMind的AlphaGo和在Dota 2等環(huán)境中接受訓(xùn)練的代理。

Spinning Up包括一系列重要的強(qiáng)化學(xué)習(xí)研究論文，理解強(qiáng)化學(xué)習(xí)所必需的術(shù)語表，以及一系列用于運(yùn)行練習(xí)的算法。

該項(xiàng)目的推出不僅是為了幫助人們了解強(qiáng)化學(xué)習(xí)是如何工作的，也是為了讓更多來自計(jì)算機(jī)科學(xué)領(lǐng)域之外的人參與進(jìn)來，從而朝著OpenAI安全創(chuàng)建通用人工智能（AGI）的總體目標(biāo)邁進(jìn)。

“解決人工智能安全問題需要具有廣泛專業(yè)知識(shí)和觀點(diǎn)的人，許多相關(guān)專業(yè)與工程或計(jì)算機(jī)科學(xué)毫無關(guān)系。盡管如此，每個(gè)參與的人都需要充分了解這項(xiàng)技術(shù)，以便做出明智的決定，給出Spinning Up需要的解決方案，”Spinning Up的文檔文本如是說道。

通過與OpenAI學(xué)者和研究員合作，Spinning Up可以讓對(duì)人工智能有興趣，但在這一領(lǐng)域沒有什么經(jīng)驗(yàn)的普通人參與進(jìn)來。

除了在實(shí)現(xiàn)安全部署AGI方面取得進(jìn)展之外，該計(jì)劃的創(chuàng)建是因?yàn)槟壳皼]有一本教科書能夠完全供給強(qiáng)化學(xué)習(xí)所需的知識(shí)；這些知識(shí)目前僅存在于前沿講座和有影響力的研究論文之中。

“因此，我們的軟件包旨在為那些對(duì)深度強(qiáng)化學(xué)習(xí)感興趣，且希望學(xué)習(xí)并使用，但不清楚如何將算法轉(zhuǎn)化為代碼的人，提供一個(gè)中間步驟。我們?cè)噲D讓這成為我們這一項(xiàng)目的起點(diǎn)。”

Spinning Up項(xiàng)目是OpenAI大型教育服務(wù)中的一部分。2019年2月，該機(jī)構(gòu)將舉辦一個(gè)Spinning Up講習(xí)班，另一個(gè)講習(xí)班將與加州大學(xué)伯克利分校的Center for Human－Compatible AI（CHAI）共同主辦。