五月天丁香激情,91久久久www播放日本观看,国产精品高清全国免费观看

趨勢(shì)丨設(shè)計(jì)的代價(jià)：深度學(xué)習(xí)已經(jīng)接近計(jì)算極限

2020-07-27 16:49

深度學(xué)習(xí)時(shí)代AI模型需規(guī)模化擴(kuò)展

現(xiàn)代AI模型需要消耗大量電力，而且對(duì)電力的需求正以驚人的速度增長(zhǎng)。在深度學(xué)習(xí)時(shí)代，構(gòu)建一流AI模型所需要的計(jì)算資源平均每3．4個(gè)月翻一番。

在當(dāng)今以深度學(xué)習(xí)為中心的研究范式當(dāng)中，AI的主要進(jìn)步主要依賴于模型的規(guī)模化擴(kuò)展：數(shù)據(jù)集更大、模型更大、計(jì)算資源更大。

在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)需要為每一條數(shù)據(jù)執(zhí)行一整套冗長(zhǎng)的數(shù)學(xué)運(yùn)算（正向傳播與反向傳播），并以復(fù)雜的方式更新模型參數(shù)。

在現(xiàn)實(shí)環(huán)境中部署并運(yùn)行AI模型，所帶來(lái)的能源消耗量甚至高于訓(xùn)練過(guò)程。實(shí)際上，神經(jīng)網(wǎng)絡(luò)全部算力成本中的80％到90％來(lái)自推理階段，而非訓(xùn)練階段。

因此，數(shù)據(jù)集規(guī)模越大，與之對(duì)應(yīng)的算力與能源需求也在飛速增長(zhǎng)。模型中包含的參數(shù)量越大，推理階段所帶來(lái)的電力需求就越夸張。

AI芯天下丨趨勢(shì)丨設(shè)計(jì)的代價(jià)：深度學(xué)習(xí)已經(jīng)接近計(jì)算極限

雖然深度網(wǎng)絡(luò)會(huì)是解決方案的一部分，但還需要涉及組合原則和因果模型的互補(bǔ)方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對(duì)組合性爆炸，需要要再次思考如何訓(xùn)練和評(píng)估視覺(jué)算法。

每一次人工智能低谷來(lái)臨之前，都會(huì)有科學(xué)家夸大和炒作他們創(chuàng)造的潛力，僅僅說(shuō)他們的算法就能夠很好地完成某項(xiàng)任務(wù)是不夠的。

對(duì)大多數(shù)問(wèn)題來(lái)說(shuō)，深度學(xué)習(xí)并不是正確的解決方法，不要試圖為所有的問(wèn)題尋找通用人工智能解決方案，因?yàn)樗揪筒淮嬖凇?/p>

結(jié)尾：

深度學(xué)習(xí)的發(fā)展可能已達(dá)極限，但其影響還將持續(xù)深遠(yuǎn)。為了避免在“人工智能冬天”中被淘汰的命運(yùn)，能做的最好的事情就是明確你要解決的問(wèn)題，并理解其本質(zhì)；然后，尋找為特定問(wèn)題提供解決方案的直觀路徑的方法。

聲明： 本文由入駐維科號(hào)的作者撰寫(xiě)，觀點(diǎn)僅代表作者本人，不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題，請(qǐng)聯(lián)系舉報(bào)。

共0條評(píng)論，0人參與

登錄登錄即可訪問(wèn)所有OFweek服務(wù)

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

暫無(wú)評(píng)論

圖片新聞