趨勢丨設計的代價：深度學習已經(jīng)接近計算極限
爆炸式增長結(jié)束，頂部提升有機會
用于深度學習模型的計算能力的爆炸式增長已經(jīng)結(jié)束了，并為各種任務的計算機性能樹立了新的基準。但是這些計算限制的可能影響迫使機器學習轉(zhuǎn)向比深度學習更高效的技術。
過去算力的提升歸納了兩個原因：
一個是底部的發(fā)展，即計算機部件的小型化，其受摩爾定律制約；
另一個是頂部的發(fā)展，是上面提到的軟件、算法、硬件架構的統(tǒng)稱。
在后摩爾定律時代，提升計算性能的方法，雖然底部已經(jīng)沒有太多提升的空間，但頂部還有機會。
在軟件層面，可以通過性能工程（performance engineering）提高軟件的效率，改變傳統(tǒng)軟件的開發(fā)策略，盡可能縮短軟件運行時間，而不是縮短軟件開發(fā)時間。另外，性能工程還可以根據(jù)硬件的情況進行軟件定制，如利用并行處理器和矢量單元。
在算法層面，在已有算法上的改進是不均勻的，而且具有偶然性，大量算法進展可能來源于新的問題領域、可擴展性問題、根據(jù)硬件定制算法。
在硬件層面，由于摩爾定律的制約，顯然需要改進的是硬件的架構，主要問題就是如何簡化處理器和利用應用程序的并行性。
通過簡化處理器，可以將復雜的處理核替換為晶體管數(shù)量需求更少的簡單處理核。由此釋放出的晶體管預算可重新分配到其他用途上，比如增加并行運行的處理核的數(shù)量，這將大幅提升可利用并行性問題的效率。
深度學習時代AI模型需規(guī)�；瘮U展
現(xiàn)代AI模型需要消耗大量電力，而且對電力的需求正以驚人的速度增長。在深度學習時代，構建一流AI模型所需要的計算資源平均每3．4個月翻一番。
在當今以深度學習為中心的研究范式當中，AI的主要進步主要依賴于模型的規(guī)�；瘮U展：數(shù)據(jù)集更大、模型更大、計算資源更大。
在訓練過程中，神經(jīng)網(wǎng)絡需要為每一條數(shù)據(jù)執(zhí)行一整套冗長的數(shù)學運算（正向傳播與反向傳播），并以復雜的方式更新模型參數(shù)。
在現(xiàn)實環(huán)境中部署并運行AI模型，所帶來的能源消耗量甚至高于訓練過程。實際上，神經(jīng)網(wǎng)絡全部算力成本中的80％到90％來自推理階段，而非訓練階段。
因此，數(shù)據(jù)集規(guī)模越大，與之對應的算力與能源需求也在飛速增長。模型中包含的參數(shù)量越大，推理階段所帶來的電力需求就越夸張。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權
- 3 深度報告｜中國AI產(chǎn)業(yè)正在崛起成全球力量，市場潛力和關鍵挑戰(zhàn)有哪些？
- 4 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 5 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 6 一文看懂視覺語言動作模型（VLA）及其應用
- 7 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 8 百億AI芯片訂單，瘋狂傾銷中東？
- 9 Robotaxi新消息密集釋放，量產(chǎn)元年誰在領跑？
- 10 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
