一股清流，從通用出發(fā)去做專用芯片

目前主導推動推理芯片市場的以互聯(lián)網公司居多，除了領頭的谷歌，還有Facebook、亞馬遜等，不可忽視的還有以硬件結構創(chuàng)新為出發(fā)點、骨骼清奇的寒武紀和尋求新增長力的英偉達。

不過，其中Facebook最有意思。

從他們在公共場合的表態(tài)來看，和谷歌、亞馬遜所處之境一樣，面對不可控的成本上漲，Facebook不是不著急。但不同于其他四家的芯片設計方向，即依據應用需求調試算法，隨后依次開發(fā)設計硬件，Facebook選擇耐著性子去做一款通用的深度學習專用芯片。按照Facebook的意思，雖然是深度學習專用芯片，但是也不可順著應用需求過于專一，因此它的做法也是非常獨特。

圖 ｜ Facebook Glow平臺

這始于Facebook早早為自己搭建好的一款名為Facebook Glow的深度學習通用處理器。提到這款平臺，Facebook稱其可用于處理云端的各種深度學習加速，但又不同于TensorFlow等開源工具，它不是針對用戶設計的。

Taylor解釋說：“推理加速器的市場必將表現為硬件碎片化，但我們的Glow主要是幫助深度學習專家設計神經網絡而不是讓大家用它來開發(fā)算法，以調試到去適應各類硬件推理加速器。我們知道碎片化時代正在到來，因為沒人知道怎樣把硬件資源組合起來最優(yōu)，所以我們會讓開發(fā)者專注在上層的網絡圖上而不是讓他們?yōu)椤�硬件’敲代碼�！�

在軟件加速器上樹立好絕對的標準，而后基于此來設計芯片，Facebook的造芯計劃可謂宏圖。

其實對于Facebook研發(fā)芯片這件事，業(yè)內人多用“奇葩”來形容。依據精準的上層架構來反向“強行”設計出底層具有通用性的AI芯片，很難評價其做法是否過于執(zhí)拗和宏大，只能暗嘆它的不走尋常路，因此對于CES2019上Intel宣布的這款與Facebook聯(lián)手的芯片，還是值得期待一下。

終端市場緣何如此重要？

不難發(fā)現，上文提到的在推理芯片市場引起軒然大波的芯片產品都可歸為一類：服務器芯片，即終端市場。

從技術角度來看，其實不僅僅是終端市場對推理芯片有著強需求，隨著智能應用需求的深入，手機等移動端亦有此需求，如華為麒麟平臺中用到的NPU芯片正是一款專用于解決神經網絡推理計算的芯片。

但是不同于端側市場的現有產品飽和與增長力不足，因云計算快速的深入，服務器的計算任務需求呈爆發(fā)式增長，因而對硬件架構提升的需求格外迫切。

圖 ｜ 數據中心

亞馬遜James Hamilton曾結合亞馬遜所遇到的問題給出這樣的分析：一直以來，雖然專用芯片可以成十倍改善延遲、降低成本和功耗，但是通用芯片的地位卻是不可撼動的，這里面有其原因。以傳統(tǒng)服務來說，一般情況下每個用戶只會用到幾個固定的服務器，即我們的服務器是按照用戶分配的，這樣的情況下專用芯片通常是沒什么用的。但是云改變了一切，在一個完備的云系統(tǒng)中，比較“罕見”的工作負載甚至需要連接進入數千甚至數萬個服務器里，同時運行以完成任務。這在過去是完全不可能實現的，因為以前即便能夠很好的分配任務給專用硬件，也不能節(jié)約成本，尤其是當一些緊急狀況出現時。

云的出現打通了硬件之間的“壁壘”，也極大程度的發(fā)揮了深度學習算法的威力，但它同時很快耗盡了眾多公司現有服務器芯片的計算能力。

IDC曾做過數據統(tǒng)計，2018年第二季度全球服務器市場的廠商收入同比增長43．7％達到225億美元，該季度全球服務器出貨量同比增長20．5％達到290萬臺。而其中最大的增長力就表現在云計算服務器上。

深度學習、推理芯片與產業(yè)變遷

回到推理芯片，即處理邏輯運算的芯片。其實它并不是什么新產物，這里不得不提英特爾的x86架構。

所謂x86架構，通俗來講就是一種通用的“CPU＋Linux”操作系統(tǒng)的架構，它伴隨著1978年英特爾推出的8086處理器出現，具體指的是英特爾開發(fā)的一套通用的計算機指令集合。目前市面上所有主流的服務器都是基于Intel x86架構的CPU公版二次開發(fā)而來。

采用Intel的x86架構來處理服務器大量的計算任務，有人說是考慮CPU通過馮諾依曼架構可以為數百萬的不同應用加載任何軟件的靈活性優(yōu)勢，有人認為英特爾x86架構的向后兼容性讓用戶只要換個CPU就能獲得性能提升的優(yōu)勢主導使然�？偠�言之，不同于訓練模式的單一，深度學習推理任務的復雜讓產業(yè)界綜合考慮成本、技術成熟度等因素而最終選擇了CPU芯片＋x86指令集的系統(tǒng)架構。

圖 ｜ Intel x86

但眾所周知的是，古老的x86架構雖經過了幾十年的技術迭代，受系統(tǒng)架構本身的訪問限制（又稱馮諾依曼瓶頸），其總體的吞吐量和能耗都限制了它在大量計算任務上的表現能力，尤其是當深度學習算法出現后，這一弊端愈加被凸顯。

深度學習算法之所以如此重要，主要原因在于它剛剛誕生不久就能夠迅速適應幾乎所有的應用需求，歷史上很少有一項技術有如此的影響力，因此其特殊屬性催生了對大量數據進行處理和分析的需求。對于這一算法帶來的影響，黃仁勛一句話點出其中奧妙：深度學習是一種新的計算方法，所以整個產業(yè)需要發(fā)展出一種新的計算體系結構。

因而在深度學習的兩大功能——訓練和推理的模式推動下，Caffe、Tensorflow等軟件架構工具迅速發(fā)展，芯片巨頭也爭相以此為起點開發(fā)新的芯片。英偉達借助GPU與訓練功能的天生匹配登上了市場龍頭的寶座，但他們發(fā)現要實現訓練之后的推理功能，即對圖像的識別、語義的關聯(lián)處理等，GPU卻是不適合的。

沒有合適“人選”，推理市場因此空出霸主之位。退而求其次，CPU＋GPU發(fā)展成了服務器市場中主流的架構解決方案，但終究不是長久之計。對此，大家心知肚明。

最后

在這一波巨頭帶動的小高潮背后，無疑預示著產業(yè)發(fā)展中推理任務處理需求積聚到了一個新的高點。

箭在弦上，不得不發(fā)。但最終誰將勝出，還只能靜候各廠家接下來的芯片產品。

正如Patterson與Hennessy在《計算機體系結構的新黃金時代》里所言，“在摩爾定律走向終點的同時，體系結構正在閃耀新的活力——以TPU為代表的領域特定架構 （Domain Specific Architectures， DSA） 興起，但CPU、GPU、FPGA仍然有用武之地，最終，市場會選出勝者�！�