ECCV 2020 已經(jīng)拉開(kāi)帷幕！今天，小編要給大家分享的是來(lái)自三星團(tuán)隊(duì)的 Oral Presentation：

標(biāo)題： Post－Training Piecewise Linear Quantization for Deep Neural Network

作者：Jun Fang， Ali Shafiee， Hamzah Abdel－Aziz， David Thorsley， Georgios Georgiadis， Joseph Hassoun

近年來(lái)深度神經(jīng)網(wǎng)絡(luò)在很多的問(wèn)題中，通過(guò)加大模型的深度、寬度或分辨度，取得了越來(lái)越高的精度。但與此同時(shí)也增加了模型的計(jì)算復(fù)雜度和內(nèi)存需求，從而導(dǎo)致在資源有限的嵌入式設(shè)備上來(lái)部署這些模型應(yīng)用變得更加困難。

量化 （Quantization）是一種非常實(shí)際有用的壓縮和加速模型的方法。它通過(guò)轉(zhuǎn)換模型的 32 位浮點(diǎn)（FP32）weights和activations到低精度的整數(shù)（比如 INT8），從而通過(guò)整數(shù)運(yùn)算來(lái)近似原始的浮點(diǎn)運(yùn)算模型達(dá)到壓縮和加速的效果。

然而在具體的實(shí)際應(yīng)用中，Post－Training Quantization 是非常重要的。因?yàn)樗�不需要重新�?xùn)練模型的參數(shù)，所以節(jié)省了非常耗費(fèi)資源的調(diào)參過(guò)程；同時(shí)它也不需要訪問(wèn)訓(xùn)練數(shù)據(jù)，從而保護(hù)了數(shù)據(jù)的隱私性。在 Post－Training Quantization 的研究工作中，Uniform Quantization 是最受歡迎的方法。眾多研究表明，8－bit Uniform Quantization 就可以保持大部分的模型精度，但是如果降到 4－bit，精度會(huì)有非常顯著的損失。

此篇文章就是分析了 4－bit 精度損失的具體原因，并提出了他們的 Piecewise Linear Quantization（PWLQ）的方法來(lái)顯著的提高量化后模型的精度。如下圖所示，訓(xùn)練完的模型的 weights 的分布并不是平均分布，而是近似于高斯分布：絕大多數(shù)的 weights 都集中于中心地帶，而少數(shù)的 weights 分散在稀疏的連邊上�？上攵�知，Uniform Quantization 對(duì)于這種分布的近似殘差不是最優(yōu)的。而 PWLQ 把分布區(qū)間分為沒(méi)有重疊的 center 和 tail 兩部分，每部分分配相同的量化格點(diǎn)數(shù)。這樣一來(lái)會(huì)導(dǎo)致中間部分的近似精度提高，而兩邊的近似精度下降，但因?yàn)榻^大部分的 weights 都分布在中間部分，所以整體的近似精度還是會(huì)得到提高。

接下來(lái)，問(wèn)題的關(guān)鍵在于怎么找到最優(yōu)的區(qū)分點(diǎn)（breakpoint），PWLQ 是通過(guò)最小化這種分布的近似殘差來(lái)得以選取。文章提供了具體的理論證明和下圖的數(shù)值模擬：近似的殘差是關(guān)于區(qū)分點(diǎn)的凹函數(shù)（Convex Function），所以這個(gè)最優(yōu)區(qū)分點(diǎn)是唯一存在的。

為了加快 Inference，文中提供了找到區(qū)分點(diǎn)的 one－shot 的公式。在數(shù)值實(shí)驗(yàn)中，如下圖的三種模型 Inception－v3，ResNet－50 和 MobileNet－v2 在 ImageNet 的結(jié)果上，PWLQ 比 Uniform Quantization 有著明顯的更高精度。尤其在 4－bit MobileNet－v2 的對(duì)比上，PWLQ 有高出 27．42％ 的精度，由此可見(jiàn) PWLQ 有著更強(qiáng)大的 representational power。

同時(shí)文中也做出了 PWLQ 和其他 state－of－the－art 的方法對(duì)比。如下圖所示，在 4／8 的情況下，PWLQ 比 LBQ（ICCV 2019）和 ACIQ（NeurIPS 2019）分別取得 0．40％ 和 7．96％ 的更高精度；在 4／4 的情況下，PWLQ 獲得更高精度的優(yōu)勢(shì)更加顯著。與此同時(shí)，PWLQ 不僅在 classification 的任務(wù)中取得好結(jié)果，在 segmentation 和 detection 任務(wù)上也得到了相似的好結(jié)果。

最后讓筆者感到欣喜的是文中不僅僅有展示 PWLQ 取得更好精度的優(yōu)勢(shì)所在，同時(shí)也有真誠(chéng)討論 PWLQ 的不足之處。比如，PWLQ 的具體硬件實(shí)現(xiàn)中會(huì)帶來(lái)一定的額外消耗，下圖是作者給出的關(guān)于硬件 Latency 和 Energy 的具體模擬參數(shù)來(lái)說(shuō)明這些額外消耗是可以接受的。