伯克利提出超輕量級聲碼器SqueezeWave: Mini身材, Maxi速率
三、SqueezeWave的改進措施
通過對WaveGlow的分析發(fā)現(xiàn)最主要的計算量來自于輸入音頻波形的形狀(長度)。WaveGlow的輸出維度為(L=2000,Cg = 8)這會從三個方面帶來非常高的計算復(fù)雜度:WaveGlow是一維卷積,其計算復(fù)雜度隨L線性增長;為了提高梅爾譜的時域分辨率需要對其進行上采樣,由于上采樣是由現(xiàn)有樣本簡單插值而成的意味著in_layer中其中絕大部分計算是沒有必要的;在WN函數(shù)中,8通道的輸入被映射到了256到512維中間維度,雖然增加了模型容量但是在輸出時又被壓縮為8通道,中間維度的信息將會不可避免的丟失。
為了改進這些計算復(fù)雜的細節(jié),研究人員將輸入音頻變形為較小的時域長度和較多的通道上來,同時保持WN函數(shù)中的通道尺寸。下面是兩種改進的細節(jié)。當L=64時,時域長度與梅爾譜相同無需上采樣,而L=128時,梅爾譜僅需要進行最鄰近采樣,這樣進一步減少了cond_layer的計算開銷。fig2深度可分離卷積減小計算量。
此外,研究人員還利用深度可分離卷積代替了in_layer中的一維卷積,用于處理1D音頻信號。一維卷積將輸入轉(zhuǎn)換為,其中卷積核的尺寸為,計算量為MACs.利用深度可分離卷積可以將計算量減小為:
當K=3,Cout = 512時候,這種方法可以減小近三倍的計算量。
除此之外,由于時域長度減小不再需要利用膨脹卷積增加感受野,所以都用常規(guī)卷積進行代替更加適合硬件計算;將res_skip_layer的兩支輸出分支合并,減小了最終的輸出通道數(shù)目。在下圖中可以看到SqueezeWave的改進:
四、實驗結(jié)果
為了驗證模型的性能,研究人員將本文提出的SqueezeWave(SW)與WaveGlow和基準進行了比較,下表中SW-128L代表L=128的模型:
可以看到SW系列模型的計算量相較于WaveGlow大幅下降,而性能卻能保持較高的水平。
為了驗證在邊緣設(shè)備的性能,上表還比較了在Macbook Pro和樹莓派上的結(jié)果,可以看到甚至在樹莓派上都可以達到5.2k-21k/s的樣本生成速度。其中SW128S已經(jīng)能夠生成實時并且高質(zhì)量的音頻結(jié)果了。
關(guān)于我門
▼
將門是一家以專注于發(fā)掘、加速及投資技術(shù)驅(qū)動型創(chuàng)業(yè)公司的新型創(chuàng)投機構(gòu),旗下涵蓋將門創(chuàng)新服務(wù)、將門技術(shù)社群以及將門創(chuàng)投基金。將門成立于2015年底,創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。
將門創(chuàng)新服務(wù)專注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場景,激活和實現(xiàn)全新的商業(yè)價值,服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。
將門技術(shù)社群專注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專家的技術(shù)分享和學(xué)習(xí)內(nèi)容,使創(chuàng)新成為持續(xù)的核心競爭力。
將門創(chuàng)投基金專注于投資通過技術(shù)創(chuàng)新激活商業(yè)場景,實現(xiàn)商業(yè)價值的初創(chuàng)企業(yè),關(guān)注技術(shù)領(lǐng)域包括機器智能、物聯(lián)網(wǎng)、自然人機交互、企業(yè)計算。在近四年的時間里,將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術(shù)型創(chuàng)業(yè)公司。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機器人東風(fēng)翻身?