知情郎·眼｜

侃透公司專利事兒

今天聊聲紋識(shí)別。

即如何鑒偽聲音。

顧名思義，即通過聲音來識(shí)別出來“誰在說話”，是根據(jù)語音信號(hào)中的說話人個(gè)性信息來識(shí)別說話人身份的一項(xiàng)生物特征識(shí)別技術(shù)。

微信也有類似聲紋解鎖功能，對(duì)著微信錄一段用戶語音，如果微信被鎖住凍結(jié)不能用了，可以通過用戶語音被系統(tǒng)識(shí)別確認(rèn)為機(jī)主，解鎖微信。

這個(gè)功能早年還被用戶吐槽多此一舉如雞肋！如今倒是用習(xí)慣了。

如今，聲紋識(shí)別應(yīng)用于各種場(chǎng)合，尤其在公共安全領(lǐng)域，成為公安打擊電信詐騙的主要偵查手段，聲紋辨認(rèn)技術(shù)可以在一段錄音中查找出嫌疑人或縮小偵察范圍。

電信詐騙，天天有人偽裝熟人語音向你借錢，各種約你老鄉(xiāng)聚會(huì)、工作，實(shí)則都是釣魚詐騙，令人防不勝防。

實(shí)驗(yàn)證明，無論講話者是故意模仿他人聲音和語氣，還是耳語輕聲講話，即使模仿得惟妙惟肖，其聲紋卻始終不變。

基于聲紋的這兩個(gè)特征，偵查人員就可將獲取的犯罪分子的聲紋和嫌疑人的聲紋，通過聲紋鑒定技術(shù)進(jìn)行檢驗(yàn)對(duì)比，迅速認(rèn)定罪犯，為偵查破案提供可靠的證據(jù)。

國內(nèi)很多主流互聯(lián)網(wǎng)公司都在研究聲紋識(shí)別相關(guān)技術(shù)，如科大訊飛、騰訊等。

看看他們的專利研究啥。

01聲紋識(shí)別的基礎(chǔ)

每一個(gè)人的聲音都有獨(dú)特的紋路。

聲紋識(shí)別的理論基礎(chǔ)是每一個(gè)聲音都具有獨(dú)特的特征，通過該特征能將不同人的聲音進(jìn)行有效的區(qū)分。

這種獨(dú)特的特征主要由兩個(gè)因素決定，第一個(gè)是聲腔的尺寸，具體包括咽喉、鼻腔和口腔等，這些器官的形狀、尺寸和位置決定了聲帶張力的大小和聲音頻率的范圍。

因此不同的人雖然說同樣的話，但是聲音的頻率分布是不同的，聽起來有的低沉有的洪亮。

每個(gè)人的發(fā)聲腔都是不同的。

第二個(gè)決定聲音特征的因素是發(fā)聲器官被操縱的方式，發(fā)聲器官包括唇、齒、舌、軟腭及腭肌肉等，他們之間相互作用就會(huì)產(chǎn)生清晰的語音。而他們之間的協(xié)作方式是人通過后天與周圍人的交流中隨機(jī)學(xué)習(xí)到的。人在學(xué)習(xí)說話的過程中，通過模擬周圍不同人的說話方式，就會(huì)逐漸形成自己的聲紋特征。

音高、音強(qiáng)、音長(zhǎng)、音色在語言學(xué)中被稱為語音“四要素”，這些因素又可分解成九十余種特征。這些特征表現(xiàn)了不同聲音的不同波長(zhǎng)、頻率、強(qiáng)度、節(jié)奏。

工程師制造的語圖儀等電子設(shè)備可以把聲波的變化轉(zhuǎn)換成電訊號(hào)的強(qiáng)度、波長(zhǎng)、頻率、節(jié)奏變化，儀器又把這些電訊號(hào)的變化繪制成波譜圖形，就成了聲紋圖。

因此，理論上來說，聲紋就像指紋一樣，很少會(huì)有兩個(gè)人具有相同的聲紋圖。

02常用的聲紋識(shí)別辦法

實(shí)際上，聲紋識(shí)別最初就是美國人為了提高破案率而開發(fā)的，電話電報(bào)公司的貝爾實(shí)驗(yàn)室研究和發(fā)明了“音響光譜圖象顯示器”，把聲波用光譜圖象加以顯示，之后開始培訓(xùn)警官，推廣相關(guān)技術(shù)，以應(yīng)付猖獗的綁架、恐嚇案。

那個(gè)年代，綁架分子動(dòng)不動(dòng)用電話恐嚇人交贖金。

目前來看，聲紋識(shí)別常用的方法包括模板匹配法、最近鄰方法、神經(jīng)元網(wǎng)絡(luò)方法，VQ聚類法等。

在行業(yè)內(nèi)大名鼎鼎的語譜圖是聲音信號(hào)的一種圖像化的表示方式，它的橫軸代表時(shí)間，縱軸代表頻率，語音在各個(gè)頻率點(diǎn)的幅值大小用顏色來區(qū)分。說話人的聲音的基頻及諧頻在語譜圖上表現(xiàn)為一條一條的亮線，再通過不同的處理手段就可以得到不同語譜圖之間的相似度，最終達(dá)到聲紋識(shí)別的目的。

那個(gè)年代沒有如今的數(shù)字技術(shù)，人們可視化研究語音數(shù)據(jù)的方法是把數(shù)據(jù)通過頻率濾波器，然后各個(gè)頻率的數(shù)據(jù)驅(qū)動(dòng)相應(yīng)的類似針式打印的設(shè)備按頻率高低順序記錄在一卷紙上，信號(hào)的強(qiáng)弱由記錄在紙上的灰度來表示，這就是語譜圖的由來。

目前公安部聲紋鑒別就采用類似方法，而且語譜圖還是用的灰度來表示。主要抽取說話人聲音的基音頻譜及包絡(luò)、基音幀的能量、基音共振峰的出現(xiàn)頻率及其軌跡等參數(shù)表征，然后再與模式識(shí)別等傳統(tǒng)匹配方法結(jié)合進(jìn)行聲紋識(shí)別。

美國和國內(nèi)都有不少企業(yè)生產(chǎn)聲紋識(shí)別的設(shè)備，公安部為采購這些設(shè)備還正式頒布了《安防聲紋識(shí)別應(yīng)用系統(tǒng)技術(shù)要求》的行業(yè)標(biāo)準(zhǔn)。

但是這種方法是一種靜態(tài)檢測(cè)的方法，存在很大的弊端，實(shí)時(shí)性不好，動(dòng)態(tài)檢測(cè)聲紋的需求實(shí)際上更大。

受各種不確定性因素的制約，當(dāng)前說話人識(shí)別系統(tǒng)仍難言可靠！這些不確定性因素包括非限定的自由文本、各種各樣的傳輸信道、復(fù)雜多變的背景噪音、說話人自身的生理波動(dòng)等等。這些不確定性因素對(duì)說話人識(shí)別系統(tǒng)提出了巨大的挑戰(zhàn)。

03當(dāng)下聲紋識(shí)別主流算法

技術(shù)社區(qū)的大牛曾對(duì)聲紋識(shí)別算法的演進(jìn)做了概述，早年聲紋識(shí)別技術(shù)很簡(jiǎn)陋，靠語譜圖人工進(jìn)行一一比對(duì)檢測(cè)，如今AI技術(shù)發(fā)展迅速，人工手動(dòng)的操作方式早被淘汰，靠AI來識(shí)別。

主流聲紋識(shí)別算法轉(zhuǎn)述如下：

從1995年開始，混合高斯模型的統(tǒng)計(jì)模式識(shí)別技術(shù)被引入說話人識(shí)別，2000年Reynolds提出的GMM－UBM模型成為聲紋識(shí)別領(lǐng)域最重要的基石。

2008年kenny提出聯(lián)合因子分析（JFA）將GMM均值超矢量空間劃分為本征空間，信道空間，殘差空間，分別對(duì)說話人和信道空間建模。

由于JFA進(jìn)行信道補(bǔ)償時(shí)不可避免的包含說話人信息，并且存在空間掩蓋和空間重疊的問題，因此不能對(duì)說話人和信道進(jìn)行準(zhǔn)確建模和區(qū)分，于是在2010年Najim Dehak等人提出使用全局差異空間代替本征空間和信道空間，即I－vector對(duì)說話人進(jìn)行建模。

隨著數(shù)據(jù)和計(jì)算資源的豐富，基于深度學(xué)習(xí)的聲紋識(shí)別帶來了性能的進(jìn)一步提升。2018年X－vector在D－vector的基礎(chǔ)進(jìn)行改進(jìn)，通過在幀級(jí)特征上池化映射獲得可以表示說話人特性的段級(jí)向量，成為state－of－the－art的框架�；�于X－vector說話人建模的聲紋識(shí)別系統(tǒng)主要包括語音特征提取，說話人建模和后端分類器進(jìn)行信道補(bǔ)償及似然度打分三個(gè)部分。

特征方面算法：

MFCC／PLP／FBank等短時(shí)頻譜特征；

D－vector （谷歌2014年提的）；

Deep feature ／ Bottleneck feature ／Tandem feature （三者不是并行關(guān)系，可以搜關(guān)鍵詞查看相關(guān)論文）；

模型方面算法：

GMM－UBM；

JFA （Joint Factor Analysis）；

GMM－UBM i－vector；

Supervised－UBM i－vector；

DNN i－vector （2014年微軟Yun Lei等人提的）；

得分方面算法：

SVM（早期與GMM－UBM一起使用最為后端分類器）；

Cosine Distance （CDS）；

LDA；

PLDA；

當(dāng)然，隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展和訓(xùn)練數(shù)據(jù)的龐大，谷歌、微軟和百度等公司使用end－to－end的方法集這三個(gè)方面于一體，效果也還可以。

除了以上主流技術(shù)，還有以下幾種：

BNF特征，ivector＋PLDA／CDS、GMM＋SVM、d－vector，ivevtor－plda 還有一些d－vector對(duì)數(shù)據(jù)量要求比較大的，主流的還是用nn去提取特征。

04科大訊飛、騰訊在聲紋識(shí)別相關(guān)專利

國內(nèi)哪些機(jī)構(gòu)在研究聲紋識(shí)別技術(shù)？

在德高行全球?qū)＠麛?shù)據(jù)庫中，檢索了相關(guān)專利，專利申請(qǐng)人排名如下：

申請(qǐng)人

專利數(shù)量

平安科技（深圳）有限公司

122

廈門快商通科技股份有限公司

54

騰訊科技（深圳）有限公司

40

百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司

38

華為技術(shù)有限公司

37

珠海格力電器股份有限公司

34

阿里巴巴集團(tuán)控股有限公司

33

深圳壹賬通智能科技有限公司

30

芋頭科技（杭州）有限公司

28

OPPO廣東移動(dòng)通信有限公司

27

中國工商銀行股份有限公司

27

中國銀行股份有限公司

25

北京百度網(wǎng)訊科技有限公司

25

廣州勢(shì)必可贏網(wǎng)絡(luò)科技有限公司

25

（該表不含子公司）

金融銀行業(yè)位居前列，可以理解，在認(rèn)證交易方面，銀行系統(tǒng)從來下重金研發(fā)，畢竟，支付轉(zhuǎn)賬匯款最核心的操作就是確認(rèn)是否為當(dāng)事人的真實(shí)交易用途。

科大訊飛未列入靠前的名單，作為一家語音識(shí)別技術(shù)國內(nèi)一流的公司，細(xì)分支聲紋識(shí)別專利量排名靠后，出乎知情郎的意料。

不過，查了科大訊飛及其子公司的專利，人家有46件專利，也不算少。

知情郎比較關(guān)注騰訊的聲紋識(shí)別專利，因?yàn)樵诩夹g(shù)應(yīng)用廣度上，微信10億人的受眾，微信所采用的的聲紋識(shí)別必然是最靠譜，他每天都要應(yīng)對(duì)日活億級(jí)強(qiáng)度的檢測(cè)。

如果騰訊采用的聲紋識(shí)別技術(shù)不成熟，讓微信用戶無法通過聲紋解鎖微信，投訴潮估計(jì)會(huì)瞬間壓垮人家的客服部。

下為騰訊最新8件聲紋識(shí)別相關(guān)專利：

序號(hào)

標(biāo)題

公開號(hào)

解決的技術(shù)問題

1

一種聲紋信息處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

CN115171660A

實(shí)時(shí)更新聲紋嵌入碼。可以提高利用聲紋嵌入碼進(jìn)行聲紋識(shí)別的準(zhǔn)確性，使用戶獲得更好的使用體驗(yàn)。

2

一種情緒類別確定方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

CN115171731A

從聲紋和語義信息中，提煉特征，確定該目標(biāo)語音的目標(biāo)情緒類別，提高情緒類別確定的準(zhǔn)確性。

3

一種語音驗(yàn)證處理的方法以及相關(guān)裝置

CN114648978A

將聲紋驗(yàn)證處理的過程部署在聲紋驗(yàn)證服務(wù)器中進(jìn)行，而不是部署在終端設(shè)備中，使得該語音驗(yàn)證的方法能夠有效地?cái)[脫終端設(shè)備的硬件資源限制，使得終端設(shè)備能夠支持更多的說話對(duì)象進(jìn)行語音錄入，進(jìn)而實(shí)現(xiàn)對(duì)更多的說話對(duì)象的識(shí)別。

4

聲紋識(shí)別方法、裝置、介質(zhì)及設(shè)備

CN114333844A

本申請(qǐng)?zhí)峁┑募夹g(shù)方案可以在不影響原有聲紋模型性能的基礎(chǔ)上，對(duì)基于對(duì)抗樣本的白盒攻擊或黑盒攻擊實(shí)施有效的防御和檢測(cè)，從而提高了聲紋識(shí)別的安全性和可靠性。

5

一種基于音視頻分離的智能拆條方法

CN111586494B

傳統(tǒng)的長(zhǎng)視頻拆條方式，需要投入大量的人工進(jìn)行手動(dòng)預(yù)覽拆分視頻，耗時(shí)耗力，無法在短時(shí)間內(nèi)批量地深度挖掘同質(zhì)同類內(nèi)容并驗(yàn)證其重復(fù)性，對(duì)精準(zhǔn)的用戶傳播造成了很大阻礙。本專利提供一種基于音視頻分離的智能拆條方法。

6

音頻處理方法、裝置、存儲(chǔ)介質(zhì)及計(jì)算機(jī)設(shè)備

CN113763962A

該方法可以根據(jù)音頻數(shù)據(jù)中聲紋信息之間的差別確定目標(biāo)子音頻數(shù)據(jù)，再對(duì)目標(biāo)子音頻數(shù)據(jù)進(jìn)行評(píng)分。如此可以提高音頻數(shù)據(jù)處理的準(zhǔn)確性，進(jìn)而提升了對(duì)音頻數(shù)據(jù)評(píng)分的準(zhǔn)確性。

7

語音識(shí)別方法和裝置、存儲(chǔ)介質(zhì)

CN112562681B

在復(fù)雜的聲音環(huán)境中降低干擾音頻的干擾是音頻處理中重的要研究方向。該方案提供了至少一種解決復(fù)雜的聲音環(huán)境中語音識(shí)別準(zhǔn)確率較低的技術(shù)問題。

8

一種聲紋識(shí)別的方法、模型訓(xùn)練的方法以及服務(wù)器

CN110289003B

利用歸一化指數(shù)函數(shù)和中心化函數(shù)對(duì)聲紋識(shí)別模型進(jìn)行聯(lián)合優(yōu)化，能夠減少來自同一說話人深度特征之間的類內(nèi)變化。采用兩種函數(shù)同時(shí)監(jiān)督和學(xué)習(xí)聲紋識(shí)別模型，可使深度特征具有更好的區(qū)分性，從而提升識(shí)別性能。

05經(jīng)典專利解讀

特別要提下該專利：聲紋識(shí)別方法、裝置、介質(zhì)及設(shè)備（CN114333844A），這是專門防御檢測(cè)攻擊者造假合成聲音的鑒偽技術(shù)。

簡(jiǎn)答說，用AI檢測(cè)對(duì)抗AI合成聲音。

事實(shí)上，目前基于深度神經(jīng)網(wǎng)絡(luò)的聲紋識(shí)別已經(jīng)取得了性能非常不錯(cuò)的識(shí)別效果，但是未受保護(hù)的聲紋識(shí)別系統(tǒng)具有極大的安全隱患，可能受到錄音重放攻擊、語音合成攻擊、語音轉(zhuǎn)換攻擊、對(duì)抗樣本攻擊等問題。其中關(guān)于對(duì)抗樣本攻擊的防御和檢測(cè)技術(shù)仍處于起步階段，目前已有的方案主要是進(jìn)行對(duì)抗訓(xùn)練，或是引入新的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行主動(dòng)防御，這些方法需要更多的計(jì)算資源，或是增加模型的參數(shù)量，且對(duì)抗防御的效果還有很大的提升空間。

一個(gè)典型的聲紋識(shí)別系統(tǒng)的工作流程主要涉及兩個(gè)步驟：“聲紋預(yù)留（注冊(cè)）”和“聲紋驗(yàn)證（測(cè)試）”。預(yù)留是將用戶語音轉(zhuǎn)化成為說話人表征向量并進(jìn)行存儲(chǔ)，聲紋驗(yàn)證判斷一段未知的測(cè)試語音是否來自指定說話人，系統(tǒng)將測(cè)試語音轉(zhuǎn)化成為說話人表征向量同時(shí)與預(yù)留下的用戶語音進(jìn)行打分比對(duì)，如果大于事先設(shè)置好的閾值，則判定屬于同一個(gè)說話人；反之如果打分小于閾值，則判定不屬于同一個(gè)說話人。

在用戶完成注冊(cè)后，在進(jìn)行聲紋驗(yàn)證步驟中，聲紋識(shí)別可能存在錄音重放攻擊、語音合成攻擊、語音轉(zhuǎn)換攻擊、對(duì)抗樣本攻擊等安全相關(guān)問題。錄音重放攻擊、語音合成攻擊、語音轉(zhuǎn)換攻擊是二次錄音或是合成轉(zhuǎn)換出的聲音，由于設(shè)備的頻響或是合成模型性能不足，造成用于攻擊的語音數(shù)據(jù)中一些頻域上存在缺失和扭曲，與真人說話會(huì)有不同的特性，通過大量的正負(fù)樣本學(xué)習(xí)，計(jì)算機(jī)能夠輕易分辨出是語音是錄音合成還是真人所說。

對(duì)抗樣本攻擊特別是在白盒情況的攻擊相比于以上三種攻擊更難檢測(cè)和防御。到目前為止，深度學(xué)習(xí)模型易受對(duì)抗樣本攻擊的原因仍然是一個(gè)開放的研究課題，缺乏完備的理論體系，這個(gè)問題也制約著深度學(xué)習(xí)的進(jìn)一步發(fā)展。目前大部分關(guān)于對(duì)抗樣本的研究都集中在計(jì)算機(jī)視覺領(lǐng)域。由于語音信號(hào)屬于非平穩(wěn)信號(hào)，關(guān)于聲紋識(shí)別的對(duì)抗樣本攻擊和防御的研究仍處于起步階段。特別是在對(duì)抗樣本攻擊的防御上，目前還沒有很多完善的與聲紋相關(guān)的研究和解決方案。

目前，針對(duì)對(duì)抗攻擊的防御方法主要分為以下三種方案：

1． 對(duì)抗訓(xùn)練：在每次模型訓(xùn)練過程中，通過在訓(xùn)練集中注入對(duì)抗樣本對(duì)模型進(jìn)行再訓(xùn)練；

2． 對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理：對(duì)輸入進(jìn)行變換處理，使攻擊者難以計(jì)算模型的梯度，從而達(dá)到防御對(duì)抗攻擊的目的；

3． 對(duì)模型進(jìn)行蒸餾：使用知識(shí)蒸餾的方法降低網(wǎng)絡(luò)梯度的大小，提高發(fā)現(xiàn)小幅度擾動(dòng)對(duì)抗樣本的能力。

然而上述方案中，存在如下缺點(diǎn)：

1． 對(duì)抗訓(xùn)練需要在模型訓(xùn)練的過程中生成對(duì)抗樣本，隨后把生成的對(duì)抗樣本作為輸入數(shù)據(jù)訓(xùn)練原有的網(wǎng)絡(luò)。這兩個(gè)過程都需要耗費(fèi)大量的計(jì)算資源和計(jì)算時(shí)間，并且最終得到的訓(xùn)練模型大多只能針對(duì)特定的對(duì)抗樣本算法進(jìn)行防御，如果攻擊者修改對(duì)抗攻擊算法，將會(huì)使得模型防御能力大大降低。

2． 目前對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理的防御方法大多采用生成的神經(jīng)網(wǎng)絡(luò)模型重構(gòu)輸入數(shù)據(jù)的方法，例如基于變分自編碼器（Variational Auto－Encoder，VAE）或?qū)�抗生成神�?jīng)網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）對(duì)對(duì)抗樣本進(jìn)行去噪處理，使得去噪模型輸出的數(shù)據(jù)結(jié)果更加接近于原始無噪聲的數(shù)據(jù)。這些方法需要引入新的神經(jīng)網(wǎng)絡(luò)，提高了聲紋識(shí)別系統(tǒng)的參數(shù)量；并且聲紋識(shí)別系統(tǒng)在推理的過程中需要耗費(fèi)更多的計(jì)算時(shí)間在原始音頻的去噪處理上，且該方法很難抵御白盒攻擊。

3． 對(duì)模型進(jìn)行蒸餾和正則化可能會(huì)很大程度的損害聲紋模型的識(shí)別性能與魯棒性，讓原本在沒有收到攻擊的真實(shí)樣本下的識(shí)別性能降低。

4．目前的聲紋識(shí)別系統(tǒng)關(guān)于對(duì)抗樣本的防御策略大多都是對(duì)計(jì)算機(jī)視覺研究上的借鑒和遷移，相比于圖像信號(hào)，語音信號(hào)屬于非平穩(wěn)信號(hào)，聲紋識(shí)別系統(tǒng)的對(duì)抗樣本攻防御還暫時(shí)處在起步階段。這些在圖像上方法不一定適用于語音數(shù)據(jù)。

該專利工程師為了提升聲紋識(shí)別的可靠性和安全性，專門開發(fā)了一套自己的防御算法，在應(yīng)用于對(duì)抗防御和檢測(cè)中時(shí)，本申請(qǐng)?zhí)峁┑募夹g(shù)方案在輸入預(yù)處理階段進(jìn)行改進(jìn)，無需對(duì)原有的聲紋模型進(jìn)行對(duì)抗訓(xùn)練，也無需增加用于對(duì)抗樣本攻擊的防御模塊，只需在原有的聲紋驗(yàn)證階段增加對(duì)待識(shí)別語音的轉(zhuǎn)換處理和對(duì)多個(gè)聲紋驗(yàn)證結(jié)果的判決處理，整體方案簡(jiǎn)單易行，具有較高的通用性；且本申請(qǐng)?zhí)峁┑募夹g(shù)方案可以在不影響原有聲紋模型性能的基礎(chǔ)上，對(duì)基于對(duì)抗樣本的白盒攻擊或黑盒攻擊實(shí)施有效的防御和檢測(cè)，從而提高了聲紋識(shí)別的安全性和可靠性。

值得一讀的專利！

【轉(zhuǎn)載請(qǐng)注明德高行·知情郎】

       原文標(biāo)題 : 專利看騰訊聲紋識(shí)別技術(shù)有進(jìn)步嗎，聲音解鎖功能不再雞肋！