中國(guó)聲紋識(shí)別產(chǎn)業(yè)發(fā)展白皮書(shū)（2023年）

I1.4無(wú)障礙環(huán)境建設(shè)立法實(shí)施2.1聲紋識(shí)別算法研究進(jìn)展32.2音頻防偽算法研究進(jìn)展2.3工程化難點(diǎn)及技術(shù)進(jìn)展52.3.2提升超大規(guī)模聲紋辨認(rèn)性能52.3.3多模態(tài)多任務(wù)聯(lián)合識(shí)別62.4前沿挑戰(zhàn)及技術(shù)進(jìn)展72.5研究型數(shù)據(jù)集建設(shè)102.5.2研究型聲紋數(shù)據(jù)集建設(shè)現(xiàn)狀122.6相關(guān)賽事綜述133.3公共安全3.4政務(wù)民生4.3語(yǔ)音助手類335.3數(shù)據(jù)標(biāo)準(zhǔn)38V以我建議就上面幾個(gè)問(wèn)題進(jìn)行深入研究，希望關(guān)注聲紋識(shí)別研究和開(kāi)發(fā)的相關(guān)人員能夠多多關(guān)CCF語(yǔ)音對(duì)話與聽(tīng)覺(jué)專委會(huì)副主任1明確要求“深度合成服務(wù)提供者和技術(shù)支持者提供人臉、人聲等生物識(shí)別信息編輯功能的，應(yīng)所以利用生物識(shí)別技術(shù)進(jìn)行身份認(rèn)定相對(duì)其他身份認(rèn)證技術(shù)是安全且準(zhǔn)確的。但也正是由于生2如在用戶視圖方面應(yīng)結(jié)合用戶特殊需求提供“關(guān)懷模式”“語(yǔ)音模式”“民族語(yǔ)言模式”等便捷3量進(jìn)行降維并提取出能代表說(shuō)話人信息的低維總變化因子（i-vector然后在低維的i-vector空模型的本質(zhì)就是一種線性降維模型。首先需要做的就是將原始錄音文件轉(zhuǎn)換成聲學(xué)特征，一般選擇傳統(tǒng)的聲學(xué)特征梅爾頻譜倒因此我們需要基于目標(biāo)用戶的數(shù)據(jù)在這個(gè)混合GMM上進(jìn)行參數(shù)的微調(diào)即可實(shí)現(xiàn)目標(biāo)用戶參數(shù)一種更好的非線性變換方法來(lái)將高維的高斯超向量降維得到說(shuō)話人的低維總變化因子。由此基近年來(lái)，深度學(xué)習(xí)在語(yǔ)音識(shí)別領(lǐng)域中的成功應(yīng)用鼓勵(lì)著研究者將它運(yùn)用到聲紋識(shí)別中去。這套架構(gòu)的最終得到接受和拒絕損失loss來(lái)訓(xùn)練整個(gè)網(wǎng)絡(luò)。TDNN來(lái)自1989年的論文。原理假設(shè)整個(gè)結(jié)構(gòu)簡(jiǎn)化為輸入層、2個(gè)隱藏層、輸出層為識(shí)別出452024年1月，由清華大學(xué)與得意音通聯(lián)合研發(fā)的基于類腦感知和決策的偽造語(yǔ)音檢測(cè)方法2.3工程化難點(diǎn)及技術(shù)進(jìn)展實(shí)時(shí)音頻流的聲紋識(shí)別技術(shù)需要進(jìn)一步攻關(guān)。基于電話信道的聲紋識(shí)別目前還面臨著許多挑戰(zhàn)近些年，公安部正在規(guī)劃將聲紋識(shí)別技術(shù)納入公共安全防治舉措的方案，并開(kāi)展聲紋采集62.3.3多模態(tài)多任務(wù)聯(lián)合識(shí)別在有多個(gè)說(shuō)話人的場(chǎng)景，如何運(yùn)用人工智能技術(shù)把不同說(shuō)話人甄別并分類出來(lái)，此類需求一般被叫做“話者分離”或者“說(shuō)話人分離”，所用到的核心技術(shù)，學(xué)術(shù)界一般稱為多說(shuō)話人分割聚類或說(shuō)話人日志（SpeakerDiarisation該技術(shù)包含兩個(gè)過(guò)程，說(shuō)話人分割（Speaker72.4前沿挑戰(zhàn)及技術(shù)進(jìn)展在公安刑偵等領(lǐng)域，大規(guī)模聲紋檢索系統(tǒng)也進(jìn)入實(shí)戰(zhàn)應(yīng)用，對(duì)聲紋識(shí)別的精度和響應(yīng)速度提出8*SNR-dependentmixtureofPLDA0*DNN-basedbinarymasking0*invariantrepresentationlearning(IRL)00*within-samplevariability-invariantloss09(MarginLoss)*AM-Softmax0*AAM-Softmax0*AngularPrototypical(AP)loss0*Feature-baseddomainadaptation*Model-baseddomainadaptation*AM-Softmax0*AAM-Softmax0(MarginLoss)*AngularPrototypical(AP)loss02.5研究型數(shù)據(jù)集建設(shè)針對(duì)采集的音頻數(shù)據(jù)進(jìn)行標(biāo)注處理，需依據(jù)不同的指標(biāo)要求規(guī)范做數(shù)據(jù)標(biāo)注。以數(shù)據(jù)標(biāo)注即建設(shè)聲紋數(shù)據(jù)集管理平臺(tái)來(lái)進(jìn)行科學(xué)有效的數(shù)據(jù)安全管理，保證數(shù)據(jù)的安全性、模型應(yīng)快速迭代聲紋模型的優(yōu)化和測(cè)試能力。因聲紋數(shù)據(jù)需滿足聲紋識(shí)別技術(shù)應(yīng)用的匹配性和高合格率，聲紋數(shù)據(jù)的質(zhì)量管理是構(gòu)建準(zhǔn)備份數(shù)據(jù)并定期檢查數(shù)據(jù)質(zhì)量。2.5.2研究型聲紋數(shù)據(jù)集建設(shè)現(xiàn)狀據(jù)集是一個(gè)復(fù)雜且持續(xù)的過(guò)程，說(shuō)話人生理體征的變化對(duì)聲紋識(shí)別的性能也會(huì)產(chǎn)生影響，為提高聲紋識(shí)別的準(zhǔn)確性，數(shù)據(jù)集的多樣性和代表性非常重要，因此收集具有廣泛覆蓋性的樣本非隨著人們對(duì)聲紋識(shí)別技術(shù)的需求不斷增加，聲紋數(shù)據(jù)集的規(guī)模也在不斷擴(kuò)大。這些大規(guī)模為了促進(jìn)聲紋識(shí)別技術(shù)的交流和發(fā)展，聲紋數(shù)據(jù)集的標(biāo)準(zhǔn)化和公開(kāi)化趨勢(shì)也越在研究和學(xué)術(shù)界，聲紋數(shù)據(jù)集的建設(shè)和發(fā)展是推動(dòng)聲紋識(shí)別技術(shù)進(jìn)一步發(fā)展的重要說(shuō)話者識(shí)別的研究。態(tài)聲紋模型技術(shù)研究。一個(gè)在真實(shí)家居場(chǎng)景下錄制，跨時(shí)間域并針對(duì)不同年齡的說(shuō)話人進(jìn)行多設(shè)備同時(shí)采集的聲紋數(shù)聲紋數(shù)據(jù)集的建設(shè)和發(fā)展正處于積極的發(fā)展階段。隨著聲紋識(shí)別技術(shù)的廣泛應(yīng)用以及對(duì)數(shù)2.6相關(guān)賽事綜述旨在研究現(xiàn)有的說(shuō)話人識(shí)別方法在“inthewild”場(chǎng)景下的識(shí)別性能。競(jìng)賽所提供的官方數(shù)據(jù)集該競(jìng)賽共設(shè)定了四個(gè)賽道。前兩個(gè)賽道統(tǒng)稱為有監(jiān)督的說(shuō)話人識(shí)別（FullySupervisedDomainAdaptation它是2022年新引入的一個(gè)賽道，賽事數(shù)據(jù)包括一個(gè)大規(guī)模帶標(biāo)簽的源領(lǐng)域數(shù)據(jù)集、一個(gè)大規(guī)模無(wú)標(biāo)簽的目標(biāo)領(lǐng)域數(shù)據(jù)集和一個(gè)少量帶有標(biāo)簽的目標(biāo)領(lǐng)域數(shù)據(jù)集，模擬2.6.3FFSVC2022競(jìng)賽聚焦在遠(yuǎn)場(chǎng)單通道場(chǎng)景下的說(shuō)話人識(shí)別任務(wù)。該賽事所提供的官方數(shù)據(jù)集FFSVC2020是說(shuō)話人標(biāo)簽的FFSVC2020和VoxCeleb1&2數(shù)據(jù)集來(lái)構(gòu)建遠(yuǎn)場(chǎng)說(shuō)話人識(shí)別系統(tǒng)。第二個(gè)賽道是模擬更貼合實(shí)際的數(shù)據(jù)條件。方法，進(jìn)一步提升說(shuō)話人識(shí)別系統(tǒng)應(yīng)對(duì)闖入攻擊的魯棒性。該賽事所提供的數(shù)據(jù)集是VoxCeleb2.6.5CSSD2022CSSD2022全稱ConversationalSho賽事所提供的數(shù)據(jù)集是由MagicData-RAMC開(kāi)源的中文對(duì)話語(yǔ)音數(shù)據(jù)集。3.1從技術(shù)到場(chǎng)景安全訪問(wèn)驗(yàn)證，確保只有聲紋信息匹配的個(gè)體才能進(jìn)行某些敏感操作或訪問(wèn)特定資源。這為金和識(shí)別大量聲紋數(shù)據(jù)庫(kù)中的特定聲紋。例如，語(yǔ)音助手能夠通過(guò)聲紋辨認(rèn)迅速識(shí)別并響應(yīng)用戶給定一段只含一名說(shuō)話人的語(yǔ)音和一個(gè)說(shuō)話給定一段語(yǔ)音和一組候選說(shuō)話人的聲紋模型，判斷該段語(yǔ)音是哪位說(shuō)話人所說(shuō)的聲紋識(shí)別表2聲紋識(shí)別技術(shù)信道類型于16kHz。手機(jī)銀行等各類APP表3聲紋識(shí)別技術(shù)應(yīng)用模式紋認(rèn)證時(shí)需用戶說(shuō)出與注冊(cè)時(shí)完全相同的內(nèi)同等錄音有效時(shí)長(zhǎng)情況下聲紋比對(duì)準(zhǔn)確率同等錄音有效時(shí)長(zhǎng)情況下聲紋比對(duì)準(zhǔn)確率用戶可以通過(guò)任意的內(nèi)容的聲紋來(lái)進(jìn)行聲紋同等錄音有效時(shí)長(zhǎng)情況下聲紋比對(duì)準(zhǔn)確率與傳統(tǒng)靜態(tài)密碼100%精確比較后判斷是否匹配成功的方式不同，聲紋識(shí)別技術(shù)是通過(guò)判3.2金融科技金融科技創(chuàng)新給移動(dòng)端身份認(rèn)證帶來(lái)了新的思路和途徑，目前各種解決方案呈現(xiàn)出爆發(fā)式顧便捷和安全的同時(shí)進(jìn)行精準(zhǔn)客戶身份識(shí)別、如何驗(yàn)證用戶反映的是本人真實(shí)意愿和真實(shí)操作表4部分銀行聲紋識(shí)別技術(shù)應(yīng)用場(chǎng)景電話銀行信用卡申請(qǐng)使用聲紋識(shí)別進(jìn)行反欺詐建設(shè)銀行1.手機(jī)銀行使用聲紋技2.利用聲紋技術(shù)在手機(jī)銀行轉(zhuǎn)賬、ATM二維碼取款上進(jìn)輔助身份認(rèn)證手機(jī)銀行利用聲紋識(shí)別進(jìn)行信用卡臨時(shí)調(diào)額時(shí)手機(jī)銀行使用聲紋技術(shù)1.手機(jī)銀行使用聲紋技2.利用聲紋技術(shù)在手機(jī)銀行進(jìn)行本人本行同名手機(jī)銀行使用聲紋技術(shù)語(yǔ)音識(shí)別與轉(zhuǎn)錄功能的基礎(chǔ)。高性能的聲紋數(shù)據(jù)采集系統(tǒng)則是獲取高質(zhì)量聲紋數(shù)據(jù)的關(guān)鍵，對(duì)提高聲紋識(shí)別的準(zhǔn)確性起著至關(guān)重要的作用。現(xiàn)有的聲紋數(shù)據(jù)采集系統(tǒng)能實(shí)現(xiàn)自適應(yīng)降噪，多基于音素檢索技術(shù)、聲紋識(shí)別技術(shù)及關(guān)鍵詞檢索技術(shù)的聲紋鑒定平臺(tái)，結(jié)合公共安全及司法鑒定領(lǐng)域身份鑒定業(yè)務(wù)需求，提供一套完整的軟硬件一體的解決方案。該方案利用人工智能如某公司“聲紋+”政企服務(wù)解決方案可為政府機(jī)構(gòu)及企業(yè)提供智能可信的遠(yuǎn)程身份認(rèn)證服反向追查能力。依托于清華大學(xué)語(yǔ)音和語(yǔ)言技術(shù)中心及得意音通信息技術(shù)研究院強(qiáng)大的技術(shù)支身份核驗(yàn)。3.5.2游戲防沉迷場(chǎng)景3.5.3智慧醫(yī)療場(chǎng)景和缺乏身份驗(yàn)證。到工業(yè)質(zhì)檢領(lǐng)域。3)水輪機(jī)狀態(tài)監(jiān)測(cè)：水輪機(jī)是水電站中的關(guān)鍵設(shè)備，其運(yùn)行對(duì)周圍環(huán)境造成損害。工業(yè)聲紋技術(shù)可以用于管道泄漏的監(jiān)測(cè)和定位。通過(guò)采集管道沿線的聲隨著技術(shù)的不斷進(jìn)步和市場(chǎng)的日益成熟，工業(yè)聲紋技術(shù)在設(shè)備故障檢測(cè)與預(yù)測(cè)性維護(hù)、安全監(jiān)控與入侵檢測(cè)和工業(yè)自動(dòng)化和智能制造等具體領(lǐng)域場(chǎng)景得到了廣泛的應(yīng)用。通過(guò)對(duì)設(shè)備運(yùn)聲音進(jìn)行語(yǔ)音識(shí)別并將識(shí)別的內(nèi)容與發(fā)出的動(dòng)態(tài)碼數(shù)