人工智能技術(shù) 課件 16NLP自然語(yǔ)言處理、17語(yǔ)音中的噪聲

理處言語(yǔ)然自NLP目錄/Contents0405NLP算法設(shè)計(jì)文本數(shù)據(jù)標(biāo)注管理與質(zhì)量檢驗(yàn)010203語(yǔ)言的形態(tài)中文分詞原理統(tǒng)計(jì)語(yǔ)言模型01語(yǔ)言的形態(tài)NLP（NaturalLanguageProcessing）是人工智能（AI）的一個(gè)子領(lǐng)域語(yǔ)言形態(tài)學(xué)又稱(chēng)“詞匯形態(tài)學(xué)”或“詞法”，是語(yǔ)言學(xué)的一個(gè)分支，研究詞的內(nèi)部結(jié)構(gòu)，包括屈折變化和構(gòu)詞法兩個(gè)部分。由于詞具有語(yǔ)音特征、句法特征和語(yǔ)義特征，形態(tài)學(xué)處于音位學(xué)、句法學(xué)合格語(yǔ)義學(xué)的結(jié)合部位，所以形態(tài)學(xué)是每個(gè)語(yǔ)言學(xué)家都要關(guān)注的一門(mén)學(xué)科。一、語(yǔ)言的形態(tài)分類(lèi)（一）語(yǔ)言的形態(tài)-概念一、語(yǔ)言的形態(tài)分類(lèi)（二）語(yǔ)言的形態(tài)-分類(lèi)1.孤立語(yǔ)2.屈折語(yǔ)3.黏著語(yǔ)4.多式綜合語(yǔ)（三）自然語(yǔ)言與編程語(yǔ)言的區(qū)別1.詞匯量2.結(jié)構(gòu)化3.歧義性4.容錯(cuò)性5.易變性6.簡(jiǎn)略性02中文分詞原理分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過(guò)程。在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能通過(guò)明顯的分界符來(lái)簡(jiǎn)單劃界，唯獨(dú)詞沒(méi)有一個(gè)形式上的分界符，雖然英文也同樣存在短語(yǔ)的劃分問(wèn)題，不過(guò)在詞這一層上，中文比之英文要復(fù)雜得多、困難得多。二、中文分詞原理（一）分詞的概念1.未登錄詞（訓(xùn)練過(guò)程中從未出現(xiàn)過(guò)的詞）的識(shí)別由于個(gè)性化詞匯的存在以及新詞再生能力強(qiáng)，不存在一個(gè)詞表能收錄所有的詞匯，比如“周星是一個(gè)勤奮且有天賦的程序員”，這里的“周星”是個(gè)人名，應(yīng)當(dāng)作為一個(gè)詞，但是很可能計(jì)算機(jī)的詞庫(kù)中沒(méi)有“周星”，因此會(huì)切分成“周/星/是/一個(gè)/勤奮/且/有/天賦/的/程序員”。2.詞的界限沒(méi)有統(tǒng)一標(biāo)準(zhǔn)比如“重慶電子工程職業(yè)學(xué)院”可以看作一個(gè)詞語(yǔ)，也可以看作三個(gè)詞語(yǔ)：“重慶/電子工程/職業(yè)學(xué)院”，因此很多中文詞匯本身存在分詞歧義性。3.切詞產(chǎn)生歧義比如“乒乓球拍賣(mài)完了”可以切分為“乒乓球拍/賣(mài)/完了”或者“乒乓球/拍賣(mài)/完了”，這兩句話(huà)在語(yǔ)法上都邏輯正確，但是需要一定的生活常識(shí)或者聯(lián)系上下文才能斷定到底哪種分詞模式更正確。二、中文分詞原理（二）中文分詞的難點(diǎn)1.機(jī)械分詞法2.基于N-gram的分詞法3.基于隱馬爾可夫模型（HiddenMarkovModel，HMM）的分詞法4.基于條件隨機(jī)場(chǎng)（ConditionalRandomField，CRF）的分詞法5.基于深度學(xué)習(xí)的分詞法二、中文分詞原理（三）常見(jiàn)中文分詞方法在實(shí)際應(yīng)用中，很多工具都提供了現(xiàn)成的中文分詞功能。1.StanfordCoreNLP：是由斯坦福大學(xué)研發(fā)的自然語(yǔ)言處理工具，其中提供了中文分詞接口。2.Hanlp：由大快搜索主導(dǎo)開(kāi)發(fā)，包含了一系列自然語(yǔ)言操作。3.THULAC：由清華大學(xué)研發(fā)的具有中文詞匯分析功能的自然語(yǔ)言處理工具。4.SnowNLP：是用于中文自然語(yǔ)言處理的工具，主要用于分詞、情感分析等。5.Jieba：是一個(gè)專(zhuān)門(mén)針對(duì)中文分詞的應(yīng)用工具，提供了多種分詞模式，包括全模式、精確模式、搜索引擎模式，還可以加入自定義的詞匯以修正分詞效果。全模式會(huì)將語(yǔ)句所有可以組合的詞都分出來(lái)，精確模式只是將語(yǔ)句進(jìn)行正常分詞，而搜索模式則在精確模式的基礎(chǔ)上，對(duì)長(zhǎng)詞再次劃分。二、中文分詞原理（四）常見(jiàn)中文分詞工具03統(tǒng)計(jì)語(yǔ)言模型統(tǒng)計(jì)語(yǔ)言模型是自然語(yǔ)言處理（NaturalLanguageProcessing,NLP）的基礎(chǔ)模型，是從概率統(tǒng)計(jì)角度出發(fā)，解決自然語(yǔ)言上下文相關(guān)的特性的數(shù)學(xué)模型。統(tǒng)計(jì)語(yǔ)言模型的核心就是判斷一個(gè)句子在文本中出現(xiàn)的概率。三、統(tǒng)計(jì)語(yǔ)言模型（一）概念三、統(tǒng)計(jì)語(yǔ)言模型（二）模型三、統(tǒng)計(jì)語(yǔ)言模型（三）參數(shù)計(jì)算04NLP算法設(shè)計(jì)完全切分：完全切分指的是，找出一段文本中所有單詞，無(wú)論這個(gè)詞在這個(gè)句子中是否是一個(gè)詞。樸素的完全切分算法的實(shí)現(xiàn)邏輯，是遍歷文本中所有的連續(xù)序列，并查詢(xún)?cè)撔蛄惺欠翊嬖谟谠~典中。四、NLP算法設(shè)計(jì)（一）切分算法正向最長(zhǎng)正向最大匹配（MaximumMatchMethod，MM法）的基本思想為：假定分詞詞典中的最長(zhǎng)詞有i個(gè)漢字字符，則用被處理文檔的當(dāng)前字串中的前i個(gè)字作為匹配字段，查找字典。若字典中存在這樣的一個(gè)i字詞，則匹配成功，匹配字段被作為一個(gè)詞切分出來(lái)。如果詞典中找不到這樣的一個(gè)i字詞，則匹配失敗，將匹配字段中的最后一個(gè)字去掉，對(duì)剩下的字串重新進(jìn)行匹配處理。如此進(jìn)行下去，直到匹配成功，即切分出一個(gè)詞或剩余字串的長(zhǎng)度為零為止。這樣就完成了一輪匹配，然后取下一個(gè)i字字串進(jìn)行匹配處理，直到文檔被掃描完為止。四、NLP算法設(shè)計(jì)（二）正向最長(zhǎng)正向最大匹配逆向最大匹配（ReverseMaximumMatchMethod，RMM法）的基本原理與MM法相同，不同的是分詞切分的方向與MM法相反。逆向最大匹配法從被處理文檔的末端開(kāi)始匹配掃描，每次取最末端的i個(gè)字符（i為詞典中最長(zhǎng)詞數(shù)）作為匹配字段，若匹配失敗，則去掉匹配字段最前面的一個(gè)字，繼續(xù)匹配。相應(yīng)地，它使用的分詞詞典是逆序詞典，其中的每個(gè)詞條都將按逆序方式存放。四、NLP算法設(shè)計(jì)（三）逆向最長(zhǎng)匹配雙向最大匹配法（Bi-directctionMatchingmethod）是將正向最大匹配法得到的分詞結(jié)果和逆向最大匹配法得到的結(jié)果進(jìn)行比較，然后按照最大匹配原則，選取詞數(shù)切分最少的作為結(jié)果。據(jù)SunM.S.和BenjaminK.T.（1995）的研究表明，中文中90.0%左右的句子，正向最大匹配法和逆向最大匹配法完全重合且正確，只有大概9.0%的句子兩種切分方法得到的結(jié)果不一樣，但其中必有一個(gè)是正確的（歧義檢測(cè)成功），只有不到1.0%的句子，使用正向最大匹配法和逆向最大匹配法的切分雖重合卻是錯(cuò)的，或者正向最大匹配法和逆向最大匹配法切分不同但兩個(gè)都不對(duì)（歧義檢測(cè)失?。?。這正是雙向最大匹配法在實(shí)用中文信息處理系統(tǒng)中得以廣泛使用的原因。四、NLP算法設(shè)計(jì)（四）雙向最長(zhǎng)匹配05文本數(shù)據(jù)標(biāo)注管理與質(zhì)量檢驗(yàn)文本數(shù)據(jù)標(biāo)注分類(lèi)（1）數(shù)據(jù)標(biāo)注定義數(shù)據(jù)標(biāo)注是通過(guò)數(shù)據(jù)加工人員借助類(lèi)似于BasicFinder這樣的標(biāo)記工具，對(duì)人工智能學(xué)習(xí)數(shù)據(jù)進(jìn)行加工的一種行為。通常數(shù)據(jù)標(biāo)注的類(lèi)型包括：圖像標(biāo)注、語(yǔ)音標(biāo)注、文本標(biāo)注、視頻標(biāo)注等種類(lèi)。標(biāo)記的基本形式有：標(biāo)注畫(huà)框、3D畫(huà)框、文本轉(zhuǎn)錄、圖像打點(diǎn)、目標(biāo)物體輪廓線(xiàn)等。文本數(shù)據(jù)標(biāo)注分類(lèi)（2）文本數(shù)據(jù)標(biāo)注主要類(lèi)型情緒標(biāo)注意圖標(biāo)注語(yǔ)義標(biāo)注命名實(shí)體標(biāo)注文本數(shù)據(jù)標(biāo)注分類(lèi)（3）文本數(shù)據(jù)標(biāo)注方法文本分類(lèi)標(biāo)注1、對(duì)文本閱讀后直接判別2、對(duì)文本進(jìn)行關(guān)鍵詞提取文本抽取標(biāo)注對(duì)非結(jié)構(gòu)化的文本內(nèi)容中所需要的信息字段進(jìn)行提取關(guān)鍵點(diǎn)：一定要標(biāo)注正確文本數(shù)據(jù)標(biāo)注分類(lèi)（4）文本數(shù)據(jù)標(biāo)注過(guò)程3、過(guò)程管理：一方面需要進(jìn)行多層的質(zhì)量控制，另一方面需要對(duì)標(biāo)注工具進(jìn)行優(yōu)化，如果是平臺(tái)，就優(yōu)化平臺(tái)使用的流暢度，如果是表格，就根據(jù)標(biāo)注任務(wù)的特征想辦法減少這項(xiàng)標(biāo)注任務(wù)中浪費(fèi)掉的時(shí)間。1、數(shù)據(jù)清洗：先做一個(gè)數(shù)據(jù)庫(kù)，將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中，輸入所需要的內(nèi)容的相關(guān)關(guān)鍵詞詞庫(kù)。例如我要從海量的微博數(shù)據(jù)中查找游戲行業(yè)的微博，我們將現(xiàn)有的所有數(shù)據(jù)導(dǎo)入到數(shù)據(jù)中，再將游戲行業(yè)相關(guān)的關(guān)鍵詞詞庫(kù)輸入，從數(shù)據(jù)庫(kù)中搜索出來(lái)需要的微博段落。然后開(kāi)始人工進(jìn)行標(biāo)注。2、數(shù)據(jù)標(biāo)注：現(xiàn)在我們開(kāi)始進(jìn)行人工標(biāo)注，對(duì)分類(lèi)出來(lái)的語(yǔ)料導(dǎo)出到標(biāo)注平臺(tái)或者excel中，制定標(biāo)注規(guī)則，標(biāo)注員按照規(guī)則對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。文本數(shù)據(jù)標(biāo)注應(yīng)用（1）文本數(shù)據(jù)標(biāo)注平臺(tái)京東眾智百度眾測(cè)figure-eight文本數(shù)據(jù)標(biāo)注應(yīng)用文本的標(biāo)注應(yīng)用的行業(yè)有：客服、輿情、醫(yī)療、教育，應(yīng)用類(lèi)型大概有語(yǔ)義識(shí)別、情緒識(shí)別、實(shí)體識(shí)別、場(chǎng)景識(shí)別、數(shù)據(jù)清洗、應(yīng)答識(shí)別。（2）文本數(shù)據(jù)標(biāo)注應(yīng)用客服行業(yè)的標(biāo)注主要集中在場(chǎng)景識(shí)別和應(yīng)答識(shí)別這兩塊，以國(guó)內(nèi)某知名電商的智能客服機(jī)器人為例。一句話(huà)的在機(jī)器里的經(jīng)歷文本數(shù)據(jù)標(biāo)注應(yīng)用（2）文本數(shù)據(jù)標(biāo)注應(yīng)用在建立這個(gè)應(yīng)答體系的初期，需要對(duì)海量的用戶(hù)咨詢(xún)語(yǔ)料進(jìn)行分類(lèi)，把對(duì)應(yīng)的用戶(hù)咨詢(xún)的問(wèn)題標(biāo)記號(hào)，放進(jìn)對(duì)應(yīng)的模型中（其他應(yīng)答類(lèi)機(jī)器人同理），類(lèi)似于這樣：例舉的語(yǔ)料的分類(lèi)文本數(shù)據(jù)標(biāo)注應(yīng)用（2）文本數(shù)據(jù)標(biāo)注應(yīng)用客服類(lèi)分類(lèi)標(biāo)注舉例標(biāo)注的方式主要有線(xiàn)上平臺(tái)標(biāo)注和線(xiàn)下表格標(biāo)注兩種，根據(jù)企業(yè)自身情況有所不同，以金融行業(yè)某企業(yè)的標(biāo)注的線(xiàn)下表格標(biāo)注內(nèi)容舉例：文本數(shù)據(jù)標(biāo)注應(yīng)用（2）文本數(shù)據(jù)標(biāo)注應(yīng)用醫(yī)療行業(yè)的自然語(yǔ)言處理標(biāo)注醫(yī)療標(biāo)注舉例這樣標(biāo)注的目的在于讓機(jī)器去識(shí)別病歷中的每一個(gè)詞，通過(guò)大量的數(shù)據(jù)標(biāo)注之后機(jī)器能夠認(rèn)識(shí)到一個(gè)詞有哪些屬性，在句子中扮演什么角色，在這個(gè)語(yǔ)境情況下這個(gè)詞扮演什么角色，并且教會(huì)機(jī)器去拆詞，識(shí)別哪些詞是有用的，哪些詞是無(wú)用的。文本數(shù)據(jù)標(biāo)注質(zhì)量標(biāo)準(zhǔn)

多音字標(biāo)注：標(biāo)注全部讀音，包括方言發(fā)音，因此質(zhì)量檢驗(yàn)時(shí)需要借助專(zhuān)業(yè)性工具

語(yǔ)義標(biāo)注：標(biāo)注詞語(yǔ)或句子的寓意，在檢驗(yàn)中分為以下三種情況：針對(duì)單獨(dú)詞語(yǔ)或語(yǔ)句進(jìn)行檢驗(yàn)針對(duì)上下文的情景環(huán)境進(jìn)行檢驗(yàn)針對(duì)語(yǔ)音數(shù)據(jù)中的語(yǔ)音語(yǔ)調(diào)進(jìn)行檢驗(yàn)語(yǔ)義標(biāo)注質(zhì)檢除了借助專(zhuān)業(yè)性工具外，還要對(duì)上下文的情景環(huán)境及語(yǔ)音語(yǔ)調(diào)進(jìn)行理解文本數(shù)據(jù)標(biāo)注質(zhì)量標(biāo)準(zhǔn)保證文本數(shù)據(jù)質(zhì)量1、提升標(biāo)注員素質(zhì)目前的數(shù)據(jù)標(biāo)注行業(yè)仍然是勞動(dòng)密集型行業(yè)，人力在其中扮演者著至關(guān)重要的角色。2、規(guī)范標(biāo)注流程規(guī)范標(biāo)注流程，建立實(shí)時(shí)篩查體系。3、使用高質(zhì)量的標(biāo)注工具AI預(yù)標(biāo)注技術(shù)可以在很大程度上避免純?nèi)斯?biāo)注過(guò)程中出現(xiàn)的各種問(wèn)題，提升標(biāo)注效率與準(zhǔn)確率。文本數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)方法1、實(shí)時(shí)檢驗(yàn)實(shí)時(shí)檢驗(yàn)是現(xiàn)場(chǎng)檢驗(yàn)和流動(dòng)檢驗(yàn)的一種方式，一般安排在數(shù)據(jù)標(biāo)注任務(wù)進(jìn)行過(guò)程中。①實(shí)時(shí)檢驗(yàn)方法的優(yōu)點(diǎn)：能及時(shí)發(fā)現(xiàn)問(wèn)題并解決問(wèn)題能夠有效減少標(biāo)注過(guò)程中重復(fù)錯(cuò)誤的重復(fù)出現(xiàn)能夠保證整體標(biāo)注任務(wù)的流暢性能夠?qū)崟r(shí)掌握數(shù)據(jù)標(biāo)注的任務(wù)進(jìn)度②實(shí)時(shí)檢驗(yàn)方法的缺點(diǎn)：對(duì)人員的配備及管理要求較高一般1質(zhì)檢員負(fù)責(zé)實(shí)時(shí)檢驗(yàn)5~10名標(biāo)注員③檢查內(nèi)容：標(biāo)注員的標(biāo)注方法熟練度準(zhǔn)確度檢查時(shí)間點(diǎn)為標(biāo)注員完成一個(gè)階段的標(biāo)注任務(wù)后（數(shù)據(jù)集分段標(biāo)注）實(shí)時(shí)檢驗(yàn)流程文本數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)方法2、全樣檢驗(yàn)全樣檢驗(yàn)是標(biāo)注任務(wù)交付前必不可少的過(guò)程數(shù)據(jù)標(biāo)注員已完成標(biāo)注數(shù)據(jù)質(zhì)檢員全樣檢查是否合格已合格數(shù)據(jù)集不合格，返工①全樣檢驗(yàn)的優(yōu)點(diǎn)：能夠?qū)?shù)據(jù)集做到無(wú)遺漏檢驗(yàn)可以對(duì)數(shù)據(jù)集進(jìn)行準(zhǔn)確率評(píng)估②全樣檢驗(yàn)的缺點(diǎn)：需要耗費(fèi)大量的人力精力集中進(jìn)行全樣檢驗(yàn)流程文本數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)方法3、抽樣檢驗(yàn)抽樣檢驗(yàn)是產(chǎn)品生產(chǎn)中一種輔助性檢驗(yàn)方法，將抽樣檢驗(yàn)方式進(jìn)行疊加，形成多重抽樣檢驗(yàn)方法。此方法可以輔助實(shí)時(shí)檢驗(yàn)或全樣檢驗(yàn)，具體如下：輔助實(shí)時(shí)檢驗(yàn)適用情況：出現(xiàn)在數(shù)據(jù)標(biāo)注任務(wù)需要采用實(shí)時(shí)檢驗(yàn)，但質(zhì)檢員和標(biāo)注員比例失衡，標(biāo)注員過(guò)多的情況。方法：全樣合格就抽樣（減少50%），抽樣合格就繼續(xù)減少50%，不合格就全樣文本數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)方法輔助全樣檢驗(yàn)使用情況：主要作用是減少全樣檢驗(yàn)中的疏漏方法：全樣合格后，進(jìn)行抽樣，抽樣合格就減半，不合格就加倍。多輪抽樣均不合格，需要重新全樣，多輪抽樣沒(méi)有或只有一輪不合格，就認(rèn)定為合格，僅需改正抽樣發(fā)現(xiàn)的不合格標(biāo)注即可①多重抽樣檢驗(yàn)方法的優(yōu)點(diǎn)：能合理調(diào)配質(zhì)檢員的工作重心有效地彌補(bǔ)其他檢驗(yàn)方法的疏漏提高數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)的正確性②多重抽樣加納方法的缺點(diǎn)：只能輔助其他檢驗(yàn)方法，如果單獨(dú)實(shí)施，會(huì)出現(xiàn)疏漏聽(tīng)聆謝謝的中音語(yǔ)噪聲目錄概述語(yǔ)音特性及噪聲特性噪聲處理技術(shù)content010203代碼案例04概述01概述（1）語(yǔ)音即語(yǔ)言的物質(zhì)外殼，是語(yǔ)言的外部形式，是最直接地記錄人的思維活動(dòng)的符號(hào)體系。語(yǔ)音作為一種搭載著特定的信息模擬信號(hào)，已成為人們社會(huì)生活中獲取信息和傳播信息的重要的手段。概述（2）語(yǔ)音信號(hào)

語(yǔ)音信號(hào)產(chǎn)生的時(shí)域模型語(yǔ)音信號(hào)的數(shù)字模型由三個(gè)部分組成：激勵(lì)模型、聲道模型、輻射模型。激勵(lì)模型：發(fā)濁音時(shí)聲帶的不斷開(kāi)啟和關(guān)閉將產(chǎn)生間歇的脈沖波。聲道模型：聲道部分的數(shù)學(xué)模型目前有兩種觀點(diǎn)，一種是將聲道視為多個(gè)不同截面積的管子串聯(lián)而形成的系統(tǒng)，即“聲管模型”，另一種是將聲道視為一個(gè)諧振腔，即“共振峰模型”。輻射模型：輻射模型表征口和唇的輻射效應(yīng)和圓形頭部的繞射效應(yīng)。概述語(yǔ)音信號(hào)作為信息的最普遍最直接的表達(dá)方式，在許多領(lǐng)域具有廣泛的應(yīng)用前景?，F(xiàn)實(shí)生活中的語(yǔ)音不可避免的要受到環(huán)境的影響，隨即產(chǎn)生噪聲。噪聲是指一切干擾正常信號(hào)特征的信號(hào)，即信號(hào)中不需要的特征。（3）語(yǔ)音噪聲語(yǔ)音特性及噪聲特性02語(yǔ)音特性及噪聲特性（1）語(yǔ)音特性語(yǔ)音信號(hào)是一種非平穩(wěn)的隨機(jī)信號(hào)。任何語(yǔ)言的語(yǔ)音都有元音和輔音兩種音素，根據(jù)發(fā)音機(jī)理的不同，輔音又可以分為清輔音和濁輔音。語(yǔ)音信號(hào)，作為非平穩(wěn)、非遍歷隨機(jī)過(guò)程的樣本函數(shù)，其短時(shí)譜的統(tǒng)計(jì)特性在語(yǔ)音增強(qiáng)中又有著舉足輕重的作用（據(jù)中心極限定理，語(yǔ)音的短時(shí)譜的統(tǒng)計(jì)特性服從高斯分布)。（2）語(yǔ)音噪聲特性及分類(lèi)噪聲統(tǒng)計(jì)特性隨時(shí)間變化的程度緩變?cè)肼暺椒€(wěn)噪聲寬帶噪聲噪聲對(duì)語(yǔ)音頻譜的干擾方式加性噪聲乘性噪聲語(yǔ)音特性及噪聲特性對(duì)噪聲進(jìn)行劃分的標(biāo)準(zhǔn)很多，各種分類(lèi)方法分析角度不同，介紹一下下面兩種分類(lèi)方法：語(yǔ)音特性及噪聲特性（2）語(yǔ)音噪聲特性及分類(lèi)根據(jù)噪聲統(tǒng)計(jì)特性隨時(shí)間變化的程度：緩變?cè)肼暿窃趯?shí)際場(chǎng)合經(jīng)常遇到的噪聲，這種噪聲的統(tǒng)計(jì)特性會(huì)隨時(shí)間緩慢變化。人群噪聲是典型的緩變?cè)肼?。平穩(wěn)噪聲平穩(wěn)噪聲是指噪聲的統(tǒng)計(jì)特性不隨時(shí)間發(fā)生變化。由于噪聲源的復(fù)雜性，在日常生活中所遇到的噪聲大多不是平穩(wěn)的，但對(duì)平穩(wěn)噪聲的研究確是重要的基礎(chǔ)。沖擊噪聲呈突發(fā)狀，常由外界因素引起；其噪聲幅度可能相當(dāng)大，無(wú)法靠提高信噪比來(lái)避免，是傳輸中的主要差錯(cuò)。語(yǔ)音特性及噪聲特性（2）語(yǔ)音噪聲特性及分類(lèi)根據(jù)噪聲對(duì)語(yǔ)音頻譜的干擾方式：加性噪聲：當(dāng)噪聲對(duì)語(yǔ)音的千擾表現(xiàn)為兩者信號(hào)在時(shí)域進(jìn)行相加時(shí)該噪聲被稱(chēng)為加性噪聲，顯然噪聲和語(yǔ)音在頻域也為相加關(guān)系。例：沖激噪聲、周期噪聲、寬帶噪聲、語(yǔ)音干擾乘性噪聲：乘性噪聲是指噪聲和語(yǔ)音在頻譜是相乘的關(guān)系在時(shí)域和語(yǔ)音則是卷積的關(guān)系。例殘響及傳輸網(wǎng)絡(luò)的電路噪聲（非加性噪聲往往可以通過(guò)某種變換，如同態(tài)濾波，轉(zhuǎn)為加性噪聲)語(yǔ)音特性及噪聲特性（3）語(yǔ)音信號(hào)與噪音信號(hào)的區(qū)別噪聲處理技術(shù)03噪聲處理技術(shù)（1）語(yǔ)音增強(qiáng)通過(guò)語(yǔ)音增強(qiáng)技術(shù)來(lái)改善語(yǔ)音質(zhì)量的過(guò)程：語(yǔ)音增強(qiáng)的主要目的是從帶噪的語(yǔ)音信號(hào)中盡可能地恢復(fù)出純凈的語(yǔ)音信號(hào)。主要介紹下面兩種增強(qiáng)方法：減譜法Weiner濾波法噪聲處理技術(shù)（1）語(yǔ)音增強(qiáng)減譜法(SS)語(yǔ)音增強(qiáng)技術(shù)減譜法是處理寬帶噪聲較為傳統(tǒng)和有效的方法。其基本思想是在假定加性噪聲與短時(shí)平穩(wěn)的語(yǔ)音信號(hào)相互獨(dú)立的條件下，從帶噪語(yǔ)音的功率譜中減去噪聲功率譜，從而得到較為純凈的語(yǔ)音頻譜。如果設(shè)是s(t)為純凈語(yǔ)音信號(hào)，n(t)為噪聲信號(hào)，y(t)為帶噪語(yǔ)音信號(hào)，則有：

用Y(ω)、S(ω)、N(ω)分別表示y(t)、s(t)、n(t)的傅里葉變換,則可得：

由于假定語(yǔ)音信號(hào)與加性噪聲是相互獨(dú)立的，因此有：

因此，如果用Py(ω)、Ps(ω)、Pn(ω)分別表示y(t)、s(t)、n(t)的功率譜，則有：

而由于平穩(wěn)噪聲的功率譜在發(fā)聲前和發(fā)聲期間可以認(rèn)為基本沒(méi)有變化，這樣可以通過(guò)發(fā)聲前的所謂的“寂靜段”(認(rèn)為在這一段里沒(méi)有語(yǔ)音只有噪聲)來(lái)估計(jì)噪聲的功率譜Pn(ω)，從而有：

噪聲處理技術(shù)（1）語(yǔ)音增強(qiáng)

減譜法語(yǔ)音增強(qiáng)技術(shù)的基本原理圖如圖所示：圖中所示的頻域處理過(guò)程中只考慮了功率譜的變換，而最后IFFT(快速傅里葉反變換)需要借助相位譜來(lái)恢復(fù)降噪后的語(yǔ)音時(shí)域信號(hào)。依據(jù)人耳對(duì)相位變化不敏感這一特點(diǎn)，這時(shí)可用原帶噪聲語(yǔ)音信號(hào)的相位譜來(lái)代替估計(jì)之后的語(yǔ)音信號(hào)y(t)的相位譜來(lái)恢復(fù)降噪后的語(yǔ)音時(shí)域信號(hào)。噪聲處理技術(shù)（1）語(yǔ)音增強(qiáng)本質(zhì)是使估計(jì)誤差（定義為期望響應(yīng)與濾波器實(shí)際輸出之差）均方值最小化。Weiner濾波法（1）有限長(zhǎng)濾波器

對(duì)于一列輸入信號(hào)x，一般的無(wú)限長(zhǎng)線(xiàn)性濾波器輸出為：y(n)=Σh(m)x(n-m)m=0…?實(shí)際中，濾波器的長(zhǎng)度，即階數(shù)是有限長(zhǎng)的，設(shè)為M，則有：y(n)=Σh(m)x(n-m)m=0…M即濾波器的當(dāng)前時(shí)刻輸出為前M個(gè)時(shí)刻的值經(jīng)過(guò)加權(quán)之后得到的。

為便于書(shū)寫(xiě)與理解，上式可以寫(xiě)為矩陣形式：y(n)=H(m)*X(n)如果期望信號(hào)d已知，則可以計(jì)算輸出與期望信號(hào)之間的誤差：e(n)=d(n)-y(n)=d(n)-H(m)*X(n)m=0…MWiener濾波的目標(biāo)就是，如何確定一個(gè)長(zhǎng)為M的系數(shù)序列H，使得上述誤差值最小。算法原理：噪聲處理技術(shù)（1）語(yǔ)音增強(qiáng)（2）最小均方誤差濾波

根據(jù)目標(biāo)函數(shù)的不同，又可以將濾波算法細(xì)分為不同的類(lèi)別，一般來(lái)說(shuō)有最小均方誤差，最小二乘誤差等等，這里只討論最小均方誤差。

令目標(biāo)函數(shù)為：MinE[e(n)^2]=E[(d(n)-H(m)*X(n))^2]當(dāng)濾波器的系數(shù)最優(yōu)時(shí)，目標(biāo)函數(shù)對(duì)系數(shù)的倒數(shù)應(yīng)該為0，即：dE[e(n)^2]/dH=02E[(d(n)-H(m)X(n))]

X(n)=0E[(d(n)X(n))-H(m)E[X(n)X(n)]=0根據(jù)隨機(jī)過(guò)程的知識(shí)，上式可以表達(dá)為：Rxd-H*Rxx=0其中Rxd與Rxx分別為輸入信號(hào)與期望信號(hào)的相關(guān)矩陣與輸入信號(hào)的自相關(guān)矩陣。

從而有：H=Rxx-1*Rxd噪聲處理技術(shù)（2）特征補(bǔ)償技術(shù)主要通過(guò)信號(hào)的統(tǒng)計(jì)特性將帶噪語(yǔ)音特征參數(shù)中的噪聲部分去除，消除噪聲影響，得到干凈的語(yǔ)音特征參數(shù)以進(jìn)行語(yǔ)音系統(tǒng)處理。該方法包括CDCN、SDCN