《通信聲學(xué)》報告

1、通信聲學(xué)本份匯報詳細講述第一章，第四章內(nèi)容，二三章屬于學(xué)過的內(nèi)容，不重點概述，第五章及其之后的章節(jié)對內(nèi)容進行概括，并挑選重點理解的部分進行說明。第一章 聽覺場景的分析和合成所謂分析：在某種聲場景下，對場景內(nèi)的聲音進行分析和評價所謂合成：通過計算和分析，對聲場景進行模擬1.1引言1.歷史回顧上世紀聲學(xué)發(fā)展迅速，隨著計算機迅速發(fā)展，促進了聲學(xué)的前進，數(shù)字信號處理已經(jīng)成為了通信聲學(xué)中不可或缺的部分，許多聲學(xué)技術(shù)圍繞現(xiàn)代技術(shù)繼續(xù)前行，可以預(yù)見，未來通信系統(tǒng)將會包含越來越多的內(nèi)置智能和知識。2.通信經(jīng)典范例：雙耳技術(shù)通信傳輸系統(tǒng)結(jié)構(gòu)：信息源->編碼器->傳輸通道->解碼器->接受

2、信號聲學(xué)傳輸重要的一點是：聲信號發(fā)送接受，在兩種場合下的聽覺感知要彼此一直，在這點上，最嚴格的任務(wù)是真實再現(xiàn)。體現(xiàn)真實再現(xiàn)的可行方法：雙耳技術(shù)雙耳技術(shù)：在收聽雙耳入口，真實再現(xiàn)聲音信號。輸入信號從真人的耳道拾取，用耳機完成回放。3.經(jīng)典傳輸連的分離將經(jīng)典傳輸分為了兩個部分，分別是：兩者級聯(lián)成為一個傳輸系統(tǒng)AVE聽覺虛擬環(huán)境系統(tǒng) ASA聽覺場景分析系統(tǒng)1.2聽覺場景分析ASA雙耳信號處理模型外耳模塊獲取信號輸入，通過中耳模塊帶通濾波，送到內(nèi)耳模型進行信號處理，輸出信號反饋到雙耳接受信號模塊中，分析內(nèi)耳之間到達的時間差別和聲級差，最總得到三維時變輸出，被稱為是雙耳活性圖。舉例2個1.質(zhì)量的識別和評

3、價音樂演奏廳中記錄的雙耳房間響應(yīng)，輸入到上述模型，得到人工頭耳中的直達聲和個別反射聲，分析這些圖可以預(yù)測該音樂廳的質(zhì)量。故雙耳活性圖能夠作為系統(tǒng)的聽覺質(zhì)量評價和估計的基礎(chǔ)。質(zhì)量判斷是從一組公認的和可以命名的特征開始，然后與參考組的特征作比較。2.雞尾酒會處理得到兩個同時發(fā)音者的雙耳活性圖，進行分析圖中的高度和峰值表示兩個發(fā)音者中，每一個激活的空間，時間，頻譜位置。用適當?shù)臑V波算法處理這些信息，能夠增強想聽的發(fā)音人的信號，并抑制不想聽的發(fā)音人的信號。在圖中不想聽的發(fā)音人激活的區(qū)域顏色發(fā)暗。顯然，這種信號處理的 有效性取決于如何可靠的辨認想聽的發(fā)音人的激活點。只要處理的發(fā)音者有限，在無回聲而且是較

4、低的干擾噪聲條件下，雞尾酒會處理器是很有效果的。在混響大量的場景中，就會出現(xiàn)問題，對于辨別發(fā)音者有一定困難。建立在雙耳活性圖基礎(chǔ)之上的聽覺場景分析的應(yīng)用分別是：1.聲品質(zhì)的評價2.同時發(fā)音者的分離1.3聽覺場景的合成AVE 聽覺虛擬環(huán)境聽覺虛擬環(huán)境與通常的虛擬環(huán)境一樣是人工的，有計算機產(chǎn)生，只停留在場景的參數(shù)表示上。虛擬環(huán)境 有諸多應(yīng)用，先做一些簡單介紹1.雙耳房間模擬從待建?？臻g的幾何描述開始，包括 具有不同吸收系數(shù)的所有周圍的表面，以及聲源的位置和方向特性，聲場模擬確定了虛擬聲源的層次，按照從收聽者位置所看到的來描述聲場，然后，這些虛擬聲源所產(chǎn)生的沖激響應(yīng)，再按規(guī)定的方向用收聽者耳朵的沖激

5、響應(yīng)加權(quán)，該響應(yīng)預(yù)先已經(jīng)測量，這樣最后得到一組雙耳沖擊響應(yīng)，在依次和沒有回波的語音或者音樂卷積，所得到的信號再送到收聽者的耳中。2.虛擬環(huán)境發(fā)生AVE發(fā)生器的結(jié)構(gòu)由于交互作用的要求，發(fā)生器系統(tǒng)的結(jié)構(gòu)和靜態(tài)模擬系統(tǒng)的結(jié)構(gòu)不同，現(xiàn)在目標是要產(chǎn)生感覺似真的場景，體現(xiàn)交互作用真實性感覺。從上面的發(fā)生器結(jié)構(gòu)可以看到，發(fā)生器已經(jīng)變成多模態(tài)的，觸覺，視覺和身體感覺的信息最終于聽覺結(jié)合在了一起。聽-觸只是其中一部分雙模型例子。核心是外界的模型，具有數(shù)據(jù)庫的作用。外界模型的 一個層面成為應(yīng)用，列出很多規(guī)則，用來調(diào)節(jié)虛擬目標相對于試圖的特殊應(yīng)用之間的相互作用。控制層收集在交互作用中使用虛擬環(huán)境系統(tǒng)的被實驗者的反應(yīng)

6、，促使系統(tǒng)做出適當?shù)捻憫?yīng)。用戶的頭，手等被連續(xù)監(jiān)視，這些能夠影響虛擬環(huán)境，影響有關(guān)的聲源。信號最后通過參與其被反饋給被實驗者，產(chǎn)生這些信號的那些系統(tǒng)部件被稱為執(zhí)行器，聽覺執(zhí)行器最重要的部件就是聲場模型，是基于雙耳房間模擬原理而產(chǎn)生的一組雙耳沖擊性響應(yīng)。1.4討論和總結(jié)ASA和AVE需要變得越來越智能化，增加內(nèi)置系統(tǒng)智能成為一種趨勢。第二章 聽覺通信進化中的適應(yīng)性2.2 發(fā)送器的適應(yīng)性動物會根據(jù)周圍聲學(xué)環(huán)境調(diào)節(jié)自己的信號輸出方式，這就是一種適應(yīng)性。2.3 處理傳輸通道的特性信號在傳輸?shù)浇邮盏倪^程中就有一些變化，但是信號仍然可以被識別，這些變化反過來又能使接收器用來估計信號的傳輸距離。2.4 接收

7、器的適應(yīng)性在接收器的聽覺系統(tǒng)中，應(yīng)聲學(xué)環(huán)境要求進行匹配，發(fā)展共性，這就是一種適應(yīng)性。典型的適應(yīng)例子1.聽覺非線性的增益控制機制聽覺系統(tǒng)必須分析的聲音幅度范圍可以超過6個幅度量級，倘若動態(tài)范圍有限，為了使機械刺激感受器細胞表現(xiàn)這種幅度上的變化成為可能，聽覺器官逐漸形成非線性轉(zhuǎn)換機制和增益控制的主動機制。2.頻率選擇性動物聽覺系統(tǒng)從內(nèi)耳開始就有選擇的處理聲音中的不同頻率成分，這種能力用一組帶通濾波器表示，也就是聽覺濾波器，他們構(gòu)成了聽覺系統(tǒng)。根據(jù)聲信號的頻率，在耳蝸的規(guī)定位置表現(xiàn)出最大的震動幅度和速度，不僅增加了靈敏度，而且也使得頻率選擇性的尖銳化。3.聲音定位接收器受益于能夠精確測定聲源的位置，

8、定位能力不僅包括聽到信號的發(fā)送器方向，還包括他的距離，很多動物都面臨聲音定位問題，因為物種的頭部較小，用來通信的聲音波長比他們頭的直徑大得多，在定位的過程中有兩類線索，一類是耳間時間差，一類是耳間強度差。2.5 聽覺場景分析吧每種聲源的聲音分類為一種知覺對象的任務(wù)，聽覺流指的是一個特定聲源發(fā)出的聲音，把特定聲源分析出來，并對同類聲源做出適當?shù)捻憫?yīng)，就是聽覺場景分析。第三章 人類外圍聽覺器官的功能性觀察聲音信號處理總是從人頭的外部開始，外部聲場必須耦合到聲道，兩個耳道和聲源的相對位置，導(dǎo)致了耦合強烈的依賴于頻率，其中不包括低于幾百赫茲的低頻，在其中，耳廓和頭部都齊了重要作用，這種線性濾波通常使用

9、傳輸函數(shù)HRTF來描述。聽覺器官結(jié)構(gòu)復(fù)雜，傳聲有著自己獨特的方式。3.2 耳蝸3.3 耳道和中耳3.4 到耳蝸的直接骨傳導(dǎo)都是關(guān)于人耳的介紹內(nèi)容，不做詳細總結(jié)第四章 雙耳聽覺的建模模擬雙耳聽覺，存在幾種模型：1.詳細模擬神經(jīng)細胞的特性2.面向心理學(xué)，精確模擬聽覺通道雙耳定位模型，必要條件：1.必須知道由聽覺系統(tǒng)分析的空間線索2.開發(fā)至少模擬一種空間線索的聽覺分析算法3.確定一種從空間線索分析結(jié)果中估計聲源位置的方法4,2 人的雙耳線索分析早期雙耳聽覺基本定律：從單聲源發(fā)射聲波到達時間，由于到達兩只耳朵的不同路徑長度，通常在左右耳膜上不會嚴格相同，這種左右耳之間到達時間差，成為耳間時間差I(lǐng)TD，

10、兩耳之間頭的存在不僅決定了行進的聲波必須迂回，而且也引起聲波在耳膜對側(cè)的衰減，導(dǎo)致兩耳信號的耳間聲級差I(lǐng)LD，在低頻范圍ITD是主要線索，在高頻是，ILD是主要線索。他們可以通過信號包絡(luò)起伏來評價用ITD和ILD組合估計聲源位置：我們的聽覺系統(tǒng)對整個頻率范圍內(nèi)的ITD都一樣靈敏，對于長時間周期，假設(shè)在聽覺系統(tǒng)中ITD和ILD是被分開估計的，兩者被估計的位置并不相同，聽覺事件經(jīng)常包含使用兩者線索位置之間的中途結(jié)果，導(dǎo)致進入相反的方向并相互補償。在描述聽覺系統(tǒng)執(zhí)行解碼過程以前，ITD對于確定聲源的左右偏側(cè)性，仍然是可靠的線索。4,3 雙耳線索的計算分析1.外圍聽覺系統(tǒng)的模擬各級定位模型的通用結(jié)構(gòu)表

11、示：信號由模擬外耳，中耳，內(nèi)耳等聽覺外圍的處理級來處理外耳用HRTF對信號濾波來模擬中耳用不均勻的帶通濾波器來模擬濾波器的形狀對于處理雙耳任務(wù)和單耳任務(wù)相比，要有不同的選擇。比方在雙耳任務(wù)中，要考慮模擬毛細胞特性，對毛細胞功能要做更為詳細的模擬聽覺外圍的所有原件包含在模擬算法中，并不能嚴格分開，在算法中，使用心理學(xué)聲學(xué)方法所得到的只是聽覺系統(tǒng)對耳信號的整體響應(yīng)，生理學(xué)的方法允許在聽覺通路上任何位置做測量，設(shè)計出心理聲學(xué)模型，可以模擬毛細胞群體，得到雙耳參數(shù)，進行定位模擬。2.耳間時間差Jeffress算法：模型包括兩條延遲線，一條到達左耳的信號，另一條到達右耳的信號，他們和一些耦合檢測器連接，

12、延遲線離散實現(xiàn)描述如下：當從兩個連接位置的延遲線上同時接受到輸入時，一個耦合檢測器被激活，由于信號在延遲線上傳播的速度有限，每一個耦合檢測器 被調(diào)整到不同的IDT，在兩者激發(fā)相應(yīng)的耦合檢測器之前，左耳信號在延遲線上比右耳的信號將行進較大的距離。問題：沒有明確規(guī)定兩個脈沖尖峰如何重合，為了達到這個目的，假定許多調(diào)諧到同一ITD的耦合檢測器細胞是存在的，來自相反通道的兩組脈沖激發(fā)一個確定的重合細胞概率，由這些左右通道里脈沖數(shù)目的乘積給出。Sayers&Cherry 算法：使用耳間互相關(guān)ICC確定ITD相反通道的兩組脈沖，當他們相互通過延遲線時總是會重合的，此時重合函數(shù)的輸出不是每一延遲時間

13、在左右通道中幅度的乘積，而是這兩個幅度的最小值，圖中顯示這種算法的輸出特性，與互相關(guān)算法的輸出特性非常相似，只在頂部的峰值稍微略窄。假設(shè)兩種脈沖在他們重合以后應(yīng)該抵消，在左右耳通道中的信號要預(yù)先壓縮幅度。現(xiàn)今預(yù)測：ITD并不是由類似細胞陣列中相應(yīng)細胞的激發(fā)峰值確定，可能是兩組協(xié)調(diào)到度數(shù)范圍內(nèi)耳間相位 移的細胞群體間的比值。問題：不能證明這種生定位模型在哺乳動物中怎樣分析ITD為更好描述。3.耳間聲級差計算方式：4.單耳線索單耳線索模型：所有頻帶上的功率相比較，無論信號是從前面表現(xiàn)還是從上面表現(xiàn)或者后面，都做一次邏輯判斷，為了估計的單耳線索，收聽者使用聲音的內(nèi)部表示。耳信號和這種內(nèi)部表示作比較。

14、4.4 判決過程，需要模擬偏差，幫助探索聽覺系統(tǒng)工作1.偏側(cè)性模型通常感覺到有些聲音在頭內(nèi)部的耳間軸線上離頭中心有一段距離處，這個距離是偏側(cè)性，通常是用間隔或者比例標度測量模型一：Stern&Colburn可變位置模型從不同線索的ITD和ILD中集成信息模型二：Lindemann模型時間圖像是由 互相關(guān)曲線的峰值位置確定的，而強度圖像是由單耳處理器的貢獻確定的。2.加權(quán)函數(shù)之所以需要加權(quán)函數(shù)是因為，在確定聲源的時候，需要一種適當?shù)念~方式來把所有分析線索信息結(jié)合起來，所以這里普通的方法是通過時間和頻率加權(quán)不同的信息加權(quán)函數(shù)表示：除此之外還有組合頻率加權(quán)和內(nèi)部延遲加權(quán)的加權(quán)方法，各有不同的

15、表示方式。3.定位模型針對在自由聲場中的信號做優(yōu)化。在自由場中，聽覺事件被認為是來自三維空間的感覺。ITD和ILD的水平角的頻率依賴關(guān)系能夠從HRTF的樣本確定。有時候基于ITD的分析不能夠顯示聲音是來自前半球還是后半球，如果在分析中考慮的是三維空間，那么ILD線索必須處理。如果只是用ITD和ILD在幾個頻帶中的組合來確定生源位置具有困難。每個符合LINDEMAN模型的細胞，按照在HRTF中找到的不同入射角和頻率，調(diào)諧到ITD和ILD 的自然組合。在這種方法中，當兩個延遲線"相應(yīng)的"偶合檢測器相遇時，信號的ILD 正好抵消。為了能夠在不同的方向補償ILD ，補償因子必須在每

16、兩個符合檢測器之間實現(xiàn)。最后， ITD必須簡單的在方位基礎(chǔ)上重新畫出，以便估計聲源的方位角。定位模型的這些形式是分析lTD 和ILD 兩者，然后使用兩種方法，或者在合成算法中處理兩種線索，或者先獨立估計兩種線索，然后把結(jié)果組合起來，以便仙計聲源的位置。4.5檢測算法檢測的是目標聲音，使用很多模型主要介紹EC 模型1包含目標信號和掩蔽這是通過聽覺帶通濾波器送入，2在左右通道中，有各種不同給的參數(shù)和因子，3用增益因子A吧掩蔽噪聲的幅度調(diào)整到相同的值，為通道做均衡4一個通道從另一個通道減去，做消除，一邊消除噪聲5決定信號檢測或不檢測的判決期間是按照最有檢測器實現(xiàn)的，根據(jù)信號檢測理論設(shè)計的4.6 多聲

17、源場景下的定位有一些雙耳定位模型，是在干擾聲源存在的情況下，專門用來定位測試聲音的。貝葉斯分類器模型：加權(quán)線索，在非連續(xù)聲源存在的情況下去模擬聲源的定位 雞尾酒會處理器：聲源的位置信息是用于將他們互相分開，全部都是普通的信號驅(qū)動，由底層向上的方法。第五章 試聽交互作用本章內(nèi)容揭示了視覺和聽覺相交的背景下的一些研究成果如何集征聽覺和視覺的線索是本章的問題所在在視覺和聽覺都同時存在或者在速率，位置上表現(xiàn) 不同，有相互干擾的嫌疑的時候，被試得到的結(jié)果既不是視覺上的也不是聽覺上的，故聽覺神經(jīng)和視覺神經(jīng)是交互作用的特殊模態(tài)。這種刺激組合數(shù)目更多的話上升為多感官刺激，不去考慮矛盾的信息，感覺并不能分開在每

18、種模態(tài)下的孤立的感覺，而替代的是改變了之后的矛盾特征。我認為這種組合是讓音頻和視頻在三維上有了聯(lián)系.在處理聽視覺注意力的問題的時候，分為兩類問題，一類是必須對刺激做出超速反應(yīng)，結(jié)果是處理聽覺和視覺刺激的注意力資源不是完全獨立的。另一類問題是同一感覺模態(tài)下和不同感覺模態(tài)下發(fā)生的刺激，結(jié)果是在一種模態(tài)下對一種刺激的識別，并不損傷識別另外模態(tài)中協(xié)同刺激的能力在語音信號中包含了直接信息，相對比視覺來說和聽覺同時具有信息的時候，如果在空間進行了對齊，那么語音可懂度有上升，就好比口技的例子。如果兩者在空間上分開，那么語音可懂度就有了不同程度的改善。這說明兩者之間有了信息的交互作用，對于質(zhì)量評價，可以發(fā)現(xiàn)音

19、頻損傷的接受程度低，相比視頻損傷來說。音頻質(zhì)量和視頻質(zhì)量如何進行測量評價，經(jīng)過試驗刺激，被試連續(xù)計分制，對自己的總體質(zhì)量評分，發(fā)現(xiàn)，從最高視頻質(zhì)量到最低視頻質(zhì)量，總質(zhì)量的改變，大體上和從最高音頻質(zhì)量到最低音頻質(zhì)量，所引起的質(zhì)量改變相同，得到的結(jié)論是：在視頻中，比特率降低到2.3Mbit/s所降低的質(zhì)量，大體上和三個HIFI揚聲器替換低質(zhì)量的TV揚聲器所增加的質(zhì)量相同。音視頻質(zhì)量相互之間如何交互？在判斷音頻質(zhì)量時，視頻質(zhì)量影響強大，與整體質(zhì)量相關(guān)0.9，而音頻和總質(zhì)量相關(guān)只有0.35，使用質(zhì)量降低比較嚴重的視頻，音頻的感覺質(zhì)量也會降低。當視頻不存在時，音頻的感覺質(zhì)量總比視頻時判斷要低一些。經(jīng)過不

20、同實驗說明，可以確定的是聽視覺肯定有相互影響。第六章 心理聲學(xué)和聲品質(zhì)心理聲學(xué)的方法我們在上學(xué)期課程中討論了許多，這本書中對心理聲學(xué)模型，評價有了一些介紹和比較從方法到建模到品質(zhì)評價一次進行總結(jié)心理物理方法這里介紹了4中，分別是隨機排序，語義差別，類別劃分，幅度估計我挑選其中幾個模型進行詳細概述，并結(jié)合所學(xué)提出自己的看法在語義差別中，使用形容詞來描述聲音，在這里需要注意的問題是，如何選擇合適的形容詞。在很多時候語音差別就體現(xiàn)在語義上，如果語義 不準確不合適，可能會導(dǎo)致結(jié)果相差很遠。在類別劃分中，將評價級別分為5-7度，有時在每一季中再細分10個類別，在這里需要注意的問題是，如何對級別進行程度描

21、述，如果程度描述的語言不準確或者不合適，會導(dǎo)致評價結(jié)果偏離，并且在細分類別的時候會增加工作量，如何做到既快又準是需要重點考慮的額問題。對聲音不同性質(zhì)進行了模型的建立，避免在估計的時候耗費時間，響度模型：Zwicker模型尖銳度模型：通過聲音響度模式，來估計尖銳度粗糙度模型：通過聲音的時間掩蔽模式來描述起伏強度模型：輸入和粗糙度一直，調(diào)制頻率有些許不同（4KHz附近）綜合度量模型：煩惱評價公式聲品質(zhì)：個人認為聲品質(zhì)是從很多方面共同評價聲音，如果聲音本身就有了意義對聲品質(zhì)的判斷就有了影響，這樣的判斷結(jié)果可能會因為不同的文化背景而不同。從這個角度出發(fā)，不難看出，聲音的品質(zhì)某種程度上可以推向品牌形象。

22、典型案例：汽車關(guān)門聲實驗第七章 人-機器語音傳輸?shù)馁|(zhì)量本章：1.人人電話通信；2.人與電話語音技術(shù)的交互電話網(wǎng)絡(luò)通道質(zhì)量是由每一個部件組成的，這是一個綜合的結(jié)果、。如果分別進行評價不符實際的話，我們建立了標準的結(jié)構(gòu)，體現(xiàn)傳輸通道中許多使得質(zhì)量下降的因素。方法根據(jù)個路徑對語音或者噪聲響度的影響，借助加權(quán)量值，對路徑描述。評價質(zhì)量分為兩個方向，一個是服務(wù)提供者的觀點，另一個是用戶的觀點，服務(wù)質(zhì)量分三種，1.語音通信因素2.服務(wù)因素3.情況因素人機交互的評價方法也分類，在人人電話通信分類基礎(chǔ)之上，考慮到背景因素質(zhì)量預(yù)測模型，考慮五中準則，準則不再細述，目的是為了描述系統(tǒng)信號或者參數(shù)·，提取

23、質(zhì)量特征，應(yīng)該說這兩種平價引入一種分類，幫助驗證質(zhì)量·狀況，第八章 給聲音賦予意義-產(chǎn)品聲音設(shè)計背景下的符號學(xué)每一種聲音被認為是一種符號載體,符號如果發(fā)送了信息，則需要通過學(xué)習(xí)，畢竟聲音的形式和符號本身之間的關(guān)系不能確定，符號學(xué)，目的在于驗證從元素和組合規(guī)則去構(gòu)件結(jié)構(gòu)過程的基本原理，總是想要一個穩(wěn)定且有限制的類推，來處理各種不同領(lǐng)域的集合。設(shè)計的產(chǎn)品是一種工具，目的是在被使用的時候激發(fā)某種感覺，和目標。聲學(xué)設(shè)計是要支持到達這個目的，是產(chǎn)生支持產(chǎn)品質(zhì)量印象的一種工具。產(chǎn)品感覺的聲音是一個符號載體，引起對產(chǎn)品的的想象，聲音是支持產(chǎn)品的，從這個角度出發(fā)，在設(shè)計過程中，考慮符號的意義和功能，

24、收聽者的思維模式等，在此之后建立參考評價，符號學(xué)在此過程中扮演主要角色。第九章 雙耳技巧-錄音，合成，和再現(xiàn)的基本方法雙耳錄音人工頭錄音聲音傳輸模型：分為依賴于方向和不依賴于方向部分，為了再現(xiàn)情況的相似模型是用來確定完整的錄音和回放鏈的正確校準如果錄音和耳機傳輸函數(shù)的確定針對并不是同一個人，則應(yīng)當考慮到個體差異性，HRTF函數(shù)有明顯差別。雙耳錄音真實再現(xiàn)，對耳機的傳輸函數(shù)有不同要求，大部分是HIFI型，但是并不具有真實再現(xiàn)所要求的平坦頻率響應(yīng)，通過壓力分配，耳機均衡等對耳機進行補償，達到想要的效果，人工頭錄音實現(xiàn)了對人頭的模擬，但是只是在原理上表現(xiàn)了平均的或者典型的收聽者，也不能很好的表示真人

25、的HRTF，在某些情況下，人工頭偏離平均的或者典型的結(jié)構(gòu)是相當大的。對于HRTF測量：在房間中放入少數(shù)揚聲器，吧圍繞在被試周圍所需的設(shè)備減到最小，在測量過程中，使檢測器更靠近被試，用于計算HRTF的測量，已經(jīng)使用限制較低頻率的設(shè)備來實現(xiàn)。當收聽這頭的運動改變了聲音的入射方向是，如果在合成中可以交互改變HRTF，那么雙耳合成就可以而有明顯的改善，用雙耳錄音，收聽這必須靜坐才能有真是收聽感受，但是這樣的雙耳信號不能響應(yīng)后者的動態(tài)變化，這是合成技術(shù)的障礙，但是也可以進行修正：故收聽者的位置和方向由跟蹤器來跟蹤，合成能夠由連續(xù)的修正信號來處理這些響應(yīng)變化。雙耳技術(shù)的應(yīng)用：房間模擬，耳機產(chǎn)生環(huán)繞聲音，通

26、信系統(tǒng)，三維聽覺顯示，虛擬現(xiàn)實說一下虛擬現(xiàn)實：目的是對不存在的環(huán)境進行模擬，對人的感覺提供刺激，讓這些刺激感覺是真的，讓人身臨其境，除了聽覺模擬還有其他感官的模擬。第十章 助聽技術(shù)助聽器，分為耳背式，或者耳內(nèi)式；耳內(nèi)式分為：CIC，ITC，ITE 深耳道式，耳道式，耳內(nèi)式，選擇取決于使用者耳道的大小和形狀。簡單介紹一下傳統(tǒng)BTE助聽器：組成是：傳聲器：聲音信號->電信號；音量控制；開關(guān)控制；電池室；接收器。信號處理是在集成電路上實現(xiàn)的。一般來說助聽器尺寸越大，增益可能越高，電池可能越大。在近期發(fā)展的助聽器中，使用數(shù)字編程，提供數(shù)字信號處理，相比模擬信號處理有一些優(yōu)點：小型化，功耗低，內(nèi)部

27、噪聲低，更加穩(wěn)定等等。但是也需要考慮一些技術(shù)限制：在處理動態(tài)范圍時有附加限制，計算精度需要進行專門計算，采樣頻率必須大于信號帶寬的兩倍?，F(xiàn)代典型的數(shù)字助聽器模型：包含三個傳聲器在現(xiàn)實使用中遇到的問題：1.噪聲掩蔽的情況下，聽力損失的人要求在信噪比上增加4-10db，但是經(jīng)常不足以做出這樣的補償。在助聽器中引入的信號處理，獨立檢出語音和噪聲，用不同的方法來處理兩種個信號，提高語音的可懂度。原理就是：利用語音在濁音中表現(xiàn)出來的諧波結(jié)構(gòu)，使其分離。2.聽覺損失就是降低了動態(tài)范圍，要補償已經(jīng)降低的動態(tài)范圍，可以用比較算法實現(xiàn)：即多通道壓縮。3.反饋：助聽器反饋可能會產(chǎn)生鳴響，故反饋可通過降低某一頻率區(qū)

28、域的放大量而避免，或者使用窄帶剔除濾波器。其實助聽器現(xiàn)在的設(shè)計，并不僅僅是給佩戴者提供了周圍的聲音，還對接受的信號進行了處理，智能的分辨情景，然后再給佩戴者提供聲音。如今的助聽器在失真，頻響上都還有不足之處，有余地進行改進。第十一章 聽覺虛擬環(huán)境AVE的產(chǎn)生包括物理和感覺兩個方面。關(guān)于聲音事件是指聽覺現(xiàn)象的物理方面，聽覺事件是指聽覺的感覺和理解。聲音事件和聽覺事件之間沒有直接的因果關(guān)系，但也有著一定聯(lián)系。典型AVE包括：聲源，環(huán)境，收聽者三種方法實現(xiàn)虛擬：1.真實再現(xiàn)方法2.似真方法（是重點）3.創(chuàng)建型方法，這種方法在游戲中找到了應(yīng)用。這三種方法的目的都不相同。在似真方法中，目的是按照在真實環(huán)

29、境中已經(jīng)出現(xiàn)的用戶感覺來喚起聽覺事件，無論對于他是已知還是未知的。11.2聽覺虛擬環(huán)境的組成任何情況下，AVE都可以分為聲源，環(huán)境，信號處理和重現(xiàn)模塊。通過這個模塊結(jié)構(gòu)，我們看以看出來AVE的主要數(shù)據(jù)流的路徑：信號處理模塊處理聲源信號并用濾波器通過物理方法或感覺方法，模擬環(huán)境的影響，然后用特殊的重現(xiàn)方法輸出這種結(jié)果。接下來我們一次說一下各部分。聲源：通過錄制，合成或者兩者結(jié)合得到，錄制信號以后加到AVE系統(tǒng)計算的反射中，故要在消聲室中錄制，保證沒有任何反射，同時也要使采樣速率和幅度分辨率足夠高，這樣可以獲得信號帶寬和動態(tài)范圍。聲音可用錄制的，也可用合成的，錄制時候分軌錄制，合成時候用模型加以控

30、制舉例：混響聲場，合成被試兩耳所收聽到的聲音，喚起相應(yīng)于分布生源的聲場所產(chǎn)生的聽覺事件，需要合成立體聲音信號，加到耳機上，合成步驟：1.聲源信號經(jīng)過濾波成為臨界頻帶，直到1.5KHZ左右2.在每一個臨界頻帶內(nèi)使用相關(guān)算法3.把做得到的信號加到一起，1.5KHZ以上的相關(guān)系數(shù)近似為零。3.環(huán)境：環(huán)境如果具有邊界，聲波則會反射揮著散射，到達收聽者有兩個途徑，一個是反射達到，一個是直達。模擬該現(xiàn)象主要方法：分別建立上聲波，幾何，統(tǒng)計，感覺基礎(chǔ)之上的方法，目標是喚起特殊的聽覺事件。波的方法：利用波動方程的解析解優(yōu)點：求解簡單缺點：只能用在最簡單的幾何情況，處理限制在很低的頻率和很小的房間。幾何方法：聲

31、波用射線近似優(yōu)點：計算快缺點：忽略干涉和衍射另外還有聲線跟蹤法，波束跟蹤法，和虛源法等統(tǒng)計方法：統(tǒng)計能量分析努力目標是希望得到實時的性能。感知方法：不忠于某個特別的物理模型，而是集中于引起特殊的聽覺感知。特點：計算能力低這里特別提一下混響模型：對于延遲反射應(yīng)用混響模型設(shè)計，近似散射聲場，能夠展示出密集的反射圖案壁面抖動，產(chǎn)生好的空間印象。4.再現(xiàn)方法利用頻譜線索和雙耳時間差和聲級差，再設(shè)計再現(xiàn)方法的時候，由聽覺系統(tǒng)按照聽覺事件形式加以利用。再現(xiàn)方法：應(yīng)用HRTF再現(xiàn)，1>使用基于耳機的系統(tǒng)時，單頻道的時域信號使用左耳和右耳的HRTF濾波，應(yīng)用耳機的逆?zhèn)鬏敽瘮?shù)，講從耳機本身的濾波中將信號解

32、卷積，結(jié)果通過耳機來表示。在這里要考慮要對頭部進行定位，如果環(huán)境反射，這種影響可以消除。再一個就是HRTF的差異性，2>如果使用基于揚聲器的系統(tǒng)時，解法過程同耳機系統(tǒng)。如果不使用HRTF的再現(xiàn)方法，則換成是矢量基幅度調(diào)整再現(xiàn)方法等等，使用標準立體聲原理，在聲場中重組。5.信號處理模塊利用濾波器處理聲源信號舉例：聲場模擬計算接受者通過兩次反射，得到聲源信號，第七部分是HRTF獨立的再現(xiàn)機構(gòu)如果虛擬環(huán)境發(fā)生了變化，那么相關(guān)系數(shù)就要進行修正，是部分修正還是全部重新計算取決于環(huán)境發(fā)生了什么變化，另外AVE系統(tǒng)可以應(yīng)用預(yù)先計算的數(shù)據(jù)庫，或預(yù)先記錄的雙耳沖擊響應(yīng)來產(chǎn)生，也并不是每次都需要實時計算修正

33、。11.3 當前系統(tǒng)和研究項目1.基于物理的 系統(tǒng)：SCATIS系統(tǒng)：能夠使用似真方法給收聽者表現(xiàn)復(fù)雜的聽覺環(huán)境，利用80片MOTOROLA的DSP56002數(shù)字信號處理器組成的陣列，配置成為相應(yīng)的虛擬聲音。已經(jīng)接口到PC環(huán)境。DIVA系統(tǒng)：在UNIX上實現(xiàn)，集成了聲音合成，房間聲學(xué)模擬，空間再現(xiàn)，并和同步動作組合到一起。粒子：假設(shè)在虛擬音樂廳中，允許有兩個同事的用戶，一個導(dǎo)演一個收聽者，他們與系統(tǒng)相互作用，用動作，導(dǎo)演控制管弦樂隊，該樂隊可以包含有真正的和虛擬的兩類音樂家，同一時間收聽者在音樂廳內(nèi)可以自由移動，我覺得這種技術(shù)，可以應(yīng)用到演唱會或者大型表演者中去。基于感覺的系統(tǒng)：SPACIALISATEUR系統(tǒng)：應(yīng)用減少數(shù)量相互獨立的感覺因子，表示聲音信號所經(jīng)歷的變換。2.研究重點：1>.多模態(tài)：聽覺觸覺等多模態(tài)的集成引起了更多重視，這樣的多模態(tài)虛擬環(huán)境使沉浸該環(huán)境的用戶具有豐富的潛在能力，但也要避免出現(xiàn)不需要的效果。2>.聯(lián)合實現(xiàn)：真實的和虛擬的環(huán)境混合起來，能溝提高聲學(xué)效果，需要幾何空間信息和