語音信號(hào)處理第4章-矢量量化.

1、信息科學(xué)與工程學(xué)院東南大學(xué)第四章 語音信號(hào)的矢量量化4.14.1概述概述4.24.2矢量量化的基本原理矢量量化的基本原理4.34.3失真測(cè)度失真測(cè)度4.44.4最佳矢量量化器和碼本設(shè)計(jì)最佳矢量量化器和碼本設(shè)計(jì)4.54.5語音參數(shù)的矢量量化語音參數(shù)的矢量量化信息科學(xué)與工程學(xué)院東南大學(xué)4.1 概述n矢量量化（矢量量化（VQ，Vector Quantization）分）分為兩類：為兩類：l標(biāo)量量化：將取樣后的信號(hào)值逐個(gè)地進(jìn)行量化標(biāo)量量化：將取樣后的信號(hào)值逐個(gè)地進(jìn)行量化l矢量量化：將若干取樣信號(hào)分成一組，即構(gòu)成矢量量化：將若干取樣信號(hào)分成一組，即構(gòu)成一個(gè)矢量，然后對(duì)此矢量一次進(jìn)行量化。一個(gè)矢量，然后對(duì)

2、此矢量一次進(jìn)行量化。n凡是要用量化的地方都可以采用矢量量化凡是要用量化的地方都可以采用矢量量化信息科學(xué)與工程學(xué)院東南大學(xué)4.1 概述n采用矢量量化的效果優(yōu)于標(biāo)量量化的原因采用矢量量化的效果優(yōu)于標(biāo)量量化的原因l 矢量量化能有效的應(yīng)用矢量中各分量之間的四矢量量化能有效的應(yīng)用矢量中各分量之間的四種相互關(guān)聯(lián)性質(zhì)來消除數(shù)據(jù)中的冗余度。種相互關(guān)聯(lián)性質(zhì)來消除數(shù)據(jù)中的冗余度。 線性依賴線性依賴(相關(guān)性相關(guān)性)、 非線性依賴非線性依賴(統(tǒng)計(jì)不獨(dú)立統(tǒng)計(jì)不獨(dú)立)、 概率密度函數(shù)的形狀概率密度函數(shù)的形狀 矢量量化的維數(shù)矢量量化的維數(shù)n標(biāo)量量化僅能利用線性依賴和概率密度函標(biāo)量量化僅能利用線性依賴和概率密度函數(shù)的形狀來消

3、除冗余度。數(shù)的形狀來消除冗余度。信息科學(xué)與工程學(xué)院東南大學(xué)4.1 概述n矢量量化研究的目的：矢量量化研究的目的：l針對(duì)特定的信息源和矢量維數(shù)，設(shè)計(jì)出一種最針對(duì)特定的信息源和矢量維數(shù)，設(shè)計(jì)出一種最優(yōu)化的量化器，在優(yōu)化的量化器，在R（量化速率）一定的情況（量化速率）一定的情況下，給出的量化失真盡可能接近下，給出的量化失真盡可能接近D(R)(最小量化最小量化失真失真)。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n標(biāo)量量化是對(duì)信號(hào)的單個(gè)樣本或參數(shù)的幅標(biāo)量量化是對(duì)信號(hào)的單個(gè)樣本或參數(shù)的幅度進(jìn)行量化；標(biāo)量是指被量化的變量，為度進(jìn)行量化；標(biāo)量是指被量化的變量，為一維變量。一維變量。n矢量量化的過程

4、是將語音信號(hào)波形的矢量量化的過程是將語音信號(hào)波形的K個(gè)樣個(gè)樣點(diǎn)，或有點(diǎn)，或有K個(gè)參數(shù)構(gòu)成個(gè)參數(shù)構(gòu)成K維空間的一個(gè)矢量維空間的一個(gè)矢量，然后對(duì)這個(gè)矢量進(jìn)行量化。，然后對(duì)這個(gè)矢量進(jìn)行量化。n矢量量化將矢量量化將K維無限空間劃分為維無限空間劃分為M個(gè)區(qū)域邊個(gè)區(qū)域邊界，然后將輸入矢量界，然后將輸入矢量Xi與這些邊界進(jìn)行比與這些邊界進(jìn)行比較，并被量化為較，并被量化為“距離距離”最小的區(qū)域邊界最小的區(qū)域邊界的中心矢量值。的中心矢量值。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n將信號(hào)序列將信號(hào)序列xi的每的每K個(gè)連續(xù)樣點(diǎn)分成一組個(gè)連續(xù)樣點(diǎn)分成一組，形成，形成K維歐式空間中的一個(gè)矢量，矢量量維歐式

5、空間中的一個(gè)矢量，矢量量化就是把這個(gè)化就是把這個(gè)K維輸入矢量維輸入矢量X映射成另一個(gè)映射成另一個(gè)K維量化矢量。維量化矢量。n量化矢量構(gòu)成的集合量化矢量構(gòu)成的集合Yi 稱為碼書或碼本，稱為碼書或碼本，碼書中的每個(gè)矢量碼書中的每個(gè)矢量Yi稱為碼字或者碼矢。稱為碼字或者碼矢。,21KiNRYYYYY 信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n以以K2進(jìn)行說明：所有可能的二維矢量就進(jìn)行說明：所有可能的二維矢量就形成了一個(gè)平面，記為（形成了一個(gè)平面，記為（ a1,a2 ）。）。n（a1,a2）就是一個(gè)二維空間。）就是一個(gè)二維空間。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n矢量量化

6、的碼本設(shè)計(jì)：將二維平面劃分為矢量量化的碼本設(shè)計(jì)：將二維平面劃分為J個(gè)互不相交的子區(qū)域，個(gè)互不相交的子區(qū)域，S1，S2，SJ，從，從每一子區(qū)域中找出代表值每一子區(qū)域中找出代表值Yi（i1，2.J），構(gòu)成一個(gè)有，構(gòu)成一個(gè)有J個(gè)區(qū)間的二維矢量量化器。個(gè)區(qū)間的二維矢量量化器。圖示的是一個(gè)圖示的是一個(gè)7區(qū)間的二維矢量量化器，即區(qū)間的二維矢量量化器，即K2，J7。n J個(gè)量化矢量構(gòu)成的集合個(gè)量化矢量構(gòu)成的集合Yi 稱為碼書或碼稱為碼書或碼本本n碼書中的每個(gè)量化矢量碼書中的每個(gè)量化矢量Yi （i1，2.J）稱為碼字或碼矢。稱為碼字或碼矢。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n區(qū)域劃分不同或者

7、量化矢量選取不同，構(gòu)區(qū)域劃分不同或者量化矢量選取不同，構(gòu)成不同的矢量量化器。成不同的矢量量化器。n根據(jù)仙農(nóng)信息論，矢量越長(zhǎng)越好。實(shí)際中根據(jù)仙農(nóng)信息論，矢量越長(zhǎng)越好。實(shí)際中碼書是不完備的，即矢量數(shù)是有限的，而碼書是不完備的，即矢量數(shù)是有限的，而對(duì)于任何一個(gè)實(shí)際應(yīng)用來說，矢量通常是對(duì)于任何一個(gè)實(shí)際應(yīng)用來說，矢量通常是無限的。在實(shí)際運(yùn)用中，輸入矢量和碼書無限的。在實(shí)際運(yùn)用中，輸入矢量和碼書中碼字不匹配的情況下，這種失真是允許中碼字不匹配的情況下，這種失真是允許的。的。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n矢量量化過程：對(duì)一個(gè)矢量矢量量化過程：對(duì)一個(gè)矢量X進(jìn)行量化，首進(jìn)行量化，首先選擇

8、一個(gè)合適的失真測(cè)度，然后用最小先選擇一個(gè)合適的失真測(cè)度，然后用最小失真原理，分別計(jì)算矢量失真原理，分別計(jì)算矢量X和各個(gè)量化矢量和各個(gè)量化矢量Yi之間的失真。之間的失真。n最小失真值所對(duì)應(yīng)的那個(gè)量化矢量，就是最小失真值所對(duì)應(yīng)的那個(gè)量化矢量，就是矢量矢量X的重構(gòu)矢量（或恢復(fù)矢量）。的重構(gòu)矢量（或恢復(fù)矢量）。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n存在的問題存在的問題n 一、如何劃分一、如何劃分M個(gè)區(qū)域邊界。個(gè)區(qū)域邊界。l將大量欲處理的信號(hào)矢量進(jìn)行統(tǒng)計(jì)劃分，進(jìn)一將大量欲處理的信號(hào)矢量進(jìn)行統(tǒng)計(jì)劃分，進(jìn)一步確定這些劃分邊界的中心矢量值來得到碼書步確定這些劃分邊界的中心矢量值來得到碼書n二、

9、如何確定兩矢量在進(jìn)行比較時(shí)的測(cè)度二、如何確定兩矢量在進(jìn)行比較時(shí)的測(cè)度l測(cè)度就是兩矢量間的距離，或以其中某一矢量測(cè)度就是兩矢量間的距離，或以其中某一矢量為基準(zhǔn)時(shí)的失真度。為基準(zhǔn)時(shí)的失真度。信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n圖圖7-2 矢量量化系統(tǒng)的組成矢量量化系統(tǒng)的組成信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n工作過程：工作過程：n編碼端編碼端:輸入矢量輸入矢量Xi與碼書中的每一個(gè)碼字與碼書中的每一個(gè)碼字進(jìn)行比較，分別計(jì)算出它們的失真。搜索進(jìn)行比較，分別計(jì)算出它們的失真。搜索到失真最小的碼字到失真最小的碼字Yjmin 的序號(hào)的序號(hào)j，這些序號(hào)，這些序號(hào)就作為傳輸或

10、存儲(chǔ)的參數(shù)。就作為傳輸或存儲(chǔ)的參數(shù)。n在恢復(fù)時(shí)，根據(jù)此序號(hào)從恢復(fù)端的碼書中在恢復(fù)時(shí)，根據(jù)此序號(hào)從恢復(fù)端的碼書中找出相應(yīng)的碼字找出相應(yīng)的碼字Yjmin 。此時(shí)，。此時(shí)， Yjmin就是輸就是輸入矢量入矢量Xi的重構(gòu)矢量。的重構(gòu)矢量。 信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n特點(diǎn)：特點(diǎn)：l傳輸存儲(chǔ)的不是矢量本身而是其序號(hào)，所以數(shù)傳輸存儲(chǔ)的不是矢量本身而是其序號(hào)，所以數(shù)據(jù)有高保密性能。據(jù)有高保密性能。l收發(fā)兩端沒有反饋回路，因此比較穩(wěn)定收發(fā)兩端沒有反饋回路，因此比較穩(wěn)定l矢量量化器的關(guān)鍵是編碼器的設(shè)計(jì)，譯碼器只矢量量化器的關(guān)鍵是編碼器的設(shè)計(jì)，譯碼器只是簡(jiǎn)單的查表過程。是簡(jiǎn)單的查表過程。

11、信息科學(xué)與工程學(xué)院東南大學(xué)4.2 矢量量化的基本原理n性能指標(biāo)：碼書的大小性能指標(biāo)：碼書的大小J和由于量化而產(chǎn)生和由于量化而產(chǎn)生的平均信噪比。的平均信噪比。n矢量量化的準(zhǔn)則：在給定碼本大小時(shí)使量矢量量化的準(zhǔn)則：在給定碼本大小時(shí)使量化所造成的失真最小?；斐傻氖д孀钚?。n矢量量化的設(shè)計(jì)：從大量信號(hào)樣本中訓(xùn)練矢量量化的設(shè)計(jì)：從大量信號(hào)樣本中訓(xùn)練出好的碼書，從實(shí)際效果出發(fā)尋找最好的出好的碼書，從實(shí)際效果出發(fā)尋找最好的失真測(cè)度定義公式，設(shè)計(jì)出最佳的矢量量失真測(cè)度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，以便用最少的搜索和計(jì)算失真的化系統(tǒng)，以便用最少的搜索和計(jì)算失真的計(jì)算量，來實(shí)現(xiàn)最大可能的平均信噪比。計(jì)算

12、量，來實(shí)現(xiàn)最大可能的平均信噪比。信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度n設(shè)計(jì)矢量量化器的關(guān)鍵是編碼器的設(shè)計(jì)，設(shè)計(jì)矢量量化器的關(guān)鍵是編碼器的設(shè)計(jì)，就需要引入失真測(cè)度的概念。就需要引入失真測(cè)度的概念。 n失真測(cè)度（距離測(cè)度）：是將輸入矢量失真測(cè)度（距離測(cè)度）：是將輸入矢量Xi用用碼本重構(gòu)矢量碼本重構(gòu)矢量Yi來表征時(shí)所產(chǎn)生的誤差或失來表征時(shí)所產(chǎn)生的誤差或失真的度量方法，它可以描述兩個(gè)或多個(gè)模真的度量方法，它可以描述兩個(gè)或多個(gè)模型矢量間的相似程度。型矢量間的相似程度。信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度n失真度選擇必須具備的特性失真度選擇必須具備的特性l主觀評(píng)價(jià)上有意義，即小的失真應(yīng)該對(duì)應(yīng)于

13、好主觀評(píng)價(jià)上有意義，即小的失真應(yīng)該對(duì)應(yīng)于好的主觀語音質(zhì)量；的主觀語音質(zhì)量；l易于處理的，即在數(shù)學(xué)上易于實(shí)現(xiàn)；易于處理的，即在數(shù)學(xué)上易于實(shí)現(xiàn)；l平均失真存在并且可以計(jì)算；平均失真存在并且可以計(jì)算；l易于硬件實(shí)現(xiàn)易于硬件實(shí)現(xiàn) 信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度n一、歐氏距離均方誤差一、歐氏距離均方誤差K維矢量維矢量X和碼矢量和碼矢量Y的歐式距離定位：的歐式距離定位：l1. 均方誤差均方誤差 l2.r方平均誤差：方平均誤差： KiriiryxKYXd11),(2211() ()(, )()TKiiiXYXYdX YxyKK信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度l3.r平均誤差：平均誤差：

14、l4.絕對(duì)值誤差：絕對(duì)值誤差：l5.最大平均誤差：最大平均誤差：rKiriiryxKYXd111),( KiiiyxKYXd111),(iiKirrrMyxYXdYXd 11max),(lim),(信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度n二、線性預(yù)測(cè)失真測(cè)度二、線性預(yù)測(cè)失真測(cè)度 l由預(yù)測(cè)系數(shù)的差值，不能完全表征這兩個(gè)語音由預(yù)測(cè)系數(shù)的差值，不能完全表征這兩個(gè)語音信息的差別，應(yīng)由預(yù)測(cè)系數(shù)對(duì)應(yīng)的信號(hào)功率譜信息的差別，應(yīng)由預(yù)測(cè)系數(shù)對(duì)應(yīng)的信號(hào)功率譜來進(jìn)行比較。來進(jìn)行比較。l信號(hào)功率譜：信號(hào)功率譜：222)()()( jjeAeXf 信號(hào)的功率譜信號(hào)的功率譜預(yù)測(cè)誤差能量預(yù)測(cè)誤差能量預(yù)測(cè)逆濾波器的頻率響

15、應(yīng)預(yù)測(cè)逆濾波器的頻率響應(yīng)信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度n相應(yīng)的，設(shè)碼書中某重構(gòu)矢量的功率譜為相應(yīng)的，設(shè)碼書中某重構(gòu)矢量的功率譜為n定義定義Itakura-Saito距離為：距離為：222)()()( jpjeAeXf 1ln),(2 aRaffdTIS piaaTirirrrRaa1)()(2)0()0(信息科學(xué)與工程學(xué)院東南大學(xué)4.3 失真測(cè)度n兩種線性預(yù)測(cè)的失真測(cè)度，即：兩種線性預(yù)測(cè)的失真測(cè)度，即：l1.對(duì)比似然比失真測(cè)度對(duì)比似然比失真測(cè)度l2.模型失真測(cè)度模型失真測(cè)度)ln(ln),(22RaaaRaffdTTpLLR 11),(22 RaaaRaffdTTpm 信息科學(xué)與工

16、程學(xué)院東南大學(xué)4.3 失真測(cè)度n 三、識(shí)別失真測(cè)度三、識(shí)別失真測(cè)度lg(x)的作用：當(dāng)兩矢量的能量接近時(shí)，忽略能量差異引的作用：當(dāng)兩矢量的能量接近時(shí)，忽略能量差異引起的影響；當(dāng)兩矢量能量相差很大時(shí)，即進(jìn)行線性加起的影響；當(dāng)兩矢量能量相差很大時(shí)，即進(jìn)行線性加權(quán)；而當(dāng)能量差超過門限時(shí)，則為固定值權(quán)；而當(dāng)能量差超過門限時(shí)，則為固定值)(),(),(EEgffdEfdLLR 加權(quán)因子加權(quán)因子輸入信號(hào)矢量的歸一化能量輸入信號(hào)矢量的歸一化能量碼書重構(gòu)矢量的歸一化能量碼書重構(gòu)矢量的歸一化能量 )()()(0)(FFddxxxxxxxxxxg信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)n最佳矢量

17、量化器設(shè)計(jì)的兩個(gè)必要條件最佳矢量量化器設(shè)計(jì)的兩個(gè)必要條件l1)Voronoi分割條件（最近鄰準(zhǔn)則）分割條件（最近鄰準(zhǔn)則）對(duì)空間的分割應(yīng)滿足對(duì)空間的分割應(yīng)滿足根據(jù)該條件可以對(duì)信號(hào)空間進(jìn)行最佳劃分，得到根據(jù)該條件可以對(duì)信號(hào)空間進(jìn)行最佳劃分，得到的的Sl 稱為一個(gè)胞腔稱為一個(gè)胞腔);,(),(:liYXdYXdRXSilKl信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)l2）Centroid質(zhì)心條件：子空間分割固定后，質(zhì)心條件：子空間分割固定后，Voronoi胞元的質(zhì)心就是量化器的碼字。胞元的質(zhì)心就是量化器的碼字。 一般而言，質(zhì)心較難計(jì)算。對(duì)于一般的分布和一般而言，質(zhì)心較難計(jì)算。對(duì)于一般

18、的分布和常用的均方失真測(cè)度，可以證明常用的均方失真測(cè)度，可以證明llSYXEY lSXllXNY1是是 中包含的矢量個(gè)數(shù)中包含的矢量個(gè)數(shù)lS信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)n二、二、LBG算法算法l 1980年由年由Linde，Buzo和和Gray提出，它是標(biāo)量提出，它是標(biāo)量量化器中量化器中Lloyd算法的推廣，在矢量量化中是算法的推廣，在矢量量化中是一個(gè)基本算法。一個(gè)基本算法。 信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)LBG步驟步驟n第一步：初始化第一步：初始化l給出訓(xùn)練給出訓(xùn)練VQ碼書所需的全部參考矢量碼書所需的全部參考矢量X，用，用S表示；表示

19、；l設(shè)定量化級(jí)數(shù)，失真控制門限設(shè)定量化級(jí)數(shù)，失真控制門限，算法最大迭算法最大迭代次數(shù)代次數(shù)L以及初始碼書以及初始碼書Y1(0), Y2(0), YN(0)；l設(shè)總失真設(shè)總失真D(0) =，迭代次數(shù)的初始化為，迭代次數(shù)的初始化為m1信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)n第二步：迭代第二步：迭代l1)根據(jù)最近鄰準(zhǔn)則將根據(jù)最近鄰準(zhǔn)則將S分成分成N個(gè)子集個(gè)子集 S1(m), S2(m), SN(m):l2)計(jì)算失真計(jì)算失真()(1)(1)(,(,),mlmmliXSd X Yd X Yi jl即時(shí) NiSXmlmmlYXdD1)1()()(),(信息科學(xué)與工程學(xué)院東南大學(xué)4.4

20、最佳矢量量化器和碼本設(shè)計(jì)l3)計(jì)算新碼字計(jì)算新碼字Y1(m), Y2(m), YN(m)l4)計(jì)算相對(duì)失真改進(jìn)量計(jì)算相對(duì)失真改進(jìn)量(m) 將將(m) 與失真門限與失真門限 進(jìn)行比較，若進(jìn)行比較，若(m) 則轉(zhuǎn)入則轉(zhuǎn)入 6），否則轉(zhuǎn)入），否則轉(zhuǎn)入5)(1)(miSXimiXNY)()()1()()()(mmmmmmDDDDD 信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)l5)若若mL，則轉(zhuǎn)至，則轉(zhuǎn)至6），否則），否則m加加1，轉(zhuǎn)至，轉(zhuǎn)至1)l6)得到最終的訓(xùn)練碼書得到最終的訓(xùn)練碼書Y1(m), Y2(m), YN(m)，并輸，并輸出總失真出總失真D(m) l為了避免迭代算法無限制循環(huán)下去，這里設(shè)置為了避免迭代算法無限制循環(huán)下去，這里設(shè)置了兩個(gè)閾值參數(shù)：最大迭代次數(shù)了兩個(gè)閾值參數(shù)：最大迭代次數(shù)L和失真控制和失真控制門限門限。信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)信息科學(xué)與工程學(xué)院東南大學(xué)4.4 最佳矢量量化器和碼本設(shè)計(jì)n三、初始碼書的選擇三、初始碼書的選擇l隨機(jī)選取法隨機(jī)選取法方法：從訓(xùn)練序列中隨即按選擇方法：從訓(xùn)練序列中隨即按選擇J個(gè)矢量作為初個(gè)矢量作為初始碼字始碼字缺點(diǎn)：收斂速度慢或者不能收斂缺點(diǎn)：收