H.264里的插值濾波器的理論基礎(chǔ)

1、昨晚上在群里和別人探討了一下H.264里的插值濾波器的原理。在這里做一點(diǎn)總結(jié)。（寫(xiě)完以后回頭看，發(fā)現(xiàn)寫(xiě)的十分羅嗦。懂信號(hào)理論的人可以速速瀏覽。）1插值與上采樣插值的過(guò)程從信號(hào)處理的角度其實(shí)就是一個(gè)上采樣（提升空間采樣頻率）的過(guò)程。因此我們首先從信號(hào)處理的角度回顧一下上采樣問(wèn)題。下圖為某一維信號(hào)上采樣的例子：特性是低頻（0附近）豐富，高頻逐漸減小，直至土n處為0。此外這里還隱含了一個(gè)問(wèn)題，就是該信號(hào)的原始采樣頻率恰好就是奈奎斯特頻率（所以周期性的頻譜恰好首尾相接），原始采樣頻率再低一點(diǎn)就要發(fā)生混疊了，這個(gè)將是第3節(jié)要著重考察的問(wèn)題。A-vD描述的是2倍上采樣的過(guò)程。事實(shí)上我們都知道，插值無(wú)非就是

2、用一個(gè)N-tap的計(jì)算式得出一個(gè)值罷了（正如H.264的1/2像素插值）。但是在頻率域分析的時(shí)候?yàn)榱饲宄鹨?jiàn)，通常會(huì)將這個(gè)過(guò)程分成兩個(gè)步驟：1.增加采樣率（壓縮頻譜橫軸）；2.低通濾波。需要說(shuō)明的是這樣的兩個(gè)步驟只是為了分析需要，它與直接一個(gè)N-tap插值是等價(jià)的！B就是A增加采樣率后的結(jié)果，從數(shù)學(xué)推導(dǎo)上這個(gè)過(guò)程對(duì)應(yīng)的結(jié)果就是壓縮橫軸，可以想象把vA的頻譜從左右兩個(gè)方向向中間擠壓就得到了B。但是在B中高頻部分其實(shí)是次生的頻率（mirrorfrequency），因此我們需要一個(gè)低通濾波器把它濾掉，vC就是這樣一個(gè)理想的低通。最終得到了vD,上采樣結(jié)束。對(duì)比vA和D，其實(shí)不難理解。vA是用奈奎斯特

3、頻率（假設(shè)是f）采得的信號(hào)，那么如果我用2f去采，理所當(dāng)然頻譜的間隔會(huì)大。2H.264的插值濾波器我們知道H.264使用了兩種插值濾波器：1/2像素精度插值時(shí)用6-tapFIR；1/4像素精度插值時(shí)用bilinear。本節(jié)講為什么要采用這兩種濾波器。首先要明白，這里的兩種濾波器實(shí)質(zhì)上對(duì)應(yīng)的都是圖表1的C，也就是低通濾波器，只不過(guò)性能有區(qū)別而已。vC的低通是理想的，即邊緣完全是切下來(lái)的，過(guò)渡帶寬度為0。而在實(shí)際中不可能做到理想，實(shí)際濾波器都會(huì)有一個(gè)過(guò)渡帶。一般情況下，濾波器實(shí)現(xiàn)階數(shù)越高越復(fù)雜，對(duì)理想性能的逼近越好。下圖為一個(gè)概念性的示意圖（現(xiàn)實(shí)情況遠(yuǎn)比此復(fù)雜）：圖表2：低通濾波器示意圖圖表2：低

4、通濾波器示意圖6-tapBilinear6-tap要比bilinear復(fù)雜，因此低通性能要好。也許有人會(huì)說(shuō)那為什么不采用階數(shù)更高的FIR而獲取更好的低通濾波器呢？原因就是這樣會(huì)給實(shí)現(xiàn)帶來(lái)巨大的復(fù)雜性。JVT專家經(jīng)過(guò)權(quán)衡計(jì)算，得出現(xiàn)有的6-tap濾波器低通性能是所有6-tap中最好的，并且6-tap的計(jì)算相對(duì)簡(jiǎn)單。那么為什么1/4像素精度插值的時(shí)候，可以使用性能較差的bilinear濾波器就可以了呢？原因也很簡(jiǎn)單，如下圖2n:/0nn原始/.2n:A/0nn1/2精度插值后A.2n:0nn1/4精度插值后圖表3：插值信號(hào)的頻率示意A-vB的過(guò)程中，由于vA的頻譜基本上占據(jù)了整個(gè)頻段，所以濾波的時(shí)

5、候必須要理想低通,否則在高頻處就會(huì)失真。因此要采用較好的低通濾波器。而B(niǎo)-vC的過(guò)程中，B并沒(méi)有占據(jù)全部頻段，高頻部分都是空的，所以這里的低通就不用那么嚴(yán)格要求了?？偠灾?，低通濾波器的選擇要兼顧性能與復(fù)雜度。此外，第一步插值對(duì)低通性能的要求最高，之后的插值要求就大為降低了。36-tapFIR的問(wèn)題至此，H.264的插值濾波器基本上說(shuō)明清楚了。下面說(shuō)一點(diǎn)高級(jí)的話題，關(guān)于6-tap濾波器存在的問(wèn)題。留給有興趣的人吧。在圖表1中提過(guò)，A的采樣頻率恰好是奈奎斯特頻率，因此沒(méi)有任何混疊（aliasing）失真。但是視頻圖像在有些高頻區(qū)域（比如頭發(fā)，密線條等）很容易就違背奈奎斯特采樣而出現(xiàn)混疊失真。下面來(lái)一個(gè)混疊失真的實(shí)例：當(dāng)視頻中出現(xiàn)這樣的區(qū)域時(shí)，插值將受到很大的破壞。進(jìn)而嚴(yán)重影響ME的效果，最終導(dǎo)致壓縮性能的下降。前面說(shuō)明了6-tapFIR是個(gè)低通性能相對(duì)較好的濾波器，但是低通性能好并不能抵抗混疊失真。這