基于人眼視覺特征的立體圖像質量客觀評價方法

1、第42卷 第7期 2009年7月 天 津 大 學 學 報 Journal of Tianjin University Vol.42 No.7 Jul. 2009基于人眼視覺特征的立體圖像質量客觀評價方法楊嘉琛，侯春萍，雷建軍(天津大學電子信息工程學院，天津300072)摘 要：在充分利用人類視覺特性的基礎上，模擬人眼感知立體圖像的方式，提出了一種立體圖像質量客觀評價方多通道結構和掩蓋特性等多種人眼視覺特性在處理HVS模型的多通道中，將圖像法。該方法考慮了對比度敏感度、的空間頻率按視覺系統(tǒng)的掩蓋效應特點分成5個帶分別進行濾波，以改變原始圖像的空間頻率實驗結果表明，所提出的方法與主觀評價結果基本一

2、致，能夠反映圖像質量以及立體感的優(yōu)劣 關鍵詞：人類視覺系統(tǒng)；立體圖像；立體感中圖分類號：TP391.4 文獻標志碼：A 文章編號：0493-2137(2009)07-0622-06Objective Quality Evaluation Method of Stereo Image Basedon Human Visual CharacteristicsYANG Jia-chen，HOU Chun-ping，LEI Jian-jun(School of Electronic Information Engineering，Tianjin University，Tianjin 300072，Ch

3、ina)Abstract：Through analyzing the characteristics of human visual system and simulating human visual perception of stereo image，an objective quality evaluation method of stereo image was proposed in this paper. The method took into considera-tion the contrast sensitivity function，multi-channel stru

4、cture，masking effect and so on，the main properties of human visual system. During the processing of the multi-channel in the HVS model，the spatial frequency of image is divided into five bands to vary spatial frequency of the initial image according to the characteristic of masking effect. The exper

5、imental resultsshow that the proposed method is in accordance with subjective evaluation and can reflect the image quality and les stereo-scopic.Keywords：human visual system；stereo image；stereo sense人類獲取信息最高效的途徑就是依賴平行地長在前額下方的那雙眼睛由于人眼看到的是自然界中真實的三維景物，因此能夠再現這種三維景物的立體感一直是人們的夢想但立體圖像的數據量比平面圖像要大好多倍，所以研究高速、

6、高效和高質量的立體圖像壓縮算法具有較大的實用價值但壓縮后立體圖像的質量評估是一件十分困難而且艱巨的工作立體圖像質量評估可分為主觀質量評定和客觀質量評定2種方法考慮到有510的人屬于視差立體感視盲，在主觀評估前，首先必須證明測試員具有正常的視差立體感，這也就給主觀評測增加了收稿日期：2008-07-17；修回日期：2009-02-26.難度主觀的圖像質量評分更接近人的真實視覺感受，但需耗費人力和時間，成本較高，客觀質量的測定方法速度快、易實行最常用的測試平面圖像質量的標準是峰值信號與噪聲比(peak signal-to-noise ratio，PSNR)，但這種方法往往不會符合人眼的視覺感受，只

7、能粗略地估計平面圖像質量近年來，隨著對人眼視覺系統(tǒng)研究的不斷深入，人們對客觀質量評價方法的研究也由傳統(tǒng)的誤差統(tǒng)計方法轉到考慮視覺感知特性的方法上來，出現了許多基于人眼基本視覺特性的感知平面圖像質量評價模型1-3基金項目：國家高技術研究發(fā)展計劃（863計劃）資助項目（2007AA01Z304，2008AA01A320）；國家自然科學基金資助項目（60672077）；天津市科技支撐計劃資助項目（08ZCKFJC27900）.2009年7月 楊嘉琛等：基于人眼視覺特征的立體圖像質量客觀評價方法 ·623· 但這些方法只能評價同一個視點編碼前與解碼后的圖像質量關系，而立體圖像在相鄰

8、視點之間存在人眼標準視差的高度相關性，如果2個相鄰視點各自的圖像質量值都比較高，但是視點間視差成分減少甚至反相，人眼能欣賞到圖像的立體感將大打折扣，一種壓縮編碼如果導致立體感的嚴重損失，甚至造成觀察者的眼疲勞，顯然它不適合立體圖像的應用因此，很有必要建立一個基于人眼視覺特性的立體圖像質量客觀評價標準，筆者正是針對這一課題開展了相關研究工作1 人眼基本視覺特性1.1 色彩空間人眼之所以能辨識顏色，是由于眼睛內存在3種能辨色的椎狀細胞，這3種椎狀細胞分別能吸收不同波長范圍的光，分別是紅、綠、藍但人腦內部是依靠對比度來感知信息的，3種顏色進入人腦后會轉變?yōu)閷Ρ榷刃畔ⅲ琍oirson和Wandell4

9、研究了三通道模型與空間頻率的關系，把任意的顏色變化分解為黑白、紅綠、黃藍等對立色，并建立了彩色獨立模型 模式 1.2 多通道特性視覺心理學和生理學實驗表明人類視覺系統(tǒng)(human visual system，HVS)包含獨立的空間頻率處理單元，也稱作通道例如，文獻5提出人眼黑白視覺中在30°到60°之間存在幾個倍頻程的通道；人的彩色視覺中相似的視覺通道在60°到130°之間也被發(fā)現這些獨立通道的存在好像把視覺激勵做了子帶劃分再進行處理 1.3 對比度靈敏度函數對比度是對亮度相對變化的一種量度，一般來講對比度與激勵信號的相對亮度幅度成正比6人眼對比度的敏感

10、度與激勵的顏色、空間和時間頻率有關，對比度靈敏度函數(contrast sensitive function，CSF)通常被用來定量描述這些相關的程度，它被定義為對比度門限的倒數當時域頻率為0 時，人眼視覺系統(tǒng)的空間對比度敏感性也稱為調制轉移函數(modulation transfer function，MTF)對MTF 的研究表明，HVS對靜止圖像的空間頻率響應呈帶通特性 1.4 視覺掩蓋效應對CSF 的研究中為了簡化問題的分析，默認了一種假設：視覺激勵或者是一個單一的頻率信號，或者是一個常量事實上，當人們觀察一幅圖像的時候，圖像對人眼的激勵是若干幅值的若干頻率信號的組合此時人眼對一個激勵的

11、響應已經不僅僅受限于這個激勵本身，還要受到其他激勵信號的影響視覺掩蓋效應是指在一個視覺激勵存在的情況下，人眼視覺系統(tǒng)對另一個激勵可見閾值提升(或可見性的降低)的現象 1.5 合并以上描述的對信息的處理過程都是在初級視覺皮層或其之前發(fā)生的，而存在于不同通道的信息會在腦部區(qū)域聚合這個過程模擬了人腦對來自各個視覺通道的神經信號的總體處理和認知結果 Minkowski合并是目前常用的一種非線性合并規(guī)則M=(1)式中：Si為不同通道的損傷強度；為合并參數2 人類立體視覺人類的立體視覺由生理立體視覺與心理立體視覺組成7生理立體視覺是指由人眼的晶狀體調節(jié)、雙眼會聚和雙眼視差等因素構成的立體視覺其中，雙眼視差

12、是人眼最強烈的生理立體視覺因素Julesz8利用隨機點圖已經證明，在排除一切心理立體視覺之后，一組完全無異議的視覺刺激，只要具備視差條件，就能經雙眼產生深度上的感覺這說明雙眼視差可以與任何視覺經驗無關雙眼視差9(binocular disparity)簡稱視差，兩眼從稍有不同的個角度去觀察客觀三維世界的景物，由于幾何光學投影到觀察者兩眼間距離不同，景物像點落在左右兩眼網膜上的像就不在相應位置上這種兩眼視網膜上位置的差異就稱之為雙眼視差，它反映了客觀景物的深度人能夠感知深度，這個視差是一個很重要的因素視差經腦部區(qū)域融合，產生立體視覺，雙眼視差的大小由雙眼視差角的大小決定心理立體視覺是視覺經驗和視

13、覺記憶的一種體現當觀看一張平面彩色照片時，人們可以根據照片上內容去判斷照片上各個物體、人物之間的距離關系，這種判別通常是十分準確的心理立體視覺主要是由遮擋、陰影、幾何透視和結構級差等因素構成影響生理立體視覺與心理立體視覺的諸多因素中，絕大部分(晶狀體調節(jié)、雙眼會聚、重疊、透視、陰影、紋理梯度和色調暗示等因素)是由人類個體視覺經驗、視覺記憶、眼睛結構和用眼習慣決定的而與立體圖像有直接關系的只有雙眼視差由此可見，影·624· 天 津 大 學 學 報 第42卷 第7期響人眼立體視覺的外界因素主要是立體圖像中的雙眼視差信息3 基于視覺特性立體圖像質量評價模型人眼觀看立體圖像與平面圖

14、像有很大的區(qū)別在觀看平面圖像時，人的兩只眼睛看到的是同一幅圖像；而觀看立體圖像時，人的兩只眼睛看到的是幅略有不同的圖像(視點對)本文分個方面對立體圖像質量進行評價：首先對圖像質量進行客觀評價；然后，對視點對之間立體感進行客觀評價因此，本文提出的對立體圖像質量客觀評價的指標分為個部分，一個是圖像質量，一個是立體感覺 3.1 圖像質量客觀評價近些年，很多研究人員從事基于視覺特性的圖像質量客觀評價的研究工作Lukas和Budrikis10提出了第一個基于人眼視覺時域、空間域特性的復雜圖像質量評價系統(tǒng)Daly11在評價模型中模擬了幅度非線性、對比度靈敏度、單視覺通道內掩蓋的人眼視覺特性Foley12提

15、出了一種比較重要的利用人眼多個視覺通道相互掩蓋特性的評價模型此后，Lambrecht13和 Winkler3先后改進了前人的結果，形成了視覺損傷評價模型(perceptual distortion metric，PDM)，并最終提交給視頻圖像質量專家組 (video quality experts group，VQEG)這些圖像質量評價模型都有共同的框架結構，如圖1所示Fig.1圖 1General 基于視覺系統(tǒng)的圖像質量客觀評價框圖evaluation based on HVSflow chart of objectiveimage quality本文的圖像質量客觀評價也延用了這個框架結人眼

16、是通過對比度感知圖像信息的，而大多數對對比度的研究是在B-W 色度空間實現的4，為了利用已有的研究成果，很多圖像質量評價模型都首先將圖像的色彩表示變換到B-W、R-G 和B-Y 空 間上Fig.2 Flow chart of objective image quality evaluation圖2 圖像質量客觀評價框圖用一組分層結構的濾波器來模擬人眼的視覺多通道特性濾波器組的作用是仿照人眼視覺感知通道的構造，把一幅圖像中的激勵信號分解到不同的多個空間頻率和方向上的子帶中，這樣每一個獨立的子帶信號就好像是圖像對人眼視覺系統(tǒng)不同感知通道的激勵Steerable金字塔濾波器分解符合人眼的視覺多通道特性，并且具有旋轉不變性、自反性(self-inverting)和最小的子帶間混迭，它受到了幾個視覺質量評價模型的青睞本文的立體視覺模型也是基于Steerable 金字塔頻域分解的參照Winkler3提出的PDM 模型，利用分別調制到0°、45°、90°和135°的Steerable金字塔濾