多媒體復(fù)習(xí)資料

第一章思考：計(jì)算機(jī)數(shù)據(jù)處理方式的發(fā)展歷程0/1數(shù)值，轉(zhuǎn)換為二進(jìn)制字符，ASCII碼，GB2312碼圖形，圖像，音頻，視頻。多媒體技術(shù)媒體媒體（Media）是信息表示、存儲(chǔ)和傳輸?shù)妮d體根據(jù)媒體的時(shí)間依賴性不同，媒體分成兩種類型：離散媒體和連續(xù)媒體離散媒體是獨(dú)立于時(shí)間的媒體，如文本、圖形、圖像。連續(xù)媒體（時(shí)基媒體）：是依賴于時(shí)間的媒體，如聲音、視頻，不僅用一系列值表示，而且要指出相應(yīng)值出現(xiàn)的時(shí)間，信息的表示與時(shí)間有關(guān)多媒體：定義：多媒體是指信息表示媒體的多樣化，包括文本、圖形、圖像、聲音、音樂(lè)、動(dòng)畫(huà)、視頻等性質(zhì)：多媒體是多種信息載體的表現(xiàn)形式、存儲(chǔ)和傳輸方式的有機(jī)集合多媒體技術(shù)：定義：計(jì)算機(jī)綜合處理多種媒體信息，在文本、圖形、圖像、音頻和視頻等多種信息之間建立邏輯關(guān)系，并連同多媒體設(shè)備一起集成為一個(gè)具有交互性能的應(yīng)用系統(tǒng)的技術(shù)簡(jiǎn)言之，多媒體技術(shù)就是計(jì)算機(jī)綜合處理聲、文、圖等信息性質(zhì):多媒體系統(tǒng)具有多樣性、集成性、實(shí)時(shí)性和交互性多樣性:包含的媒體種類非常豐富集成性:媒體集成性“表示媒體集成氣設(shè)備的集成性“表現(xiàn)媒體集成”實(shí)時(shí)性:聲音、視頻與時(shí)間密切相關(guān)，（多媒體信息處理、傳輸實(shí)時(shí)）交互性:低級(jí)（檢索）、中級(jí)（介入信息過(guò)程）、高級(jí)（VR）交互感覺(jué)媒體:能直接作用于人的感官，使人直接產(chǎn)生感覺(jué)的一類媒體（作用于人）主要研究表示媒體:計(jì)算機(jī)對(duì)信息的表示方法的描述。是為了加工、處理和傳輸感覺(jué)媒體而人為研究、構(gòu)造出來(lái)的一種媒體（作用于計(jì)算機(jī)）表示媒體具體體現(xiàn)為:編碼表現(xiàn)媒體:感覺(jué)媒體和用于通信的電信號(hào)之間轉(zhuǎn)換用的一類媒體，分為輸入表現(xiàn)媒體和輸出表現(xiàn)媒體。如打印機(jī)、音箱、MIDI鍵盤(pán)，掃描儀、鍵盤(pán)、鼠標(biāo)。除此之外，還有耳麥、軌跡球、繪圖儀等（用于人與計(jì)算機(jī)交互）存儲(chǔ)媒體:用于計(jì)算機(jī)存放表示媒體，以便計(jì)算機(jī)隨時(shí)處理、加工和調(diào)用信息編碼。常用的有光盤(pán)、硬盤(pán)、磁帶、活動(dòng)硬盤(pán)、優(yōu)盤(pán)等廣義存儲(chǔ)媒體：報(bào)紙、書(shū)籍、雜志等平面媒體（也是新聞學(xué)意義上的傳播媒體傳輸媒體:用于傳輸表示媒體，將表示媒體從一處傳送到另一處的物理載體。如雙絞線、同軸電纜、光纖等存儲(chǔ)媒體 傳輸媒體多媒體技術(shù)的研究?jī)?nèi)容多媒體硬件支持技術(shù)多媒體基本處理設(shè)備多媒體輸入/輸出設(shè)備多媒體轉(zhuǎn)換設(shè)備多媒體數(shù)據(jù)存儲(chǔ)技術(shù)多媒體通信設(shè)備支持多媒體應(yīng)用的軟件技術(shù)多媒體操作系統(tǒng)多媒體創(chuàng)作工具基礎(chǔ)多媒體技術(shù)多媒體數(shù)據(jù)編碼壓縮技術(shù)高級(jí)多媒體技術(shù)多媒體信息的組織與管理技術(shù)多媒體網(wǎng)絡(luò)和通信技術(shù)分布式多媒體技術(shù)基于內(nèi)容的檢索技術(shù)多媒體智能監(jiān)控技術(shù)虛擬現(xiàn)實(shí)（VR）技術(shù)增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)多媒體安全語(yǔ)音識(shí)別文語(yǔ)轉(zhuǎn)換多媒體信息的組織與管理表現(xiàn)層：超文本HTMLXML存儲(chǔ)層：多媒體數(shù)據(jù)庫(kù)VRAR多媒體技術(shù)研究?jī)?nèi)容總結(jié)獲?。喊ㄓ布夹g(shù)及軟件技術(shù)，我們可以研究軟件技術(shù)，包括采樣、量化表示：軟件技術(shù)，我們可以研究，包括表示方式、編碼方式、壓縮技術(shù)表現(xiàn)：主要是硬件技術(shù)，我們不研究存儲(chǔ)：主要是硬件技術(shù)，我們不研究傳輸：包括硬件技術(shù)及軟件技術(shù)，我們可以研究信源編碼、加密、信道編碼處理：主要是軟件技術(shù)，與具體的媒體特性有關(guān)多媒體系統(tǒng)的體系結(jié)構(gòu)/多媒體應(yīng)用系統(tǒng)、,多媒*創(chuàng)作系統(tǒng)j媒體制作平臺(tái)與工由多媒體核心系統(tǒng)\/多媒體計(jì)算機(jī)硬件系統(tǒng)、/多媒體外圍設(shè)備\多媒體應(yīng)用系統(tǒng)：針對(duì)某一主題設(shè)計(jì)開(kāi)發(fā)的具體多媒體應(yīng)用系統(tǒng)多媒體創(chuàng)作系統(tǒng)：用于生成各種多媒體應(yīng)用系統(tǒng)媒體制作平臺(tái)工具：多媒體數(shù)據(jù)的采集、制作及編輯（Photoshop）多媒體核心系統(tǒng)：核心是多媒體操作系統(tǒng)，還包括設(shè)備驅(qū)動(dòng)程序多媒體計(jì)算機(jī)硬件系統(tǒng)：包括多媒體計(jì)算機(jī)主機(jī)系統(tǒng)及各種外圍設(shè)備的接口部件多媒體外圍設(shè)備：包括音頻、視頻等多種媒體的輸入/輸出設(shè)備和裝置，通信（網(wǎng)絡(luò)）傳輸設(shè)備及裝置數(shù)字圖「符號(hào)、圖表、圖形、圖像」離散化：（采樣）「空間、時(shí)間」、（量化）幅值編碼香農(nóng)采樣定理：采樣頻率是圖像變化最高頻率的2倍時(shí)，能保證由離散圖像數(shù)據(jù)無(wú)失真地恢復(fù)原圖色彩要素：色調(diào)、飽和度、亮度注視點(diǎn)：注視點(diǎn)一般集中在高頻部分顏色模型：.RGB顏色模型（顯示設(shè)備）.CMYK顏色模型（打印設(shè)備）?HSL顏色模型（人眼）灰度=0.299R0.587G0.144B.YUV（彩色電視）4:1:1Y-亮度信號(hào)，U、V-色差信號(hào)（B-Y,R-Y）YIQ（彩色電視）Y-亮度，I和Q-色差信號(hào)Lab顏色模型Index（索引）色彩模式Grayscale（灰度）模式Binary（二值）模式RGB相加混色模型CMYK相減混色模型HSLH色調(diào)S飽和度L亮度Lab生成的顏色與使用設(shè)備無(wú)關(guān)Index索引8bit表示，最多使用256種顏色（顏色存放在調(diào)色板）Grayscale灰度8bit表示，最多使用256級(jí)灰度Binary二值1bit表示通過(guò)抖動(dòng)可以模擬灰度圖像真彩色偽彩色直接色BMP壓縮00:行的結(jié)束01：圖像結(jié)束02:后2個(gè)字節(jié)表示下一個(gè)像素從當(dāng)前開(kāi)始的水平和垂直位置的偏移量0,第2個(gè)字節(jié)為0x03~0xFF之間的一個(gè)值（絕對(duì)方式）：第2個(gè)字節(jié)表示跟在這個(gè)字節(jié)后面的字節(jié)數(shù)，每個(gè)字節(jié)包含單個(gè)像素的顏色索引。壓縮數(shù)據(jù)格式需要字邊界對(duì)齊第1個(gè)字節(jié)非0（編碼方式）：第1個(gè)字節(jié)指定使用相同顏色的像素?cái)?shù)目，第2個(gè)字節(jié)指定使用的顏色索引BMP文件頭14字節(jié)+40字節(jié)BMP信息頭文件大小=54+調(diào)色板大小+像素大小+（2Bytes"對(duì)齊”）TIFF「文件頭+IFD、數(shù)據(jù)」RGB無(wú)壓縮、RLE壓縮、JEPG壓縮第三章音頻：「聲音、語(yǔ)音、音樂(lè)」聲音的聽(tīng)覺(jué)心理特性、聲音信號(hào)數(shù)字化方法及其與圖像數(shù)字化的區(qū)別聲音分類：（聲音特性）不規(guī)則聲音：噪音規(guī)則聲音：語(yǔ)音、音樂(lè)、音效（頻率）次音信號(hào)＜20Hz音頻信號(hào)20Hz~20kHz其中300?3000Hz為話音信號(hào)超聲波信號(hào)＞20kHz聲音的聽(tīng)覺(jué)，心理特性音調(diào)、響度、聽(tīng)閾：人能聽(tīng)到的最低聲壓級(jí)痛閾：當(dāng)聲壓級(jí)增大到一定強(qiáng)度時(shí)，人耳會(huì)感到不適或疼痛掩蔽效應(yīng)（頻域掩蔽「一個(gè)強(qiáng)純音會(huì)掩蔽在其附近同時(shí)發(fā)聲的弱純音」、時(shí)域掩蔽「時(shí)間上相鄰的聲音之間也有掩蔽現(xiàn)象」）：聲音數(shù)字化：采樣、量化、編碼（數(shù)據(jù)+控制信息）音頻質(zhì)量：采樣頻率、采樣精度（量化位數(shù)）和聲道數(shù)奈奎斯特采樣定理：采樣頻率高于信號(hào)最高頻率的兩倍，就可以從采樣中完全恢復(fù)原始信號(hào)的波形。因此，采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的兩倍數(shù)據(jù)率（字節(jié)/每秒）=采樣頻率（Hz）x樣本精度（位）x聲道數(shù)8MIDI電子樂(lè)器數(shù)字接口：MIDI是動(dòng)作指令MIDI音樂(lè)設(shè)備「音源、音序器、輸入設(shè)備」動(dòng)態(tài)圖像：原理：視覺(jué)暫留動(dòng)畫(huà)：視頻：泛指將一系列的靜態(tài)影像以電信號(hào)方式加以捕捉，紀(jì)錄，處理，儲(chǔ)存，傳送，與重現(xiàn)的各種技術(shù)彩色空間變換：不同色彩格式間的轉(zhuǎn)換第五章冗余：多媒體數(shù)據(jù)冗余：統(tǒng)計(jì)冗余（空間冗余、時(shí)間冗余）、結(jié)構(gòu)冗余、知識(shí)冗余、感知冗余（視覺(jué)冗余、聽(tīng)覺(jué)冗余）信息表達(dá)冗余：信息熵冗余統(tǒng)計(jì)冗余：時(shí)間冗余:相鄰的2幀中會(huì)有大量的區(qū)域有相同或相近的數(shù)據(jù)，形成幀間的數(shù)據(jù)冗余，即時(shí)間冗余（音頻數(shù)據(jù)亦然）空間冗金：在同一個(gè)靜態(tài)圖像或畫(huà)面中，有部分區(qū)域數(shù)據(jù)值一樣或相差不大，形成空間冗余結(jié)構(gòu)冗余:圖像存在著明顯的分布模式知識(shí)冗余:許多圖像的理解與某些基礎(chǔ)知識(shí)有相當(dāng)大的相關(guān)性。如人臉的圖像有固定的結(jié)構(gòu)感知冗余:聽(tīng)覺(jué)、視覺(jué)等冗余視覺(jué)：「亮度和色度、高亮度區(qū)和非高亮度區(qū)、邊緣和非邊緣」信息熵冗余：信息熵:一組數(shù)據(jù)所攜帶的平均信息量（不確定性的度量）：H土N-lP"

取值范圍：0<H（x）<log2NN為數(shù)據(jù)的種類（信源符號(hào)）的個(gè)數(shù)Pi為第i個(gè)信源符號(hào)出現(xiàn)的概率平均信息量乘以數(shù)據(jù)的個(gè)數(shù)，就是整個(gè)一組數(shù)據(jù)的信息量信息的表達(dá)存在冗余，稱為信息熵冗余信源編碼器模型編碼器輸出碼字的平均碼長(zhǎng)：d=￡niP（xi）d>>H（x）有冗余，稱為信息熵冗余d<H（x）不可能d~H（x）最佳編碼原始圖像冗余度編碼效率數(shù)據(jù)壓縮方法分類根據(jù)解碼（解壓縮）后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致?可逆編碼（無(wú)失真編碼，無(wú)損編碼,lossless）Huffman編碼、算術(shù)編碼、游程長(zhǎng)度（RLE）編碼等統(tǒng)計(jì)編碼?不可逆編碼（有失真編碼，有損編碼，lossy）變換編碼和預(yù)測(cè)編碼根據(jù)數(shù)據(jù)壓縮的原理統(tǒng)計(jì)編碼針對(duì)信息嫡冗余，即信息表達(dá)冗余(游程(RLE)、Huffman編碼、算術(shù)編碼)預(yù)測(cè)編碼針對(duì)統(tǒng)計(jì)冗余，即多媒體信號(hào)的相關(guān)性變換編碼針對(duì)感知冗余，即多媒體信號(hào)的人類感知冗余其他編碼游程編碼RLE：(PCX、Targa)Huffman編碼：變長(zhǎng)編碼，編碼效率高，依賴于信源的統(tǒng)計(jì)特性算數(shù)編碼：基本參數(shù)「符號(hào)的概率和它的編碼間隔」，整個(gè)消息只產(chǎn)生一個(gè)碼字，精度在64位以內(nèi)，區(qū)別于Huffman編碼的是，它是根據(jù)信源符號(hào)估計(jì)出各個(gè)元素的概率，然后進(jìn)行迭代計(jì)算。而不Huffman編碼必須預(yù)先得知信源的出現(xiàn)概率1 e0,5ea0.26eai0,2360.2 0.2 0.23詞典編碼：第一類:用已經(jīng)出現(xiàn)過(guò)的字符串替代重復(fù)的部分，輸出僅僅是指向早期出現(xiàn)過(guò)的字符串的“指針”。LZ77算法

第二類：創(chuàng)建一個(gè)“短語(yǔ)詞典”。編碼中遇到已在詞典中出現(xiàn)的“短語(yǔ)”時(shí)，輸出詞典中的短語(yǔ)的“索引號(hào)”。LZ78算法LZW壓縮編碼：LZW不需要傳輸壓縮編碼時(shí)建立的詞典，而是在解壓縮時(shí)建立詞典，此點(diǎn)不同于Huffman編碼。但需要初始化詞典/表/串表ABABA讀入的字符上次的當(dāng)前申無(wú)串登加結(jié)果查找重復(fù)項(xiàng)97(A)輸出代碼新添加表項(xiàng)當(dāng)前串重新賦值BAAB無(wú)97AB-25SBABBA無(wú)98BA459ABAAB細(xì)AABABA無(wú)祝ABA-260A結(jié)束A97流結(jié)束標(biāo)志輸出數(shù)據(jù)StringoQcode)讀入的字符（code）Combine(string)newtable(string-code)97CA>AA98(B)AB25S:ABB25S(AB}BAAB97CA>ABA260:ABAAEOF衡量數(shù)據(jù)壓縮技術(shù)性能的三個(gè)指標(biāo)壓縮比（壓縮效果）：壓縮前數(shù)據(jù)量/壓縮后數(shù)據(jù)量算法復(fù)雜性和運(yùn)算速度（壓縮效率）：｛對(duì)稱壓縮非對(duì)稱壓縮失真度（壓縮質(zhì)量）預(yù)測(cè)編碼（壓縮數(shù)據(jù)的空間冗余和時(shí)間冗余）根據(jù)離散信號(hào)之間存在一定的相關(guān)性的特點(diǎn)，利用前面的一個(gè)或多個(gè)信號(hào)對(duì)下一個(gè)信號(hào)進(jìn)行預(yù)測(cè)，然后對(duì)實(shí)際值和預(yù)測(cè)值的差值進(jìn)行編碼壓縮對(duì)象聲音：聲波的下一個(gè)幅度、音色圖像：下一個(gè)像點(diǎn)、下一條線或幀特點(diǎn)簡(jiǎn)捷且易于實(shí)現(xiàn)要求數(shù)據(jù)傳輸速度很高，需要前面多個(gè)信號(hào)參與預(yù)測(cè)壓縮能力有限，預(yù)測(cè)差值不一定可以大量壓縮變換編碼（感知冗余有損壓縮編碼變換->變換域采樣->量化對(duì)欲編碼的原始數(shù)據(jù)所在的時(shí)間或空間域從一種信號(hào)空間變換到另一種信號(hào)空間，產(chǎn)生一批變換系數(shù)，使得通過(guò)變換后能夠突出原始數(shù)據(jù)中的重要部分，以便重點(diǎn)處理。然后再對(duì)這些系數(shù)進(jìn)行編碼處理（突出重要性）關(guān)鍵是要尋找一個(gè)最佳變換各種編碼方式的比較ASCII碼、GB2312碼針對(duì)單個(gè)信源符號(hào)編碼定長(zhǎng)碼消息的編碼由消息中各個(gè)信源符號(hào)編碼連接而成解碼時(shí)需要編碼規(guī)則（即相應(yīng)的編碼表）解碼方式為查表方式無(wú)錯(cuò)誤傳播Huffman編碼針對(duì)單個(gè)信源符號(hào)編碼變長(zhǎng)碼消息的編碼由消息中各個(gè)信源符號(hào)的編碼連接而成解碼時(shí)不需要信源符號(hào)的概率統(tǒng)計(jì)模型，但需要相應(yīng)的編碼規(guī)則表Huffman表），使用固定概率模型時(shí)對(duì)于不同的消息，可以使用相同的編碼規(guī)則表解碼方式為查表方式有錯(cuò)誤傳播算術(shù)編碼針對(duì)消息編碼變長(zhǎng)碼不產(chǎn)生單個(gè)信源符號(hào)的編碼，直接得到消息的編碼解碼時(shí)需要信源符號(hào)的概率統(tǒng)計(jì)模型，不需要其它表解碼方式為根據(jù)信源符號(hào)的概率統(tǒng)計(jì)模型進(jìn)行有錯(cuò)誤傳播LZW編碼針對(duì)單個(gè)信源符號(hào)或若干個(gè)信源符號(hào)的組合編碼（即可能多個(gè)信源符號(hào)被看作一個(gè)信源符號(hào)）定長(zhǎng)碼消息的編碼由消息中各個(gè)信源符號(hào)或信源符號(hào)的組合的編碼連接而成解碼時(shí)不需要信源符號(hào)的概率統(tǒng)計(jì)模型，不需要詞典，但需要初始詞典，解碼過(guò)程中生成詞典解碼方式為查表方式有錯(cuò)誤傳播（雖然是定長(zhǎng)編碼，但在解碼過(guò)程中需要生成詞典。如果存在錯(cuò)誤，可能導(dǎo)致生成詞典出錯(cuò)，甚至無(wú)法生成詞典）瑞碼名稱編碼對(duì)象京閣變匕消息編馮為式解誥規(guī)則解電￡錯(cuò)謖用播ASCII碼GB23L2媽單個(gè)信源符號(hào)定長(zhǎng)碼由消息中各個(gè)信源符號(hào)編媽連接而成需要蝙戰(zhàn)規(guī)則表查表無(wú)畢個(gè)信源符號(hào)黎碼由消息中各個(gè)信源符號(hào)編碼連接而成不需要信源符號(hào)的概率統(tǒng)計(jì)模型需是編碼規(guī)則表（Huffrnan表）查表有算術(shù)蝙碼消息不產(chǎn)生單個(gè)倩源符號(hào)的編碼’直接得到消息的編媽需要信源符號(hào)的概率統(tǒng)計(jì)模型,不需要共它表根據(jù)侑源符號(hào)的概率統(tǒng)計(jì)模型進(jìn)行有LZW編碼單不信源符號(hào)或若干個(gè)信源符號(hào)的組合編碼《即可能多個(gè)信源符號(hào)祐看作一個(gè)信源符號(hào)】定長(zhǎng)瑪由消息吊答個(gè)佰源符號(hào)或信儺符號(hào)的組合的蝙碼連接而成不需要信源符號(hào)的概率統(tǒng)計(jì)模型，不需要詞感,回需要初始詞典'解碼過(guò)程中生成詞典直表有音頻譯碼器：波形編連碼器：對(duì)模擬語(yǔ)音信號(hào)進(jìn)行采樣，然后進(jìn)行幅度量化與二進(jìn)制編碼（簡(jiǎn)單，失真最?。┮粼淳幾g碼器：以聲音信號(hào)產(chǎn)生的模型為基礎(chǔ)，將聲音信號(hào)轉(zhuǎn)換成參數(shù)后再進(jìn)一步編碼（壓縮率大，計(jì)算量大，保真度不高，保密性能好）混合編譯碼器：PCM:脈沖編碼調(diào)制模擬聲音信號(hào)->（防失真濾波器〉波形編碼器）->PCM樣本采樣頻率為聲音頻率的2倍DM：增量調(diào)制（預(yù)測(cè)編碼）纏過(guò)載（反饋回路輸出信號(hào)的最大變化速率受到量化階大小的限制）、粒狀噪聲（在輸入信號(hào)緩慢變化部分，即輸入信號(hào)與預(yù)測(cè)信號(hào)的差值接近零的區(qū)域，增量調(diào)制器的輸出出現(xiàn)隨機(jī)交變的“0”和“1”）矛盾：在輸入信號(hào)變化快的區(qū)域，斜率過(guò)載是關(guān)心的焦點(diǎn)；在輸入信號(hào)變化慢的區(qū)域，關(guān)心的焦點(diǎn)是粒狀噪聲，為了盡可能避免出現(xiàn)斜率過(guò)載，就要加大量化階△，但這樣做又會(huì)加大粒狀噪聲；相反，如果要減小粒狀噪聲，就要減小量化階△，這又會(huì)使斜率過(guò)載更加嚴(yán)重DPCM:差分脈沖編碼調(diào)制原理同預(yù)測(cè)編碼區(qū)別：PCM:量化絕對(duì)值

DM:量化相對(duì)值（2值量化）DPCM:量化相對(duì)值（多值量化）量化均勻量化非均勻量化：在滿足精度要求的情況下用較少的位數(shù)來(lái)表示（大的輸入信號(hào)采用大的量化間隔，小的輸入信號(hào)采用小的量化間