基于DirectShow的網(wǎng)絡虛擬視頻卡拉OK合成系統(tǒng)的研究與實現(xiàn)_圖文

1、淞碩士學位論文基于的網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)的研究與實現(xiàn)論文作者：魏維指導教師：趙剛教授學科專業(yè)：計算機應用技術(shù)研究方向：數(shù)字媒體技術(shù)華中師范大學國家數(shù)字化學習工程技術(shù)研究中心年月：碩士學位論文華中師范大學學位論文原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重聲明：所呈交的學位論文，是本人在導師指導下，獨立進行研究工作所取得的研究成果。除文中已經(jīng)標明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出貢獻的個人和集體，均已在文中以明確方式標明。本聲明的法律結(jié)果由本人承擔。作者簽名：日期：加，年廠月蜥學位論文版權(quán)使用授權(quán)書學位論文作者完全了解華中師范大學有關(guān)保留、

2、使用學位論文的規(guī)定，即：研究生在校攻讀學位期間論文工作的知識產(chǎn)權(quán)單位屬華中師范大學。學校有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復印件和電子版，允許學位論文被查閱和借閱；學?？梢怨紝W位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它復制手段保存、匯編學位論文。（保密的學位論文在解密后遵守此規(guī)定）保密論文注釋：本學位論文屬于保密，在年解密后適用本授權(quán)書。非保密論文注釋：本學位論文不屬于保密范圍，適用本授權(quán)書。作者簽名：薔穗確日期：口，年月奠泊 導師簽名：協(xié)印日期：，乞年月侈日本人已經(jīng)認真閱讀“高校學位論文全文數(shù)據(jù)庫發(fā)布章程，同意將本人的學位論文提交“高校學位論文全文數(shù)據(jù)庫中全文發(fā)布，并可按。

3、章程一中的規(guī)定享受相關(guān)權(quán)益。匠意途塞握交卮澄蜃！旦坐生；旦生；旦三生筮查！作者簽名：日期：許，月 導師簽名：汐伊日期：刊許擴月日碩士學位論文摘要隨著數(shù)字媒體技術(shù)和網(wǎng)絡技術(shù)的發(fā)展，基于動態(tài)視頻融合的增強現(xiàn)實技術(shù)研究已經(jīng)成為計算機圖形學和計算機視覺等相關(guān)領(lǐng)域的重點研究課題，也是未來數(shù)字媒體技術(shù)發(fā)展的趨勢所在。通過使用這種技術(shù)，可以融合虛擬場景和實時視頻，從而給人一種身臨其境的娛樂感受。本文正是立足于動態(tài)視頻融合的增強現(xiàn)實技術(shù)之上，開發(fā)了一種全新的娛樂系統(tǒng)網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)。該系統(tǒng)意在通過摳像融合等技術(shù)，將網(wǎng)絡上兩個不同終端結(jié)點的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實時的虛擬合唱效果

4、顯示在演唱者各自的終端上，同時還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠在天邊，卻近在眼前的感受。系統(tǒng)采用了當前十分流行的流媒體處理框架進行搭建，各個模塊均封裝成了兼容的模塊。其中，摳像融合采用了背景差分摳像算法和庫進行實現(xiàn)；網(wǎng)絡視音頻發(fā)送和接收采用了技術(shù)進行實現(xiàn)。最終通過實驗證明，系統(tǒng)的摳像融合效果良好，操作簡單，基本實現(xiàn)了預期的目標。關(guān)鍵詞：摳像融合；增強現(xiàn)實；卡拉碩士學位論文西，副、，夥一一，；，：，；碩士學位論丈目錄中文摘要。第一章緒論論文的研究背景及意義國內(nèi)外研究現(xiàn)狀論文的研究內(nèi)容論文的主要特色和結(jié)構(gòu)安排第二章網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)關(guān)鍵技術(shù)技術(shù)概

5、述。系統(tǒng)組成模塊組件的開發(fā)技術(shù)數(shù)字圖像處理技術(shù)數(shù)字圖像處理概述數(shù)字圖像處理的幾種主要技術(shù)技術(shù)概述?；诘木幊袒诘木幊瘫菊滦〗Y(jié)第三章網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)總體設(shè)計系統(tǒng)總體結(jié)構(gòu)設(shè)計系統(tǒng)功能結(jié)構(gòu)圖軟件流程設(shè)計系統(tǒng)開發(fā)環(huán)境和開發(fā)工具本章小結(jié)第四章?lián)赶袼惴ǖ难芯颗c實現(xiàn)一一。一碩士學位論文摳像算法分析。摳像模型單色背景摳像自然背景摳像摳像算法設(shè)計獲取掩碼圖像目標邊緣處理及去噪算法實現(xiàn)及實驗驗證本章小結(jié)第五章網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)的實現(xiàn)一。摳像融合的實現(xiàn)網(wǎng)絡視音頻發(fā)送，接收的實現(xiàn)網(wǎng)絡發(fā)送的實現(xiàn)網(wǎng)絡接收的實現(xiàn)系統(tǒng)界面設(shè)計與實現(xiàn)系統(tǒng)集成及實現(xiàn)集成視音頻采集功能。集成摳像融合功能集成網(wǎng)絡功能系統(tǒng)最終效果演示

6、本章小結(jié)第六章總結(jié)與展望總結(jié)展望參考文獻在校期間發(fā)表的論文、科研成果等致謝 碩士學位論文第一章緒論論文的研究背景及意義近年來，隨著數(shù)字媒體技術(shù)、計算機多核并行技術(shù)、技術(shù)、軟件工程管理學和通信技術(shù)的快速發(fā)展，仿真建模、計算機輔助設(shè)計、計算機視覺、智能機器人和計算機藝術(shù)等技術(shù)已經(jīng)成為國際學術(shù)界和工業(yè)界的重要研究熱點。這些技術(shù)不僅將人們帶入到了數(shù)字化的虛擬世界，同時也將創(chuàng)作帶向了超越空間、時間和經(jīng)驗的新思考、新創(chuàng)作的領(lǐng)域，去物質(zhì)化的虛擬影像通過媒體在到處傳播，數(shù)字世界已經(jīng)成為一種真實的、沉浸式的虛擬現(xiàn)實環(huán)境。而作為虛擬現(xiàn)實技術(shù)重要分支之一的增強現(xiàn)實技術(shù)，它提供給了用戶與虛擬世界進行交互的接口，為用戶

7、帶來了互動性強的、易于實現(xiàn)的、亦真亦幻的新世界。增強現(xiàn)實技術(shù)在建筑、教育、工業(yè)設(shè)計和娛樂生活等領(lǐng)域都有著廣泛的應用，它也經(jīng)歷著從一般增強現(xiàn)實技術(shù)、動態(tài)增強現(xiàn)實技術(shù)，再到媒體融合增強技術(shù)的轉(zhuǎn)變。在人們的日常娛樂生活中，基于動態(tài)視頻融合的增強現(xiàn)實技術(shù)必將有著廣泛的應用前景【，例如，在娛樂游戲和數(shù)字影視中，通常都需要將特定的數(shù)字場景和真實拍攝的視頻高效、實時融合起來，給人一種身臨其境的感受和娛樂體驗?？ɡ鳛橐豁棅蕵坊顒右呀?jīng)十分普及了，可以說是走進了千家萬戶，然而隨著科技的發(fā)展和人們生活水平的提高，人們對各項娛樂設(shè)施的要求也越來越高。對于卡拉，人們已經(jīng)不僅僅滿足于簡簡單單的點歌和唱歌了，而是希望能提

8、供諸如影像合成、錄制等更多人性化的功能。如何將基于動態(tài)視頻融合的增強現(xiàn)實技術(shù)這樣的科技應用到諸如卡拉這樣的娛樂活動中去已經(jīng)成為很多商家和研究機構(gòu)合作的熱點領(lǐng)域。正是基于上述背景，本文開發(fā)了一種全新的娛樂系統(tǒng)網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)。該系統(tǒng)意在通過摳像融合等技術(shù)，將網(wǎng)絡上兩個不同終端結(jié)點的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實時的虛擬合唱效果顯示在演唱者各自的終端上，同時還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠在天邊，卻近在眼前的感受。如今，隨著基于動態(tài)視頻融合等增強現(xiàn)實技術(shù)應用于生活娛樂各方面，大量的相關(guān)產(chǎn)品已經(jīng)問世，但應用于卡拉這類傳統(tǒng)娛樂項目

9、的產(chǎn)品并不多。目前國內(nèi)已有的相關(guān)產(chǎn)品有：（）軟件系統(tǒng)。是一款功能多樣的多媒體娛樂軟件，通過使用它，用戶不但可以在線聽歌和歌，還可以錄制自己的卡拉曲目和清晰的【】。該系統(tǒng)通過采用特定的摳像技術(shù)，把背景換成漂亮的圖片或者視頻畫面，將用戶置身于所選擇的虛幻場景之中。另外，系統(tǒng)還加入了畫中畫、調(diào)色板、濾鏡和前特效等功能來美化表演者的畫面，使摳像融合的視頻看起來更加生動活潑。（）唱吧系統(tǒng)。這是一款由天津通廣集團益之達科技有限公司開發(fā)的結(jié)合視頻融合的卡拉唱歌系統(tǒng)。其中封閉式的唱吧整套設(shè)備占地總面積為平米，其中包括防火材料制作而成的隔音外殼，內(nèi)置主機、顯示器、錄音系統(tǒng)、攝像系統(tǒng)、刻錄系統(tǒng)等。使用它不僅可以進

10、行歌、制作、光盤刻錄等，還可以自動將視頻歌曲上傳到互動娛樂網(wǎng)站，從而實現(xiàn)網(wǎng)上瀏覽、交友等娛樂。（）虛擬卡拉演播廳。也稱之為即演即出合成系統(tǒng)，由重慶市光華科技有限公司開發(fā)，系統(tǒng)包含的歌曲庫及動態(tài)素材可無限添加和替換，操作簡單，靈活方便。當然此系統(tǒng)同上述系統(tǒng)一樣也具有實時摳像功能，是一款操作簡單的虛擬視頻卡拉系統(tǒng)。而國外將增強現(xiàn)實技術(shù)應用的產(chǎn)品也有很多。例如，在手機娛樂方面，西門子推出了“虛擬足球”游戲，只要玩家將腳放在攝像頭可見的范圍里就可以踢動畫面上的足球。但用于卡拉方面的產(chǎn)品卻不多見。綜上分析可知，本文研究的網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)具有很好的市場前景。目前已有的虛擬視頻卡拉合成系統(tǒng)摳像融合效

11、果一般，且基本只能單機使用，不具備網(wǎng)絡互連功能。而本系統(tǒng)意在實現(xiàn)一種兼具單機和網(wǎng)絡互連的新型卡拉合成系統(tǒng)，且融合效果好，能使處在不同地域的人們有一種“雖遠在天邊，卻近在眼前”的感受。論文的研究內(nèi)容根據(jù)本系統(tǒng)要實現(xiàn)的功能分析，本文的研究內(nèi)容主要包括以下三個方面：碩士學位論文（）室內(nèi)簡單背景下?lián)赶窦夹g(shù)的研究。通過對國內(nèi)外各種摳像算法分析和研究，實現(xiàn)一種能滿足系統(tǒng)功能需要的，在室內(nèi)簡單背景下?lián)赶裥Ч麅?yōu)秀且實時性好的摳像算法。（）高質(zhì)量視音頻網(wǎng)絡實時傳輸技術(shù)的研究。對各種視音頻編碼方式和實時傳輸協(xié)議的功能特點進行研究，通過實驗測試，選取一種能滿足系統(tǒng)需要的好的視音頻編碼格式。（）軟件系統(tǒng)開發(fā)技術(shù)的研究

12、。研究學習各種軟件架構(gòu)和開發(fā)技術(shù)，選取一種合適的軟件框架對系統(tǒng)進行搭建，力求使系統(tǒng)的穩(wěn)定性好、擴展性強。以上的三個主要研究內(nèi)容中，簡單背景下實時視頻的人像提取和高質(zhì)量視音頻網(wǎng)絡實時傳輸?shù)膶崿F(xiàn)是本系統(tǒng)的兩個關(guān)鍵的問題，這兩個問題解決的好壞直接影響本系統(tǒng)的功能效果、研究意義和使用價值。論文的主要特色和結(jié)構(gòu)安排論文的特色之處在于：（）目前已有的虛擬視頻卡拉合成系統(tǒng)摳像融合效果一般，且基本只能單機使用，不具備網(wǎng)絡互連功能。本文實現(xiàn)的是一種兼具單機和網(wǎng)絡互連的新型卡拉合成系統(tǒng)，且融合效果好，能使處在不同地域的人們有一種“雖遠在天邊，卻近在眼前的感受，具有很好的市場前景！（）技術(shù)上通過特定算法實現(xiàn)人像提取

13、，視頻疊加，且效果良好。論文的結(jié)構(gòu)按如下方式安排：第一章為緒論，主要介紹論文的研究背景及意義、國內(nèi)外類似系統(tǒng)的研究現(xiàn)狀、論文的研究內(nèi)容以及論文的框架。第二章主要對系統(tǒng)所用的關(guān)鍵幾種技術(shù)做簡要介紹，包括技術(shù)、技術(shù)、數(shù)字圖像處理技術(shù)、技術(shù)，這些可以算是本文的理論基礎(chǔ)。第三章結(jié)合功能需求對系統(tǒng)進行整體設(shè)計，包括結(jié)構(gòu)設(shè)計和功能框架設(shè)計，同時還對系統(tǒng)的開發(fā)環(huán)境和開發(fā)工具做簡單介紹。第四章是摳像算法的研究與實現(xiàn)，對系統(tǒng)中所用到的核心摳像算法進行分析、設(shè)計和實現(xiàn)。第五章是系統(tǒng)的實現(xiàn)，包括各模塊的實現(xiàn)，再到系統(tǒng)界面設(shè)計和實現(xiàn)、最后便是系統(tǒng)的集成與實現(xiàn)。第六章為總結(jié)與展望，對系統(tǒng)的研究工作進行總結(jié)同時提出下一步

14、的工作。碩士學位論文第二章網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)關(guān)鍵技術(shù)技術(shù)概述是一套由公司提供的流媒體開發(fā)包，使用它可以在平臺上進行各種流媒體的應用開發(fā)。能夠很好的支持流媒體的捕捉和回放，例如，通過運用它，可以很方便地從采集卡上捕獲數(shù)據(jù)進而進行相應的處理，又由于它支持各種媒體格式，這樣就使得媒體數(shù)據(jù)的回放變得容易。而且，它還集成了諸如等的其他技術(shù)，同時還對非線性編輯提供了一定支持，這種技術(shù)可以將視音頻合成為一個文件。更重要的是，開發(fā)者可以按照系統(tǒng)功能需求定制相應的組件嘲，本系統(tǒng)中的幾個核心模塊就是采用這種方式定制的。系統(tǒng)組成組件、應用程序及相關(guān)軟硬件之間的聯(lián)系如圖所示。系統(tǒng)慧罟型十一叫鬻陸模式結(jié)構(gòu)麗耐酹網(wǎng)

15、脯獲設(shè)備設(shè)備編碼器弱酮系統(tǒng)）燃聲卡戳攀件解碼器尸卜卡圖系統(tǒng)圖系統(tǒng)就是圖中陰影部分，虛線以上的是應用層，虛線以下的是硬件設(shè)備，分別處于唧和砒特權(quán)級別，系統(tǒng)位于應用層中【】。碩士學位論文采用的是模塊化的組織方式，單個功能模塊稱之為，它是一種組件，整個數(shù)據(jù)流的的處理過程則由一種叫做的模型來管理。為應用開發(fā)提供了很多標準的封裝模塊，同時還提供了一套開發(fā)的標準類庫給開發(fā)者使用，這樣開發(fā)人員就可以根據(jù)功能需要開發(fā)特定的模塊來擴展系統(tǒng)的功能，本系統(tǒng)正是這樣處理的。下面我們通過一個典型的基本應用來了解，的數(shù)據(jù)流處理過程，如圖所示。日曰日曰圖本地文件的回放鏈路工作流程：（）使用（源，的分類后面會介紹）從硬盤中的

16、一個文件讀取數(shù)據(jù)并形成字節(jié)流（）根據(jù)讀取的數(shù)據(jù)流的格式使用分開視音頻流。（）依據(jù)視頻流的壓縮格式選擇最佳的解碼對視頻流進行解碼。（）通過顯示圖像幀序列。（）采用默認的播放送過來的音頻流。之間的連接點稱之為，它也是一種對象，一般每個都會與至少一個相連接。通過進行數(shù)據(jù)傳遞，例如圖中，數(shù)據(jù)從傳到，圖中的箭頭就表示數(shù)據(jù)的流動方向。其中的鏈表就是中所說的，而中的所有則是由稱之為的對象來控制。模塊上面我們也說到，是以模塊化的方式組織起來的，每個模塊都是一個組件，被稱為，它是中最基本的功能單元。使用來管理，一般含有至少一個，并通過相互連接】。常見的如圖所示。唇晤叫瑟二娑。吲脅圖三種類型從上圖可以看出，一般分

17、為以下三種類型：（）源過濾器（）：處于整個（過濾器圖表）中開始的部分，僅含有輸出，沒有輸入。它主要負責獲取外部的數(shù)據(jù)，數(shù)據(jù)源可以是本地文件、英特網(wǎng)數(shù)據(jù)流和采集卡等，然后將數(shù)據(jù)傳送給下一級的過濾器。（）轉(zhuǎn)換過濾器（）：處于的中間位置，既有輸入，又有輸出。它主要負責處理數(shù)據(jù)，例如編解碼，數(shù)據(jù)流的分離和合成、格式的轉(zhuǎn)換、壓縮解壓縮等等，處理完后接著將數(shù)據(jù)向下傳送。（）提交過濾器（）：處于的最后一級，僅有輸入，沒有輸出。它在中處于最后一級，負責數(shù)據(jù)的最終去向一接收數(shù)據(jù)并將數(shù)據(jù)提交給外設(shè)，如顯卡、聲卡，或者輸出到文件。當然，一個既可以是，也可以是，所以的這種分類方式也并不是絕對的。組件的開發(fā)為了方便的定

18、制開發(fā)，專門為開發(fā)人員提供了一套基類源代碼庫【】，盡管這些源代碼庫對于開發(fā)組件來說不是必需的，但使用這些基類，可以大大減輕開發(fā)人員的負擔，簡化的開發(fā)過程，下面主要介紹幾種常用的基類結(jié)構(gòu)以及基于它們進行開發(fā)的框架過程。類，使用方法如下：（）聲明一個新類，使它繼承于類：（）在新類中定義所需的的實例；（）實現(xiàn)純虛函數(shù)，它主要用于返回上的對象指針；（）實現(xiàn)純虛函數(shù)，它主要用于返回上的數(shù)量；類，使用方法如下：（）聲明一個類，使它從類派生；（）實現(xiàn)純虛函數(shù)，它的作用是在進行連接時，檢查媒體類型；（）實現(xiàn)虛函數(shù)，它主要負責提供上的首選媒體類型；（）實現(xiàn)：和：這個兩個函數(shù)；（）另外還有一些根據(jù)功能需要可能要重

19、寫的函數(shù)，如（連接時進行是否支持某接口檢查等）。類，使用方法如下：（）派生一個類的子類；（）重寫函數(shù)和函數(shù)，功能如上介紹；（）重寫函數(shù)，用于設(shè)置內(nèi)存大?。唬ǎ┲貙懞瘮?shù)，在此函數(shù)中可以對輸入的數(shù)據(jù)進行處理。技術(shù)這種應用系統(tǒng)是完全建立在基礎(chǔ)上的，所以要想深入理解它，就必須對技術(shù)的一些概念和原理有所了解，本節(jié)就簡單介紹一些技術(shù)的概念和原理。不是接口，也不是對象，它是一種標準規(guī)范，它是軟件組件互相通信的一種方式，而且它是跨平臺、跨語言的。對象是一種具有多接口的對象，只要符合標準，那就是對象。如果我們用語言來實現(xiàn)，那么就可以把對象理解為一個類，它的接口就是一個純虛類【】。用代碼可以描述如下：其中，就是接

20、口，一個純虛類，就是對象【】。規(guī)范規(guī)定，對象必須實現(xiàn)接口，這個接口是管理它的生命周期的，該接口定義了、和這三個函數(shù)，其中，用于查詢碩士學位論文對象上的接口，和分別負責增加和減少引用計數(shù)【】，當引用計數(shù)為時，這個對象占用的內(nèi)存就會被釋放，這很好的解決了對象銷毀的問題。除了接口，規(guī)范還規(guī)定，必須實現(xiàn)一個（類工廠），它是和相應的對象對應的，因為對象就是一個類，外部的使用者一般不知道這個類名，就需要有一個與之相對應的類廠來創(chuàng)建這個類的實例。其實也是一個對象，它繼承于接口。該接口提供方法運用操作生成相應的對象實例。組件一般分為進程內(nèi)組件、本地組件和遠程組件三種，虻中的一般都被封裝成動態(tài)鏈接庫（），所以它

21、往往是進程內(nèi)組件。一般每個對象都有一個惟一標識，當創(chuàng)建一個對象實例時，過程一般如下：（）通過調(diào)用庫函數(shù)創(chuàng)建此對象的類工廠。在內(nèi)部實際上是調(diào)用了封裝對象的的導出函數(shù)，它創(chuàng)建了相應的類工廠，同時還返回了接口。（）調(diào)用類工廠的接口方法（），創(chuàng)建惟一標識符標識的對象實例。詳細過程如圖所示：匡圣固圖對象的創(chuàng)建過程數(shù)字圖像處理技術(shù)數(shù)字圖像處理概述數(shù)字圖像處理是一門用計算機對圖像信息進行處理的技術(shù)，它可以分為底層、中層和高層這三個典型的層次。（）底層圖像處理。底層圖像處理是是一種狹義的圖像處理，是低層操作【。如圖所示，它主要是對輸入的圖像進行某種在像素級別上的變換操作得到輸出圖像，是一種輸入輸出都是圖像的處

22、理，例如降噪處理、圖像增強、圖像復原等。里竺竺仝磊玨運畫五夏面磊磊網(wǎng)望堡笙堂，圖像處理（增強、復原、編碼、壓縮等）竺蘭圖低層的圖像處理（）中層圖像處理。也稱之為圖像分析，它是一個圖像符號化或數(shù)值化的過程。如圖所示，它特點是以輸入為圖像，輸出的則是從圖像中提取的各種特征，例如輪廓、邊緣等。圖中層的圖像處理（）高層圖像處理。也稱之為圖像理解，它是一種高層操作，在處理過程及方法上，有點類似人類的思維推理，它是對中層圖像處理抽象出的符號進行推理。如圖所示，它以中層圖像分析為基礎(chǔ)，以人工智能及認知理論為依托，對圖像中的各目標的性質(zhì)和聯(lián)系進行研究，進而指導行動。圖高層的圖像處理數(shù)字圖像處理的幾種主要技術(shù)（

23、）圖像變換技術(shù)圖像變換技術(shù)一直是數(shù)字圖像處理研究的重要組成部分，是研究其他圖像處理技術(shù)的基本手段和工具【。圖像變換技術(shù)的目標是簡化處理的問題，這樣對于特征的提取比較方便，還能加強對圖像信息的理解。它往往通過一種數(shù)學方法將圖像從某一域轉(zhuǎn)換到另一域，例如空間域轉(zhuǎn)換到頻率域，接著在轉(zhuǎn)換后的域中對圖像進行分析及處理。之所以要進行轉(zhuǎn)換是因為圖像在初始域中的某些性質(zhì)很難獲得，而在轉(zhuǎn)換后的域中卻很好獲得，這樣在轉(zhuǎn)換后的域中處理完后再轉(zhuǎn)換到初始域即可。常用的變換有小波變換、傅里葉變換等等，小波變換可以將圖像進行多頻段的分解，然后針對不同的頻段做處理，這樣可以達到滿意的效果，而傅里葉變換則可以進行圖像的頻率特性

24、分析。（）圖像增強技術(shù)圖像增強技術(shù)可以重點突出圖像中有用的信息，為圖像的特征提取和圖像分析奠定基礎(chǔ)。它是面向問題的，它的目的是使得出來后的圖像更適合具體的應用。根據(jù)處理過程所在空間的不同，圖像增強技術(shù)可以分為基于空間域的增強和基于頻率域的增強，其中基于空間域的增強可以通過灰度變換和空域濾波兩種技術(shù)來實現(xiàn)，例如對比度增強和直方圖均衡化就屬于灰度變換，圖像平滑和銳化則屬于空域濾波。（）圖像平滑技術(shù)圖像平滑技術(shù)的本質(zhì)就是去噪，它的技巧在于把噪聲與邊緣部分分開且只消除噪聲。中值濾波是能夠達到這種效果的一種最有效的辦法，它是一種非線性的平滑技術(shù)，這種方法對于消除椒鹽噪聲十分有效。（）邊緣銳化技術(shù)邊緣銳化

25、技術(shù)是通過增強圖像的邊緣使得目標的邊緣更加明顯，這樣對于提取目標的邊界更加方便，緊接著還可以分割圖像，識別目標的區(qū)域，提取區(qū)域的形狀等等。邊緣銳化常用的方法有微分運算、邊緣檢測和梯度銳化這三種。微分運算能夠突出圖像的輪廓，使它變得更清晰；邊緣檢測就是構(gòu)造邊緣檢測算子，一般都是針對圖像中的某小鄰域，常用的邊緣檢測算子有算子、算子等【】；梯度銳化主要用于解決圖像邊界及輪廓模糊的情況，尤其是在進行平滑處理之后。（）圖像分割技術(shù)圖像分割技術(shù)是進行圖像的識別、圖像的分析和理解的基礎(chǔ)，它主要是提取圖像中某些有意義的特征。圖像分割技術(shù)可分為彩色分割和區(qū)域分割這兩種，彩色分割是基于顏色的分布來進行分割的，它先

26、對彩色圖像中的、三個平面分別進行閾值處理，然后再來提取目標，區(qū)域分割是只提取感興趣的部分，去除不需要的背景。（）圖像編碼技術(shù)圖像編碼是指按照某種格式存儲圖像的數(shù)據(jù)的過程，它旨在解決下面幾個問題：一是減少圖像表示所需的數(shù)據(jù)量，從而提升存儲空間的利用率；二是壓縮信息量對于特征提取非常有利，也方便了隨后的圖像識別；三是壓縮數(shù)據(jù)量可以提高傳輸?shù)乃俾?，減少傳遞的帶寬。技術(shù)概述對于開發(fā)網(wǎng)絡應用程序非常方便。在技術(shù)中，套接字（）就相當于一個紐帶，它能方便的把應用程序和網(wǎng)絡驅(qū)動程序連接起來，它先是在應用程序中被創(chuàng)建，然后使用綁定操作，使它和驅(qū)動程序之間聯(lián)系起來，這樣只要應用程序給它發(fā)送數(shù)據(jù)【】，它就將數(shù)據(jù)交給

27、驅(qū)動程序，并讓它從網(wǎng)絡上把數(shù)據(jù)發(fā)出去，而對于另一端的計算機，它會從網(wǎng)絡上接收與該綁定的相關(guān)數(shù)據(jù)，并通過驅(qū)動程序交給本地的，接著應用程序便會從該中提取相關(guān)的數(shù)據(jù)，這就是網(wǎng)絡應用軟件通過進行數(shù)據(jù)通信的原理?；诘木幊袒诘木幊痰姆斩顺绦虿襟E如下：（）創(chuàng)建（）將綁定到本地地址和端口上，這可以通過函數(shù)來實現(xiàn)（）把設(shè)為監(jiān)聽模式，然后等待，準備接受來自客戶的請求（）當客戶請求到來后，使用函數(shù)接受客戶連接的請求，同時返回對應于此鏈接的新（）使用返回的通過函數(shù)和客戶端進行通信（）返回同時等待其他的請求（）關(guān)閉基于的編程的客戶端程序步驟如下：（）創(chuàng)建（）向服務端發(fā)出連接的請求，這可以通過函數(shù)來實現(xiàn)（）如果連接

28、成功，就可以和服務端進行通信了（）關(guān)閉基于刀呻的編程相對于基于的編程來說，基于的編程對于服務端和客戶端的概念不是很強化，可以把先啟動的一端稱為服務端或接收端，發(fā)送數(shù)據(jù)的一端稱為客戶端或發(fā)送端?；诘木幊探邮斩耍ǚ斩耍┑某绦蛄鞒倘缦拢海ǎ﹦?chuàng)建（）將綁定到本地地址和端口上，這可以通過函數(shù)來實現(xiàn)（）等待接收數(shù)據(jù)，使用的是函數(shù)（）關(guān)閉基于的編程發(fā)送端（客戶端）的程序流程如下：（）創(chuàng)建（）通過函數(shù)向服務端發(fā)送數(shù)據(jù)（）關(guān)閉本章小結(jié)本章探討了系統(tǒng)中要用到的幾種關(guān)鍵技術(shù)。首先介紹了系統(tǒng)的核心框架技術(shù)技術(shù)，并對它的組成、用途和優(yōu)勢等進行了簡要的分析；接著提到了技術(shù)的基礎(chǔ)技術(shù)，對理解技術(shù)的工作原理有很大的幫助；

29、再就是數(shù)字圖像處理技術(shù)，為摳像算法的實現(xiàn)作理論鋪墊；最后介紹了網(wǎng)絡應用中常用的技術(shù)，并分別對基于和的網(wǎng)絡編程流程作了講解。第三章網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)總體設(shè)計系統(tǒng)總體結(jié)構(gòu)設(shè)計網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)意在通過摳像融合等技術(shù)，將網(wǎng)絡上兩個不同終端結(jié)點的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實時的虛擬合唱效果顯示在演唱者各自的終端上，同時還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠在天邊，卻近在眼前”的感受。要實現(xiàn)這樣一種兼具單機和網(wǎng)絡互連的新型卡拉合成系統(tǒng)，必須充分利用好流媒體技術(shù)、合成技術(shù)和網(wǎng)絡技術(shù)，充分發(fā)揮它們的優(yōu)勢，設(shè)計并架構(gòu)好整個系統(tǒng)的體系結(jié)構(gòu)和

30、軟件框架。本系統(tǒng)的體系結(jié)構(gòu)如圖所示：天用用戶埔用戶在同一虞報場景中較件系統(tǒng)和致?lián)欤ū尘皫旌透枨鷰斓龋┫到y(tǒng)功能結(jié)構(gòu)圖 圖系統(tǒng)的體系結(jié)構(gòu)圖用戶和用戶在同一虛擬場景中軟件系統(tǒng)和數(shù)據(jù)庫（背景庫和歌曲庫等）根據(jù)功能需求進行分析，系統(tǒng)主要包括三個子系統(tǒng)，分別為資源管理子系統(tǒng)、視音頻處理子系統(tǒng)、刻錄子系統(tǒng)。其中，資源管理子系統(tǒng)包括：歌曲資源管理、虛擬背景資源管理；視音頻處理子系統(tǒng)包括：視音頻采集、視音頻網(wǎng)絡發(fā)送、視音頻網(wǎng)絡接收、視頻摳像融合；刻錄子系統(tǒng)包括：錄制、預覽、刻錄。如圖所示：旱人聃碩士學位論文軟件流程設(shè)計圖系統(tǒng)功能結(jié)構(gòu)圖目前，在流媒體應用開發(fā)中，大多數(shù)采用的都是技術(shù)，通過使用來實現(xiàn)。能夠很好的支

31、持流媒體的捕捉和回放，例如，通過運用它，可以很方便地從采集卡上捕獲數(shù)據(jù)進而進行相應的處理?？傊?，不僅簡化了采集、媒體播放等工作，還允許開發(fā)人員根據(jù)自己需要開發(fā)特定功能的來支持自己的軟件系統(tǒng)開發(fā)需要。本系統(tǒng)就是使用來進行軟件流程框架搭建，視頻流處理流程和音頻流處理流程分別如圖和所示：圖系統(tǒng)視頻流處理流程示意圖碩士學位論文圖系統(tǒng)音頻流處理流程示意圖系統(tǒng)軟件流程框架搭建軟件系統(tǒng)采用流媒體處理框架技術(shù)進行搭建，各個模塊均封住成兼容的模塊，包括庫自帶的視音頻采集，輸出以及自制網(wǎng)絡發(fā)送和接收、摳像融合模塊等。采用合適的摳像融合算法開發(fā)摳像融合模塊采用技術(shù)開發(fā)網(wǎng)絡視音頻發(fā)送和接收采用庫實現(xiàn)摳像融合模塊中對圖

32、像的處理系統(tǒng)整體測試系統(tǒng)開發(fā)環(huán)境和開發(fā)工具網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)的設(shè)計方案在硬件上只需要普通的攝像頭和普通的機（如果需要刻錄收藏則需帶刻錄機）即可，這樣大幅度的降低了系統(tǒng)的硬件成本和開發(fā)成本，所以本系統(tǒng)基本上屬于純軟件系統(tǒng)。系統(tǒng)是基于系統(tǒng)平臺開發(fā)的，并采用百作為軟件開發(fā)的編碼環(huán)境，其中包含的微軟基本類庫使得開發(fā)應用程序方便多了。作為一個集成開發(fā)環(huán)境，它不僅提供了可視化的編輯功能和代碼自動生成功能，大大減輕了程序員的負擔，通過使用它還可以方便地開發(fā)（動態(tài)鏈接庫），這樣可以將系統(tǒng)中一些獨立的功能模塊封裝成可以單獨編譯和測試的文件。這種方式不僅可以減少最終生成的系統(tǒng)文件的大小，節(jié)省了資源，還便于代

33、碼的維護，因為是在系統(tǒng)運行時根據(jù)需要裝載到內(nèi)存中去的。在本系統(tǒng)碩士學位論文中各種模塊就采用了這種方式，例如摳像融合模塊、視音頻網(wǎng)絡發(fā)迸接收模塊等。，即微軟基本類庫（），它本質(zhì)上是一個微軟已定義好的封裝了各種底層函數(shù)的對象的類庫，包含了很多常用的對象和方法。這樣我們在進行程序編寫時，如果類庫中的類能夠完成我們的功能，那我們就不需要自己寫類和方法了，只需要簡單調(diào)用這個類對象的方法就行了，當然我們也可以利用面向?qū)ο笾械睦^承性質(zhì)，從類庫中繼承已有的類對象，這樣派生的類對象，不僅具有父對象的各種特性和方法，我們也可以根據(jù)自身系統(tǒng)功能需要，加上相應的特性和方法，從而產(chǎn)生一個功能更強大、更完備的類。是采用面

34、向?qū)ο蠹軜?gòu)的，充分利用了這種技術(shù)的優(yōu)點，這樣就使得程序員在使用編程時，不需要太關(guān)心所使用類對象的實現(xiàn)細節(jié)，只需根據(jù)功能需要調(diào)用相應的類和方法即可，這樣大大的減少了程序員的工作量和工作強度。由于本系統(tǒng)是基于技術(shù)進行軟件架構(gòu)的，同時還使用了諸如、（用于實現(xiàn)刻錄功能）的第三方庫，所以需要安裝，和這幾個庫環(huán)境。本章小結(jié)本章通過對網(wǎng)絡虛擬視頻卡拉合成系統(tǒng)的功能需求進行分析，給出了它的總體結(jié)構(gòu)設(shè)計圖和系統(tǒng)功能結(jié)構(gòu)圖，接著基于技術(shù)進行了軟件流程框架搭建和設(shè)計，最后介紹了本系統(tǒng)的開發(fā)環(huán)境和開發(fā)工具。碩士學位論文第四章?lián)赶袼惴ǖ难芯颗c實現(xiàn)摳像算法分析摳像模型摳像一般都是基于等提出的公式。給定一張數(shù)字圖像（比，）

35、，如果想進行摳像，并想取得好的摳像效果，那么就得求解前景（）和背景曰（）的線性組合方程嘲，獲得其中的最優(yōu)解。其中比例用口）（口）【，】）表示，口（）描述的是像素的透明度，這樣使得：口（）公式對于灰度圖來說，這是一個具有兩個自由度的方程，因為已知條件只有每個像素的灰度值，但要求解的未知量卻有、及口三個網(wǎng)。而對于彩色圖像，如在顏色模型中，將顏色分離成、三個通道分別求解，可以建立如下方程組：口碌（一口）川（）公式【口冗（一口）吃這樣的話，相當于求解三個獨立的方程，如果我們?nèi)藶橐?guī)定三個通道的口值相等，那這也是一個通過個已知的變量、，求解個未知的變量昂、壤、圪、屹、和口的方程組，所以從本質(zhì)上來說，摳像問

36、題是一個無法精確求解的問題。單色背景摳像早期一般都使用單色的背景來進行摳像，如藍屏摳像，因為這樣可以簡化摳像的模型。但這還是一個約束不夠的問題，因為未知量還有最、尼、和口四個，個方程求解個未知量網(wǎng)。為了解決這個問題，國內(nèi)外專家學者都進行了大量的研紅、綠、藍（最、圪、忍）分量是互相成比例的嗍，那么通過下式就可以得到口值：口口）公式其中厶、乇為輸入圖片的藍色和綠色通道，用戶可以通過控制可調(diào)參數(shù)和口：來得到滿意的口值。雖然這種方法比較有效，也易于操作，但是在實際的應用過程中，往往需要一些小竅門，而且對于某些簡單的前景也會存在失效。自然背景摳像藍屏摳像雖然好，但面對自然背景，它就無能為力了。為了打破這

37、種局限性，摳像領(lǐng)域出現(xiàn)了很多的自然背景摳像算法，如貝葉斯摳像算法、摳像算法等。下面分析兩種重要的自然背景摳像算法：算法算法（貝葉斯摳像算法）是基于顏色分布的，它會對圖像中的每個像素的顏色都進行分布估計，而且它在對圖像每一個像素進行采樣時，范圍不僅包括了確知區(qū)域的前景點和背景點，還包括那些已經(jīng)計算好的像素點。在公式中，表示已知的圖像上某一點的顏色值，、口則分別是要求解的前景色、背景色及透明度，我們需要做的是，在已知的情況下，求得使概率最大的、和口的值，是對數(shù)函數(shù)，可以通過把乘法轉(zhuǎn)成加法，從而簡化計算。（，口）口“。（，口）尸（）尸（曰）尸（口）尸（）公式，口（，丑，口）三（）三（曰）三（口）下面對等式右邊的四個表達式進行建模：（，口）對應一個標準差為且中心在一（一）的高斯分布：（，）一口一（一口）召公式那么三（）也對應為一個高斯分布：三（）一（一萬）（）公式計算出期望和協(xié)方差矩陣：萬土哆公式專善哆（一肥一萬公式具體操作是，對以未知點為中心的圓進行采樣，同時慢慢擴大圓的半徑，直到采集的已知前景點和背景點足夠的多（包括已求解的點），再根據(jù)顏色，對樣本進行聚類。每一個樣本點都對應著一個特定的權(quán)值：哆口蜀形槲國，公式（其中口是透明度，是一個以距離為參數(shù)的高斯衰減函數(shù)）其實（）和（）相似，只是把的口換成了口，而“口）被認為定值，求解的過程是一個迭代的過程：先假定口是確定的，然后對公