計(jì)算機(jī)視覺教程CCV14

1、第14章場景解釋14.1 線條圖標(biāo)記解釋14.2 體育比賽視頻排序14.3 計(jì)算機(jī)視覺系統(tǒng)模型14.4 計(jì)算機(jī)視覺理論框架14.1 線條圖標(biāo)記解釋1.輪廓標(biāo)記在線條圖中對輪廓進(jìn)行標(biāo)記時(shí)的一些名詞概念(1)刃邊(2)翼邊(3)折痕(4)痕跡(5)陰影14.1 線條圖標(biāo)記解釋2.結(jié)構(gòu)推理三面角點(diǎn)目標(biāo)，處于常規(guī)位置14.1 線條圖標(biāo)記解釋2.結(jié)構(gòu)推理14.1 線條圖標(biāo)記解釋3.回朔標(biāo)記已知2-D線條圖中的一組邊，要給每條邊賦一個(gè)標(biāo)記，以解釋3-D的情況回朔標(biāo)記法將邊排成序列，以深度優(yōu)先的方式生成通路，依次對每條邊進(jìn)行所有可能的標(biāo)記，檢驗(yàn)新標(biāo)記與其他邊標(biāo)記的一致性，依次賦給所有邊的標(biāo)記都滿足一致性，則

2、得到一種標(biāo)記結(jié)果 棱錐4個(gè)頂點(diǎn)分別用A，B，C，D表示14.1 線條圖標(biāo)記解釋14.2 體育比賽視頻排序1.體育比賽視頻的特點(diǎn)一般均有較強(qiáng)的結(jié)構(gòu)性總有一些高潮事件環(huán)境是特定的，比賽中有許多不定因素，事件發(fā)生的時(shí)間位置不能事先確定，所以比賽中無法控制視頻生成過程有關(guān)特殊事件的精彩鏡頭是一大看點(diǎn)使用先驗(yàn)知識(shí)對精彩事件進(jìn)行定義檢測14.2 體育比賽視頻排序2.比賽節(jié)目的結(jié)構(gòu)（乒乓球比賽）比賽事件、發(fā)球事件、場間休息、觀眾和重放將節(jié)目中的鏡頭根據(jù)場景進(jìn)行非監(jiān)督聚類14.2 體育比賽視頻排序3.目標(biāo)檢測和跟蹤 基于客觀指標(biāo) 運(yùn)動(dòng)員檢測 球桌檢測 球檢測 運(yùn)動(dòng)員跟蹤 乒乓球跟蹤14.2 體育比賽視頻排序3

3、.目標(biāo)檢測和跟蹤 白線框?yàn)檫\(yùn)動(dòng)員外接盒跟蹤得到的乒乓球軌跡14.2 體育比賽視頻排序4.精彩度判定和排序 (1)基本層的排序球運(yùn)動(dòng)的平均速度連續(xù)兩次擊球間球運(yùn)動(dòng)的平均距離運(yùn)動(dòng)員連續(xù)兩次擊球間運(yùn)動(dòng)的平均距離14.2 體育比賽視頻排序4.精彩度判定和排序 (2)品質(zhì)層的排序運(yùn)動(dòng)員移動(dòng)的激烈程度球軌跡的品質(zhì)擊球的變化14.3 計(jì)算機(jī)視覺系統(tǒng)模型14.3.1 多層次串行結(jié)構(gòu)14.3.2 以知識(shí)庫為中心的輻射結(jié)構(gòu)14.3.3 多模塊交叉配合結(jié)構(gòu)14.3.1 多層次串行結(jié)構(gòu)將圖像理解過程看作是一個(gè)信息加工過程，具有確定的輸入和輸出，因而將圖像理解系統(tǒng)組織成一系列分別處于不同層次的模塊并以串行方式結(jié)合起 來

4、，每個(gè)模塊（在其他模塊的協(xié)同配合下）按順序執(zhí)行一些特定的工作，從而逐步完成預(yù)定的視覺任務(wù)由底向上的處理，比較通用，但不一定總有 效。由頂向下的處理，在約束充分時(shí)效率會(huì)比較高，反之則不實(shí)用14.3.1 多層次串行結(jié)構(gòu)14.3.2 以知識(shí)庫為中心的輻射結(jié)構(gòu)可以看作是一種類比于人類視覺系統(tǒng)的結(jié)構(gòu)。它的特點(diǎn)是以知識(shí)為中心，系統(tǒng)整體不分層，信號(hào)在各個(gè)模塊及知識(shí)庫中多次進(jìn)行交換處理14.3.3 多模塊交叉配合結(jié)構(gòu)將整個(gè)系統(tǒng)分成多個(gè)模塊，各有確定的輸入和輸出，且互相配合交叉，比較靈活一個(gè)圖，其中每個(gè)結(jié)點(diǎn)代表一個(gè)加工過程或加工任務(wù)，而結(jié)點(diǎn)間的連接則反映了信息的流動(dòng)和過程的聯(lián)系本書的整體框架，即本書所采用的計(jì)算

5、機(jī)視覺系統(tǒng)框架是對上述多模塊交叉配合結(jié)構(gòu)的系統(tǒng)框圖根據(jù)教學(xué)需求經(jīng)過調(diào)整而得到的14.3.3 多模塊交叉配合結(jié)構(gòu)14.4 計(jì)算機(jī)視覺理論框架14.4.1 馬爾視覺計(jì)算理論14.4.2 對馬爾理論框架的改進(jìn)14.4.3 新理論框架的研究14.4.1 馬爾視覺計(jì)算理論1.視覺是一個(gè)復(fù)雜的信息加工過程要解決兩個(gè)問題。一個(gè)是視覺信息的表達(dá)問 題，另一個(gè)是視覺信息的加工問題2.視覺信息加工的三個(gè)要素14.4.1 馬爾視覺計(jì)算理論2.視覺信息加工的三個(gè)要素一個(gè)任務(wù)要用計(jì)算機(jī)完成，它應(yīng)該是可以被計(jì)算的。這就是可計(jì)算性問題，需要用計(jì)算理論來回答有了計(jì)算理論后，還必須要有算法實(shí)現(xiàn)，為此需要給加工所操作的實(shí)體選擇一

6、種合適的表達(dá)有了表達(dá)和算法，在物理上如何實(shí)現(xiàn)算法也是必不可少的。特別是隨著對實(shí)時(shí)性要求的不斷提高，專用的硬件實(shí)現(xiàn)問題常常被提出來14.4.1 馬爾視覺計(jì)算理論2.視覺信息加工的三個(gè)要素上述三個(gè)要素之間有一定的邏輯因果聯(lián)系，但并無絕對的依賴關(guān)系箭頭正向表示帶有指導(dǎo)的含義，反過來則有作為基礎(chǔ)的含義14.4.1 馬爾視覺計(jì)算理論3.視覺信息的三級(jí)內(nèi)部表達(dá)(1)基素表達(dá)一種2-D表達(dá)，它是圖像特征的集合(2)2.5-D表達(dá)完全是為了適應(yīng)計(jì)算機(jī)的運(yùn)算功能而提出來的(3)3-D表達(dá)以物體為中心（也包括了物體的不可見部分）的表達(dá)形式14.4.1 馬爾視覺計(jì)算理論3.視覺信息的三級(jí)內(nèi)部表達(dá)如何由原始圖的像素表

7、達(dá)出發(fā)，通過基素表達(dá)和2.5-D表達(dá)，最后得到3-D表達(dá)14.4.1 馬爾視覺計(jì)算理論4.視覺信息處理是按照功能模塊的形式組織起來的視覺信息系統(tǒng)應(yīng)該包括許多模塊，每個(gè)模塊獲取某一特定的視覺線索，進(jìn)行一定的加工5.計(jì)算理論形式化表示必須考慮約束條件約束條件一般是借助先驗(yàn)知識(shí)獲得的，利用約束條件可改變病態(tài)問題14.4.2 對馬爾理論框架的改進(jìn)馬爾的理論也有其不足之處：(1)框架中輸入是被動(dòng)的，給什么圖像，系統(tǒng)就處理什么圖像(2)框架中加工目的不變，總是恢復(fù)場景中物體的位置和形狀等(3)框架缺乏或者說未足夠重視高層知識(shí)的指導(dǎo)作用(4)整個(gè)框架中信息加工過程基本自下而上，單向流動(dòng)，沒有反饋14.4.2

8、 對馬爾理論框架的改進(jìn)4個(gè)方面的改進(jìn)：(1)主動(dòng)視覺(2)有目的視覺(3)高層知識(shí)(4)反饋控制14.4.3 新理論框架的研究1.基于知識(shí)的理論框架(1)從圖像特征中提取那些相對于觀察方向在大范圍內(nèi)保持不變的分組和結(jié)構(gòu)(2)利用概率排隊(duì)的方法減小搜索空間(3)使3-D模型的投影直接與圖像特征相匹配14.4.3 新理論框架的研究2.主動(dòng)視覺理論框架(1)選擇注意機(jī)制(2)注視控制14.4.3 新理論框架的研究3.計(jì)算機(jī)視覺的最終目標(biāo)人類視覺系統(tǒng)是相當(dāng)通用的計(jì)算機(jī)視覺系統(tǒng)。計(jì)算機(jī)視覺研究的一個(gè)重要目標(biāo)就是要建立能完成各種視覺任務(wù)的通用系統(tǒng)計(jì)算機(jī)視覺是一個(gè)牽涉人類智能的問題。對于許多看起來非常簡單的人類智能是否可能在計(jì)算機(jī)上復(fù)現(xiàn)，至今還沒有定論這是一個(gè)值得研究和有所作為的領(lǐng)域，有著光明的前景，讓我們一起努力吧!教程作者（