2020年體育視頻的內(nèi)容標注和解析技術(shù)研究

1、體育視頻的內(nèi)容標注和解析技術(shù)研究這篇體育視頻的內(nèi)容標注和解析技術(shù)研究的關(guān)鍵詞是內(nèi)容,研究,體育,技術(shù),視頻,一,開展本課題研究的意義 近年來,數(shù)字視頻的應(yīng)用日趨廣泛.諸如視頻點播,數(shù)字電視,數(shù)字圖書館,視頻會議,遠程教育等等,已經(jīng)為越來越多的人所接受和熟悉.面對大量涌現(xiàn)的視頻數(shù)據(jù),如何找到所需的視頻信息就成為一個 急需解決的問題.簡單的視頻名查詢和類似錄像機的播放功能已不能滿足人們的需要.正如一本書通常會有目錄和索引幫助人們迅速瀏覽和查詢內(nèi)容部視頻同樣需要有效的目錄和索引.傳統(tǒng)的方法需要由人對視頻內(nèi) 容進行標注,十分費時費力.尤其是當視頻資源的數(shù)量達到海量級,或 是處理的速度要求接近實時的時候

2、,完全采用人工的方法都會遇到難 以克服的困難.為了解決這一問題,九十年代以來,出現(xiàn)了基于內(nèi)容的 視頻分析和檢索123.其核心就是通過對視頻內(nèi)容進行計算機 分析理解,建立結(jié)構(gòu)和語義索引,以方便用戶檢索.巨大的商業(yè)前景和重要的學術(shù)價值,吸引了于業(yè)界和學術(shù)界不同領(lǐng)域的研究人員在這一問題上開展研究.一些原型系統(tǒng)先后被提出,主要有IBM的QBIC/CueVideo45,Virage公司的VideoEngine6.卡內(nèi)基梅隆大學的Informedia7,哥倫比亞大學的VideoQ8等.這生.但是隨著問題的深入,研究人員面臨了更大的障礙:視覺/聽覺內(nèi)些努力最終促成了國際標準MPEG-7多媒體內(nèi)容描述接口）的

3、誕容的機器理解,即難以建立底層特征與高層語義的聯(lián)系.同樣的難題 困擾了人工智能領(lǐng)域多年.一般認為,尋找通用的解決方法是異常艱難的.因此,一些研究轉(zhuǎn)而專注于解決特定領(lǐng)域的應(yīng)用問題,如新聞,電影等.在這些特定領(lǐng)域,結(jié)合相應(yīng)的領(lǐng)域知識,是可能將底層特征與高層語義建立某種聯(lián)系的.體育視頻,即體育比賽的電視轉(zhuǎn)播,作為一個重要的應(yīng)用領(lǐng)域,一直備受關(guān)注.體育比賽一般很漫長,但對于大多數(shù)觀眾來說,真正關(guān)心并有可能反復觀看的只是其中的一小部分.例如一場跳水比賽常常 需要持續(xù)幾個小時,而其中的精彩部分運動員從起跳到入水的過 程卻只有短短幾分鐘.人們需要一種方便快捷的手段來訪問體育視頻 的內(nèi)容.與其他視頻相比,體育

4、視頻具有自己的特點.首先,體育視頻中存在一些領(lǐng)域相關(guān)的語義事件,如跳水比賽中運動員的跳水,足球比 賽中的射門等.這些語義事件往往是視頻中最有價值的部分,需要進 行標注以便于檢索.其次,體育比賽一般有較強的結(jié)構(gòu)性,如跳水比賽由若干輪組成,每輪又由若干選手組成等.為了便于對視頻內(nèi)容的瀏覽,原始的視頻數(shù)據(jù)應(yīng)按這些結(jié)構(gòu)進行解析并組織成層次目錄.本課題的目標就是研究針對體育視頻內(nèi)容的語義標注和結(jié)構(gòu)解析技術(shù)盡管限于當前的技術(shù)水平,完全自動的,通用的視頻內(nèi)容理解是不太可能的,但是本課題的研究將證明部分的解決是有可能的和有價 值的,此外我們的研究也將為最終的全面解決奠定基礎(chǔ).除了學術(shù)上 的意義,本課題的研究還

5、可以有以下一些直接的應(yīng)用1,視頻資料庫：適用于各類體育專業(yè)人士或愛好者對收集的體 育比賽視頻資料進行查詢,瀏覽和管理.目前,我們已申請到國家體育總局的科研項目跳水訓練圖像分析軟件系統(tǒng)研制.通過對跳水比 賽視頻的內(nèi)容標注與解析,能夠方便快捷的實現(xiàn)一個典型動作的視頻 數(shù)據(jù)庫.2,Web多媒體發(fā)布：適用于新聞或者體育網(wǎng)站在Web上及時發(fā)布體育多媒體信息.今天,已經(jīng)有越來越多人的習慣于從網(wǎng)上獲取最新 的資訊.基于我們的技術(shù),可以在第一時間采編和發(fā)布綜合圖文和視 音頻在內(nèi)的體育多媒體信息.3,個人移動業(yè)務(wù)：適用于無線服務(wù)提供商為個人提供定制的多 媒體消息服務(wù)(MultimediaMessageServi

6、ce,簡稱MMS)我們的內(nèi)容標 注和解析技術(shù),可以為冗長的體育視頻生成摘要,從而可以根據(jù)用戶 的個人喜好和終端能力,向移動設(shè)備發(fā)送體育多媒體消息.二,國內(nèi)外研究現(xiàn)狀分析 國際上對于體育視頻的研究是從90年代中期開始的,屬于視頻檢索領(lǐng)域的一個子課題.與新聞視頻領(lǐng)域取得的成功相比91011,體育視頻的研究相對較少也更為困難.這主要是因為新 聞視頻有一個基本一致的時域結(jié)構(gòu)和場景語義,即先是播音員鏡頭,然后是新聞報道,最后再回到播音員鏡頭進行下面的新聞報道,而對 于體育視頻則不存在這樣統(tǒng)一的結(jié)構(gòu)和語義.目前體育視頻的研究尚 處于初期探索階段,對于其過程和方法還沒有統(tǒng)一的結(jié)論,也還沒有 可以投入實用的系

7、統(tǒng).1,鏡頭檢測通常在對體育視頻進行分析前,需要將其分割成鏡頭.所謂鏡頭,是指攝像機不間斷拍攝的一組幀序列,它常被看成一部視頻的最小結(jié) 構(gòu)單元.為了將鏡頭分割出來,需要進行鏡頭邊界檢測.鏡頭與鏡頭之間的邊界有兩種類型:突變和漸變.突變時,鏡頭直接切換到下一個;漸變時,從一個鏡頭到下一個鏡頭會有一個持續(xù)多幀的變化過程,常 見的主要有淡出淡入(fadeoutandfadein),溶解(dissolve),擦變(wipe)等.淡出淡入是指視頻幀逐漸隱去直到完全黑屏,再逐漸顯現(xiàn) 后一鏡頭的幀圖像.溶解是指在前一鏡頭幀圖像逐漸模糊的同時,后 一鏡頭的幀逐漸增強,并且產(chǎn)生前后幀圖像的重疊.擦變表現(xiàn)為后一

8、鏡頭幀圖像的區(qū)域逐漸變大把前一鏡頭的圖像擦掉鏡頭檢測的關(guān)鍵問題是如何區(qū)分鏡頭之間的切換和因為攝像機或物體運動造成的鏡頭內(nèi)變化.由于這個原因,漸變比突變更難以檢 測.早期的工作主要在突變檢測,近來更多的研究集中到對漸變的分 析.鏡頭檢測的方法可以分為兩類:非壓縮域的和壓縮域的.在1213中,對各種非壓縮域的鏡頭檢測算法進行了實驗評價.與非 壓縮域的方法相比,基于壓縮域的方法不需要對視頻編碼流進行解碼 而是直接使用如DCT系數(shù),運動矢量，宏塊(macroblock)信息等壓縮 域特征進行分析,從而提高了處理速度14151617.今天大量 的視頻數(shù)據(jù)是以壓縮格式(如MPEG存儲的，因此基于壓縮域的方

9、法往 往具有更大的實用價值.2,語義標注所謂語義標注,是指對體育視頻中的語義事件進行檢測和標注其實質(zhì)就是依據(jù)事先定義好的類別對視頻片段進行識別.當前,國內(nèi) 外對體育視頻研究實際上主要集中在這個方面,下面介紹一下相關(guān)工 作.Y.Gong等首先提出了對足球比賽視頻的分析18.他們結(jié)合足 球比賽的領(lǐng)域知識,通過場地白線識別,攝像機運動檢測,足球和運動 員檢測等分析,對視頻內(nèi)容進行推斷,包括處在球場什么位置,射門,角球等.例如,如果場景接近球門區(qū)域而且足球有一個向球門的運動 則可以推斷這是一個射門.實驗結(jié)果表明,系統(tǒng)對于球場位置的識別較為準確,達到90%,但是射門和角球的識別率只有53%,這主要是因為

10、高速運動和遮擋關(guān)系,使得足球的檢測較為困難.哥倫比亞大學的PengXu等觀察到足球比賽可以劃分為兩種狀態(tài):進行和暫停(如因為球在界外或裁判暫定比賽).他們開發(fā)了一個 能夠檢測視頻中的足球比賽是在進行還是暫停的系統(tǒng)19.該系統(tǒng)對 足球視頻分析分為兩步.首先,根據(jù)顏色分析得出每一幀中的草地顏 色比率，使用這個特征將幀標注為三種：全景(globeview),近景(zoom-inview)和特寫(close-upview).在檢測的時候,算法可以對草 色和分類決策進行學習和自動調(diào)整.接著,在對視頻幀進行上述分類標記后,根據(jù)經(jīng)驗總結(jié)的規(guī)則(如全景一般是比賽進行,特寫一般是比賽中斷等)判斷比賽是在進行還是暫停了.實驗使用了四段不同足球 比賽的五分鐘片斷,檢測準確率最好達到86.5%,最壞只有67.3%.可能性對足球視頻進行標注.與基于規(guī)則的方法相比,這種方法不需 要去直接建立復雜的分類規(guī)則和確定閾值,而是通過訓練樣本自動學 習.實驗結(jié)果表明該方法較為有效而且表現(xiàn)