體育視頻的內(nèi)容標(biāo)注和解析技術(shù)研究

體育視頻的內(nèi)容標(biāo)注和解析技術(shù)研究sky)把文法分成4種類型,即0型文法,1型文法,2型文法和3型文法.型號越高所受約束越多,對語言的描述能力也就越弱.

我們使用上下文無關(guān)文法對體育比賽的結(jié)構(gòu)進行描述,主要是基于以下考慮:上下文無關(guān)文法完全可以勝任對體育比賽樹狀結(jié)構(gòu)的描述;上下文無關(guān)文法在自然語言理解,句法模式識別,編譯技術(shù)等領(lǐng)域有廣泛的應(yīng)用,技術(shù)比較成熟;基于上下文無關(guān)文法的解析器不僅可以為視頻有效生成層次瀏覽樹,而且具有較強的錯誤處理能力.

其中終結(jié)符r,b,e,u分別表示一輪比賽的結(jié)束,選手比賽開始,選手比賽結(jié)束和一般鏡頭,非終結(jié)符和為結(jié)構(gòu)單元,分別代表每輪比賽和每個選手的比賽.對于語義標(biāo)注序列buuuuuuuebuuuuuuuueeur,使用文法分析器進行解析得到它的層次結(jié)構(gòu)eur].其中序列最后r前面的eu為錯誤標(biāo)示,可以用錯誤恢復(fù)策略進行處理.由于視頻序列在進行基于統(tǒng)計的語義標(biāo)注時,存在某種程度的不確定性.所以錯誤處理應(yīng)當(dāng)結(jié)合語義標(biāo)注的確定度來進行.如果出錯標(biāo)注本身的確定度比較低,則可以認(rèn)為該標(biāo)注有錯;如果出錯標(biāo)注的確定度比較高,則可以認(rèn)為錯誤發(fā)生在它的前面.

以上,我們通過基于壓縮域的鏡頭分割,語義事件的檢測和語法制導(dǎo)的結(jié)構(gòu)解析實現(xiàn)了體育視頻的內(nèi)容標(biāo)注和解析.雖然我們主要以跳水視頻為例進行分析,但是其中的技術(shù)完全可以應(yīng)用到其他類似體育視頻的分析中,甚至一般視頻的處理中.我們的研究表明,盡管限于當(dāng)前的技術(shù)水平,完全自動的,通用的視頻內(nèi)容理解是不太可能的,但是通過有效的人機交互和建立應(yīng)用相關(guān)的模型,新的技術(shù)將可以面對視頻信息大量涌現(xiàn)的挑戰(zhàn),給人們帶來更加豐富和方便的體驗.

五,預(yù)期研究成果及創(chuàng)新之處

一個壓縮域鏡頭邊界檢測的有效算法

體育視頻中慢鏡重放的檢測方法

基于壓縮域的視頻文本檢測和分割

體育視頻中狀態(tài)事件的識別

視音頻融合的事件檢測

基于文法的體育視頻結(jié)構(gòu)解析

一個通用的體育視頻內(nèi)容分析框架及其系統(tǒng)實現(xiàn)

六,已有工作基礎(chǔ)

1,已有資源:

4.96G的跳水比賽視頻數(shù)據(jù),總長度約8小時20分鐘;

5.33G的足球比賽視頻數(shù)據(jù),總長度約9個小時;

2.58G的其他體育視頻數(shù)據(jù),包括籃球,排球和網(wǎng)球等;

2,已進行工作

一個基于內(nèi)容的智能視頻檢索系統(tǒng):iVideo

一種通過關(guān)鍵幀提取和組織來瀏覽視頻的方式:XPlayer

可視化的視頻分析工具:MediaLab

綜合顏色特征和攝像機運動分析的鏡頭邊界檢測算法

基于標(biāo)志模板的重放鏡頭檢測算法

跳水比賽視頻中精彩片斷的自動提取:iVideoAnalyzer

基于壓縮域文本檢測的體育視頻結(jié)構(gòu)分析:SportsPlayer

3,專利和age

and

Graphics,

Dec

2021.

N.

Dimitrova,

H.J.

Zhang,

B.

Shahraray,

I.

Sezan,

T.

Huang,

and

A.

Zakhor,

Applications

of

Video-Content

Analysis

and

Retrieval,

IEEE

Multimedia,

Vol.

9,

No.

4,

2021.

莊越挺,潘云鶴,吳飛編著,網(wǎng)上多媒體信息分析與檢索,清華大學(xué)出版社,2021年.

M.

Flickner

et

al,

Query

by

Image

and

Video

Content:

The

QBIC

System,

IEEE

Computer,

28,

1995.

D.

Ponceleon,

S.

Srinivasan,

A.

Amir,

D.

Petkovic,

and

D.

Diklic,

Key

to

Effective

Video

Retrieval:

Effective

Cataloging

and

Browsing,

in

Proc.

ACM

Multimedia,

1998.

A.

Hampapur,

A.

Gupta,

B.

Horowitz,

C-F.

Shu,

C.

Fuller,

J.

Bach,

M.

Gorkani,

and

R.

Jain,

Virage

Video

Engine,

SPIE

Storage

and

Retrieval

for

Images

and

Video

Databases

V,

1997.

H.

D.

Wactlar,

T.

Kanade,

M.

A.

Smith,

and

S.

M.

Stevens,

Intelligent

Access

to

Digital

Video:

Informedia

Project,

IEEE

Computer,

Vol.29,

No.3,

pp.46-52,

May

1996.

S.-F.

Chang,

W.

Chen,

H.

Meng,

H.

Sundaram,

and

D.

Zhong,

VideoQ:

an

automated

conte