利用分塊重要度進行中文網(wǎng)頁分類的研究.ppt

利用分塊重要度進行中文網(wǎng)頁分類的研究,段 昕 山東大學(xué)計算機學(xué)院,第1頁,引 言,互聯(lián)網(wǎng)的發(fā)展和信息量俱增使得人們對于主題網(wǎng)頁（以下簡稱“網(wǎng)頁”）自動分類的要求越來越迫切。 傳統(tǒng)網(wǎng)頁分類將整個網(wǎng)頁看作一個原子單元進行整體處理，但是由于網(wǎng)頁中一些“噪聲”信息的存在，不僅增加了處理的復(fù)雜度，還影響了網(wǎng)頁自動分類的效果，因而需要一種分類質(zhì)量更高的網(wǎng)頁分類方法。,第2頁,網(wǎng)頁分塊,網(wǎng)頁中的信息并不都是具有相同的重要度的，比如大字標(biāo)題就要比導(dǎo)航條更加引人注目。網(wǎng)頁中的不同信息由于所處的位置、占據(jù)的空間大小或者內(nèi)容不同而具有不同的重要度。所以，我們可以將網(wǎng)頁按照內(nèi)容分塊，利用分塊的一些特征來進行網(wǎng)頁分類，從而提高分類的質(zhì)量。,第3頁,第4頁,網(wǎng)頁分塊方法（1）,基于位置關(guān)系的分塊法,利用網(wǎng)頁頁面的布局進行分塊，將一個網(wǎng)頁分成上、下、左、右和中間5個部分,再根據(jù)這5個部分的特征進行分類；,實際的網(wǎng)頁結(jié)構(gòu)要復(fù)雜得多，這種基于網(wǎng)頁布局的方法并不能適用于所有的網(wǎng)頁；,這種方法切分的網(wǎng)頁粒度比較粗，有可能破壞網(wǎng)頁本身的內(nèi)在特征，難以充分包括真?zhèn)€網(wǎng)頁的語義特征。,第5頁,網(wǎng)頁分塊方法（2）,基于文檔對象模型（DOM）的分塊法,找出網(wǎng)頁HTML文檔里的特定標(biāo)簽，利用標(biāo)簽項將HTML文檔表示成一個DOM樹的結(jié)構(gòu)；,特定標(biāo)簽包括heading、table、paragraph和list等；,在許多情況下，文檔對象模型不是用來表示網(wǎng)頁內(nèi)容結(jié)構(gòu)的，所以利用它不能夠準(zhǔn)確地對網(wǎng)頁中各分塊的語義信息進行辨別。,第6頁,網(wǎng)頁分塊方法（3）,基于視覺特征網(wǎng)頁分塊法（VIPS）,利用字體、顏色、大小等網(wǎng)頁版面特征，根據(jù)一定的語義關(guān)聯(lián)，將整個網(wǎng)頁表示成一棵HTML DOM樹；,利用橫豎線條將DOM樹節(jié)點所對應(yīng)的分塊在網(wǎng)頁中分隔開來，構(gòu)成網(wǎng)頁的標(biāo)準(zhǔn)分塊；,每個節(jié)點通過一致度（DOC）來衡量它與其它節(jié)點的語義相關(guān)性，從而將相關(guān)的分塊聚集在一起；,利用預(yù)先設(shè)定的一致度（PDOC）作為閾值控制分割粒度，當(dāng)所有網(wǎng)頁的DOC都不小于PDOC時，網(wǎng)頁分割就可以停止了。,第7頁,網(wǎng)頁分塊重要度的標(biāo)定,利用網(wǎng)頁的空間和內(nèi)容特征可以對分塊進行重要度的標(biāo)注，共分為4個級別：,級別一 廣告、版權(quán)等噪聲信息 級別二 導(dǎo)航條、網(wǎng)站目錄等與網(wǎng)頁標(biāo)題相關(guān) 性不大但有一定用處的信息 級別三 與網(wǎng)頁主題一致但并不是十分突出的 信息，如相關(guān)標(biāo)題、標(biāo)題索引等 級別四 大字標(biāo)題、正文等 網(wǎng)頁中最突出部 分的信息,第8頁,第9頁,實 驗,為了檢驗利用網(wǎng)頁分塊技術(shù)進行中文主題網(wǎng)頁分類的質(zhì)量，我們將其與傳統(tǒng)網(wǎng)頁分類法進行了比較。選取政治、藝術(shù)、醫(yī)藥、體育、軍事、經(jīng)濟、教育、交通、計算機、環(huán)境等10大類共計3000篇主題網(wǎng)頁進行實驗，其中訓(xùn)練集2000篇，測試集1000篇。,第10頁,在進行特征提取時，采用了開方檢驗( test, CHI)特征提取法，計算特征項t和類別c的相關(guān)性如下：,第11頁,分類時采用SVM分類器，核函數(shù)采用徑向基函數(shù)： 最通用的判定規(guī)則是采用高斯函數(shù)：,第12頁,實驗描述,首先將整篇網(wǎng)頁看作一個原子單元，在訓(xùn)練過程中，訓(xùn)練集實例經(jīng)過中文分詞和特征選取處理后被表示成向量形式，用來描述類別模式，在分類過程中使用。 在分類過程中，一個待分類的中文網(wǎng)頁，經(jīng)過中文分詞并表示成向量后，應(yīng)用分類算法與訓(xùn)練過程得到的類別模式逐一比較，得到候選類別列表，然后同訓(xùn)練過程中得到的每個類別的閾值相比較，保留大于閾值的類別，并作為該網(wǎng)頁的分類結(jié)果。,第13頁,實驗描述,然后利用VIPS法對網(wǎng)頁進行分塊，并根據(jù)4條標(biāo)準(zhǔn)對分塊進行標(biāo)注，利用級別較高的分塊提取文本，重復(fù)第一步工作，得到利用分塊法的分類結(jié)果。,第14頁,實驗結(jié)果,在分類系統(tǒng)中，查全率和查準(zhǔn)率反映了分類質(zhì)量的兩個不同方面，兩者必須綜合考慮，表示為F1測試值。本實驗用F1值來衡量最終的分類質(zhì)量。其中：,第15頁,傳統(tǒng)方法 分塊方法,查全率(%) 查準(zhǔn)率(%) F1(%) 查全率(%) 查準(zhǔn)率(%) F1(%),政 治 93.413 89.143 91.228 95.210 92.442 93.806,藝 術(shù) 93.902 98.718 96.250 96.341 98.750 97.531,醫(yī) 藥 91.176 95.673 93.370 91.176 100.00 95.384,體 育 99.329 98.013 98.667 100.00 98.026 99.003,軍 事 86.747 85.714 86.227 90.361 87.209 88.757,經(jīng) 濟 95.370 91.964 93.636 96.296 94.545 95.412,教 育 91.781 94.366 93.056 93.151 97.143 95.105,交 通 94.366 94.429 94.398 95.775 97.143 96.454,計算機 91.463 96.154 93.750 98.485 97.015 97.744,環(huán) 境 91.045 96.825 93.846 94.030 96.923 95.455,總體評估(F1) 94.004 95.503,第16頁,兩種分類法的分類質(zhì)量（F1值）曲線：,第17頁,實驗分析,實驗數(shù)據(jù)中，查準(zhǔn)率和查全率的值都比較高，這是因為我們的實驗中數(shù)據(jù)集數(shù)量不是很大，并且大多采用的是較為簡單的網(wǎng)頁，廣告等噪聲信息相對較少的緣故。也正是因為這個原因，造成兩種分類方法的分類質(zhì)量差異不如理想值（5%10%），但可以證明，基于分塊重要度的網(wǎng)頁分類法在分類質(zhì)量上是要優(yōu)于傳統(tǒng)的網(wǎng)頁分類法的。,第18頁,實驗分析,實驗數(shù)據(jù)中，各類的F1值不太均衡，這跟每一類訓(xùn)練樣本的數(shù)目有關(guān)。藝術(shù)、體育等類訓(xùn)練樣本較多，則反映該類的特征就比較全面，SVM分類器通過學(xué)習(xí)獲得的知識就比較多，所以其F1評估值就較高。而政治、軍事等類，由于訓(xùn)練樣本相對較少，分類器學(xué)習(xí)所得知識要少一些，從而影響了分類的質(zhì)量，造成了F1評