一種準實時的高校BBS 輿情檢測系統(tǒng)設(shè)計與實現(xiàn)

1、一種準實時的高校BBS 輿情檢測系統(tǒng)設(shè)計與實現(xiàn)欒文娟 李芝棠 涂浩 史春永 丁藎 鮑金霞 華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心大綱背景介紹系統(tǒng)介紹關(guān)鍵技術(shù)介紹實驗環(huán)境及結(jié)果總結(jié)2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心1.背景介紹1.背景介紹1.背景介紹潛在的危害：用戶極有可能發(fā)表一些敏感、非法、不健康的言論和泄露一些保密信息，危害網(wǎng)絡(luò)環(huán)境安全。設(shè)計本系統(tǒng)的目的：減少有害信息的傳播打造一個干凈安全的網(wǎng)絡(luò)環(huán)境2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心大綱背景介紹系統(tǒng)介紹關(guān)鍵技術(shù)介紹實驗環(huán)境及結(jié)果總結(jié)2010-10-28華中科技

2、大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心2.系統(tǒng)介紹-系統(tǒng)示意圖2.系統(tǒng)介紹-系統(tǒng)的爬蟲擴展2.系統(tǒng)介紹-數(shù)據(jù)流程圖2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心本文討論的高校BBS 輿情檢測系統(tǒng)是利用Crawler 實時爬取所檢測的BBS內(nèi)容。大綱背景介紹系統(tǒng)介紹關(guān)鍵技術(shù)介紹實驗環(huán)境及結(jié)果總結(jié)2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心3.關(guān)鍵技術(shù)系統(tǒng)特點：時效性好，新數(shù)據(jù)處理周期短。采用多種排重手段，避免處理重復(fù)的帖子。2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心3.關(guān)鍵技術(shù)-時效性改進的爬蟲只針對特定的版面進行

3、爬取。而不是使用原始的爬取測試，將整個網(wǎng)站的數(shù)據(jù)全部周期性的重爬。實時搜索采用Lucense建立索引。給用戶提供實時搜索的功能。自動生成“事件”實時按照規(guī)則將關(guān)鍵的帖子找出來生成“事件”。2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心3.關(guān)鍵技術(shù)-時效性實時搜索功能的實現(xiàn)一般搜索高級搜索2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心返回3.關(guān)鍵技術(shù)-時效性自動生成“事件”功能的實現(xiàn)定義規(guī)則的方法：關(guān)鍵詞匹配，表達式匹配，詞匯間存在與、或、非關(guān)系舉例：“溝通”很可能會把“水溝通到了淡水河”、“挖溝通衢”搜出來。溝通！(水溝|挖溝)2010-10-2

4、8華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心3.關(guān)鍵技術(shù)-時效性“事件”生成流程圖大綱背景介紹系統(tǒng)介紹關(guān)鍵技術(shù)介紹實驗環(huán)境及結(jié)果總結(jié)2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心4.實驗環(huán)境及結(jié)果2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心系統(tǒng)的實驗平臺是在Ubuntu 下完成，爬蟲采用開源項目的scraPy 作為原型，網(wǎng)頁預(yù)處理是通過Java語的HTMLParser 包來完成，索引部分是通過Lucene來完成的，系統(tǒng)原始數(shù)據(jù)采集和處理采用java 語言編程實現(xiàn)。此外，系統(tǒng)以mysql 作為數(shù)據(jù)庫，同時采用LAMP(linux+apac

5、he+mysql+php)架構(gòu)實現(xiàn)系統(tǒng)的web界面平臺。 4.實驗環(huán)境及結(jié)果2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心4.實驗環(huán)境及結(jié)果2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心4.實驗環(huán)境及結(jié)果2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心大綱背景介紹系統(tǒng)介紹關(guān)鍵技術(shù)介紹實驗環(huán)境及結(jié)果總結(jié)2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心5.總結(jié)2010-10-28華中科技大學(xué)計算機學(xué)院 華中科技大學(xué)網(wǎng)絡(luò)與計算中心 本文提出了一個實際可用的系統(tǒng)功能設(shè)計，通過主動對BBS 的敏感事件進行檢測，實時搜索帖子，大大提高了采用人工檢測B