谷尼網(wǎng)絡輿情監(jiān)控系統(tǒng)技術白皮書

谷尼網(wǎng)絡輿情監(jiān)控系統(tǒng)谷尼網(wǎng)絡輿情監(jiān)控系統(tǒng) 技術白皮書技術白皮書 ( (簡版簡版) ) 谷尼國際軟件（北京）有限公司谷尼國際軟件（北京）有限公司 二一年八月 目錄 1系統(tǒng)概述系統(tǒng)概述.1 2系統(tǒng)結構系統(tǒng)結構.1 3系統(tǒng)特點系統(tǒng)特點.2 4功能描述功能描述.3 4.1熱點話題、敏感話題識別.3 4.2輿情主題跟蹤.3 4.3自動摘要.4 4.4輿情趨勢分析.4 4.5突發(fā)事件分析.4 4.6輿情報警系統(tǒng).5 4.7輿情統(tǒng)計報告.5 5 5運行環(huán)境運行環(huán)境.5 1 系統(tǒng)概述系統(tǒng)概述 網(wǎng)絡輿情形成迅速，對社會影響巨大，不僅需要各級黨政干部密切關注， 也需要社會各界高度重視。該方案可應用在政府的新聞監(jiān)管、輿論監(jiān)督等部門。 網(wǎng)絡輿情監(jiān)控系統(tǒng)是一套利用搜索引擎技術、文本處理技術、知識管理方 法，通過對互聯(lián)網(wǎng)海量信息自動獲取、提取、分類、聚類、主題監(jiān)測、專題聚 焦，實現(xiàn)用戶對網(wǎng)絡輿情監(jiān)測和熱點事件專題追蹤等需求，形成輿情決策庫、 輿情簡報等分析結果，為客戶全面掌握輿情動態(tài)，做出正確輿論引導提供分析 依據(jù)。 谷尼網(wǎng)絡輿情監(jiān)控系統(tǒng)是以信息采集技術為核心，應用信息采集技術、內(nèi) 容管理技術、知識管理技術、信息分類技術，實現(xiàn)網(wǎng)絡輿情監(jiān)測和新聞熱點追 蹤、新聞監(jiān)管等功能需求。為客戶全面掌握群眾思想動態(tài)，做出正確輿論引導， 提供分析依據(jù)。系統(tǒng)工作流程如下: 信息采集：互聯(lián)網(wǎng)信息實時監(jiān)測、采集、內(nèi)容提取及排重； 信息處理：對抓取的內(nèi)容進行自動分類聚類、主題檢測、專題聚焦等； 信息服務：將采集并分析整理后的信息直接為用戶或為用戶輔助編輯提 供信息服務，如自動形成輿情信息簡報、追蹤已發(fā)現(xiàn)的輿論焦點等。 2 系統(tǒng)結構系統(tǒng)結構 總體來說，網(wǎng)絡輿情監(jiān)控系統(tǒng)軟件的結構如下： 3 系統(tǒng)特點系統(tǒng)特點 該項目與國內(nèi)外互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)或類似功能的系統(tǒng)比較，具有自己顯 著的技術特點，如允許用戶定制輿情監(jiān)控的范圍、方式等，具體如下： 支持網(wǎng)頁編碼自動識別 支持 URL 去重識別 支持正文自動識別抽取，無須標簽配置 支持分頁采集 可設置采集頻率 支持分布式部署 強大的信息采集功能 智能化的中文信息處理 全面的敏感信息分布式檢索系統(tǒng) 分類、聚類等中文智能處理技術廣泛采用 實時增量備份原則 合理的模塊化結構及方便的分類監(jiān)控 靈活的調(diào)度算法 支持新聞、博客、論壇、貼吧的采集監(jiān)控 基于內(nèi)容相似性去重識別 支持互聯(lián)網(wǎng)關鍵詞搜索采集入庫 支持敏感詞過濾提取 支持熱點發(fā)現(xiàn) 支持網(wǎng)頁快照 4 功能描述功能描述 4.14.1 熱點話題、敏感話題識別熱點話題、敏感話題識別 網(wǎng)絡輿情監(jiān)控系統(tǒng)可以根據(jù)新聞出處權威度、發(fā)言時間密集程度等參數(shù)， 識別出給定時間段內(nèi)的熱門話題。利用內(nèi)容主題詞組和回貼數(shù)進行綜合語義分 析，識別敏感話題。 4.24.2 輿情主題跟蹤輿情主題跟蹤 網(wǎng)絡輿情監(jiān)控系統(tǒng)分析新發(fā)表文章、貼子的話題是否與已有主題相同。 是根據(jù)文檔內(nèi)容間的相關程度進行分組歸并。聚類不需要類別及相關訓練 樣本。 聚類可以發(fā)現(xiàn)當前輿論焦點,或者相關文檔的查找. 網(wǎng)絡輿情監(jiān)控系統(tǒng)通過對同一個階段搜索到的大量信息進行聚類，我們可 以很方便地發(fā)現(xiàn)當前關于什么類別的文章數(shù)量更多，那些信息之間的關系更緊 密，這樣我們可以很直觀地了解到當前輿論的焦點，以及各個輿論點之間的聯(lián) 系緊密程度。 4.34.3 自動摘要自動摘要 網(wǎng)絡輿情監(jiān)控系統(tǒng)對各類主題，各類傾向能夠形成自動摘要。 信息自動摘要的中心思想是讓用戶在查看搜索結果時候，無需點擊進入每 一個搜索結果去了解具體內(nèi)容，而自動在搜索結果條目下顯示摘要信息。這些 “摘要”幫助用戶迅速了解搜索結果的主要內(nèi)容，提高了工作效率。 4.44.4 輿情趨勢分析輿情趨勢分析 分析某個主題在不同的時間段內(nèi)，人們所關注的程度。 4.54.5 突發(fā)事件分析突發(fā)事件分析 網(wǎng)絡輿情監(jiān)控系統(tǒng)對突發(fā)事件進行跨時間、跨空間綜合分析，獲知事件發(fā) 生的全貌并預測事件發(fā)展的趨勢。 4.64.6 輿情報警系統(tǒng)輿情報警系統(tǒng) 網(wǎng)絡輿情監(jiān)控系統(tǒng)對突發(fā)事件、涉及內(nèi)容安全的敏感話題及時發(fā)現(xiàn)并報警。 4.74.7 輿情統(tǒng)計報告輿情統(tǒng)計報告 網(wǎng)絡輿情監(jiān)控系統(tǒng)根據(jù)輿情分析引擎處理后生成報告，用戶可通過瀏覽器 瀏覽，提供信息檢索功能，根據(jù)指定條件對熱點話題、傾向性進行查詢，并瀏 覽信息的具體內(nèi)容，提供決策支持。 5 5 運行環(huán)境運行環(huán)境 操作系統(tǒng):Microsoft Windows XP/NT/2000/2003/ 數(shù)據(jù)庫為:SQL2005/MYSQL/ORA