網(wǎng)絡輿情監(jiān)測系統(tǒng)建設方案

XXXXXXX網(wǎng)絡輿情監(jiān)測系統(tǒng)建設方案XXXXXXX2014年3月4日目錄一、建設背景 3二、建設目的 3三、建設方案 41、 輿情采集模塊 52、 輿情分析模塊 63、 輿情簡報和推送模塊 74、 輿情管理模塊 75、 硬件系統(tǒng)建設 85.1總體拓撲 85.2冗余系統(tǒng)建設 95.3存儲系統(tǒng)建設 105.4安全系統(tǒng)建設 105.5網(wǎng)絡出口建設 10四、輿情分析軟件推薦 12五、推薦建議 141、推薦理由 142、建設經(jīng)費說明 173、項目建設周期說明 20六、產(chǎn)品成功案例 21一、建設背景當前，網(wǎng)絡發(fā)展日新月異，網(wǎng)民人數(shù)成幾何級增長。隨著各種網(wǎng)絡新技術的出現(xiàn)和應用，網(wǎng)絡的內(nèi)容更加豐富，網(wǎng)絡的社會影響力更加強大。網(wǎng)絡作為第四媒體逐在日趨激烈的媒介競爭中，無可爭議地獲得了自身的地位，其影響已全面而深刻地滲入到人們的政治、經(jīng)濟、文化生活等各個方面，成為新聞傳播活動不可須臾離棄的手段和方式。近幾年來，國內(nèi)外的每一重大事件，幾乎都在網(wǎng)絡媒體引起強烈的反響和激烈的辯論，形成了一個言論的“自由市場”。新浪、搜狐等各大網(wǎng)站的新聞跟帖中，網(wǎng)民們每天都會就當下的熱點或重大問題展開激烈的討論，且對問題的討論比較深入，進而形成強大的輿論影響。這些來自各網(wǎng)站的媒體言論與論壇（ＢＢＳ）及新聞跟帖中的具有建設性的看法和觀點，甚至對有關部門的決策和施政產(chǎn)生了影響。二、建設目的任何事物都有兩面性，網(wǎng)絡就是一把雙刃劍。一方面，網(wǎng)絡的高速傳播極大地提高了信息傳播的效益，推動了人類社會的向前發(fā)展。另一方面，網(wǎng)絡產(chǎn)生的輿情作為當今民情民意的集中表現(xiàn)，其巨大的影響力不僅是對社會重大事態(tài)發(fā)展的影響，也日益滲透到政治層面，逐漸成為政府傾聽民生，了解民意的一個重要渠道，這也就加大了對社會管理的難度。在安全工作領域有一個著名的“海恩法則”，即任何嚴重事故都是有征兆的，如果能夠盡早的發(fā)現(xiàn)這些征兆，并對其進行正確的解讀，就有可能防患于未然。政府要贏得百姓的口碑就必須增強網(wǎng)絡輿情應對的能力，而要增強這一能力首先要解決的就是如何做好“網(wǎng)絡輿情監(jiān)測”，只有建立完善網(wǎng)絡輿情檢測系統(tǒng)才能夠更好的對網(wǎng)絡輿情去偽存真，及時發(fā)現(xiàn)和消除虛假的、負面的信息；同時通過對網(wǎng)絡輿情的有效分類和統(tǒng)計更好的了解人民關注重點，對政府決策提供更好的依據(jù)。三、建設方案輿情分析系統(tǒng)主要采用計算機系統(tǒng)的智能性，通過添加關鍵詞和烈度判斷指標等技術手段，對涉及科技層面的各類行業(yè)及輿情進行智能采集和分類，并可以與短信平臺鏈接，與用戶郵箱、微信鏈接，在采集到輿情信息后，經(jīng)過后臺的分揀和初步處理，推送到用戶手機端、PC端，確保第一時間知曉輿情，為后續(xù)的輿情應對工作贏得時間。該系統(tǒng)主要由以下幾個模塊組成：1.輿情采集模塊2.輿情分析模塊3.輿情簡報和推送模塊4.輿情管理模塊工作流程為用戶通過輿情管理模塊追加感興趣網(wǎng)站的URL及關鍵詞、輿情分析模塊通過相應網(wǎng)絡技術手段實時抓取各網(wǎng)站頁面內(nèi)容，通過輿情分析模塊檢索和統(tǒng)計定義的感興趣內(nèi)容，最終通過輿情簡報和推送模塊將報告推送至用戶郵箱或手機等。輿情采集模塊輿情采集模塊主要利用網(wǎng)絡爬蟲技術，對URL庫中的URL地址進行輪詢，當發(fā)現(xiàn)新的頁面產(chǎn)生時，自動將新的主頁代碼抓取至本地服務器磁盤中，網(wǎng)絡爬蟲工作流程如下：此外，因現(xiàn)在互聯(lián)網(wǎng)中網(wǎng)站眾多，對全部網(wǎng)站遍歷一邊要花費很長的時間，這勢必影響對重要新聞的抓取速度，因此網(wǎng)絡爬蟲系統(tǒng)中會根據(jù)網(wǎng)站的大小，種類，關注度等制定一系列策略，保證大站數(shù)據(jù)、微博數(shù)據(jù)實時更新，以獲取最新的動態(tài)和信息。輿情采集模塊的采集范圍主要包括：新聞類型網(wǎng)頁采集；論壇貼吧網(wǎng)頁采集；博客網(wǎng)頁采集；微博內(nèi)容采集；搜索引擎內(nèi)容采集；自定義網(wǎng)站采集；視頻媒體采集；境外網(wǎng)頁采集等。輿情分析模塊輿情分析模塊通過對輿情采集模塊所采集的數(shù)據(jù)按需求進行分析，通過集成信息聚合，數(shù)據(jù)挖掘和智能過濾技術等手段生成數(shù)據(jù)信息，并將采集到的信息進行全文索引，以支持亞秒級的全文檢索。由于目前各網(wǎng)站新聞存在一定的重復性，因此輿情分析系統(tǒng)設計有自動排重和自動過濾功能，能夠自動識別來自不同采集源采集到的重復文章內(nèi)容，并根據(jù)實際需要選擇全部保留還是去除重復文章。輿情分析模塊還可以通過語義分析的方法自動對采集到的信息進行準確分類，包括自動聚類（將熱點話題和討論相關內(nèi)容的不同文章進行歸納聚類，方便展現(xiàn)統(tǒng)一的熱點內(nèi)容，進行后期分析）和自動分類（根據(jù)事先定義好的內(nèi)容分類原則，將收集上來的互聯(lián)網(wǎng)信息自動分到相應的類別中，如按照時間段，地域范圍，業(yè)務范圍，主題趨勢等進行分類，方便信息展現(xiàn)和內(nèi)容查詢）。系統(tǒng)還應該能夠根據(jù)文章內(nèi)容進行褒貶義分析，形成褒貶統(tǒng)計圖。對于多個熱點主題，系統(tǒng)可以分析主題之間的演化關系、聚類關系。對單個熱點主題能對主題內(nèi)的文章做出各種分析，包括地域分布、時間分布、傳播路徑等。通過對網(wǎng)絡輿情峰值的系統(tǒng)分析，最終輔助輿情檢測人員快速識別新事件、追蹤已發(fā)現(xiàn)熱點輿情事件，及時掌握互聯(lián)網(wǎng)的輿情動態(tài)。輿情簡報和推送模塊輿情簡報和推送模塊可根據(jù)實際需要指定不同格式的報告和告警信息。報告格式可根據(jù)需要可考慮包含名稱、作者、發(fā)表時間、類型和文章具體內(nèi)容，同時系統(tǒng)可根據(jù)分析模塊的分析結(jié)果生成多種類型的統(tǒng)計圖表或分析圖，并將報告自動推送至用戶郵箱或只能手機，方便對輿情進行定時分析，及時發(fā)現(xiàn)問題。對于突發(fā)熱點事件，系統(tǒng)可自動發(fā)送告警信息或郵件至預定義手機和郵箱中，以便輿情監(jiān)測人員其實發(fā)現(xiàn)和消除虛假或負面消息。輿情管理模塊輿情管理模塊主要功能為在現(xiàn)有系統(tǒng)默認規(guī)則庫的基礎上，按照日常應用進行靈活方便的變更，例如對URL庫的追加、敏感詞的追加、正負面詞庫的管理、自動預警的管理等。硬件系統(tǒng)建設5.1總體拓撲通過多家軟件對比，各軟件廠家根據(jù)用戶搜索關鍵詞數(shù)量以及搜索時間及時性等不同的要求建議部署軟件系統(tǒng)所需的服務器為3-8臺，同時為充分保證訪問速度和抓取信息的及時性，建議采用100M外網(wǎng)線路和外網(wǎng)IP，同時處于對數(shù)據(jù)和服務器安全性的考慮，建議采用以下拓撲進行建設：根據(jù)XXXXXXX所需關注熱點及搜索規(guī)模進行相應分析，應考慮使用3臺服務器為本軟件提供硬件支撐，其中1臺服務器作為資源搜索服務器服務器（爬蟲服務器），1臺服務器作為數(shù)據(jù)整理服務器（數(shù)據(jù)庫），1臺作為控制服務器。同時，如果后期科技局對于關注熱點規(guī)模、搜索范圍、響應時間的要求進一步提高，可通過增加爬蟲服務器提高整體效率。5.2冗余系統(tǒng)建設由于本方案中各服務器均為單機配置，而服務器在日常運行中難免會出現(xiàn)設備物理故障或宕機，在這種情況下，會影響到輿情監(jiān)測系統(tǒng)的正常使用。因此需要通過利用虛擬化的先進技術，實現(xiàn)物理之間的互備，確保在物理機故障時確保虛擬機能夠自動在其他設備重啟并運行，保證輿情監(jiān)測系統(tǒng)能夠24小時不間斷運行。5.3存儲系統(tǒng)建設因科技領域方面設計熱點時間較多，范圍較廣，因此需要較大的存儲空間存儲各網(wǎng)站數(shù)據(jù)以供分析，而服務器因受到盤位的限制，磁盤容量方面有限，因此需要部署統(tǒng)一存儲設備（磁盤陣列）來提供大容量存儲介質(zhì)。另外虛擬化技術統(tǒng)一依賴于共享存儲設備來實現(xiàn)虛擬機的遷移和運行。因此，本次建設需采購一臺共享存儲設備為信息儲存及虛擬化軟件運行提供硬件支持。5.4安全系統(tǒng)建設考慮到應對現(xiàn)有XXXXXXX現(xiàn)有資源進行充分利用，本次暫是采用信息所現(xiàn)有防火墻為輿情監(jiān)測系統(tǒng)各服務器提供安全保護。5.5網(wǎng)絡出口建設現(xiàn)有XXXXXXX現(xiàn)有50M互聯(lián)網(wǎng)鏈路一條，及公網(wǎng)IP若干，考慮到輿情監(jiān)測系統(tǒng)需要實時抓取網(wǎng)站數(shù)據(jù)，訪問量和數(shù)據(jù)下載量較大，勢必對現(xiàn)有辦公網(wǎng)絡帶來影響，因此需要將現(xiàn)有50M互聯(lián)網(wǎng)鏈路擴容至100M,在為輿情監(jiān)測系統(tǒng)提供充足帶寬的前提下，保證辦公效率不受影響。四、輿情分析軟件推薦序號廠家產(chǎn)品名稱產(chǎn)品描述價格備注1全功能模塊（檢測部分（支持視頻媒體類分析、境外媒體類分析、qq群分析）、信息分析（支持IP地址查詢）、預警系統(tǒng)、推送系統(tǒng)（支持微博在線回復）、簡報系統(tǒng)、系統(tǒng)管理提供自定義服務。）。1年軟件升級服務。320000建議部署3-8臺服務器2全功能模塊（采集功能模塊；分析功能模塊；信息檢索模塊；輿情預警模塊；輿情報告（數(shù)據(jù)導出）模塊；信息展示（系統(tǒng)界面）），自帶1個偵測爬蟲（每秒50個頁面）。1年軟件升級服務。360000建議部署3-8臺服務器3包含輿情采集功能（不支持外語采集，支持漢語及少數(shù)民族語言，不支持qq群采集）；輿情分析功能（日處理量50萬條），用戶端控制（不支持分布式部署。）1年軟件升級服務。378000建議部署2-4臺服務器五、推薦建議上述品牌為目前業(yè)界口碑及客戶群體較好的三個品牌，由于網(wǎng)絡輿情分析系統(tǒng)已經(jīng)推出市場多年，技術相對比較成熟，各品牌在功能上基本相似，因此應從搜索范圍、速度、支持格式、檢測的準確性以及報表細致度來考慮品牌的選擇。對三個產(chǎn)品進行分析后，考慮使用北京中科新天科技有限公司的新天輿情監(jiān)測分析系統(tǒng)（集群版）作為所選軟件。1、推薦理由該產(chǎn)品主要存在以下優(yōu)勢：1、性價比較高：目前業(yè)界常用的輿情分析軟件功能類似，并且實現(xiàn)原理也均采用了技術手段較為先進的爬蟲垂直檢索技術，因此在同業(yè)公司規(guī)模和產(chǎn)品知名度的情況下應考慮使用價格較低的產(chǎn)品節(jié)省預算。2、響應時間快：新天輿情監(jiān)測分析系統(tǒng)可自定義對主要網(wǎng)站搜索時間，對于頁面的搜索時間為秒級別。但實際時間取決于指定的網(wǎng)站數(shù)量、網(wǎng)站頁面數(shù)量及網(wǎng)站優(yōu)先級排序。以搜索200個主流網(wǎng)站，優(yōu)先級全部為最優(yōu)為例，網(wǎng)站全部輪詢統(tǒng)計一次的時間約為2-8小時。3、媒體覆蓋全面：新天輿情監(jiān)測分析系統(tǒng)媒體庫較為全面，可以完整覆蓋境外主流網(wǎng)站和境內(nèi)主流網(wǎng)站、論壇、貼吧、微博、QQ群、博客、視頻網(wǎng)站、空間、社區(qū)、電子報刊雜志媒體、搜索引擎、人民網(wǎng)領導留言等多種監(jiān)測目標，此外對于不同用戶對網(wǎng)站的需求，還可以靈活的添加關注網(wǎng)站地址。4、專題跟蹤：新天輿情監(jiān)測分析系統(tǒng)共有兩種跟蹤方式，1、可根據(jù)系統(tǒng)默認規(guī)則庫進行搜索，該方式下，僅需點選相關職務、位置、行業(yè)、等即可對該類事件進行統(tǒng)計和分析，但這種方式的弊端是精度較差。2、可以根據(jù)用戶自定義的關鍵詞進行搜索和統(tǒng)計，關鍵詞設置數(shù)量沒有具體限制，在該方式下，搜索精度高，但需要用戶操作項目較多，同時隨著關鍵詞的增多，搜索速度會稍有降低。通過上述兩種方式統(tǒng)計到的相關關鍵詞，并可形成包含一定時間內(nèi)的轉(zhuǎn)載量、評論數(shù)、熱度等內(nèi)容的專題分析報告。5、貼合業(yè)務自定義功能多：新天輿情監(jiān)測分析系統(tǒng)具有自定義首頁展示、自定義檢索方式、自定義爬蟲工作時間、自定義預警關鍵字、自定義簡報內(nèi)容模版等供用戶滿足自身業(yè)務需求。6、功能全面：新天輿情監(jiān)測分析系統(tǒng)除大多數(shù)設備具有的輿情采集和輿情分析功能外，還具有IP地址查詢、微博在線回復、收藏夾、回收站、手機客戶端、配屬輿情分析師售后維護。7、技術力量領先：北京中科新天科技有限公司的新天輿情監(jiān)測分析系統(tǒng)（集群版）對中央統(tǒng)戰(zhàn)部、國防科大、新疆安全廳境外監(jiān)測研究均獲得較高評價。獲得“國家科技進步二等獎”同時北京中科新天科技有限公司是依托國家高科技計劃（863）、國家科技支撐計劃等課題研究，致力于課題成果轉(zhuǎn)化和產(chǎn)業(yè)化發(fā)展的軟件企業(yè)，技術實力和售后服務更有保障性。2、建設經(jīng)費說明本次網(wǎng)絡輿情監(jiān)測系統(tǒng)建設所需軟硬件費用如下：序號名稱介紹建議品牌和型號1應用系統(tǒng)建設構建輿情系統(tǒng)硬件基礎平臺，包括交換機、服務器、機柜、KVM等交換機CiscoWS-C2960S-24TS-L2服務器IBMX3650M43KVM蘭貝NS-71084服務器機柜蘭貝42U標準機柜5存儲系統(tǒng)建設為輿情分系統(tǒng)提供信息存儲空間及虛擬化公用存儲系統(tǒng)磁盤陣列IBMDS3512存儲6線纜3米SAS線纜7虛擬化系統(tǒng)建設為確保輿情分析系統(tǒng)各應用系統(tǒng)24小時提供不間斷服務，利用虛擬化的業(yè)務連續(xù)特性，利用最少的硬件設備提供全應用的冗余備份。虛擬化軟件8線路租用費用根據(jù)輿情監(jiān)測系統(tǒng)要求貸款較高的要求，同時為了確?，F(xiàn)有信息所辦公鏈路帶寬，建議將現(xiàn)有50M線路升級為100M線路。50M升級100M線路9輿情監(jiān)測系統(tǒng)軟件根據(jù)XXXXXXX規(guī)模及關注熱點問題，建議使用新天輿情監(jiān)測分析系統(tǒng)（集群版）。新天輿情監(jiān)測分析系統(tǒng)（集群版）10培訓費網(wǎng)絡輿情監(jiān)測系統(tǒng)培訓網(wǎng)絡輿情監(jiān)測系統(tǒng)及大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析注：因輿情監(jiān)控系統(tǒng)為軟件產(chǎn)品，顧每年需繳納軟件價格10%的授權使用費和軟件產(chǎn)品升級費用。3、項目建設周期說明本項目建設由三個階段組成：1、項目招標：包括項目立項、招標、中標、公示、簽訂合同。本階段周期約為1.5至2個月，根據(jù)具體招標情況確定。2、項目建設：包括中標后對產(chǎn)品的采購、安裝、上線和試運行。本階段周期約為1.5個月。3、細化完善：包括關鍵字補充細化、報表完善制定等。本階段預計需要6到12個月。綜上，輿情分析檢測系統(tǒng)項目建設自項目審批到整個系統(tǒng)上線運行約需要2-3個月時間；而對系統(tǒng)相應功能的完善、細化、優(yōu)化則需要6到12個月的時間完成。

六、產(chǎn)品成功案例編號用戶單位版