大數(shù)據(jù)與網(wǎng)絡(luò)輿情分析

abit.io大數(shù)據(jù)與網(wǎng)絡(luò)輿情分析http://abit.io微趣大數(shù)據(jù)所有真實(shí)用戶都不獨(dú)立存在，緊密的社交圈在幫助用戶產(chǎn)生數(shù)據(jù)。社交大數(shù)據(jù)的內(nèi)部爆炸可以為任意分析提供充足的數(shù)據(jù)支撐超過6億互聯(lián)網(wǎng)真實(shí)用戶檔案數(shù)據(jù)。每天新產(chǎn)生的數(shù)億條的評(píng)論，及過去4年間數(shù)百億的各類觀點(diǎn)?，F(xiàn)在可以在一個(gè)平臺(tái)上掌握所有的這些聲音。通過這些大數(shù)據(jù)可回答以下問題：誰/哪些人在討論一個(gè)什么問題他們的觀點(diǎn)和期望到底是什么可自由組織的問題影響力評(píng)估用戶作息時(shí)間群體/個(gè)體習(xí)慣對(duì)比分析（作息，上網(wǎng)）自然狀態(tài)下的用戶言論自然狀態(tài)下的用戶言論移動(dòng)設(shè)備更替社交關(guān)系網(wǎng)結(jié)構(gòu)社交關(guān)系結(jié)構(gòu)群體/個(gè)體興趣對(duì)比分析網(wǎng)絡(luò)輿情分析微博新浪微博用戶6.5億，日活躍4600萬，騰訊微博用戶6.2億，日活躍約1億。全國(guó)政務(wù)微博總數(shù)17萬，2012年增長(zhǎng)2.5倍（其中在新浪微博6萬）。在新浪微博開通的企業(yè)微博總數(shù)27萬，2012年增長(zhǎng)1.2倍。微信微信用戶3億，日活躍約2億，公眾號(hào)約200萬，認(rèn)證公眾號(hào)與服務(wù)號(hào)約20萬。新一輪的信息爆炸傳統(tǒng)門戶，論壇有價(jià)值信息量大約在一年1億條左右微博每天產(chǎn)生近2億條各類內(nèi)容社交媒體特點(diǎn)海量數(shù)據(jù)大量長(zhǎng)尾和碎片和噪音互聯(lián)網(wǎng)輿情現(xiàn)狀互聯(lián)網(wǎng)輿情現(xiàn)狀在今天的中國(guó)，任意可能被在全社會(huì)范圍內(nèi)傳播的輿情都無法繞開微博這一傳播載體。只要內(nèi)容具有傳播價(jià)值，數(shù)億微博用戶中總有人會(huì)將其從門戶，論壇，朋友圈及其它各類媒介中放到微博中進(jìn)行傳播，因此微博可以說是大數(shù)據(jù)時(shí)代輿情監(jiān)測(cè)最重要的陣地。微博是目前中國(guó)唯一能夠滿足普通用戶將信息傳遞到全國(guó)皆知的需求的平臺(tái)。當(dāng)前互聯(lián)網(wǎng)輿情監(jiān)測(cè)的思路方案及時(shí)獲取完整獲取判別熱度判別真假可擴(kuò)展穩(wěn)定性API關(guān)鍵詞實(shí)時(shí)獲取XXXX非常穩(wěn)定頁面爬蟲重要優(yōu)先√√√√較穩(wěn)定主要的技術(shù)路線比較頁面爬蟲根據(jù)采集能力約束主要分為：“全采集”與“組織性采集”。案例–上海法官招嫖事件事件回放：2013.8.2網(wǎng)上開始大量傳播以視頻截圖為依據(jù)的披露上海高院法官集體招嫖的事件，該事件在全國(guó)范圍內(nèi)造成大范圍的傳播與討論，造成惡劣影響，微趣輿情平臺(tái)在這條暴露微博僅僅轉(zhuǎn)發(fā)11次之前就捕獲了該微博。案例特點(diǎn)：爆料人在騰訊微博上注冊(cè)用戶并進(jìn)行發(fā)布。該用戶爆料時(shí)，粉絲僅為9人，即初期整個(gè)互聯(lián)網(wǎng)中僅有9人有較小機(jī)會(huì)看到并傳播該信息。該信息經(jīng)過4小時(shí)左右傳播后被刪除，刪除前僅轉(zhuǎn)發(fā)了65次，但最終在全網(wǎng)范圍內(nèi)進(jìn)行擴(kuò)散。案例結(jié)論：輿情監(jiān)測(cè)必須全平臺(tái)。如僅監(jiān)測(cè)大號(hào)，無法確保輿情監(jiān)測(cè)業(yè)務(wù)的安全。基于社交網(wǎng)絡(luò)的輿情傳播力非常大，一不注意就造成輿論災(zāi)難。大數(shù)據(jù)采集社交媒體數(shù)據(jù)量較傳統(tǒng)門戶論壇增長(zhǎng)了數(shù)百倍，傳統(tǒng)輿情平臺(tái)技術(shù)無力實(shí)現(xiàn)全數(shù)據(jù)采集。微博數(shù)據(jù)源都是高技術(shù)能力的互聯(lián)網(wǎng)公司，反采集技術(shù)成熟，難以攻破。（短信驗(yàn)證，圖片識(shí)別等）大數(shù)據(jù)處理利用傳統(tǒng)的數(shù)據(jù)處理與存儲(chǔ)方式，要實(shí)時(shí)處理數(shù)以億計(jì)的數(shù)據(jù)需要投入龐大的硬件，一般公司無法承擔(dān)。例如鄧亞萍的即刻搜索，就投入了近700臺(tái)高性能服務(wù)器提供微博內(nèi)容的搜索服務(wù)，但仍然數(shù)據(jù)缺失嚴(yán)重。輿情的發(fā)現(xiàn)任意輿情系統(tǒng)最終都需要將數(shù)據(jù)呈現(xiàn)在用戶面前，在大量相關(guān)數(shù)據(jù)面前，人一天滿負(fù)荷瀏覽最多不會(huì)超過2000條微博，但在大數(shù)據(jù)的基礎(chǔ)上，往往相關(guān)數(shù)據(jù)都會(huì)超過這個(gè)極限。因此如何實(shí)時(shí)將最重要的輿情信息優(yōu)先放到用戶面前成為重要問題。輿論噪音的辨別與去除社交平臺(tái)中存在大量受控制的機(jī)器賬號(hào)，總量驚人，這些機(jī)器賬號(hào)可以被利用快速增長(zhǎng)某些內(nèi)容的轉(zhuǎn)發(fā)量。需要有技術(shù)識(shí)別輿情的真假，防止被錯(cuò)誤引導(dǎo)。輿情監(jiān)測(cè)的挑戰(zhàn)內(nèi)容傳播分析真實(shí)傳播評(píng)估大數(shù)據(jù)采集從09年開始研發(fā)搭建的高效分布式采集平臺(tái)，將近百個(gè)采集點(diǎn)毫無規(guī)律地放置在全球各地，使采集能力大增并且不易被平臺(tái)防抓取技術(shù)攔截，已穩(wěn)定采集4年相關(guān)數(shù)據(jù)。大數(shù)據(jù)處理自主研發(fā)了國(guó)際上最先進(jìn)的非關(guān)系型數(shù)據(jù)庫并利用分布式文件系統(tǒng)（hadoop）實(shí)現(xiàn)了低成本的高速數(shù)據(jù)讀寫。經(jīng)測(cè)試同等硬件環(huán)境下，讀取速度比SQLServer或Oracle快20倍，寫入快5倍。輿情的發(fā)現(xiàn)基于國(guó)際上一些權(quán)威的傳播研究論文，設(shè)計(jì)出能夠?qū)崟r(shí)評(píng)價(jià)輿情重要性的“熱度指數(shù)”，獲得國(guó)家相關(guān)獎(jiǎng)項(xiàng)認(rèn)可。輿論噪音的辨別與去除探查整個(gè)社交網(wǎng)絡(luò)數(shù)億用戶情況，通過真實(shí)度算法識(shí)別網(wǎng)絡(luò)機(jī)器人，確保去除虛假互聯(lián)網(wǎng)聲音。應(yīng)對(duì)技術(shù)微博實(shí)時(shí)搜索微信實(shí)時(shí)搜索案例–平度事件最早影響力最大21-24號(hào)的數(shù)據(jù)統(tǒng)計(jì)日期微博數(shù)轉(zhuǎn)發(fā)數(shù)評(píng)論數(shù)微信數(shù)3.21486442201294213.22608781142774513.23614362971341003.24262396414241實(shí)時(shí)意見領(lǐng)袖的監(jiān)測(cè)傳播地域評(píng)估新媒體下的內(nèi)容引導(dǎo)什么是傳統(tǒng)媒體？電視、廣播、報(bào)紙、雜志、布告欄、電線桿……什么是新媒體？網(wǎng)絡(luò)視頻，IPTV，移動(dòng)電視，數(shù)字報(bào)紙，數(shù)字雜志，博客，微博……新媒體的優(yōu)勢(shì)傳播速度更快，信息更及時(shí)覆蓋面更廣，受眾更多互動(dòng)性更強(qiáng)新媒體的特點(diǎn)消解邊界信息多元化和自由選擇突破時(shí)空限制小眾化與長(zhǎng)尾效應(yīng)自媒體什么是自媒體？@作業(yè)本784萬粉絲獨(dú)特的語言風(fēng)格，契合時(shí)事熱點(diǎn)的創(chuàng)作每條微博都有上千乃至數(shù)萬轉(zhuǎn)發(fā)評(píng)論牛鬼蛇神屌絲聚會(huì)這是什么？@王左中右每天一個(gè)漢字，讀懂中國(guó)@小丑出品PS&吐槽新媒體平臺(tái)上的

內(nèi)容包裝與品牌塑造獨(dú)特的原創(chuàng)內(nèi)容有針對(duì)性的受眾群體緊抓熱點(diǎn)關(guān)鍵的傳播點(diǎn)良好的互動(dòng)我買了這么多貨不對(duì)版的植物我會(huì)告訴你嗎？太長(zhǎng)!toolong!發(fā)布微博時(shí)其他考量發(fā)布時(shí)間：中午十二點(diǎn)整后續(xù)：由韓寒在十分鐘后進(jìn)行轉(zhuǎn)發(fā)后續(xù)：由亭林鎮(zhèn)工作室的微博以及其他朋友微博賬號(hào)進(jìn)行轉(zhuǎn)發(fā)并持續(xù)發(fā)酵最