理解大數(shù)據(jù)實踐大數(shù)據(jù)

內容對大數(shù)據(jù)的理解xxx大數(shù)據(jù)產(chǎn)品布局和應用實踐當前1頁，總共46頁。反對派認為，我們現(xiàn)在處在一個盲目的大數(shù)據(jù)崇拜時代當前2頁，總共46頁。大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)的爆發(fā)式增長和社會化趨勢，新摩爾定律大數(shù)據(jù)已經(jīng)成為一種自然資源機器數(shù)據(jù)日益重要大數(shù)據(jù)不被利用就是成本當前3頁，總共46頁。大數(shù)據(jù)產(chǎn)生的背景現(xiàn)有的商業(yè)軟件難以處理大數(shù)據(jù)的規(guī)模和復雜性

獲取(capture)存貯(storage)搜索(search)分享(sharing)分析(analysis)可視化(visualization)當前4頁，總共46頁。奧巴馬大數(shù)據(jù)戰(zhàn)略2012年3月29日，白宮發(fā)布美國政府的大數(shù)據(jù)計劃通過提高從大型復雜的數(shù)字數(shù)據(jù)集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，加強國家安全，并改變教學研究當前5頁，總共46頁。大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity非結構化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結構化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效當前6頁，總共46頁。對大數(shù)據(jù)的理解大數(shù)據(jù)比云計算更為落地大數(shù)據(jù)不僅僅是“大”軟件是大數(shù)據(jù)的引擎大數(shù)據(jù)的應用不僅僅是精準營銷管理大數(shù)據(jù)“易”，理解大數(shù)據(jù)“難”當前7頁，總共46頁。1、大數(shù)據(jù)比云計算更為落地商業(yè)模式驅動應用需求驅動云計算本身也是大數(shù)據(jù)的一種業(yè)務模式當前8頁，總共46頁。2、大數(shù)據(jù)不僅僅是“大”多大？PB級比大更重要的是數(shù)據(jù)的復雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值當前9頁，總共46頁。3、軟件是大數(shù)據(jù)的引擎和數(shù)據(jù)中心（DataCenter）

一樣，軟件是大數(shù)據(jù)的驅動力，軟件改變世界當前10頁，總共46頁。大數(shù)據(jù)生態(tài)：軟件是引擎當前11頁，總共46頁。4、大數(shù)據(jù)的應用不僅僅是精準營銷通過用戶行為分析實現(xiàn)精準營銷是大數(shù)據(jù)的典型應用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務領域具有廣闊的應用前景消費行業(yè)金融服務食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務氣象當前12頁，總共46頁。5、管理大數(shù)據(jù)“易”理解大數(shù)據(jù)“難”雖然大數(shù)據(jù)是一個重大問題，真正的問題是讓大數(shù)據(jù)更有意義目前大數(shù)據(jù)管理多從架構和并行等方面考慮，解決高并發(fā)數(shù)據(jù)存取的性能要求及數(shù)據(jù)存儲的橫向擴展，但對非結構化數(shù)據(jù)的內容理解仍缺乏實質性的突破和進展，這是實現(xiàn)大數(shù)據(jù)資源化、知識化、普適化的核心非結構化海量信息的智能化處理：自然語言理解、多媒體內容理解、機器學習等當前13頁，總共46頁。xxx大數(shù)據(jù)產(chǎn)品布局TRS機器數(shù)據(jù)挖掘引擎TRSSMAS

輿情云服務TRS大數(shù)據(jù)管理系統(tǒng)V7.0當前14頁，總共46頁。TRS大數(shù)據(jù)管理系統(tǒng)發(fā)展歷程TRS全文數(shù)據(jù)庫TRS

非結構化

數(shù)據(jù)庫TRS大數(shù)據(jù)管理系統(tǒng)當前15頁，總共46頁。TRS大數(shù)據(jù)管理系統(tǒng)V7.0當前16頁，總共46頁。TRS大數(shù)據(jù)管理系統(tǒng)V7.0分布式并行計算、多副本機制、沒有單點的高可靠體系架構，兼容Hadoop標準支持結構化、半結構化、非結構化數(shù)據(jù)的管理和搜索支持實時及用戶行為數(shù)據(jù)的高效管理和分析支持PB級的海量數(shù)據(jù)管理支持海量用戶的高并發(fā)訪問（千萬級用戶、萬級并發(fā)）充分釋放硬件的潛力（多核、大內存等）大規(guī)模部署的自動化和運行狀態(tài)監(jiān)控創(chuàng)新的多檢索引擎機制，提供開放的二次開發(fā)接口當前17頁，總共46頁。數(shù)據(jù)備份大數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)存儲開發(fā)接口基于Hadoop的數(shù)據(jù)分析CKM文本挖掘與數(shù)據(jù)挖掘關聯(lián)規(guī)則與序列模式挖掘推薦引擎的離線分析MapReduce數(shù)據(jù)庫監(jiān)控機器數(shù)據(jù)搜索引擎用戶行為挖掘與推薦引擎基于時間分段的大數(shù)據(jù)檢索與索引接口搜索引擎日志采集監(jiān)控數(shù)據(jù)存儲層數(shù)據(jù)分析層日志發(fā)送節(jié)點Angent1Angent2Angent3……Angentn日志接收集群Collector1Collector2Collector3……CollectornMaster管理集群Master1Master2Mastern日志采集TRS機器數(shù)據(jù)挖掘引擎當前18頁，總共46頁。TRS機器數(shù)據(jù)挖掘引擎特點支持主流格式機器數(shù)據(jù)的實時采集、解析、管理和搜索?；跁r間分段和負載均衡的大數(shù)據(jù)索引與檢索機制?；赪eb的機器數(shù)據(jù)搜索與分析界面。兼容Hadoop平臺的日志挖掘和用戶行為分析。基于多種推薦模型的在線推薦引擎大規(guī)模部署的自動化和運行狀態(tài)監(jiān)控當前19頁，總共46頁。TRSSMAS功能框架圖輿情管理服務共享信息挖掘信息來源新聞論壇博客搜索引擎微博wiki自動排重、自動分類、自動摘要、自動分析輿情分類熱點跟蹤熱點統(tǒng)計微博分析人物分析微博運營趨勢分析整合統(tǒng)計關聯(lián)圖譜動態(tài)走勢興趣圖譜未知探索熱點變化意見領袖傳播圖譜關系分類個性展示敏感預警自由分布數(shù)圖導出圖表切換多維檢索探針追蹤元搜索當前20頁，總共46頁。外網(wǎng)微博論壇SNS網(wǎng)媒

官網(wǎng)提高銷量用戶滿意度用戶設計趨勢分析競爭分析質量缺陷設計缺陷使用缺陷KOL維護聲譽管理危機預警事件評估行為分析產(chǎn)品公關營銷SMAS用戶感知研發(fā)情緒感知及時服務口碑監(jiān)測媒介監(jiān)測S-CRM廣義服務TRSSMAS作用于企業(yè)2.0當前21頁，總共46頁。TRS在大數(shù)據(jù)領域的應用實踐新華社多媒體數(shù)據(jù)庫國家知識產(chǎn)權局專利檢索系統(tǒng)某部信息監(jiān)控系統(tǒng)TRSSMAS云服務（大數(shù)據(jù)服務）國家質監(jiān)局國家藥監(jiān)局北京市環(huán)保局國家氣象局每日微博熱點分析當前22頁，總共46頁。新華社多媒體數(shù)據(jù)庫系統(tǒng)是新華社的核心業(yè)務支撐，典型的非結構化數(shù)據(jù)管理應用場景，持續(xù)IT投資已經(jīng)超過6億人民幣以新華社遍布全球的新聞信息及采集網(wǎng)絡為依托，全面整合新華社的文字、圖片、圖表、音視頻、報刊等全部資源和社會上有價值的新聞信息資源，擁有包括中、英、法、俄、西、阿及中文繁體在內的6個文種，數(shù)據(jù)量超PB最早采用文件系統(tǒng)，后來改為Oracle，效率很低，再改為Oracle+TRS，持續(xù)服務至今從大型機改為PC服務器集群當前23頁，總共46頁。1.5億條原創(chuàng)新聞資訊26000小時權威原創(chuàng)視頻700萬張圖片27000家注冊用戶8000多種資源分類PB級數(shù)據(jù)量多語種數(shù)據(jù)當前24頁，總共46頁。新華社多媒體數(shù)據(jù)庫數(shù)據(jù)流轉圖當前25頁，總共46頁。新華社多媒體庫的技術特點非結構化數(shù)據(jù)和結構化數(shù)據(jù)統(tǒng)一管理TRS多語言檢索引擎全面采用TRS文本挖掘技術良好的集群擴展能力索引服務器讀寫分離當前26頁，總共46頁。國家知識產(chǎn)權局專利檢索服務系統(tǒng)1998年專利局引進了歐洲EPOQUE系統(tǒng)，基于大型機的專利檢索系統(tǒng)，每年的系統(tǒng)維護費用就達數(shù)千萬元2005年開始建設自主可控可持續(xù)發(fā)展的專利檢索和服務系統(tǒng)，采用大量的PC服務器典型的非結構化/半結構化數(shù)據(jù)應用場景目前公共檢索和審查員檢索系統(tǒng)全部使用TRS檢索引擎當前27頁，總共46頁。專利檢索系統(tǒng)的需求特點數(shù)據(jù)多樣性結構化、半結構化和非結構化數(shù)據(jù)的結合申請人、申請?zhí)?、名稱等著錄項很多;權利要求書、說明書等全文數(shù)據(jù)規(guī)模大各庫數(shù)據(jù)結構差異大查詢要求高嚴格的查全和查準要求基于領域知識的智能檢索結構化和非結構化信息聯(lián)合查詢相關專利推薦當前28頁，總共46頁。專利檢索與服務系統(tǒng)的數(shù)據(jù)種類與規(guī)模6億多條專利記錄多渠道異構資源整合100%查全率<1秒響應時間700-1000并發(fā)7×24穩(wěn)定可靠1萬注冊用戶當前29頁，總共46頁。專利檢索引擎數(shù)據(jù)流轉圖當前30頁，總共46頁。專利檢索與服務系統(tǒng)-外觀圖像檢索當前31頁，總共46頁。專利圖像外觀檢索局部檢索形狀檢索紋理檢索不變性特征檢索草圖檢索數(shù)據(jù)分類數(shù)據(jù)聚類基于相關反饋的檢索跨語言檢索600萬幅專利圖片查詢性能從原來的分鐘級提高到秒級索引性能從原來的天級提高到現(xiàn)在的小時級當前32頁，總共46頁。某部網(wǎng)監(jiān)智能搜索和挖掘系統(tǒng)系統(tǒng)特點：巨大的數(shù)據(jù)量多樣性數(shù)據(jù)數(shù)據(jù)極快速增長系統(tǒng)現(xiàn)狀已經(jīng)部署數(shù)千臺服務器，滿足了業(yè)務需求挑戰(zhàn)性能和可擴展性整合和調度數(shù)據(jù)量遠超過互聯(lián)網(wǎng)，目前部署TRS系統(tǒng)2000多套當前33頁，總共46頁。SMAS的用戶當前34頁，總共46頁。國家質檢總局2012.1蒙牛致癌門2012.2蘇泊爾質量門2012.3遼源注水肉2012.3

315質量報告2012.4含氯可口可樂2012.4蜜餞質量問題2012.5菲律賓香蕉質量2012僅在2012年上半年，xxx運營團隊就為質檢總局在產(chǎn)品質量、食品安全方面提供超過40余項服務，借助數(shù)據(jù)中心的大數(shù)據(jù)與云服務平臺，進行全面的整合、統(tǒng)計與分析。當前35頁，總共46頁。國家質檢總局質檢總局的服務依托云服務平臺（SMAS），從媒體調性、平臺分布、網(wǎng)民意見、趨勢發(fā)展等多種角度進行解析，結合系統(tǒng)的自動分析與分析團隊的整合，最終以專題報告的方式，第一時間呈現(xiàn)，為質檢總局在公共服務的決策提供重要參考。當前36頁，總共46頁。國家藥監(jiān)局2012年4月15日央視曝光的“毒膠囊”事件掀起藥品行業(yè)的巨大波瀾，SMAS運營團隊對該事件進行了長時間的跟蹤與分析，并用一系列的數(shù)據(jù)、圖表和報告捕獲了網(wǎng)絡數(shù)據(jù)里的真相與民意。當前37頁，總共46頁。國家藥監(jiān)局關鍵人物傳播趨勢主流觀點關鍵地區(qū)SMAS分析團隊連續(xù)30天跟蹤毒膠囊事件，從整體傳播趨勢、觀點、人物、地區(qū)等視角，還原了這起頗具影響力的公共事件。-----毒膠囊事件-------當前38頁，總共46頁。北京市環(huán)保局PM2.5分析報道量排行高低兩會代表委員熱議PM2.5“京V”排放標準首規(guī)定PM限值珠三角成首個公布PM2.5城市群珠三角PM2.5嚴重超標環(huán)保局回應PM2.5數(shù)據(jù)質疑借助數(shù)據(jù)中心的大數(shù)據(jù)與云服務平臺，從區(qū)域分布的角度對PM2.5的相關信息進行歸類，進行全面的整合、統(tǒng)計與分析，得到上圖分析內容。當前39頁，總共46頁。北京市環(huán)保局PM2.5分析PM2.5均勻分布，監(jiān)測點為何不均勻分布？PM2.5監(jiān)測不能背離公眾感受PM2.5監(jiān)測,關鍵詞是“真實”20億元清單，能否換來清新？微博TOP10意見領袖排行鄭淵潔微博原文作家通過SMAS平臺的抽樣分析，提取網(wǎng)民熱點話題內容，得到TOP10意見領袖排行。對意見領袖的代表性微博進行傳播鏈分析，可知“意見領袖”巨大的傳播影響力。第一層第二層第三層第四層第五層第六層傳播了712次占轉發(fā)數(shù)百分比：54.39%傳播了432次占轉發(fā)數(shù)百分比：33.00%

博主自身的二次轉發(fā)當前40頁，總共46頁。北京市環(huán)保局PM2.5分析當前41頁，總共46頁。氣象輿情監(jiān)測對氣候的影響三峽工程長江中下游干旱臺風

梅花日本核輻射極端天氣頻發(fā)，有多少是人為之禍？公眾對氣象部門的氣象服務有了全新的期待。依托數(shù)據(jù)中心與云服務平臺，xxx運營團隊還原熱點氣象事件引發(fā)的網(wǎng)絡輿情，總結氣象部門應對氣象危機的得失，為氣象部門開拓氣象服務新領域、提升氣象服