大數(shù)據(jù)的高效特征

1、大數(shù)據(jù)高效特征第1頁主 要 內(nèi) 容第一部分：大數(shù)據(jù)處理背景第三部分：大數(shù)據(jù)處理展望第二部分：大數(shù)據(jù)應(yīng)用第2頁3第一部分：大數(shù)據(jù)處理背景第3頁EB什么是大數(shù)據(jù)？ 維基百科：大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理數(shù)據(jù)集合。Gartner企業(yè)：體量大、快速和多樣化信息資產(chǎn)，需用高效率和創(chuàng)新型信息技術(shù)加以處理，以提升發(fā)覺洞察、做出決議和優(yōu)化流程能力。大數(shù)據(jù) = “海量數(shù)據(jù)”+“復(fù)雜類型數(shù)據(jù)” 第4頁大數(shù)據(jù)5V特征 VolumeVolumeVarietyVolume模態(tài)多樣VeracityVolume真?zhèn)坞y辨VelocityVolume速度極快體量巨大文本視頻圖片音頻到，數(shù)

2、據(jù)總量達(dá)40ZB，人均5.2TB分享內(nèi)容條目超出25億個(gè)/天，增加數(shù)據(jù)超出500TB/天ValueVolume價(jià)值密度低挖掘大數(shù)據(jù)價(jià)值類似沙里淘金。視頻監(jiān)控天天產(chǎn)生二十四小時(shí)數(shù)據(jù)，真正有價(jià)值就幾秒鐘第5頁大數(shù)據(jù)存在于各行各業(yè)中 電子商務(wù)金融日志分析國(guó)土安全交通控制機(jī)械制造社交網(wǎng)絡(luò)移動(dòng)互聯(lián)網(wǎng)智慧醫(yī)療科學(xué)研究交易分析視頻監(jiān)控第6頁用戶生成數(shù)據(jù)Deep Web數(shù)據(jù)多模態(tài)內(nèi)容數(shù)據(jù)天文氣象基因醫(yī)學(xué)經(jīng)濟(jì)物理其它領(lǐng)域網(wǎng)絡(luò)與關(guān)系數(shù)據(jù)大數(shù)據(jù)包括很多不一樣領(lǐng)域第7頁科研價(jià)值1998 年圖靈獎(jiǎng)得主、數(shù)據(jù)庫技術(shù)奠基人Jim Gray認(rèn)為數(shù)據(jù)驅(qū)動(dòng)研究將是第四種科學(xué)研究范式”The Fourth Paradigm: Da

3、ta-Intensive Scientific Discovery”大數(shù)據(jù)已為多個(gè)不一樣學(xué)科研究工作提供了寶貴機(jī)遇經(jīng)濟(jì)價(jià)值麥肯錫全球研究院：大數(shù)據(jù)可為世界經(jīng)濟(jì)創(chuàng)造巨大價(jià)值，提升企業(yè)和公共部門生產(chǎn)率和競(jìng)爭(zhēng)力，并為消費(fèi)者創(chuàng)造巨大經(jīng)濟(jì)利益著名Gartner企業(yè)：到年，采取大數(shù)據(jù)和海量信息管理企業(yè)將在各項(xiàng)財(cái)務(wù)指標(biāo)上，超出未做準(zhǔn)備競(jìng)爭(zhēng)對(duì)手20%工業(yè)價(jià)值分析使用：揭示隱藏其中信息，比如零售業(yè)中對(duì)門店銷售、地理和社會(huì)信息分析能提升對(duì)客戶了解二次開發(fā)：創(chuàng)造出新產(chǎn)品和服務(wù)。比如Facebook經(jīng)過結(jié)合大量用戶信息，定制出高度個(gè)性化用戶體驗(yàn)，并創(chuàng)造出一個(gè)新廣告模式社會(huì)價(jià)值比如：淘寶網(wǎng)推出淘寶消費(fèi)者物價(jià)指數(shù)（CPI

4、）來反應(yīng)網(wǎng)絡(luò)購(gòu)物消費(fèi)趨勢(shì)和價(jià)格動(dòng)態(tài)其它價(jià)值大數(shù)據(jù)價(jià)值第8頁深網(wǎng)挖掘深空探索我國(guó)神州九號(hào)進(jìn)入太空深海探測(cè)我國(guó)蛟龍?zhí)柼綔y(cè)水下7000米實(shí)現(xiàn)大數(shù)據(jù)價(jià)值深度挖據(jù)和高度利用！大數(shù)據(jù)戰(zhàn)略意義大數(shù)據(jù)深度資源挖掘與價(jià)值利用是國(guó)家戰(zhàn)略 從 深空 + 深海 深網(wǎng)第9頁大數(shù)據(jù)產(chǎn)業(yè)價(jià)值大數(shù)據(jù)是各行各業(yè)面臨共同問題促進(jìn)工業(yè)與信息產(chǎn)業(yè)生產(chǎn)效率提升未來產(chǎn)業(yè)競(jìng)爭(zhēng)關(guān)鍵要素研究共性問題，突破關(guān)鍵技術(shù)第10頁大數(shù)據(jù)現(xiàn)實(shí)需求：感知現(xiàn)在感知現(xiàn)在：歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)融合， 潛在線索與模式挖掘， 事件、群體與社會(huì)發(fā)展?fàn)顟B(tài)感知中國(guó)發(fā)展指數(shù)（物價(jià)、環(huán)境、健康）需求：掌握現(xiàn)實(shí)狀況，如淘寶CPI、環(huán)境指數(shù)難點(diǎn)：PB級(jí)社會(huì)媒體數(shù)據(jù)，百億級(jí)日志數(shù)據(jù)，

5、結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)關(guān)聯(lián)，歷史與流式數(shù)據(jù)并存犯罪線索挖掘需求：發(fā)覺線索,如罪犯行為軌跡難點(diǎn)：PB級(jí)日志數(shù)據(jù)、EB級(jí)監(jiān)控?cái)?shù)據(jù)中發(fā)覺嫌疑人及其行為模式如同大海撈針問題與挑戰(zhàn)：數(shù)據(jù)規(guī)模巨大、模態(tài)多樣、關(guān)聯(lián)復(fù)雜、真?zhèn)坞y辨 現(xiàn)有數(shù)據(jù)處理方法感知度量難、特征融合難、模式挖掘難第11頁聯(lián)合國(guó)“全球脈動(dòng)”(Global Pulse):利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測(cè)失業(yè)率與疾病暴發(fā)等現(xiàn)象，利用數(shù)字化早期預(yù)警信號(hào)來提前指導(dǎo)援助項(xiàng)目。問題與挑戰(zhàn)：數(shù)據(jù)交互性強(qiáng)、實(shí)時(shí)性強(qiáng)、動(dòng)態(tài)演變，造成傳統(tǒng)數(shù)據(jù)計(jì)算方法：數(shù)據(jù)生命周期割裂、時(shí)效性與準(zhǔn)確性難以兼顧、演變趨勢(shì)難以預(yù)測(cè)基于Twitter 數(shù)據(jù)選舉結(jié)果預(yù)測(cè):經(jīng)過對(duì)Twitter等網(wǎng)上公開數(shù)據(jù)實(shí)

6、時(shí)感知、動(dòng)態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測(cè)大選結(jié)果。預(yù)測(cè)未來：全量數(shù)據(jù)、流式數(shù)據(jù)、離線數(shù)據(jù)關(guān)聯(lián)分析，態(tài)勢(shì)與效應(yīng)判定與調(diào)控，揭示事物發(fā)展演變規(guī)律，進(jìn)而對(duì)事物發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)大數(shù)據(jù)現(xiàn)實(shí)需求：預(yù)測(cè)未來第12頁馬云判斷來自于數(shù)據(jù)分析！ 馬云對(duì)未來預(yù)測(cè)，是建立在對(duì)用戶行為分析基礎(chǔ)上。通常而言，買家在采購(gòu)商品前，會(huì)比較多家供給商產(chǎn)品。這些，反應(yīng)到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊數(shù)量和購(gòu)置點(diǎn)擊數(shù)量會(huì)保持一個(gè)相正確數(shù)值，綜合各個(gè)維度數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，所以確保了用戶行為模型準(zhǔn)確性。大數(shù)據(jù)分析案例（阿里巴巴） 馬云成功預(yù)測(cè)經(jīng)濟(jì)危機(jī)。 初，阿里巴巴發(fā)覺“淘寶網(wǎng)”等平臺(tái)上買家整體詢盤數(shù)

7、急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑，所以判定世界貿(mào)易形勢(shì)發(fā)生了改變，并提前六個(gè)月向淘寶網(wǎng)商戶發(fā)出“過冬”預(yù)警。 第13頁經(jīng)費(fèi)預(yù)算Google準(zhǔn)確掌握用戶行為、獲取需求、預(yù)測(cè)未來！大數(shù)據(jù)分析案例（Google） 用戶在無償使用Google軟件產(chǎn)品同時(shí)，把個(gè)人行為、喜好等信息也無償送給了Google。所以Google產(chǎn)品線越豐富，對(duì)用戶了解也越深入，他廣告就越精準(zhǔn)，價(jià)值就越高。 基于用戶搜索信息，Google成功預(yù)測(cè)美國(guó)甲型H1N1暴發(fā)，年1月準(zhǔn)確判定美國(guó)流感活動(dòng)等級(jí)為“強(qiáng)烈”。第14頁美國(guó)大數(shù)據(jù)研發(fā)專題研究計(jì)劃（ 3月）日本大數(shù)據(jù)發(fā)展國(guó)家戰(zhàn)略（ 7月）英國(guó)大數(shù)據(jù)和節(jié)能計(jì)算技術(shù)方案（ 年1月）中國(guó)“大

8、數(shù)據(jù)”香山會(huì)議（ 5月） 大數(shù)據(jù)列入973、重點(diǎn)基金項(xiàng)目指南 （年）北京中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟（）廣東大數(shù)據(jù)戰(zhàn)略工作方案（ 12月）上海大數(shù)據(jù)研究與發(fā)展三年行動(dòng)計(jì)劃（年7月）大數(shù)據(jù)表達(dá)國(guó)家意志和地方戰(zhàn)略 第15頁3月29日，美國(guó)聯(lián)邦政府整合6個(gè)部門宣告2億美元“Big Data Research and Development Initiative”促進(jìn)采集、存放、維護(hù)、管理、分析和共享海量數(shù)據(jù)關(guān)鍵技術(shù)；利用以上技術(shù)來加速科學(xué)與工程發(fā)覺步伐，強(qiáng)化國(guó)家安全，改變教育和學(xué)習(xí)；培養(yǎng)開發(fā)和使用大數(shù)據(jù)技術(shù)人力資源。Core Technologies for Advancing Big Data Scien

9、ce & EngineeringData to Decisions1000 Genomes Project Data Available on CloudScientific Discovery Through Advanced ComputingBig Data for Earth System ScienceXDATA美國(guó)大數(shù)據(jù)計(jì)劃大數(shù)據(jù)上升為國(guó)家意志第16頁17Horizon - The Framework Programme for Research and Innovation面向大數(shù)據(jù)數(shù)據(jù)信息化基礎(chǔ)設(shè)施（E-Infrastructure）是優(yōu)先資助領(lǐng)域GRDI - Global R

10、esearch Data Infrastructures建立針對(duì)科研大數(shù)據(jù)基礎(chǔ)設(shè)施，實(shí)現(xiàn)數(shù)據(jù)管理系統(tǒng)、數(shù)字?jǐn)?shù)據(jù)圖書館、研究圖書館、數(shù)據(jù)工具和研究團(tuán)體整合FP7 Call 8 Intelligent Information Management - Big Data預(yù)算5千萬歐元，-1-17截止目標(biāo)：提升發(fā)覺、分析、開采、使用大數(shù)據(jù)及其基礎(chǔ)設(shè)施能力經(jīng)過對(duì)大數(shù)據(jù)搜集與分析創(chuàng)造更大價(jià)值探索基于大規(guī)?；ヂ?lián)數(shù)據(jù)資源與專用基礎(chǔ)設(shè)施新型科學(xué)研究面向大數(shù)據(jù)人力資源開發(fā)歐盟大數(shù)據(jù)規(guī)劃基礎(chǔ)設(shè)施是先導(dǎo) 第17頁學(xué)術(shù)界對(duì)大數(shù)據(jù)關(guān)注1月，Nature Physics上出版?？癈omplexity”尤其指出大數(shù)據(jù)為科學(xué)

11、研究，尤其是復(fù)雜性科學(xué)研究提供了史無前例機(jī)遇，Nature出版?？癇ig Data”從互聯(lián)網(wǎng)技術(shù)、互聯(lián)網(wǎng)經(jīng)濟(jì)學(xué)、超級(jí)計(jì)算、環(huán)境科學(xué)、生物醫(yī)藥等多個(gè)方面介紹了大數(shù)據(jù)所帶來技術(shù)挑戰(zhàn)，Science登載?？癉ealing with Data”討論了數(shù)據(jù)洪流（Data deluge）所帶來挑戰(zhàn)，也尤其指出倘若能夠更有效地組織和使用這些數(shù)據(jù)，人們將得到更多機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展巨大推進(jìn)作用4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊ERCIM News上出版?？癇ig Data”討論了大數(shù)據(jù)時(shí)代數(shù)據(jù)管理、數(shù)據(jù)密集型研究創(chuàng)新數(shù)據(jù)庫技術(shù)等問題，并介紹了歐洲科研機(jī)構(gòu)開展研究活動(dòng)和取得創(chuàng)新性進(jìn)展第18頁大數(shù)據(jù)與

12、常規(guī)數(shù)據(jù)對(duì)比常規(guī)數(shù)據(jù)范圍廣模態(tài)多增加快關(guān)聯(lián)繁數(shù)據(jù)規(guī)模較小模態(tài)屬性受限增加速度較慢關(guān)聯(lián)相對(duì)簡(jiǎn)單稠密與稀疏共存冗余與缺失并在動(dòng)態(tài)與靜態(tài)互現(xiàn)顯式與隱藏都有特征問題描述與存放挑戰(zhàn)分析與了解挑戰(zhàn)挖掘與預(yù)測(cè)挑戰(zhàn)挑戰(zhàn)大數(shù)據(jù)應(yīng)用目標(biāo)相對(duì)比較明確數(shù)據(jù)結(jié)構(gòu)相對(duì)比較簡(jiǎn)單時(shí)序長(zhǎng)連續(xù)時(shí)間較短處理方法通常為模型化、參數(shù)化第19頁大數(shù)據(jù)分析挖掘基本路徑 第20頁第二部分：大數(shù)據(jù)應(yīng)用第21頁第22頁洛杉磯警察局和加利福尼亞大學(xué)合作利用大數(shù)據(jù)預(yù)測(cè)犯罪發(fā)生。谷歌流感趨勢(shì)(Google Flu Trends)利用搜索關(guān)鍵詞預(yù)測(cè)禽流感散布。統(tǒng)計(jì)學(xué)家內(nèi)特.西爾弗(Nate Silver)利用大數(shù)據(jù)預(yù)美國(guó)選舉結(jié)果。麻省理工學(xué)院利用手機(jī)定

13、位數(shù)據(jù)和交通數(shù)據(jù)建立城市規(guī)劃。梅西百貨實(shí)時(shí)定價(jià)機(jī)制。依據(jù)需求和庫存情況，該企業(yè)基于SAS（查詢系統(tǒng)）系統(tǒng)對(duì)多達(dá)7300萬種貨物進(jìn)行實(shí)時(shí)調(diào)價(jià)。第23頁數(shù)據(jù)回報(bào)率=數(shù)據(jù)價(jià)值/數(shù)據(jù)成本在技術(shù)層面，數(shù)據(jù)回報(bào)率為數(shù)據(jù)集成、數(shù)據(jù)管理、商業(yè)智能和分析方面投入提供了業(yè)務(wù)背景和案例。它還與處理業(yè)務(wù)基礎(chǔ)相關(guān)：掙錢、省錢、創(chuàng)造機(jī)會(huì)和管理風(fēng)險(xiǎn)。它包括對(duì)效率考慮，同時(shí)推進(jìn)了改變游戲規(guī)則洞察力第24頁在9/11攻擊后,美國(guó)政府為阻止恐怖主義已經(jīng)涉足大規(guī)模數(shù)據(jù)挖掘。組建一個(gè)用于篩選通信、犯罪、教育、金融、醫(yī)療和旅行等統(tǒng)計(jì)來識(shí)別可疑人大數(shù)據(jù)庫年5月美國(guó)總統(tǒng)巴拉克奧巴馬政府推出網(wǎng)站作為政府開放數(shù)據(jù)計(jì)劃部分舉措。該網(wǎng)站超出4.4

14、5萬量數(shù)據(jù)集被用于確保一些網(wǎng)站和智能手機(jī)應(yīng)用程序來跟蹤從航班到產(chǎn)品召回再到特定區(qū)域內(nèi)失業(yè)率信息,這一行動(dòng)激發(fā)了從肯尼亞到英國(guó)范圍內(nèi)政府們相繼推出類似舉措第25頁2月掃描2億年頁面信息,或4兆兆字節(jié)磁盤存放,只需幾秒即可完成。年3月美國(guó)政府匯報(bào)要求每個(gè)聯(lián)邦機(jī)構(gòu)都要有一個(gè)“大數(shù)據(jù)”策略，作為回應(yīng)，奧巴馬政府宣告一項(xiàng)耗資2億美元大數(shù)據(jù)研究與發(fā)展項(xiàng)目。 1890美國(guó)統(tǒng)計(jì)學(xué)家赫爾曼霍爾瑞斯為了統(tǒng)計(jì)1890年人口普查數(shù)據(jù)創(chuàng)造了一臺(tái)電動(dòng)器來讀取卡片上洞數(shù),該設(shè)備讓美國(guó)用一年時(shí)間就完成了原本耗時(shí)8年人口普查活動(dòng)，由此在全球范圍內(nèi)引發(fā)了數(shù)據(jù)處理新紀(jì)元。第26頁27第三部分：大數(shù)據(jù)處理展望第27頁大數(shù)據(jù)計(jì)算思維轉(zhuǎn)

15、變 整合性（Integrated） 近似性（Inexact） 歸納性（Inductive） 增量性（Incremental）第28頁 整合性（Integrated）：從樣本到總體 大數(shù)據(jù)時(shí)代能夠分析更多數(shù)據(jù)，甚至是與之相關(guān)全部數(shù)據(jù)，而不再依賴于采樣（比如：要研究氣象，不但要關(guān)注氣溫、氣壓、濕度改變，而且要了解與研究相關(guān)全部數(shù)據(jù)）。使用全部數(shù)據(jù)可能帶來更全方面認(rèn)識(shí)，能夠更清楚發(fā)覺樣本無法揭示細(xì)節(jié)信息。這意味著在大數(shù)據(jù)研究時(shí)代，采樣思維需要變革。第29頁 近似性（Inexact）：從準(zhǔn)確到效率 與電信、銀行準(zhǔn)確計(jì)算需求不一樣，在大數(shù)據(jù)背景下， 絕正確準(zhǔn)確不再是追求主要目標(biāo)，適當(dāng)忽略微觀層面上準(zhǔn)確度

16、，設(shè)計(jì)一個(gè)簡(jiǎn)單、快速、近似算法會(huì)在宏觀層面擁有更加好洞察力。也就是說，數(shù)據(jù)分析思維需要變革，不能過于追求準(zhǔn)確。 第30頁 歸納性（Inductive）：從因果到相關(guān) 過去對(duì)一個(gè)現(xiàn)象分析總是追究“為何”。但在大數(shù)據(jù)時(shí)代，對(duì)事物現(xiàn)象、機(jī)理解釋，無須緊緊盯著事物之間“為何”因果關(guān)系，而要尋找事物之間“是什么”相關(guān)關(guān)系。 相關(guān)關(guān)系可能不能準(zhǔn)確地說明一個(gè)社會(huì)現(xiàn)象發(fā)生原因，不過會(huì)揭示其蘊(yùn)含發(fā)展規(guī)律與趨勢(shì)。第31頁 增量性（Incremental）：從靜態(tài)到動(dòng)態(tài) 大數(shù)據(jù)時(shí)代，數(shù)據(jù)是源源不停動(dòng)態(tài)改變，傳統(tǒng)計(jì)算方法有一個(gè)封閉假設(shè)，全部數(shù)據(jù)都齊全了再進(jìn)行計(jì)算。所以，在大數(shù)據(jù)動(dòng)態(tài)改變特征當(dāng)中需要進(jìn)行增量計(jì)算。 第32