G30(大)數(shù)據(jù)雜談20140703-文庫(kù)

（大）數(shù)據(jù)雜談坐忘/spanlessbug2014-06-23引言何謂大數(shù)據(jù)？主題

MyTopics大數(shù)據(jù)技術(shù)大數(shù)據(jù)方案大數(shù)據(jù)價(jià)值對(duì)我們的啟示引言用數(shù)據(jù)打造冠軍團(tuán)隊(duì)——《點(diǎn)球成金》；大數(shù)據(jù)什么都知道；尿布與啤酒還有颶風(fēng)和蛋撻；數(shù)據(jù)爆炸式增長(zhǎng)；大數(shù)據(jù)時(shí)代來(lái)臨；引言→電影《點(diǎn)球成金》基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊(duì)；打破傳統(tǒng)思維，通過(guò)分析比賽數(shù)據(jù)，尋找“性價(jià)比”最高球員，運(yùn)用數(shù)據(jù)取得成功；布拉德?皮特主演的《點(diǎn)球成金》是一部美國(guó)奧斯卡獲獎(jiǎng)影片，所講述的是皮特扮演的棒球隊(duì)總經(jīng)理利用計(jì)算機(jī)數(shù)據(jù)分析，對(duì)球隊(duì)進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊(duì)能夠取得巨大的成功。引言→沒(méi)有隱私：它什么都知道你的什么大數(shù)據(jù)都知道舊手機(jī)壞了想換新的是一個(gè)愛(ài)國(guó)的屌絲女朋友有了一個(gè)新手提包鄰居上高中的女兒懷孕了你兩年后可能要買(mǎi)車(chē)喜歡日本愛(ài)情動(dòng)作片你可能會(huì)得高血壓你最近手頭不寬裕特別討厭某個(gè)明星你在這個(gè)世界上留下了太多的痕跡！?。∫浴Z風(fēng)&蛋撻And啤酒&尿布沃爾瑪在上世紀(jì)創(chuàng)造的啤酒與尿布的相關(guān)性銷(xiāo)售是一個(gè)營(yíng)銷(xiāo)的經(jīng)典案例，但是類(lèi)似的不只有這一個(gè)，颶風(fēng)和蛋撻也是沃爾瑪基于大數(shù)據(jù)分析之后的一個(gè)又很成功的營(yíng)銷(xiāo)案例。啤酒和尿布、星期五、男人、小孩颶風(fēng)和蛋撻、躲在家里、吃蛋撻引言→數(shù)據(jù)爆炸式增長(zhǎng)（每分鐘……）Twitter上發(fā)布98000+新微博13000+個(gè)iPhone應(yīng)用下載Skype上37萬(wàn)+分鐘的語(yǔ)音通話上傳6600張新照片到flickr發(fā)出1.68億+條EmailYouTube上上傳600+新視頻淘寶光棍節(jié)10680+個(gè)新訂單Facebook上更新69.5萬(wàn)+條新?tīng)顟B(tài)12306出票1840+張大數(shù)據(jù)時(shí)代→業(yè)界對(duì)大數(shù)據(jù)的關(guān)注持續(xù)升溫2012年世界經(jīng)濟(jì)論壇發(fā)布了“Bigdata，Bigimpact”的報(bào)告麥肯錫于2011年5月發(fā)布《下一個(gè)前言：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力》報(bào)告從金融服務(wù)、健康、教育、農(nóng)業(yè)、醫(yī)療等多個(gè)領(lǐng)域闡述了大數(shù)據(jù)為國(guó)際發(fā)展帶來(lái)的機(jī)會(huì)。大數(shù)據(jù)將成為競(jìng)爭(zhēng)的關(guān)鍵，大數(shù)據(jù)將引發(fā)新一輪的生產(chǎn)力增長(zhǎng)與創(chuàng)新。

BigDataInsightGroup和EMC完成的《解讀大數(shù)據(jù)的商業(yè)價(jià)值和戰(zhàn)略意義》對(duì)大數(shù)據(jù)在英國(guó)企業(yè)中的應(yīng)用趨勢(shì)進(jìn)行了調(diào)查和解讀，發(fā)現(xiàn)大數(shù)據(jù)還處于發(fā)展初級(jí)階段。早在1980年，著名未來(lái)學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書(shū)中，就將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂(lè)章”。大數(shù)據(jù)時(shí)代→大數(shù)據(jù)規(guī)劃戰(zhàn)略2012年3月29日，美國(guó)總統(tǒng)科技政策辦公室OSTP（OfficeofScienceandTechnologyPolicy）宣布了每年投資兩億美元的“大數(shù)據(jù)研究計(jì)劃”（BigDataR&DInitiative）。2010年1月，英國(guó)政府的數(shù)據(jù)開(kāi)放網(wǎng)站正式出臺(tái)，2010年5月卡梅倫上臺(tái)之后正式提出“數(shù)據(jù)權(quán)”的概念，2011年4月主要部門(mén)宣布“我的數(shù)據(jù)”新項(xiàng)目，旨在落實(shí)和強(qiáng)化數(shù)據(jù)權(quán)。繼美英之后，國(guó)際上德國(guó)、法國(guó)、日本、加拿大和新西蘭等國(guó)家也開(kāi)始了各自國(guó)家的大數(shù)據(jù)發(fā)展戰(zhàn)略規(guī)劃。大數(shù)據(jù)時(shí)代→大數(shù)據(jù)在國(guó)內(nèi)日益受重視2012年5月，中國(guó)云計(jì)算國(guó)際論壇在北京召開(kāi)；2012年6月，中國(guó)計(jì)算機(jī)協(xié)會(huì)成立“CCF大數(shù)據(jù)專(zhuān)家委員會(huì)”；2012年7月，阿里巴巴宣布設(shè)立首席數(shù)據(jù)官，推動(dòng)“數(shù)據(jù)分享平臺(tái)”戰(zhàn)略；2012年7月，第二屆大數(shù)據(jù)世界論壇召開(kāi)，首屆中國(guó)大數(shù)據(jù)論壇同年召開(kāi)；大數(shù)據(jù)事件2011年12月，中信證券《大數(shù)據(jù)（BigData）專(zhuān)題研究報(bào)告》；2011年12月，國(guó)金證券《“大數(shù)據(jù)”專(zhuān)題分析報(bào)告》；2012年4月，ETIRI《大數(shù)據(jù)行業(yè)應(yīng)用現(xiàn)狀與未來(lái)應(yīng)用熱點(diǎn)》；2012年6月，《中國(guó)互聯(lián)網(wǎng)市場(chǎng)洞見(jiàn)：互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)創(chuàng)新研究》；2013年1月，華為《超越信息和通信，迎接新一輪數(shù)字化變革》；專(zhuān)業(yè)報(bào)告隨著大數(shù)據(jù)產(chǎn)品的逐步推出與完善，2013年國(guó)內(nèi)大數(shù)據(jù)市場(chǎng)將進(jìn)入主要培育期；光大證券隨著解決方案增多以及用戶需求的明確，未來(lái)大數(shù)據(jù)市場(chǎng)將進(jìn)入高速增長(zhǎng)期；計(jì)世資訊大數(shù)據(jù)對(duì)國(guó)家治理模式、企業(yè)決策、組織和流程、個(gè)人生活都將產(chǎn)生巨大影響；國(guó)金證券在這場(chǎng)呼之欲來(lái)的產(chǎn)業(yè)革命中，我國(guó)并沒(méi)有落在世界的后面。事實(shí)上，全世界都還沒(méi)有準(zhǔn)備好迎接這場(chǎng)革命；周濤他們?nèi)绱苏f(shuō)何謂大數(shù)據(jù)？大數(shù)據(jù)定義；大數(shù)據(jù)的4V特征；大數(shù)據(jù)帶來(lái)的思維變革；何謂大數(shù)據(jù)→大數(shù)據(jù)定義大數(shù)據(jù)或稱(chēng)巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊

——百度百科大數(shù)據(jù)是指用傳統(tǒng)方法或工具不能處理或者分析的數(shù)據(jù)信息——《大數(shù)據(jù)——大價(jià)值、大機(jī)遇、大變革》一書(shū)，李志剛主編大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)制類(lèi)型的數(shù)據(jù)——Informatica中國(guó)區(qū)首席產(chǎn)品顧問(wèn)但彬“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)——Gartner何謂大數(shù)據(jù)→大數(shù)據(jù)的4V特征（更普遍意義）Volume數(shù)量非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍Value價(jià)值大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能）Velocity高速實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效Variety多樣化大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義BigData大數(shù)據(jù)1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB（PetaByte）相當(dāng)于50%的全美學(xué)術(shù)研究圖書(shū)館藏書(shū)信息內(nèi)容5EB（ExaByte）相當(dāng)于至今全世界人類(lèi)所講過(guò)的話語(yǔ)1ZB（ZetaByte）如同全世界海灘上的沙子數(shù)量總和1YB（YottaByte）相當(dāng)于7000位人類(lèi)體內(nèi)的微細(xì)胞總和一般情況下，大數(shù)據(jù)是以PB、EB、ZB為單位進(jìn)行計(jì)量的何謂大數(shù)據(jù)→大數(shù)據(jù)的4V特征（Volume）何謂大數(shù)據(jù)→大數(shù)據(jù)的4V特征（Velocity）82254132215327現(xiàn)在及未來(lái)幾年內(nèi)美國(guó)的移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)流量增長(zhǎng)（PB/月）源自英國(guó)Coda研究咨詢公司大數(shù)據(jù)的增長(zhǎng)速度快大數(shù)據(jù)的處理速度快實(shí)時(shí)數(shù)據(jù)流處理的要求，是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，BI技術(shù)的關(guān)鍵差別之一；1s是臨界點(diǎn)，對(duì)于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案，否則處理結(jié)果就是過(guò)時(shí)和無(wú)效的；何謂大數(shù)據(jù)→大數(shù)據(jù)的4V特征（Variety）行業(yè)/企業(yè)內(nèi)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)數(shù)據(jù)來(lái)源多企業(yè)內(nèi)部多個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來(lái)了微博、社交網(wǎng)站、傳感器等多種來(lái)源。數(shù)據(jù)類(lèi)型多保存在關(guān)系數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)聯(lián)性強(qiáng)數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強(qiáng)的關(guān)聯(lián)性。何謂大數(shù)據(jù)→大數(shù)據(jù)的4V特征（Value）挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價(jià)值密度低，是大數(shù)據(jù)的一個(gè)典型特征；何謂大數(shù)據(jù)→大數(shù)據(jù)帶來(lái)的思維變革Google利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測(cè)流感2008年阿里巴巴預(yù)測(cè)金融危機(jī)埃齊奧尼的Farecast有10萬(wàn)億條數(shù)據(jù)預(yù)測(cè)機(jī)票價(jià)格喬布斯的癌癥抗?fàn)帲陨硭蠨NA和腫瘤DNA排序大數(shù)據(jù)大價(jià)值大數(shù)據(jù)大價(jià)值總述；大數(shù)據(jù)行業(yè)應(yīng)用；大數(shù)據(jù)大價(jià)值→總述推動(dòng)社會(huì)進(jìn)步促進(jìn)經(jīng)濟(jì)發(fā)展加強(qiáng)科技創(chuàng)新大數(shù)據(jù)大價(jià)值→總述-推動(dòng)社會(huì)進(jìn)步歷史經(jīng)驗(yàn)證明，每次重大信息技術(shù)的應(yīng)用，都將會(huì)給國(guó)家和社會(huì)帶來(lái)深刻的變革。如1993年美國(guó)推出的“信息高速公路”計(jì)劃在一系列工業(yè)領(lǐng)域每年創(chuàng)造了3000億的銷(xiāo)售額，于此同時(shí)推動(dòng)了相關(guān)多個(gè)產(chǎn)品的發(fā)展。如在預(yù)測(cè)和響應(yīng)方面：傳染病預(yù)測(cè)、糧食生產(chǎn)趨勢(shì)預(yù)測(cè)、天氣預(yù)測(cè)、經(jīng)濟(jì)預(yù)測(cè)……提升國(guó)家國(guó)防安全水平促進(jìn)政府開(kāi)放提升公共服務(wù)質(zhì)量提高政策預(yù)見(jiàn)性、響應(yīng)性大數(shù)據(jù)大價(jià)值→總述-加強(qiáng)科技創(chuàng)新互聯(lián)網(wǎng)行業(yè)技術(shù)創(chuàng)新生物工程-數(shù)字化模擬細(xì)胞海洋勘探-捕捉海洋活動(dòng)運(yùn)動(dòng)科學(xué)-數(shù)據(jù)提高成績(jī)計(jì)世資訊預(yù)測(cè)，2012年政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間非?？捎^。計(jì)世資訊認(rèn)為，2011年是中國(guó)大數(shù)據(jù)市場(chǎng)元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來(lái)大數(shù)據(jù)市場(chǎng)的飛速發(fā)展。計(jì)世資訊預(yù)測(cè)，2012年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模將達(dá)到4.7億元，2013年大數(shù)據(jù)市場(chǎng)將迎來(lái)增速為138.3%的飛躍，到2016年，整個(gè)市場(chǎng)規(guī)模逼近百億。大數(shù)據(jù)大價(jià)值→總述-促進(jìn)經(jīng)濟(jì)發(fā)展大數(shù)據(jù)大價(jià)值→行業(yè)應(yīng)用-整體說(shuō)明應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應(yīng)用特點(diǎn)與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：

該位置為分析師訪談的綜合印象，為定性分析，圖中位置不代表具體數(shù)值HighMidLowLowMidHigh值得關(guān)注行業(yè)用戶應(yīng)有特點(diǎn)與大數(shù)據(jù)的契合度及應(yīng)用可能性綜合較高適當(dāng)關(guān)注行業(yè)用戶兩個(gè)維度暫時(shí)都不具備優(yōu)勢(shì)，可適當(dāng)給予關(guān)注互聯(lián)網(wǎng)（電子商務(wù)）契合度流通零售制造優(yōu)先關(guān)注行業(yè)用戶應(yīng)用特點(diǎn)與大數(shù)據(jù)技術(shù)有較高的契合度，在主客觀條件上也有較高的應(yīng)用可能性。大數(shù)據(jù)大價(jià)值→行業(yè)應(yīng)用-零售業(yè)市場(chǎng)Market銷(xiāo)售規(guī)劃、Merchandising運(yùn)營(yíng)Operation供應(yīng)鏈Supplychain基于大數(shù)據(jù)分析，市場(chǎng)活動(dòng)變得更加智能，幫助銷(xiāo)售進(jìn)行有針對(duì)性的營(yíng)銷(xiāo)，指導(dǎo)制定市場(chǎng)策略；幫助商家進(jìn)行定價(jià)調(diào)整，如根據(jù)不同客戶類(lèi)別設(shè)置價(jià)格區(qū)間；網(wǎng)上零售商基于用戶的交互行為調(diào)整網(wǎng)頁(yè)的布局設(shè)計(jì)；提高運(yùn)營(yíng)效率及滿意度，讓管理者能夠更及時(shí)調(diào)整運(yùn)營(yíng)措施。優(yōu)化勞動(dòng)力投入，更加準(zhǔn)確預(yù)測(cè)人員配置要求，避免產(chǎn)能過(guò)剩，降低人員成本；庫(kù)存優(yōu)化：根據(jù)歷史數(shù)據(jù)、天氣、季節(jié)等因素改進(jìn)庫(kù)存管理；物流優(yōu)化：優(yōu)化線路及車(chē)輛分布；供應(yīng)商協(xié)調(diào)：利用顧客偏好與購(gòu)買(mǎi)行為協(xié)調(diào)供應(yīng)商與零售商談判；大數(shù)據(jù)大價(jià)值→行業(yè)應(yīng)用-零售業(yè)交叉營(yíng)銷(xiāo)使用客戶的相關(guān)數(shù)據(jù)促進(jìn)銷(xiāo)售，如客戶的地理位置信息，購(gòu)買(mǎi)歷史和購(gòu)買(mǎi)偏好等；基于位置的營(yíng)銷(xiāo)源于智能手機(jī)等設(shè)備的大規(guī)模普及，如客戶接近某個(gè)商店，系統(tǒng)就能自動(dòng)推送商品信息；店內(nèi)用戶行為分析幫助提升店內(nèi)布局，貨架布置等，數(shù)據(jù)來(lái)源與客戶的店內(nèi)行為，如行走路徑和花費(fèi)時(shí)間等；客戶群劃分劃分更加精確化和精細(xì)化，通過(guò)實(shí)時(shí)數(shù)據(jù)分析及時(shí)調(diào)整客戶群劃分方式；情緒分析輔助商業(yè)決策，如利用情緒分析，理解營(yíng)銷(xiāo)活動(dòng)的真正響應(yīng)時(shí)間，并做出相應(yīng)調(diào)整；渠道整合無(wú)論客戶是在線上還是線下，商家都能將渠道數(shù)據(jù)進(jìn)行整合，為顧客提供無(wú)間隙服務(wù)；基于大數(shù)據(jù)分析，市場(chǎng)將變得更加智能大數(shù)據(jù)大價(jià)值→行業(yè)應(yīng)用-零售業(yè)北京朝陽(yáng)大悅城2011年銷(xiāo)售額突破10億元。這是一個(gè)不錯(cuò)的首年成績(jī)。朝陽(yáng)大悅城組建了一個(gè)數(shù)據(jù)團(tuán)隊(duì)，以數(shù)據(jù)為驅(qū)動(dòng)打造一個(gè)全新購(gòu)物中心。下面講述柱子、電梯、車(chē)流、客流監(jiān)控與數(shù)據(jù)的故事。大數(shù)據(jù)方案MicrosoftIBMOracleIntel大數(shù)據(jù)方案→微軟大數(shù)據(jù)方案MicrosoftSQLServer2012與SQLServer并行數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用可以管理結(jié)構(gòu)化數(shù)據(jù)。WindowsAzure和WindowsServer上基于Hadoop的發(fā)行版本讓你可以處理PB級(jí)的非結(jié)構(gòu)化數(shù)據(jù)。SQLServerStreamI