大數(shù)據(jù)專題演講

1、!有些人預(yù)言說未來將會是三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。第1頁! 大數(shù)據(jù)，是當(dāng)今公眾津津樂道一個(gè)熱詞，人們紛紛在探討大數(shù)據(jù)所帶來科技進(jìn)步及所蘊(yùn)含巨大價(jià)值，甚至有些人把大數(shù)據(jù)形容為未來世界石油，更有人夸大宣稱掌握了大數(shù)據(jù)人，就能夠像上帝一樣來俯瞰整個(gè)世界。Big Data, its more than what you think 第2頁大數(shù)據(jù)，又稱巨量資料，指是所包括數(shù)據(jù)資料量規(guī)模巨大到無法經(jīng)過人腦甚至主流軟件工具，在合理時(shí)間內(nèi)到達(dá)擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決議更主動目標(biāo)資訊。近幾年，被熱炒大數(shù)據(jù)，不只是指資料，也指這些用來分析、處理巨量資料新興科技。 馬云卸任阿里集團(tuán)CEO

2、職位時(shí)曾說，大家還沒搞清PC時(shí)代時(shí)候，移動互聯(lián)網(wǎng)來了，還沒搞清移動互聯(lián)網(wǎng)時(shí)候，大數(shù)據(jù)時(shí)代來了。第3頁你想像不到。到底有多少 這個(gè)世界數(shù)據(jù)第4頁 近年來，全球數(shù)據(jù)存放量展現(xiàn)爆炸式增加，美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出,互聯(lián)網(wǎng)上數(shù)據(jù)每年將增加50%,每兩年便將翻一番,當(dāng)前世界上90%以上數(shù)據(jù)是最近幾年才產(chǎn)生。據(jù)中為咨詢預(yù)測，到20，全球數(shù)據(jù)量將到達(dá)35ZB（相當(dāng)約90億塊4TB硬盤容量）。 依據(jù)國際數(shù)據(jù)企業(yè)（IDC）測算，似乎沒有足夠磁盤空間存放。 就傳統(tǒng)IT 企業(yè)來看，其結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)增加也是驚人。企業(yè)存放結(jié)構(gòu)化數(shù)據(jù)為4EB，到年將增至29EB，年復(fù)合增加率逾20%。非結(jié)構(gòu)化數(shù)據(jù)發(fā)展更猛。為22EB

3、，年將增至1600EB，年復(fù)合增加率約60%，遠(yuǎn)遠(yuǎn)快于摩爾定律。第5頁那么，龐大數(shù)據(jù)到底來自哪里呢？！第6頁 據(jù)統(tǒng)計(jì)，國家圖書館藏書量有2600萬冊，假如從數(shù)據(jù)來看話，一個(gè)家庭一年產(chǎn)生數(shù)據(jù)相當(dāng)于半個(gè)國家圖書館數(shù)據(jù)總量。 而大數(shù)據(jù)并非現(xiàn)在才出現(xiàn)，比如在古代人口普查，中國在東漢時(shí)期就有幾千萬人，這顯然也是龐大數(shù)據(jù)。大數(shù)據(jù)并不是什么嶄新概念，好幾十年前 CERN 科學(xué)家就在處理每秒上看 PB (Peta Bytes)巨量資料。那為何一直到近幾年大數(shù)據(jù)這顆塬子彈才暴發(fā)呢。 現(xiàn)今要處理資料量更龐大、資料產(chǎn)生跟處理速度更驚人、資料起源更多樣，于是處理、儲存大量資料新技術(shù)跟工具快速發(fā)展，像是開源軟體 Had

4、oop 跟 NoSQL 資料庫。新科技誕生后，開發(fā)者跟使用者需要一個(gè)專業(yè)名詞來與之前科技作出區(qū)分，于是大數(shù)據(jù)一詞因應(yīng)而生。第7頁 大數(shù)據(jù)特點(diǎn) Volume(大量)Velocity(高速)Variety(多樣)veracity(真實(shí)性) 數(shù)據(jù)量大、數(shù)據(jù)種類多、 要求實(shí)時(shí)性強(qiáng)、數(shù)據(jù)所蘊(yùn)藏價(jià)值大。在各行各業(yè)均存在大數(shù)據(jù)，不過眾多信息和咨詢是紛繁復(fù)雜，我們需要搜索、處理、分析、歸納、總結(jié)其深層次規(guī)律。最終是價(jià)值，從大量低質(zhì)量、低價(jià)值數(shù)據(jù)中獲取知識，如同從大海中撈針，獲取數(shù)據(jù)成本很高，但有待挖掘價(jià)值大。 大數(shù)據(jù)挖掘和處理。 從技術(shù)上看，大數(shù)據(jù)與云計(jì)算關(guān)系就像一枚硬幣正反面一樣密不可分。大數(shù)據(jù)必定無法用單

5、臺計(jì)算機(jī)進(jìn)行處理，必須采取分布式計(jì)算架構(gòu)。它特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘（SaaS），但它必須依靠云計(jì)算分布式處理、分布式數(shù)據(jù)庫（PaaS）和云存放、虛擬化技術(shù)（IaaS）。大數(shù)據(jù)挖掘和處理必須用到云技術(shù)。第8頁第9頁 科學(xué)技術(shù)及互聯(lián)網(wǎng)發(fā)展，推進(jìn)著大數(shù)據(jù)時(shí)代降臨，各行各業(yè)天天都在產(chǎn)生數(shù)量巨大數(shù)據(jù)碎片，數(shù)據(jù)計(jì)量單位已從從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。微博留言產(chǎn)生數(shù)據(jù)，視頻產(chǎn)生數(shù)據(jù)，手機(jī)通話產(chǎn)生數(shù)據(jù)，商品標(biāo)簽產(chǎn)生數(shù)據(jù)，快遞包裹、物品流通產(chǎn)生數(shù)據(jù)，移動終端和互聯(lián)網(wǎng)普及更是加緊產(chǎn)生數(shù)據(jù)。越來越多配置了連續(xù)測量、匯報(bào)運(yùn)行情況傳感器設(shè)備出現(xiàn)

6、。幾年前，跟蹤遙測發(fā)動機(jī)運(yùn)行僅限于價(jià)值數(shù)百萬美元航天飛機(jī)。計(jì)算機(jī)產(chǎn)生數(shù)據(jù)可能包含著關(guān)于因特網(wǎng)和其他使用者行動和行為數(shù)據(jù)，從而提供了對他們愿望和潛在需求有用信息。使用者自身產(chǎn)生數(shù)據(jù)信息。人們經(jīng)過電郵、短信、微博、QQ等產(chǎn)生文本信息。至今最大數(shù)據(jù)是音頻、視頻和符號數(shù)據(jù)。這些數(shù)據(jù)結(jié)構(gòu)渙散，數(shù)量巨大，極難從中挖掘有意義結(jié)論和有用信息。 大數(shù)據(jù)采集第10頁 數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布、異構(gòu)數(shù)據(jù)源中數(shù)據(jù),如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后,進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘基礎(chǔ)。數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫、NOSQL、SQL等。基礎(chǔ)架構(gòu)：云存儲、分布式

7、文件存儲等。數(shù)據(jù)處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計(jì)算機(jī)交互語言問題一門學(xué)科。處理自然語言關(guān)鍵是要讓計(jì)算機(jī)理解自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計(jì)算語言學(xué)(Computational Linguistics。一方面它是語言信息處理一個(gè)分支，其次它是人工智能(AI, Artificial Intelligence)核心課題之一。統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、T檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多

8、元回歸分析、逐步回歸、回歸預(yù)測與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。數(shù)據(jù)挖掘：分類 （Classification）、估計(jì)（Estimation）、預(yù)測（Prediction）、相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，

9、音頻等)模型預(yù)測：預(yù)測模型、機(jī)器學(xué)習(xí)、建模仿真。結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽云、關(guān)系圖等。大數(shù)據(jù)主流技術(shù)第11頁大數(shù)據(jù)處理之一：采集 利用數(shù)個(gè)數(shù)據(jù)庫來接收發(fā)自客戶端數(shù)據(jù)，而且用戶能夠經(jīng)過這些數(shù)據(jù)庫來進(jìn)行簡單查詢和處理工作。大數(shù)據(jù)處理之二：導(dǎo)入/預(yù)處理 統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫或分布式計(jì)算集群來對存放于其內(nèi)海量數(shù)據(jù)進(jìn)行普通分析和分類匯總等，以滿足大多數(shù)常見分析需求。大數(shù)據(jù)處理之三：統(tǒng)計(jì)/分析 統(tǒng)計(jì)與分析這部分主要特點(diǎn)和挑戰(zhàn)是分析包括數(shù)據(jù)量大，其對系統(tǒng)資源，尤其是I/O會有極大占用。大數(shù)據(jù)處理之四：挖掘 與前面統(tǒng)計(jì)和分析過程不一樣是，數(shù)據(jù)挖掘普通沒有什么預(yù)先設(shè)定好主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于

10、各種算法計(jì)算，從而起到預(yù)測（Predict）效果，從而實(shí)現(xiàn)一些高級別數(shù)據(jù)分析需求。第12頁大數(shù)據(jù)技術(shù)環(huán)境：在新興信息技術(shù)推進(jìn)下逐步趨向成熟云計(jì)算 云計(jì)算服務(wù)和云應(yīng)用在云平臺支撐下讓龐大數(shù)據(jù)得以保留和處理。移動互聯(lián)網(wǎng) 移動互聯(lián)網(wǎng)能更準(zhǔn)確、更加快地搜集用戶信息，比如位置、生活信息等數(shù)據(jù)。社交網(wǎng)絡(luò) 提供大量UGC、內(nèi)容、音頻、文本信息、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)。物聯(lián)網(wǎng) 物聯(lián)網(wǎng)不停應(yīng)用與發(fā)展促使數(shù)據(jù)大量增加。第13頁 大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量數(shù)據(jù)和有效數(shù)據(jù)管理，不論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠確保分析結(jié)果真實(shí)和有價(jià)值。 大數(shù)據(jù)分析基礎(chǔ)就是以上五個(gè)方面，當(dāng)然愈加深入大數(shù)據(jù)分析

11、話，還有很多很多愈加有特點(diǎn)、愈加深入、愈加專業(yè)大數(shù)據(jù)分析方法。 大數(shù)據(jù)分析使用者有大數(shù)據(jù)分析教授，同時(shí)還有普通用戶，不過他們二者對于大數(shù)據(jù)分析最基本要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^展現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常輕易被讀者所接收，就如同看圖說話一樣簡單明了。 大數(shù)據(jù)分析理論關(guān)鍵就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘算法基于不一樣數(shù)據(jù)類型和格式才能愈加科學(xué)展現(xiàn)出數(shù)據(jù)本身具備特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)各種統(tǒng)計(jì)方法（能夠稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)價(jià)值。另外一個(gè)方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘算法才能更加快速處理大數(shù)據(jù)，假如一個(gè)算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)價(jià)值也就無從說

12、起了。 大數(shù)據(jù)分析最終要應(yīng)用領(lǐng)域之一就是預(yù)測性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，經(jīng)過科學(xué)建立模型，之后便能夠經(jīng)過模型帶入新數(shù)據(jù)，從而預(yù)測未來數(shù)據(jù)。 大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可從用戶搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞、或其它輸入語義，分析，判斷用戶需求，從而實(shí)現(xiàn)更加好用戶體驗(yàn)和廣告匹配。1.Analytic Visualization（可視化分析）2.Data Mining Algotiyhms（數(shù)據(jù)挖掘算法）3.Predictive Analytic Capabilities（預(yù)測性分析能力）4.Semantic Engines（語義引擎）5.Data Quality and Master Data

13、Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）數(shù)據(jù)分析五個(gè)基本方面第14頁 大數(shù)據(jù)與物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計(jì)算等主流技術(shù)結(jié)合，缺一不可，相輔相成，才能越走越遠(yuǎn)、第15頁 據(jù)統(tǒng)計(jì)，當(dāng)前全球120家運(yùn)行商中約有48%運(yùn)行商正在實(shí)施大數(shù)據(jù)業(yè)務(wù)，其中主流業(yè)務(wù)也包括數(shù)據(jù)產(chǎn)生、數(shù)據(jù)采集、數(shù)據(jù)存放、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展示及數(shù)據(jù)應(yīng)用多個(gè)方面，經(jīng)典大數(shù)據(jù)技術(shù)及應(yīng)用產(chǎn)品包含用于大數(shù)據(jù)組織與管理分布式文件系統(tǒng)Hadoop、分布式計(jì)算系統(tǒng)MapReduce；用于大數(shù)據(jù)分析數(shù)據(jù)挖掘工具SPSS；用于大數(shù)據(jù)應(yīng)用服務(wù)阿里巴巴推出數(shù)據(jù)分享平臺、Google推出數(shù)據(jù)分析平臺等。大型以Internet為關(guān)鍵企業(yè)，如A

14、mazon, Google, eBay, Twitter 和Facebook正使用海量信息外部特征認(rèn)識消費(fèi)行為，預(yù)測特定需求和整體趨勢。 目前，國內(nèi)新建了許多大數(shù)據(jù)中心，規(guī)模不一。在中國，baidu和阿里巴巴大數(shù)據(jù)中心名氣較大，另外，羅克佳華在鄂爾多斯和山西太原建設(shè)大數(shù)據(jù)中心憑借北部省份能源優(yōu)勢，建成5萬平方米全國單體面積最大大數(shù)據(jù)中心，是當(dāng)前亞洲最大云計(jì)算中心。 大數(shù)據(jù)發(fā)展現(xiàn)實(shí)狀況“讀心術(shù)”、“未卜先知”，都是大數(shù)據(jù)分析頭上刺眼光環(huán)。不論你信不信，“數(shù)據(jù)”真會說話。人們在互聯(lián)網(wǎng)上一切行為都會留下數(shù)據(jù)，而經(jīng)過對這些數(shù)據(jù)分析，就能夠得到消費(fèi)習(xí)慣、職業(yè)、喜好甚至性格等信息。在這些信息基礎(chǔ)上，政府能

15、夠治理交通，降低犯罪率，而企業(yè)則能夠利用這些數(shù)據(jù)進(jìn)行有針對性營銷，提升業(yè)績。即使當(dāng)前大數(shù)據(jù)分析還處于發(fā)展初級階段，要從海量非結(jié)構(gòu)性數(shù)據(jù)中提取出有用信息并不是一件輕易事兒，不過很多企業(yè)已經(jīng)開始利用大數(shù)據(jù)分析并推出了相關(guān)應(yīng)用和產(chǎn)品。第16頁第17頁第18頁 春運(yùn)，中央電視臺首次推出了“聽說春運(yùn)”尤其節(jié)目，基于“baidu遷徙”提供可視化大數(shù)據(jù)服務(wù)，實(shí)時(shí)播報(bào)國內(nèi)春節(jié)人口遷徙情況，比如最熱門遷出城市，最熱門遷入城市等等。 第19頁有趣“大數(shù)據(jù)”經(jīng)典數(shù)據(jù)案例 啤酒與尿布 沃爾瑪在對消費(fèi)者購物行為分析時(shí)發(fā)覺，男性用戶在購置嬰兒尿片時(shí)，經(jīng)常會順便搭配幾瓶啤酒來犒勞自己。如今，“啤酒尿布”數(shù)據(jù)分析結(jié)果早已成了

16、大數(shù)據(jù)技術(shù)應(yīng)用經(jīng)典案例，被人津津樂道。QQ圈子把前女友推薦給未婚妻 3月騰訊推出QQ圈子，按共同摯友連鎖反應(yīng)攤開用戶人際關(guān)系網(wǎng)，把用戶前女友推薦給未婚妻，把同學(xué)同事朋友圈子分門別類，利用大數(shù)據(jù)處理能力給人帶來“震撼”。網(wǎng)站依據(jù)你購物搜索進(jìn)行商品廣告推送 我們上淘寶買了東西之后，阿里巴巴能夠輕而易舉地得到我們購物行為、和瀏覽數(shù)據(jù)，經(jīng)過云計(jì)算分析后，進(jìn)行精準(zhǔn)行為預(yù)測，然后進(jìn)行商品信息推送。國內(nèi)最大婚戀交友網(wǎng)站 作為一家婚戀網(wǎng)站，百合網(wǎng)不但需要經(jīng)常做一些研究匯報(bào)，分析注冊用戶年紀(jì)、地域、學(xué)歷、經(jīng)濟(jì)收入等數(shù)據(jù)，即便是每名注冊用戶小小頭像照片，背后也大有挖掘價(jià)值。第20頁關(guān)于大數(shù)據(jù)一構(gòu)想第21頁數(shù)據(jù)安全

17、當(dāng)前大數(shù)據(jù)發(fā)展是數(shù)據(jù)量暴增、大數(shù)據(jù)技術(shù)及應(yīng)用更新。不過，大數(shù)據(jù)包括相關(guān)技術(shù)還不太成熟，軟件及硬件漏洞時(shí)有發(fā)生。同時(shí)，大數(shù)據(jù)外在所處網(wǎng)絡(luò)環(huán)境高度開放，使用人員多且雜。同時(shí)，已經(jīng)有針對網(wǎng)絡(luò)安全建立相關(guān)法律法規(guī)相對缺乏，全社會對于網(wǎng)絡(luò)安全確保也缺乏足夠重視。內(nèi)在及外在多重原因造成大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)環(huán)境比以往任何時(shí)候都要復(fù)雜，大數(shù)據(jù)安全問題也應(yīng)運(yùn)而生，數(shù)據(jù)安全問題及隱私泄露問題表達(dá)尤為顯著。比如，許多智能手機(jī)應(yīng)用程序是無償，假如想要無償服務(wù)，那么你將不可防止成為大數(shù)據(jù)流里?？汀４髷?shù)據(jù)時(shí)代竊取及販賣數(shù)據(jù)黑色產(chǎn)業(yè)鏈不停加速升級。因?yàn)榇罅繑?shù)據(jù)聚集，數(shù)據(jù)間相互關(guān)聯(lián)，給黑客更多可乘之機(jī)，一旦其成功將取得數(shù)據(jù)量更多而

18、且類型更豐富數(shù)據(jù)，販賣路徑擴(kuò)大，將帶來更大范圍數(shù)據(jù)安全問題及隱私泄露。 為處理這類問題發(fā)生，應(yīng)從問題發(fā)生源頭即數(shù)據(jù)存放安全防護(hù)上處理。實(shí)現(xiàn)大數(shù)據(jù)安全，從技術(shù)角度出發(fā)，有以下幾個(gè)方向：1、 研究、制訂及實(shí)施大數(shù)據(jù)安全標(biāo)準(zhǔn)2、研究大數(shù)據(jù)安全關(guān)鍵技術(shù)3、基于大數(shù)據(jù)研究網(wǎng)絡(luò)安全分析技術(shù) 第22頁 大數(shù)據(jù)意義和前景 大數(shù)據(jù)是對大量、動態(tài)、能連續(xù)數(shù)據(jù)，經(jīng)過利用新系統(tǒng)、新工具、新模型挖掘，從而取得含有洞察力和新價(jià)值東西，是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性技術(shù)變革。云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問場所和渠道，而數(shù)據(jù)才是真正有價(jià)值資產(chǎn)。 企業(yè)內(nèi)部經(jīng)營交易信息、物聯(lián)網(wǎng)世界中商品物流信息，互聯(lián)網(wǎng)世界中人與人交互信息、位置信息等，其數(shù)量將遠(yuǎn)遠(yuǎn)超越現(xiàn)有企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施承載能力，實(shí)時(shí)性要求也將大大超越現(xiàn)有計(jì)算