大數(shù)據(jù)及其現(xiàn)實(shí)應(yīng)用課件

大數(shù)據(jù)及其現(xiàn)實(shí)應(yīng)用課件2022/10/13開放作業(yè)題目結(jié)合自己的專業(yè)特點(diǎn)，寫一篇大數(shù)據(jù)應(yīng)用論文！要求：找準(zhǔn)大數(shù)據(jù)在本專業(yè)的一個具體應(yīng)用點(diǎn)進(jìn)行展開，將自己設(shè)定為某公司的首席數(shù)據(jù)運(yùn)營官，用大數(shù)據(jù)的思維幫助企業(yè)提高數(shù)據(jù)應(yīng)用能力和業(yè)務(wù)分析水平。討論大數(shù)據(jù)的時點(diǎn)上市時間公司創(chuàng)新時代鼎盛期1996雅虎網(wǎng)頁聚合WEB1.08年2004谷歌主題詞聚合WEB1.58年2012FACEBOOK使用者聚合WEB2.08年？2020？？數(shù)據(jù)聚合？WEB3.0？？大數(shù)據(jù)熱反映出人們在猜測追尋下一個大創(chuàng)新內(nèi)容提示認(rèn)識大數(shù)據(jù)大數(shù)據(jù)帶來的變革大數(shù)據(jù)的商業(yè)價值大數(shù)據(jù)的運(yùn)用案例分析迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)迎接大數(shù)據(jù)時代到來的條件硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)如今，我們處在大數(shù)據(jù)時代當(dāng)前互聯(lián)網(wǎng)條件下大數(shù)據(jù)的典型代表

1-用戶行為數(shù)據(jù)（精準(zhǔn)廣告投放、內(nèi)容推薦、行為習(xí)慣和喜好分析、產(chǎn)品優(yōu)化等）2-用戶消費(fèi)數(shù)據(jù)（精準(zhǔn)營銷、信用記錄分析、活動促銷、理財?shù)龋?-用戶地理位置數(shù)據(jù)（o2o推廣，商家推薦，交友推薦等）4-互聯(lián)網(wǎng)金融數(shù)據(jù)（P2P，小額貸款，支付，信用，供應(yīng)鏈金融等）5-用戶社交數(shù)據(jù)（趨勢分析、流行元素分析、受歡迎程度分析、輿論監(jiān)控分析、社會問題分析等）擁抱大數(shù)據(jù)什么是大數(shù)據(jù)百度百科：大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。維基百科：大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的整合共享，交叉復(fù)用形成的智力資源和知識服務(wù)能力。我的觀點(diǎn)：大數(shù)據(jù)是由大量異構(gòu)的數(shù)據(jù)組成的數(shù)據(jù)集合，它是可以應(yīng)用合理的數(shù)學(xué)算法或工具從中找出有價值的信息，為人們帶來利益的一門新興學(xué)科。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別？小明去了一百次書店

傳統(tǒng)數(shù)據(jù)：要回答的問題是他第一百零一次買不買書，即業(yè)績和經(jīng)營指標(biāo)的問題；大數(shù)據(jù)：要回答的是他第一百零一次買什么書，需要將什么樣的內(nèi)容推薦給他。群體和個體的區(qū)別傳統(tǒng)定義上，更多關(guān)注的是一類人群，用同一類規(guī)則制訂套餐給他們；互聯(lián)網(wǎng)時代，要把每個人都精準(zhǔn)刻畫出來，進(jìn)行精準(zhǔn)匹配。19大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫的區(qū)別大數(shù)據(jù)是在傳統(tǒng)數(shù)據(jù)庫學(xué)科的分支——數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的基礎(chǔ)上進(jìn)一步發(fā)展起來的。但有兩點(diǎn)比較主要的不同：結(jié)構(gòu)化程度傳統(tǒng)數(shù)據(jù)庫保存的是結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，以二維表或者標(biāo)準(zhǔn)XML文件的方式存儲數(shù)據(jù)，由于結(jié)構(gòu)清晰，處理相對容易；大數(shù)據(jù)面向的是一切計算機(jī)可以存儲的數(shù)據(jù)格式，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁、圖片、音頻、視頻，包括辦公文檔、報表，包括人們在搜索引擎中輸入的關(guān)鍵詞、在社交網(wǎng)絡(luò)中的留言、喜好，也包括各種傳感器自動收集的監(jiān)控結(jié)果等等，顯然不同的格式處理起來更加困難。異常數(shù)據(jù)的處理傳統(tǒng)數(shù)據(jù)庫通常把異常數(shù)據(jù)先剔除，應(yīng)用在需要高精確度的領(lǐng)域，如銀行對每個賬戶的管理；大數(shù)據(jù)則允許異常數(shù)據(jù)存在，更多應(yīng)用在預(yù)測方面，找出大量數(shù)據(jù)中隱藏的關(guān)聯(lián)關(guān)系，少量異常數(shù)據(jù)不會對總體結(jié)果產(chǎn)生影響。理解大數(shù)據(jù)大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集大數(shù)據(jù)的構(gòu)成海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征Value價值挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價值密度低,是大數(shù)據(jù)的一個典型特征.Variety多樣性企業(yè)內(nèi)部的經(jīng)營交易信息;物聯(lián)網(wǎng)世界中商品,物流信息;互聯(lián)網(wǎng)世界中人與人交互信息,位置信息等是大數(shù)據(jù)的主要來源.能夠在不同的數(shù)據(jù)類型中,進(jìn)行交叉分析的技術(shù),是大數(shù)據(jù)的核心技術(shù)之一.語義分析技術(shù),圖文轉(zhuǎn)換技術(shù),模式識別技術(shù),地理信息技術(shù)等,都會在大數(shù)據(jù)分析時獲得應(yīng)用.SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)Velocity速度1s是臨界點(diǎn).對于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案,否則處理結(jié)果就是過時和無效的.實(shí)時處理的要求,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù),BI技術(shù)的關(guān)鍵差別之一.Volume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點(diǎn).KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB大數(shù)據(jù)的儲存與處理/運(yùn)算大數(shù)據(jù)儲存大數(shù)據(jù)處理數(shù)據(jù)分享數(shù)據(jù)檢索數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)分布式軟件架構(gòu)并行計算框架分布式存儲橫向擴(kuò)容(Scale-out)架構(gòu)和大數(shù)據(jù)相關(guān)的技術(shù)大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。1.云計算

云計算是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計算(GridComputing)的發(fā)展，是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計算分析之后將處理結(jié)果回傳給用戶。**云計算與大數(shù)據(jù)的區(qū)分：第一，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營。第二，大數(shù)據(jù)和云計算的目標(biāo)受眾不同，云計算是CIO等關(guān)心的技術(shù)層，是一個進(jìn)階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。2.分布式處理技術(shù)Hadoop是一個實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。HDFS:Hadoop分布式文件系統(tǒng)(DistributedFileSystem)MapReduce：并行計算框架HBase:類似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫。Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻(xiàn)。Zookeeper：分布式鎖設(shè)施，提供類似GoogleChubby的功能，由Facebook貢獻(xiàn)。Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口。Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)的傳遞

3.云存儲云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念，是一種新興的網(wǎng)絡(luò)存儲技術(shù)，是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。淘寶的大數(shù)據(jù)技術(shù)架構(gòu)參考資料推薦延深閱讀150年后，當(dāng)互聯(lián)網(wǎng)將這個世界緊密連接起來的時候，新的物種誕生了。我們稱之為生命的信息過程數(shù)十億年前控制了地球的大氣層?，F(xiàn)在，另一個信息過程——科技元素，正在重新征服地球。

最需要讀這本書的，應(yīng)該是打價格戰(zhàn)打暈了頭，占領(lǐng)市場醒后卻發(fā)現(xiàn)沒有利潤的商人；或者是想以數(shù)字技術(shù)新法取勝，希望像喬布斯那樣贏的雄心勃勃的年輕人。

大數(shù)據(jù)能給我們帶來什么？？內(nèi)容提示認(rèn)識大數(shù)據(jù)大數(shù)據(jù)帶來的變革大數(shù)據(jù)的商業(yè)價值大數(shù)據(jù)的運(yùn)用案例分析一.大數(shù)據(jù)帶來全新的生活方式大數(shù)據(jù)時代的物聯(lián)網(wǎng)，帶給我們智能家居。大數(shù)據(jù)帶來全新的生活方式購物：不受時空限制，隨時隨地購物。在看不到商品的情況下，口碑就是質(zhì)量。大數(shù)據(jù)帶來全新的生活方式旅行：足不出戶，安排好一切。大數(shù)據(jù)帶來全新的生活方式信息：人人都是傳媒。大數(shù)據(jù)帶來全新的生活方式社交：你所有的朋友都能在網(wǎng)絡(luò)上找到。二.大數(shù)據(jù)帶來全新的思維方式1.分析事物時，依賴該事物的所有數(shù)據(jù)，不再是進(jìn)行樣本分析。2.在大數(shù)據(jù)時代，允許不精確。3.更注重相關(guān)關(guān)系，而不是因果關(guān)系。1.“更多”——不是隨機(jī)樣本，而是全體數(shù)據(jù)當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時，在大數(shù)據(jù)時代進(jìn)行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數(shù)據(jù)，“樣本＝總體”。讓數(shù)據(jù)“發(fā)聲”小數(shù)據(jù)時代的隨機(jī)采樣，最少的數(shù)據(jù)獲得最多的信息全數(shù)據(jù)模式，樣本＝總體大數(shù)據(jù)帶來全新的思維方式2.“更雜”——不是精確性，而是混雜性執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是有框架且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不能接受混亂，剩下95%的非框架數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效紛繁的數(shù)據(jù)越多越好混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑新的數(shù)據(jù)庫設(shè)計的誕生大數(shù)據(jù)帶來全新的思維方式3.“更好”——不是因果關(guān)系，而是相關(guān)關(guān)系知道“是什么”就夠了，沒必要知道“為什么”!在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。關(guān)聯(lián)物，預(yù)測的關(guān)鍵“是什么”，而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒ù髷?shù)據(jù)帶來全新的思維方式1.“數(shù)據(jù)化”——一切皆可“量化”大數(shù)據(jù)發(fā)展的核心動力來源于人類測量、記錄和分析世界的渴望。信息技術(shù)變革隨處可見，但是如今信息技術(shù)變革的重點(diǎn)在“T”（技術(shù)）上，而不是在“I”(信息）上。現(xiàn)在，我們是時候把聚光燈打向“I”，開始關(guān)注信息本身了。數(shù)據(jù)，從最不可能的地方提取出來數(shù)據(jù)化，不是數(shù)字化量化一切，數(shù)據(jù)化的核心當(dāng)文字變成數(shù)據(jù)當(dāng)方位變成數(shù)據(jù)當(dāng)溝通成為數(shù)據(jù)一切事物的數(shù)據(jù)化三.大數(shù)據(jù)帶來新的商業(yè)變革2.“價值”——“取之不盡，用之不竭”的數(shù)據(jù)創(chuàng)新數(shù)據(jù)就像一個神奇的鉆石礦，當(dāng)它的首要價值被發(fā)掘后仍能不斷給予。它的真實(shí)價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。數(shù)據(jù)創(chuàng)新1：數(shù)據(jù)的再利用數(shù)據(jù)創(chuàng)新2：重組數(shù)據(jù)數(shù)據(jù)創(chuàng)新3：可擴(kuò)展數(shù)據(jù)數(shù)據(jù)創(chuàng)新4：數(shù)據(jù)的折舊值數(shù)據(jù)創(chuàng)新5：數(shù)據(jù)廢氣數(shù)據(jù)創(chuàng)新6：開放數(shù)據(jù)給數(shù)據(jù)估值大數(shù)據(jù)帶來新的商業(yè)變革3.“角色定位”——數(shù)據(jù)、技術(shù)與思維的三足鼎立微軟以1.1億美元的價格購買了大數(shù)據(jù)公司Farecast，而兩年后谷歌則以7億美元的價格購買了給Farecast提供數(shù)據(jù)的ITASoftware公司。如今，我們正處在大數(shù)據(jù)時代的早期，思維和技術(shù)是最有價值的，但是最終大部分價值還是必須從數(shù)據(jù)本身來挖掘。大數(shù)據(jù)價值的3大構(gòu)成大數(shù)據(jù)掌控公司大數(shù)據(jù)技術(shù)公司大數(shù)據(jù)思維公司和個人全新的數(shù)據(jù)中間商專家的消亡與數(shù)據(jù)科學(xué)家的崛起大數(shù)據(jù)，決定企業(yè)的競爭力大數(shù)據(jù)帶來新的商業(yè)變革大數(shù)據(jù)價值鏈的三種存在模式數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)的公司。海量的數(shù)據(jù)就是財富，可以考慮自己分析或者賣數(shù)據(jù)給其他公司。金融機(jī)構(gòu)，電信行業(yè)，政府機(jī)構(gòu)等。技術(shù)技術(shù)供應(yīng)商或者分析公司。掌握了從海量數(shù)據(jù)中分析出有用信息的技能或者工具，但本身不一定擁有數(shù)據(jù)。

IBM，Oracle等。思維有創(chuàng)新思維的人或者公司。他們對大數(shù)據(jù)敏感，有怎樣挖掘數(shù)據(jù)的新價值的獨(dú)特想法。

Google，Amazon等。Netflix并不是任何一個電視臺，而是電視臺和電影院的平臺，是北美最大的付費(fèi)訂閱視頻網(wǎng)站。基于其3000萬北美用戶觀看視頻時留下的行為數(shù)據(jù)，預(yù)測出凱文·史派西、大衛(wèi)·芬奇和“BBC出品”三種元素結(jié)合在一起的電視劇產(chǎn)品將會大火特火。此外，Netflix還通過“大數(shù)據(jù)”觀測到另一流行趨勢：越來越多的人不再像30年前那樣，在固定晚上的固定時刻守在電視機(jī)前，等著收看電視劇的最新劇集，而是“攢”起來，直到整季劇情全部播放完畢之后，才選一個自己方便的時間段和地點(diǎn)，在方便的設(shè)備（多數(shù)是網(wǎng)絡(luò)設(shè)備，如電腦、iPad）上一次性觀看?！都埮莆荨返臄?shù)據(jù)庫包含了3000萬用戶的收視選擇、400萬條評論、300萬次主題搜索。最終，拍什么、誰來拍、誰來演、怎么播，都由數(shù)千萬觀眾的客觀喜好統(tǒng)計決定。從受眾洞察、受眾定位、受眾接觸到受眾轉(zhuǎn)化，每一步都由精準(zhǔn)細(xì)致高效經(jīng)濟(jì)的數(shù)據(jù)引導(dǎo)，從而實(shí)現(xiàn)大眾創(chuàng)造的C2B，即由用戶需求決定生產(chǎn)。1.“風(fēng)險”——讓數(shù)據(jù)主宰一切的隱憂我們時刻都暴露在“第三只眼”之下：亞馬遜監(jiān)視著我們的購物習(xí)慣，谷歌監(jiān)視著我們的網(wǎng)頁瀏覽習(xí)慣，而微博似乎什么都知道，不僅竊聽到了我們心中的“TA”，還有我們的社交關(guān)系網(wǎng)。無處不在的“第三只眼”我們的隱私被二次利用了預(yù)測與懲罰，不是因為“所做”，而是因為“將做”數(shù)據(jù)獨(dú)裁掙脫大數(shù)據(jù)的困境四.大數(shù)據(jù)帶來新的管理變革2.“掌控”——責(zé)任與自由并舉的信息管理當(dāng)世界開始邁向大數(shù)據(jù)時代時，社會也將經(jīng)歷類似的地殼運(yùn)動。在改變?nèi)祟惢镜纳钆c思考方式的同時，大數(shù)據(jù)早已在推動人類信息管理準(zhǔn)則上重新定位。然而，不同于印刷革命，我們沒有幾個世紀(jì)的時間去適應(yīng)，我們也許只有幾年時間。管理變革1：個人隱私保護(hù)，從個人許可到讓數(shù)據(jù)使用者承擔(dān)責(zé)任管理變革2：個人動因VS預(yù)測分析管理變革3：擊碎黑盒子，大數(shù)據(jù)程序員的崛起管理變革4：反數(shù)據(jù)壟斷大亨大數(shù)據(jù)帶來新的管理變革3.全新的管理模式除了上帝，任何人都必須用數(shù)據(jù)來說話。案例：google的設(shè)計師卓越的管理者必須要利用數(shù)據(jù)進(jìn)行決策。案例：克強(qiáng)指數(shù)

問題一：數(shù)據(jù)從哪里來？問題二：數(shù)據(jù)怎么用？大數(shù)據(jù)帶來新的管理變革內(nèi)容提示認(rèn)識大數(shù)據(jù)大數(shù)據(jù)帶來的變革大數(shù)據(jù)的商業(yè)價值大數(shù)據(jù)的運(yùn)用案例分析大數(shù)據(jù)的應(yīng)用通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象1.醫(yī)療機(jī)構(gòu)將實(shí)時的監(jiān)測用戶的身體健康狀況；2.教育機(jī)構(gòu)更有針對的制定用戶喜歡的教育培訓(xùn)計劃；3.服務(wù)行業(yè)為用戶提供即時健康的符合用戶生活習(xí)慣的食物和其它服務(wù)；4.社交網(wǎng)絡(luò)能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動；5.政府能在用戶的心理健康出現(xiàn)問題時有效的干預(yù)，防范自殺，刑事案件的發(fā)生；6.金融機(jī)構(gòu)能幫助用戶進(jìn)行有效的理財管理，為用戶的資金提供更有效的使用建議和規(guī)劃；7.道路交通、汽車租賃及運(yùn)輸行業(yè)可以為用戶提供更合適的出行線路和路途服務(wù)安排；……大數(shù)據(jù)的市場空間及對社會的貢獻(xiàn)大數(shù)據(jù)的商業(yè)價值政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實(shí)現(xiàn)綜合治理、業(yè)務(wù)開拓等目標(biāo)；應(yīng)用到制造等更多行業(yè)?；ヂ?lián)網(wǎng)公司受益于大數(shù)據(jù)馬云的判斷來自于數(shù)據(jù)分析商業(yè)價值之——淘寶雙“十一”背后的技術(shù)討論用戶行為分析中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會將步入“大數(shù)據(jù)”時代。”智慧政務(wù)智慧交通智慧電網(wǎng)智慧教育智慧醫(yī)療……公共管理部門受益于大數(shù)據(jù)根據(jù)國家信息中心信息化研究部統(tǒng)計，目前我國提出智慧城市建設(shè)的城市總數(shù)已達(dá)到154個，預(yù)計投資規(guī)模超過1.5萬億元。智慧城市必將產(chǎn)生大數(shù)據(jù)，利用大數(shù)據(jù)的思維來改變公共管理部門的形象。醫(yī)療可利用多種大數(shù)據(jù)手段臨床操作——1、療效比較研究2、臨床決策支持系統(tǒng)3、醫(yī)療數(shù)據(jù)透明度4、遠(yuǎn)程醫(yī)療監(jiān)護(hù)5、針對患者情況的先進(jìn)分析付款/定價——1、自動化系統(tǒng)2、醫(yī)保系統(tǒng)研發(fā)——1、預(yù)測模型2、改進(jìn)臨床試驗設(shè)計的統(tǒng)計工具和算法3、臨床實(shí)驗數(shù)據(jù)分析4、個體化醫(yī)療5、疾病模式分析新業(yè)務(wù)模型——1、患者臨床記錄和需求數(shù)據(jù)的聚合2、在線平臺和社區(qū)公共衛(wèi)生醫(yī)療行業(yè)受益于大數(shù)據(jù)電子病歷醫(yī)療行業(yè)產(chǎn)生大數(shù)據(jù)（電子病歷），利用大數(shù)據(jù)的思維將會給醫(yī)療行業(yè)帶來變革。旅游業(yè)在大數(shù)據(jù)時代的發(fā)展旅游業(yè)發(fā)展趨勢是：網(wǎng)絡(luò)化、散客化、大眾化。在大數(shù)據(jù)時代，必須運(yùn)用大數(shù)據(jù)思維，推行旅游的數(shù)字化管理，開展數(shù)字化營銷，為旅客提供精準(zhǔn)的個性化服務(wù)。制造業(yè)在大數(shù)據(jù)時代的發(fā)展今后大數(shù)據(jù)將成為繼石油之后的工業(yè)新鮮血液，對于大數(shù)據(jù)的良好應(yīng)用，能夠?qū)κ袌觥N售、生產(chǎn)等各個部門產(chǎn)生積極影響，優(yōu)化各個環(huán)節(jié)的工作效率;制造原理、制造模式、制造工藝和生產(chǎn)工具都將發(fā)生根本性改變，以前難以制造的產(chǎn)品、實(shí)現(xiàn)不了的功能將獲得突破，網(wǎng)絡(luò)式創(chuàng)新將釋放全社會的創(chuàng)新能量，產(chǎn)品和技術(shù)變革周期將顯著縮短。通過對數(shù)據(jù)的實(shí)時采集、準(zhǔn)確把握、深度挖掘、分析優(yōu)化，制造業(yè)將整體再提升實(shí)現(xiàn)轉(zhuǎn)型升級。

內(nèi)容提示認(rèn)識大數(shù)據(jù)大數(shù)據(jù)帶來的變革大數(shù)據(jù)的商業(yè)價值大數(shù)據(jù)的運(yùn)用案例分析穿孔卡片與美國人口普查美國在1880年進(jìn)行的人口普查，耗時8年才完成數(shù)據(jù)匯總。因此，他們獲得的很多數(shù)據(jù)都是過時的。1890年進(jìn)行的人口普查，預(yù)計要花費(fèi)13年的時間來匯總數(shù)據(jù)。后來，美國人口普查局通過用赫爾曼-霍爾瑞斯發(fā)明的穿孔卡片制表機(jī)來進(jìn)行1890年的人口普查，耗時一年。73麻省理工與通貨緊縮預(yù)測軟件美國勞工統(tǒng)計局的人員每個月都要公布消費(fèi)物價指數(shù)（CPI），這是用來測試通貨膨脹率的。政府通過人工采集價格信息數(shù)據(jù)每年大概需要花費(fèi)兩億五千萬美元。這些數(shù)據(jù)是精確的也是有序的，但是數(shù)據(jù)往往會有幾周的滯后。麻省理工學(xué)院（MIT）的兩位經(jīng)濟(jì)學(xué)家，通過一個軟件在互聯(lián)網(wǎng)上每天可以收集到50萬種商品的價格，他們能比官方數(shù)據(jù)提前發(fā)現(xiàn)通貨緊縮趨勢。74Hitwise，通過流量判斷消費(fèi)者喜好數(shù)據(jù)創(chuàng)新再利用的一個典型例子是搜索關(guān)鍵詞。消費(fèi)者和搜索引擎之間的瞬時交互形成了一個網(wǎng)站和廣告的列表，實(shí)現(xiàn)了那一刻的特定功能。這些信息除了實(shí)現(xiàn)基本用途之外，它還可以變得非常有價值。如數(shù)據(jù)代理益百利旗下的網(wǎng)頁流量測量公司Hitwise，讓客戶采集搜索流量來揭示消費(fèi)者的喜好。75無所不包的谷歌翻譯系統(tǒng)2006年，谷歌公司開始涉足機(jī)器翻譯。這被當(dāng)作實(shí)現(xiàn)“收集全世界的數(shù)據(jù)資源，并讓人人都可享受這些資源”這個目標(biāo)的一個步驟。谷歌翻譯利用一個更大更繁雜的數(shù)據(jù)庫，也就是全球的互聯(lián)網(wǎng)。谷歌翻譯系統(tǒng)為了訓(xùn)練計算機(jī)，會吸收它能找到的所有翻譯。它增加了很多各種各樣的數(shù)據(jù)，還接受了有錯誤的數(shù)據(jù)。谷歌語料庫的內(nèi)容來自于未經(jīng)過濾的網(wǎng)頁內(nèi)容，所以會包含各種錯誤。但谷歌語料庫是其他語料庫的好幾百萬倍大，這樣的優(yōu)勢完全壓倒了缺點(diǎn)76谷歌，從大的“噪音”數(shù)據(jù)中受益谷歌知道人們在搜索時點(diǎn)擊的是第1頁的第8個鏈接還是第8頁的第1個鏈接，或者是干脆放棄了所有搜索點(diǎn)擊。谷歌就是依據(jù)用戶的點(diǎn)擊情況通過排名算法自動地在隨后的搜索中將信息排位?！皵?shù)據(jù)廢氣”：看似“沒用”的，“錯誤”的數(shù)據(jù)。77IBM，電動汽車動力與電力供應(yīng)系統(tǒng)優(yōu)化預(yù)測基于大量的信息輸入，如汽車的電池電量、汽車的位置、一天中的時間以及附近充電站的可用插槽等，IBM開發(fā)了一套復(fù)雜的預(yù)測模型。它將這些數(shù)據(jù)與電網(wǎng)的電流消耗以及歷史功率使用模式相結(jié)合。通過分析來自多個數(shù)據(jù)源的巨大實(shí)時數(shù)據(jù)流和歷史數(shù)據(jù)，能夠確定司機(jī)為汽車電池充電的最佳時間和地點(diǎn)，并揭示充電站的最佳設(shè)置點(diǎn)。78物聯(lián)網(wǎng)物聯(lián)網(wǎng)（InternetofThings，縮寫IOT）是一個基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息承載體，讓所有能夠被獨(dú)立尋址的普通物理對象實(shí)現(xiàn)互聯(lián)互通的網(wǎng)絡(luò)。在物聯(lián)網(wǎng)上，每個人都可以應(yīng)用電子標(biāo)簽將真實(shí)的物體上網(wǎng)聯(lián)結(jié)，在物聯(lián)網(wǎng)上都可以查找出它們的具體位置。通過物聯(lián)網(wǎng)可以用中心計算機(jī)對機(jī)器、設(shè)備、人員進(jìn)行集中管理、控制，也可以對家庭設(shè)備、汽車進(jìn)行遙控，以及搜尋位置、防止物品被盜等各種應(yīng)用。79RFID技術(shù)RFID是RadioFrequencyIdentification的縮寫，即射頻識別，俗稱電子標(biāo)簽。RFID是一種簡單的無線系統(tǒng)，由一個詢問器(或閱讀器)和很多應(yīng)答器(或標(biāo)簽)組成。該系統(tǒng)用于控制、檢測和跟蹤物體。RFID技術(shù)在超市和圖書館中的應(yīng)用80車聯(lián)網(wǎng)未來車聯(lián)網(wǎng)技術(shù)將重新定義汽車DNA。借助無線通訊，城市內(nèi)車與車之間，車與建筑之間，車與人之間都將建立更加智能緊密的互聯(lián)。通過裝載在車輛上的電子標(biāo)簽利用無線射頻等識別技術(shù)，實(shí)現(xiàn)在信息網(wǎng)絡(luò)平臺上對所有車輛的屬性信息和靜、動態(tài)信息進(jìn)行提取和有效利用，并根據(jù)不同的功能需求對所有車輛的運(yùn)行狀態(tài)進(jìn)行有效的監(jiān)管和提供綜合服務(wù)。81無人駕駛無人駕駛被人認(rèn)為是車聯(lián)網(wǎng)的終極目標(biāo)無人駕駛車依賴的技術(shù)很多，比如導(dǎo)航、雷達(dá)、龐大數(shù)據(jù)計算等，要實(shí)現(xiàn)這些技術(shù)需要和物聯(lián)網(wǎng)緊密結(jié)合起來。無人駕駛是通過車載傳感系統(tǒng)感知道路環(huán)境，自動規(guī)劃行車路線并控制車輛到達(dá)預(yù)定目標(biāo)的智能汽車。82自動泊車系統(tǒng)自動泊車系統(tǒng)，顧名思義駕駛者雙手可以離開方向盤，在車輛停好之前要做的只是等待。自動泊車系統(tǒng)主要由兩部分組成：控制單元和位于前后保險杠以及兩側(cè)的超聲波雷達(dá)探頭。按動自動泊車輔助系統(tǒng)激活按鈕之后，雷達(dá)探頭可在車輛行駛時對車輛兩側(cè)進(jìn)行掃描?？刂茊卧獙走_(dá)反饋的信息進(jìn)行分析，從而估算出車位是否足以容納車輛停放。自動泊車系統(tǒng)隨后將通過助力轉(zhuǎn)向系統(tǒng)對車輛行駛方向進(jìn)行干預(yù)，并以控制單元規(guī)劃好的路徑將車輛停入車位。83日本先進(jìn)工業(yè)技術(shù)研究院的坐姿研究與汽車防盜系統(tǒng)該研究所教授把每個駕車者的坐姿量化為精確的數(shù)據(jù)，使其對司機(jī)識別的正確率高達(dá)98%。這項技術(shù)作為汽車防盜系統(tǒng)，一旦識別駕車者不是車主，就會自動熄火。這一技術(shù)還可匯集事故發(fā)生前駕車者的姿勢變化數(shù)據(jù)，分析坐姿與行駛安全的關(guān)系，在司機(jī)疲勞駕駛時發(fā)出警示或自動剎車。84UPS快遞——大數(shù)據(jù)技術(shù)下的最佳行車路徑

UPS快遞多效地利用了地理定位數(shù)據(jù)。為了使總部能在車輛出現(xiàn)晚點(diǎn)的時候跟蹤到車輛的位置和預(yù)防引擎故障，它的貨車上裝有傳感器、無線適配器和GPS。同時，這些設(shè)備也方便了公司監(jiān)督管理員工并優(yōu)化行車線路。UPS為貨車定制的最佳行車路徑是根據(jù)過去的行車經(jīng)驗總結(jié)而來的。2011年，UPS的駕駛員少跑了近4828萬公里的路程，節(jié)省了300萬加侖的燃料并且減少了3萬公噸的二氧化碳排放量。85UPS與汽車修理預(yù)測UPS國際快遞公司從2000年就開始使用預(yù)測性分析來監(jiān)測自己全美60000輛車規(guī)模的車隊，這樣就能及時地進(jìn)行防御性的修理。通過監(jiān)測車輛的各個部位，UPS只需要更換需要更換的零件，從而節(jié)省了好幾百萬美元。86“量化自我”通過一種非干預(yù)的手段，把一些所謂的醫(yī)療傳感器放到我們的身邊，比如我們戴一個腕表、一枚戒指、一個耳塞、一副眼鏡等，通過這些設(shè)備我們可以了解自己的心跳、血壓情況，甚至包括我們體表的健康狀況，從而對一些大?。ㄈ绨d癇等）進(jìn)行早期預(yù)測。美國Fitbit公司近期就推出了一款免費(fèi)的蘋果手機(jī)應(yīng)用，用戶可用于記錄食物和液體攝入量，從而跟蹤其活動水平和營養(yǎng)攝入情況，通過分析這些數(shù)據(jù)可以很好的控制體重。87小兒床墊通過床墊上的壓力與濕度傳感器分析，來判斷小孩子有沒有比較嚴(yán)重的打鼾或者睡姿不正確等問題。88在線教育如著名的在線教育公司Coursera，已經(jīng)和普林斯頓、伯克利、賓夕法尼亞大學(xué)等30多所大學(xué)合作，在互聯(lián)網(wǎng)上免費(fèi)開放大學(xué)課程分布在世界各地的學(xué)習(xí)者不僅可以在同一時間實(shí)時聽取同一位老師的授課，還和在校生一樣，做同樣的作業(yè)、接受同樣的評分和考試。在線教育是一個“行為評價和誘導(dǎo)”的智能平臺89在線教育服務(wù)Knewton在線教育服務(wù)Knewton是大數(shù)據(jù)應(yīng)用于教育行業(yè)的典型，通過數(shù)據(jù)分析區(qū)分出每個學(xué)生的優(yōu)缺點(diǎn)，從而給學(xué)生有效的指導(dǎo)。美國最大的公立大學(xué)亞利桑那州公立大學(xué)曾運(yùn)用這一系統(tǒng)來提高學(xué)生的數(shù)學(xué)水平，全校2000名學(xué)生使用該系統(tǒng)兩學(xué)期之后，該大學(xué)的輟學(xué)率下降了56%，畢業(yè)率從64%升高到75%。90購買飛機(jī)票同一架飛機(jī)上的座位，票價卻千差萬別，個中原因，只有航空公司知道。奧倫-埃齊奧尼開發(fā)了一個系統(tǒng)，用來推測當(dāng)前網(wǎng)頁上的機(jī)票價格是否合理，預(yù)測當(dāng)前的機(jī)票價格在未來一段時間內(nèi)會上漲還是下降，從而幫助乘客明智購票。這個預(yù)測系統(tǒng)建立在41天內(nèi)價格波動產(chǎn)生的12000個價格樣本基礎(chǔ)之上。91Farecast是一個對機(jī)票價格進(jìn)行預(yù)測的公司，幫助消費(fèi)者抓住最佳購買機(jī)票的時機(jī)，使乘客節(jié)省很多錢。最初預(yù)測系統(tǒng)建立在41天之內(nèi)的12000個價格樣本基礎(chǔ)上，數(shù)據(jù)是從旅游網(wǎng)站上抓取的，如今已經(jīng)擁有超過2000億條飛行記錄。系統(tǒng)只推測機(jī)票的價格何時最便宜，不關(guān)心是什么原因?qū)е碌膬r格下降。Farecast→Bing航班延誤之候機(jī)經(jīng)濟(jì)學(xué)美國建立了一個統(tǒng)一的數(shù)據(jù)開放門戶網(wǎng)站——Data.Gov。Data.Gov上線以后，美國交通部開放了全美航班起飛、到達(dá)、延誤的數(shù)據(jù)。航班延誤時間的分析系統(tǒng)（Flyontime.us）：幫助消費(fèi)者找到表現(xiàn)最佳，最符合自己需要的航班。該系統(tǒng)向全社會免費(fèi)開放，任何人都