大數(shù)據(jù)時(shí)代創(chuàng)新課件

11提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思維和變革大數(shù)據(jù)在企業(yè)中的應(yīng)用案例2提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思每天有2940億封電子郵件發(fā)生，如果這些是紙質(zhì)信件，在美國(guó)需要花費(fèi)兩年時(shí)間處理。每天有200萬(wàn)篇博客在網(wǎng)上發(fā)布，這些文章相當(dāng)于《時(shí)代》雜志刊發(fā)770年的總量。每天有2.5億張照片上傳至社交網(wǎng)站Facebook，如果都打印出來(lái)，摞在一起能有80個(gè)埃菲爾鐵塔那么高。每天有86.4萬(wàn)小時(shí)視頻被上傳至視頻網(wǎng)站Youtube，相當(dāng)于不間斷播放視頻98年。每天有1.87億個(gè)小時(shí)的音樂(lè)會(huì)在流媒體音樂(lè)網(wǎng)站Pandora上播放，如果一臺(tái)電腦從公元元年就開(kāi)始播放這些音樂(lè)會(huì)，到現(xiàn)在還沒(méi)完沒(méi)了地接著放。3一天之間，互聯(lián)網(wǎng)上要發(fā)生多少事每天有2940億封電子郵件發(fā)生，如果這些是紙質(zhì)信件，在美國(guó)需4455地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶(hù)才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！6“大數(shù)據(jù)”時(shí)代的爆炸增長(zhǎng)想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：6“大數(shù)據(jù)”時(shí)代的爆炸增長(zhǎng)想駕馭這龐2008年9月4日《自然》雜志社，推出的名為“大數(shù)據(jù)”的專(zhuān)刊，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。“大數(shù)據(jù)”的誕生72008年9月4日《自然》雜志社，推出的名為“大數(shù)據(jù)”的專(zhuān)刊美國(guó)疾病控制中心要在流感暴發(fā)兩周后才知道谷歌的大數(shù)據(jù)預(yù)測(cè)只需要一天“谷歌流感趨勢(shì)”把大數(shù)據(jù)推上風(fēng)口浪尖8美國(guó)疾病控制中心要在流感暴發(fā)兩周后才知道“谷歌流感趨勢(shì)”把大大數(shù)據(jù)（bigdata），巨量數(shù)據(jù)集合是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。什么是“大數(shù)據(jù)”？9大數(shù)據(jù)（bigdata），巨量數(shù)據(jù)集合什么是“大數(shù)據(jù)”？9“大數(shù)據(jù)”特征10“大數(shù)據(jù)”特征10Hadoop是基于Google有關(guān)大數(shù)據(jù)的論文實(shí)現(xiàn)的開(kāi)源項(xiàng)目，最初的框架由DougCutting在2005年提出，目前是由Apache維護(hù)的開(kāi)源項(xiàng)目。從初創(chuàng)到現(xiàn)在，Hadoop體系在幾年中開(kāi)發(fā)完成了一系列重要的子項(xiàng)目，已經(jīng)形成了一個(gè)涵蓋數(shù)據(jù)存儲(chǔ)、管理和分析功能的較為完整的大數(shù)據(jù)生態(tài)系統(tǒng)，成為大數(shù)據(jù)存儲(chǔ)與處理領(lǐng)域地位最重要、應(yīng)用最廣泛的開(kāi)源框架。大數(shù)據(jù)存放在哪？如何分析？11Hadoop是基于Google有關(guān)大數(shù)據(jù)的論文實(shí)現(xiàn)的開(kāi)源項(xiàng)目Hadoop是運(yùn)行在大量通用計(jì)算單位上提供海量數(shù)據(jù)存儲(chǔ)與并行計(jì)算的平臺(tái)框架?；赬86集群水平可擴(kuò)展基于MapReduce的并行計(jì)算能力設(shè)計(jì)規(guī)模：PB級(jí)的數(shù)據(jù)量，數(shù)千臺(tái)計(jì)算節(jié)點(diǎn)大數(shù)據(jù)存放在哪？如何分析？12Hadoop是運(yùn)行在大量通用計(jì)算單位上提供海量數(shù)據(jù)存儲(chǔ)與并行提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思維和變革大數(shù)據(jù)在企業(yè)中的應(yīng)用案例13提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思量化思維——一切皆可量化決策思維——讓數(shù)據(jù)驅(qū)動(dòng)全樣思維——樣本=總體關(guān)聯(lián)思維——追求相關(guān)關(guān)系……14大數(shù)據(jù)思維量化思維——一切皆可量化14大數(shù)據(jù)思維StephenBeck每一天，我們的身后都拖著一條由個(gè)人信息組成的長(zhǎng)長(zhǎng)的“尾巴”，這只是因?yàn)槲覀兩钤谝粋€(gè)現(xiàn)代化的世界。我們——◎點(diǎn)擊網(wǎng)頁(yè)◎切換電視頻道◎駕車(chē)穿過(guò)自動(dòng)收費(fèi)站◎用信用卡購(gòu)物◎使用手機(jī)而雅虎、Google這樣的公司，正在以平均每人、每月2500條信息的速度，捕獲我們的詳細(xì)數(shù)據(jù)。151.量化思維：一切皆可量化StephenBeck151.量化思維：一切皆可量化數(shù)據(jù)是指存儲(chǔ)在某種介質(zhì)上能夠識(shí)別的物理符號(hào)，是對(duì)客觀事物性質(zhì)和狀態(tài)的描述。先有數(shù)據(jù)再說(shuō)應(yīng)用。16數(shù)據(jù)，從最不可能的地方提取數(shù)據(jù)是指存儲(chǔ)在某種介質(zhì)上能夠識(shí)別的物理符號(hào)，是對(duì)客觀事物性質(zhì)量化坐姿日本先進(jìn)工業(yè)技術(shù)研究所（Japan’sAdvancedInstituteofIndustrialTechnology）的教授越水重臣（ShigeomiKoshimizu）所做的研究就是關(guān)于一個(gè)人的坐姿。很少有人會(huì)認(rèn)為一個(gè)人的坐姿能表現(xiàn)什么信息，但是它真的可以。當(dāng)一個(gè)人坐著的時(shí)候，他的身形、姿勢(shì)和重量分布都可以量化和數(shù)據(jù)化。越水重臣和他的工程師團(tuán)隊(duì)通過(guò)在汽車(chē)座椅下部安裝總共360個(gè)壓力傳感器以測(cè)量人對(duì)椅子施加壓力的方式。把人體屁股特征轉(zhuǎn)化成了數(shù)據(jù)，并且用從0~256這個(gè)數(shù)值范圍對(duì)其進(jìn)行量化，這樣就會(huì)產(chǎn)生獨(dú)屬于每個(gè)乘坐者的精確數(shù)據(jù)資料。在這個(gè)實(shí)驗(yàn)中，這個(gè)系統(tǒng)能根據(jù)人體對(duì)座位的壓力差異識(shí)別出乘坐者的身份，準(zhǔn)確率高達(dá)98%。17數(shù)據(jù)，從最不可能的地方提取量化坐姿17數(shù)據(jù)，從最不可能的地方提取這項(xiàng)技術(shù)可以作為汽車(chē)防盜系統(tǒng)安裝在汽車(chē)上。有了這個(gè)系統(tǒng)之后，汽車(chē)就能識(shí)別出駕駛者是不是車(chē)主；如果不是，系統(tǒng)就會(huì)要求司機(jī)輸入密碼；如果司機(jī)無(wú)法準(zhǔn)確輸入密碼，汽車(chē)就會(huì)自動(dòng)熄火。通過(guò)匯集這些數(shù)據(jù)，我們可以利用事故發(fā)生之前的姿勢(shì)變化情況，分析出坐姿和行駛安全之間的關(guān)系。這個(gè)系統(tǒng)同樣可以在司機(jī)疲勞駕駛的時(shí)候發(fā)出警示或者自動(dòng)剎車(chē)。同時(shí)，這個(gè)系統(tǒng)不但可以發(fā)現(xiàn)車(chē)輛被盜，而且可以通過(guò)收集到的數(shù)據(jù)識(shí)別出盜賊的身份。18數(shù)據(jù)，從最不可能的地方提取這項(xiàng)技術(shù)可以作為汽車(chē)防盜系統(tǒng)安裝在汽車(chē)上。有了這個(gè)系統(tǒng)之后，蘋(píng)果在2008年申請(qǐng)的“耳機(jī)、耳塞或耳麥的運(yùn)動(dòng)檢測(cè)系統(tǒng)”專(zhuān)利。這種包含各種傳感器的耳機(jī)可以檢測(cè)各項(xiàng)生理指標(biāo)，包括體溫、心率和排汗水平。根據(jù)專(zhuān)利文件，健身檢測(cè)系統(tǒng)被隱藏在耳機(jī)中，用戶(hù)通常在運(yùn)動(dòng)時(shí)戴著耳機(jī)聽(tīng)音樂(lè)。通過(guò)將耳機(jī)放在耳朵里或附近，嵌入的運(yùn)動(dòng)傳感器可以獲得體溫、排汗和心率方面的數(shù)據(jù)。除了基于皮膚的檢測(cè)功能，耳機(jī)內(nèi)部還可以集成加速度傳感器，這樣可以收集準(zhǔn)確的運(yùn)動(dòng)數(shù)據(jù)。19數(shù)據(jù)，從最不可能的地方提取蘋(píng)果在2008年申請(qǐng)的“耳機(jī)、耳塞或耳麥的運(yùn)動(dòng)檢測(cè)系統(tǒng)”專(zhuān)利202.決策思維：讓數(shù)據(jù)驅(qū)動(dòng)202.決策思維：讓數(shù)據(jù)驅(qū)動(dòng)2015年的3月15日，馬云在德國(guó)的漢諾威IT博覽會(huì)上的主題演講：“一家互聯(lián)網(wǎng)公司要想活得長(zhǎng)久，必須找到一個(gè)方式讓互聯(lián)網(wǎng)經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)相結(jié)合，這個(gè)方式就是數(shù)據(jù)?！薄拔磥?lái)的世界，我們將不再由石油驅(qū)動(dòng)，而是由數(shù)據(jù)驅(qū)動(dòng)。”21未來(lái)的世界由數(shù)據(jù)驅(qū)動(dòng)2015年的3月15日，馬云在德國(guó)的漢諾威IT博覽會(huì)上的主題22數(shù)據(jù)驅(qū)動(dòng)的工業(yè)4.022數(shù)據(jù)驅(qū)動(dòng)的工業(yè)4.023數(shù)據(jù)驅(qū)動(dòng)的人生23數(shù)據(jù)驅(qū)動(dòng)的人生243.要全部數(shù)據(jù)，不要抽樣！模型不再那么重要，讓數(shù)據(jù)說(shuō)話(huà)。在小數(shù)據(jù)時(shí)代，隨機(jī)采樣就是利用最少的數(shù)據(jù)獲得更多的信息。而且采樣分析的精確性隨著采樣隨機(jī)性的增加而大幅度的增加，與樣本數(shù)量的增加關(guān)系不大。在大數(shù)據(jù)時(shí)代，隨著收集數(shù)據(jù)的便捷性，以及數(shù)據(jù)處理速度加快，我們可以分析到更多的數(shù)據(jù)，甚至是可以處理和某個(gè)特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不是依賴(lài)于隨機(jī)采樣。243.要全部數(shù)據(jù)，不要抽樣！模型不再那么重要，讓數(shù)據(jù)說(shuō)話(huà)。2011年發(fā)布的lytro相機(jī)就是一款具有“大數(shù)據(jù)”的相機(jī)。傳統(tǒng)的相機(jī)只可以記錄一束光的不同，而lytro相機(jī)可以收錄這個(gè)光場(chǎng)所有的光，達(dá)到1100萬(wàn)束左右。具體生成什么樣的照片則可以在拍攝之后再根據(jù)需要做決定。25利用所有數(shù)據(jù)，而不是一小部分采樣數(shù)據(jù)2011年發(fā)布的lytro相機(jī)就是一款具有“大數(shù)據(jù)”的相機(jī)。因?yàn)榇髷?shù)據(jù)是建立在掌握所有數(shù)據(jù)，至少是盡可能多的數(shù)據(jù)基礎(chǔ)上，所以我們就可以正確的考察細(xì)節(jié)并進(jìn)行新的分析。生活中真正有趣的事情經(jīng)常隱匿在細(xì)節(jié)之中，而采樣分析法卻無(wú)法捕捉到這些細(xì)節(jié)。26利用所有數(shù)據(jù)，而不是一小部分采樣數(shù)據(jù)因?yàn)榇髷?shù)據(jù)是建立在掌握所有數(shù)據(jù)，至少是盡可能多的數(shù)據(jù)基礎(chǔ)上，274.“關(guān)聯(lián)”思維強(qiáng)調(diào)數(shù)據(jù)之間的關(guān)聯(lián)也很有用，而不去追求數(shù)據(jù)之間的因果關(guān)系。因果關(guān)系是最深刻的一類(lèi)聯(lián)系，但是我們很多時(shí)候并不能獲得。274.“關(guān)聯(lián)”思維強(qiáng)調(diào)數(shù)據(jù)之間的關(guān)聯(lián)也很有用，而不去追求數(shù)28是什么，而不是為什么相關(guān)關(guān)系通過(guò)識(shí)別有用的關(guān)聯(lián)物來(lái)幫助我們分析一個(gè)現(xiàn)象，而不是通過(guò)提示其內(nèi)部的動(dòng)作機(jī)制。但相關(guān)關(guān)系沒(méi)有絕對(duì)，只有可能。蛋撻與颶風(fēng)用品沃爾瑪是世界上最大的零售商，掌握了大量的零售數(shù)據(jù)。通過(guò)分析，沃爾瑪發(fā)現(xiàn)，每當(dāng)季節(jié)性颶風(fēng)來(lái)臨之前，不僅手電筒銷(xiāo)售量增加了，而且蛋撻的銷(xiāo)量也增加了。因此，當(dāng)季節(jié)性暴風(fēng)來(lái)臨時(shí)，沃爾瑪會(huì)把庫(kù)存的蛋撻放在靠近颶風(fēng)用品的位置，以方便顧客。觀察的范圍包括：每一個(gè)顧客購(gòu)物清單以及消費(fèi)額、購(gòu)物籃中的物品、具體的購(gòu)買(mǎi)時(shí)間甚至是購(gòu)買(mǎi)當(dāng)日的天氣。28是什么，而不是為什么相關(guān)關(guān)系通過(guò)識(shí)別有用的關(guān)聯(lián)物來(lái)幫助我29是什么，而不是為什么在以前人們需要有了想法，然后再去收集數(shù)據(jù)去測(cè)試這個(gè)想法的可行性。而現(xiàn)在我們有了更多的數(shù)據(jù)以及更好的工具之后，要找到相關(guān)關(guān)系就變得更快，更容易了。大多數(shù)據(jù)情況下，一旦我們完成了對(duì)大數(shù)據(jù)的相關(guān)分析，而又不再滿(mǎn)足于僅僅知道“是什么”時(shí)，我們就會(huì)繼續(xù)向更深層研究因果關(guān)系，找出背后的“為什么”。29是什么，而不是為什么在以前人們需要有了想法，然后再去收集提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思維和變革大數(shù)據(jù)在企業(yè)中的應(yīng)用案例30提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思大數(shù)據(jù)在企業(yè)中的應(yīng)用之一

預(yù)測(cè)31大數(shù)據(jù)在企業(yè)中的應(yīng)用之一

預(yù)測(cè)3132大數(shù)據(jù)提升預(yù)測(cè)準(zhǔn)確性32大數(shù)據(jù)提升預(yù)測(cè)準(zhǔn)確性33世界杯大數(shù)據(jù)預(yù)測(cè)火了百度33世界杯大數(shù)據(jù)預(yù)測(cè)火了百度34百度如何做到通過(guò)爬蟲(chóng)等方法取得34百度如何做到通過(guò)爬蟲(chóng)等方法取得35百度預(yù)測(cè)35百度預(yù)測(cè)大數(shù)據(jù)在企業(yè)中的應(yīng)用之二

營(yíng)銷(xiāo):精準(zhǔn)營(yíng)銷(xiāo)、整合營(yíng)銷(xiāo)、聯(lián)合營(yíng)銷(xiāo)36大數(shù)據(jù)在企業(yè)中的應(yīng)用之二

營(yíng)銷(xiāo):精準(zhǔn)營(yíng)銷(xiāo)、整合營(yíng)銷(xiāo)、373738電商巨頭阿里大數(shù)據(jù)生態(tài)圈已經(jīng)建立38電商巨頭阿里大數(shù)據(jù)生態(tài)圈已經(jīng)建立39零售業(yè)ZARA通過(guò)大數(shù)據(jù)創(chuàng)造獨(dú)特競(jìng)爭(zhēng)力39零售業(yè)ZARA通過(guò)大數(shù)據(jù)創(chuàng)造獨(dú)特競(jìng)爭(zhēng)力40零售業(yè)ZARA通過(guò)大數(shù)據(jù)創(chuàng)造獨(dú)特競(jìng)爭(zhēng)力40零售業(yè)ZARA通過(guò)大數(shù)據(jù)創(chuàng)造獨(dú)特競(jìng)爭(zhēng)力41傳統(tǒng)制造企業(yè)耐克公司大數(shù)據(jù)戰(zhàn)略耐克憑借一種名為Nike+的新產(chǎn)品變身為大數(shù)據(jù)營(yíng)銷(xiāo)的創(chuàng)新公司。所謂Nike+，是一種以“Nike跑鞋或腕帶+傳感器”的產(chǎn)品，只要運(yùn)動(dòng)者穿著Nike+的跑鞋運(yùn)動(dòng)，iPod就可以存儲(chǔ)并顯示運(yùn)動(dòng)日期，時(shí)間、距離、熱量消耗值等數(shù)據(jù)。用戶(hù)上傳數(shù)據(jù)到耐克社區(qū)，就能和同好分享討論。

憑借運(yùn)動(dòng)者上傳的數(shù)據(jù)，耐克公司已經(jīng)成功建立了全球最大的運(yùn)動(dòng)網(wǎng)上社區(qū)，超過(guò)1000萬(wàn)活躍的用戶(hù)，每天不停地上傳數(shù)據(jù)，耐克借此與消費(fèi)者建立前所未有的牢固關(guān)系。41傳統(tǒng)制造企業(yè)耐克公司大數(shù)據(jù)戰(zhàn)略耐克憑借一種名為Nike42大數(shù)據(jù)能為Nike帶來(lái)什么Nike+：硬件、軟件、社區(qū)的大平臺(tái)42大數(shù)據(jù)能為Nike帶來(lái)什么Nike+：硬件、軟件、社區(qū)的43大數(shù)據(jù)帶給Nike的是利潤(rùn)43大數(shù)據(jù)帶給Nike的是利潤(rùn)大數(shù)據(jù)在企業(yè)中的應(yīng)用之三

智慧城市44大數(shù)據(jù)在企業(yè)中的應(yīng)用之三

智慧城市4445什么是智慧城市由商業(yè)公司IBM在2010年提出概念：城市由六個(gè)核心系統(tǒng)組成：組織（人）、業(yè)務(wù)/政務(wù)、交通、通訊、水和能源。這些系統(tǒng)不是零散的，而是以一種協(xié)作方式相互銜接。而城市本身，則是由這些系統(tǒng)所組成的宏觀系統(tǒng)。

“智慧城市”的建設(shè)是個(gè)系統(tǒng)工程將集成整個(gè)城市所涉及的社會(huì)綜合管理與公共服務(wù)資源，通過(guò)物聯(lián)化、互聯(lián)化、智能化方式，促進(jìn)各種城市功能彼此協(xié)調(diào)運(yùn)作，以實(shí)現(xiàn)更全面的互聯(lián)互通、更深入的智能化。無(wú)真正意義上的智慧城市范例可供參考但智能化、便捷的生活方式是可以預(yù)想的構(gòu)成要素。最終讓每個(gè)普通市民的日常生活因此受惠，提升生活品質(zhì)。45什么是智慧城市由商業(yè)公司IBM在2010年提出概念：46智慧城市的發(fā)展?fàn)顩r我國(guó)智慧城市建設(shè)從2012年第一批試點(diǎn)開(kāi)始，目前已有290個(gè)市縣區(qū)列入智慧城市試點(diǎn)，還有一些沒(méi)被列入試點(diǎn)的城市也開(kāi)始建設(shè)智慧城市。據(jù)不完全統(tǒng)計(jì)，在我國(guó)已有500多個(gè)城市進(jìn)行了智慧城市建設(shè)。銀川雖然是第二批列入智慧城市試點(diǎn)的城市，但銀川與中興通訊合作，緊抓時(shí)代機(jī)遇，迅速落地并成為全國(guó)首個(gè)高標(biāo)準(zhǔn)、全功能的智慧城市樣板。目前，智慧銀川已經(jīng)與烏鎮(zhèn)互聯(lián)網(wǎng)、貴陽(yáng)大數(shù)據(jù)并列為我國(guó)信息領(lǐng)域里產(chǎn)政結(jié)合三大熱點(diǎn)之一。46智慧城市的發(fā)展?fàn)顩r我國(guó)智慧城市建設(shè)從2012年第一批試點(diǎn)47銀川截至目前，銀川已部署智能快遞柜、智能垃圾桶、免費(fèi)WIFI、人臉識(shí)別門(mén)禁、大氣與噪音監(jiān)測(cè)系統(tǒng)、直飲水改造、智慧醫(yī)療系統(tǒng)等11項(xiàng)智能化設(shè)備配套的小區(qū)數(shù)量達(dá)到20個(gè)，預(yù)期到今年年底數(shù)量將增加到100個(gè)以上。同時(shí)，在智慧城市建設(shè)上，銀川在智慧政務(wù)、智慧交通、智慧環(huán)保等10大重點(diǎn)領(lǐng)域13個(gè)模塊建設(shè)上獨(dú)顯特色，形成了可復(fù)制、可推廣的智慧城市“銀川模式”。47銀川截至目前，銀川已部署智能快遞柜、智能垃圾桶、免費(fèi)WI48智慧城市實(shí)例——無(wú)錫大數(shù)據(jù)中心48智慧城市實(shí)例——無(wú)錫大數(shù)據(jù)中心49智慧城市實(shí)例——無(wú)錫大數(shù)據(jù)中心49智慧城市實(shí)例——無(wú)錫大數(shù)據(jù)中心50智慧城市實(shí)例——無(wú)錫大數(shù)據(jù)中心50智慧城市實(shí)例——無(wú)錫大數(shù)據(jù)中心大數(shù)據(jù)在企業(yè)中的應(yīng)用之四

中國(guó)移動(dòng)大數(shù)據(jù)51大數(shù)據(jù)在企業(yè)中的應(yīng)用之四

中國(guó)移動(dòng)大數(shù)據(jù)5152中國(guó)移動(dòng)的大數(shù)據(jù)52中國(guó)移動(dòng)的大數(shù)據(jù)53內(nèi)部的應(yīng)用之精準(zhǔn)營(yíng)銷(xiāo)53內(nèi)部的應(yīng)用之精準(zhǔn)營(yíng)銷(xiāo)54內(nèi)部的應(yīng)用之洞察客戶(hù)54內(nèi)部的應(yīng)用之洞察客戶(hù)55對(duì)外部的應(yīng)用景點(diǎn)舒適指數(shù)據(jù)預(yù)測(cè)根據(jù)位置信令來(lái)分析景區(qū)用戶(hù)數(shù)量，幫助旅游景區(qū)了解游客來(lái)源、分布等信息客流量分析幫助一些大的零售商分析顧客來(lái)源和各商鋪、展位的人流情況。55對(duì)外部的應(yīng)用景點(diǎn)舒適指數(shù)據(jù)預(yù)測(cè)56北京市旅游局景點(diǎn)舒適度預(yù)報(bào)56北京市旅游局景點(diǎn)舒適度預(yù)報(bào)提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思維和變革大數(shù)據(jù)在企業(yè)中的應(yīng)用案例57提綱大數(shù)據(jù)所帶來(lái)的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)的概念及技術(shù)大數(shù)據(jù)時(shí)代的思58大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)58大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)59大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策具有重要意義，我們必須重新認(rèn)識(shí)數(shù)據(jù)的重要價(jià)值。59大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展當(dāng)前，我國(guó)正處在全面建成小康60大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)大數(shù)據(jù)所能帶來(lái)的巨大商業(yè)價(jià)值，被認(rèn)為將引領(lǐng)一場(chǎng)足以與20世紀(jì)計(jì)算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對(duì)每個(gè)領(lǐng)域都造成影響，包括商業(yè)、經(jīng)濟(jì)等領(lǐng)域。大數(shù)據(jù)正在保重新的藍(lán)海，催生新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)，正在成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)。60大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)大數(shù)據(jù)所能帶來(lái)的巨大商業(yè)價(jià)61大數(shù)據(jù)時(shí)代呼喚新型人才蓋特納咨詢(xún)公司預(yù)測(cè)大數(shù)據(jù)將為全球帶來(lái)440萬(wàn)個(gè)IT新崗位和上千萬(wàn)個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018年需要深度數(shù)據(jù)分析人才44萬(wàn)-49萬(wàn)，缺口14萬(wàn)-19萬(wàn)；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬(wàn)，這方面的人才缺口更大。中國(guó)是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)創(chuàng)新人才更是稀缺資源。大數(shù)據(jù)時(shí)代的新的就業(yè)崗位：大數(shù)據(jù)分析師數(shù)據(jù)管理專(zhuān)家大數(shù)據(jù)算法工程師數(shù)據(jù)產(chǎn)品經(jīng)理等61大數(shù)據(jù)時(shí)代呼喚新型人才蓋特納咨詢(xún)公司預(yù)測(cè)大數(shù)據(jù)將為全球帶62挑戰(zhàn)一：業(yè)務(wù)部門(mén)沒(méi)有清晰的大數(shù)據(jù)需求很多企業(yè)業(yè)務(wù)部門(mén)不了解大數(shù)據(jù)，也不了解大數(shù)據(jù)的應(yīng)用場(chǎng)景和價(jià)值，因此難以提出大數(shù)據(jù)的準(zhǔn)確需求。由于業(yè)務(wù)部門(mén)需求不清晰，大數(shù)據(jù)部門(mén)又是非盈利部門(mén)，企業(yè)決策層擔(dān)心投入比較多的成本，導(dǎo)致了很多企業(yè)在搭建大數(shù)據(jù)部門(mén)時(shí)猶豫不決，或者很多企業(yè)都處于觀望嘗試的態(tài)度，從根本上影響了企業(yè)在大數(shù)據(jù)方向的發(fā)展，也阻礙了企業(yè)積累和挖掘自身的數(shù)據(jù)資產(chǎn)，甚至由于數(shù)據(jù)沒(méi)有應(yīng)用場(chǎng)景，刪除很多有價(jià)值歷史數(shù)據(jù)，導(dǎo)致企業(yè)數(shù)據(jù)資產(chǎn)流失。因此，這方面需要大數(shù)據(jù)從業(yè)者和專(zhuān)家一起，推動(dòng)和分享大數(shù)據(jù)應(yīng)用場(chǎng)景，讓更多的業(yè)務(wù)人員了解大數(shù)據(jù)的價(jià)值。62挑戰(zhàn)一：業(yè)務(wù)部門(mén)沒(méi)有清晰的大數(shù)據(jù)需求很多企業(yè)業(yè)務(wù)部門(mén)不了63挑戰(zhàn)二：企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)重企業(yè)啟動(dòng)大數(shù)據(jù)最重要的挑戰(zhàn)是數(shù)據(jù)的碎片化。在很多企業(yè)中尤其是大型的企業(yè)，數(shù)據(jù)常常散落在不同部門(mén)，而且這些數(shù)據(jù)存在不同的數(shù)據(jù)倉(cāng)庫(kù)中，不同部門(mén)的數(shù)據(jù)技術(shù)也有可能不一樣，這導(dǎo)致企業(yè)內(nèi)部自己的數(shù)據(jù)都沒(méi)法打通。如果不打通這些數(shù)據(jù)，大數(shù)據(jù)的價(jià)值則非常難挖掘。大數(shù)據(jù)需要不同數(shù)據(jù)的關(guān)聯(lián)和整合才能更好的發(fā)揮理解客戶(hù)和理解業(yè)務(wù)的優(yōu)勢(shì)。如何將不同部門(mén)的數(shù)據(jù)打通，并且實(shí)現(xiàn)技術(shù)和工具共享，才能更好的發(fā)揮企業(yè)大數(shù)據(jù)的價(jià)值。63挑戰(zhàn)二：企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)重企業(yè)啟動(dòng)大數(shù)據(jù)最重要的挑戰(zhàn)是64挑戰(zhàn)三：數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差很多中型以及大型企業(yè)，每時(shí)每刻也都在產(chǎn)生大量的數(shù)據(jù)，但很多企業(yè)在大數(shù)據(jù)的預(yù)處理階段很不重視，導(dǎo)致數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預(yù)處理階段需要抽取數(shù)據(jù)把數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)據(jù)類(lèi)型，對(duì)數(shù)據(jù)進(jìn)行清洗和去噪，以提取有效的數(shù)據(jù)等操作。甚至很多企業(yè)在數(shù)據(jù)的上報(bào)就出現(xiàn)很多不規(guī)范不合理的情況。以上種種原因，導(dǎo)致企業(yè)的數(shù)據(jù)的可用性差，數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不準(zhǔn)確。而大數(shù)據(jù)的意義不僅僅是要收集規(guī)模龐大的數(shù)據(jù)信息，還有對(duì)收集到的數(shù)據(jù)進(jìn)行很好的預(yù)處理處理，才有可能讓數(shù)據(jù)分析和數(shù)據(jù)挖掘人員從可用性高的大數(shù)據(jù)中提取有價(jià)值的信息。Sybase的數(shù)據(jù)表明，高質(zhì)量的數(shù)據(jù)的數(shù)據(jù)應(yīng)用可以顯著提升企業(yè)的商業(yè)表現(xiàn)，數(shù)據(jù)可用性提高10%，企業(yè)的業(yè)績(jī)至少提升在10%以上。64挑戰(zhàn)三：數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差很多中型以及大型企業(yè)，每65挑戰(zhàn)四：數(shù)據(jù)安全網(wǎng)絡(luò)化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會(huì)出現(xiàn)更高明的騙局。如何保證用戶(hù)的信息安全成為大數(shù)據(jù)時(shí)代非常重要的課題。在線(xiàn)數(shù)據(jù)越來(lái)越多，黑客犯罪的動(dòng)機(jī)比以往都來(lái)的強(qiáng)烈，一些知名網(wǎng)站密碼泄露、系統(tǒng)漏洞導(dǎo)致用戶(hù)資料被盜等個(gè)人敏感信息泄露事件已經(jīng)警醒我們，要加強(qiáng)大數(shù)據(jù)網(wǎng)絡(luò)安全的建設(shè)。另外，大數(shù)據(jù)的不斷增加，對(duì)數(shù)據(jù)存儲(chǔ)的物理安全性要求會(huì)越來(lái)越高，從而對(duì)數(shù)據(jù)的多副本與容災(zāi)機(jī)制也提出更高的要求。目前很多傳統(tǒng)企業(yè)的數(shù)據(jù)安全令人擔(dān)憂(yōu)。65挑戰(zhàn)四：數(shù)據(jù)安全網(wǎng)絡(luò)化生活使得犯罪分子更容易獲得關(guān)于人的66挑戰(zhàn)五：大數(shù)據(jù)人才缺乏大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專(zhuān)業(yè)人員完成，因此，必須培養(yǎng)和造就一支掌握大數(shù)據(jù)技術(shù)、懂管理、有大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的大數(shù)據(jù)建設(shè)專(zhuān)業(yè)隊(duì)伍。目前大數(shù)據(jù)相關(guān)人才的欠缺將阻礙大數(shù)據(jù)市場(chǎng)發(fā)展。據(jù)Gartner預(yù)測(cè)，到2015年，全球?qū)⑿略?40萬(wàn)個(gè)與大數(shù)據(jù)相關(guān)的工作崗位，且會(huì)有25%的組織設(shè)立首席數(shù)據(jù)官職位。大數(shù)據(jù)的相關(guān)職位需要的是復(fù)合型人才，能夠?qū)?shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和自然語(yǔ)言處理等多方面知識(shí)綜合掌控。未來(lái)，大數(shù)據(jù)將會(huì)出現(xiàn)約100萬(wàn)的人才缺口，在各個(gè)行業(yè)大數(shù)據(jù)中高端人才都會(huì)成為最炙手可熱的人才，涵蓋了大數(shù)據(jù)的數(shù)據(jù)開(kāi)發(fā)工程師、大數(shù)據(jù)分析師、數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)后臺(tái)開(kāi)發(fā)工程師、算法工程師等多個(gè)方向。因此需要高校和企業(yè)共同努力去培養(yǎng)和挖掘。目前最大的問(wèn)題是很多高校缺乏大數(shù)據(jù)，所以擁有大數(shù)據(jù)的企業(yè)應(yīng)該與學(xué)校聯(lián)合培養(yǎng)人才。66挑戰(zhàn)五：大數(shù)據(jù)人才缺乏大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專(zhuān)業(yè)67大數(shù)據(jù)技術(shù)的運(yùn)用仍有困難主要體現(xiàn)在大數(shù)據(jù)挖掘的四個(gè)環(huán)節(jié)中：67大數(shù)據(jù)技術(shù)的運(yùn)用仍有困難主要體現(xiàn)在大數(shù)據(jù)挖掘的四個(gè)環(huán)節(jié)中68大數(shù)據(jù)給信息安全帶來(lái)新挑戰(zhàn)68大數(shù)據(jù)給信息安全帶來(lái)新挑戰(zhàn)6969數(shù)據(jù)越用越值錢(qián)誰(shuí)擁有數(shù)據(jù)，誰(shuí)就是王者但沒(méi)有大數(shù)據(jù)分析師，王者也要擺地?cái)?0數(shù)據(jù)越用越值錢(qián)707171空間大數(shù)據(jù)空間大數(shù)據(jù)目錄一、大數(shù)據(jù)的涵義與研究意義二、與空間信息和位置相關(guān)的大數(shù)據(jù)三、空間大數(shù)據(jù)的應(yīng)用四、空間大數(shù)據(jù)的存儲(chǔ)五、總結(jié)目錄一、大數(shù)據(jù)的涵義與研究意義一、大數(shù)據(jù)的涵義與研究意義大數(shù)據(jù)：大型復(fù)雜數(shù)據(jù)集的聚合，這些數(shù)據(jù)集的規(guī)模和復(fù)雜程度常超出目前數(shù)據(jù)庫(kù)管理軟件和傳統(tǒng)數(shù)據(jù)處理技術(shù)在可接受時(shí)間下的獲取、管理、檢索、分析、挖掘和可視化能力。一、大數(shù)據(jù)的涵義與研究意義大數(shù)據(jù)：大型復(fù)雜數(shù)據(jù)集的聚合，這些一、大數(shù)據(jù)的涵義與研究意義大數(shù)據(jù)的特點(diǎn)：１）Volume（體量大）：大量TB級(jí)以上已有的數(shù)據(jù)等待處理；２）Velocity（速度快）：需要響應(yīng)以s甚至ms計(jì)的流數(shù)據(jù)不斷產(chǎn)生；３）Variety（模態(tài)多樣）：數(shù)據(jù)來(lái)源和類(lèi)型繁多文本、圖片、視頻等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)并存；４）Veracity（真?zhèn)坞y辨）：由于數(shù)據(jù)的噪音、缺失、不一致性、歧義等引起的數(shù)據(jù)不確定性；５）Value（價(jià)值）：大數(shù)據(jù)使得人們以前所未有的維度量化和理解世界，蘊(yùn)含了巨大的價(jià)值，大數(shù)據(jù)的終極目標(biāo)在于從數(shù)據(jù)中挖掘價(jià)值。大數(shù)據(jù)的核心：預(yù)測(cè)一、大數(shù)據(jù)的涵義與研究意義大數(shù)據(jù)的特點(diǎn)：１）Volume（體一、大數(shù)據(jù)的涵義與研究意義研究大數(shù)據(jù)的意義：科學(xué)進(jìn)步圖靈獎(jiǎng)獲得者吉姆?格雷提出：大數(shù)據(jù)是科學(xué)研究的第四范式，是從計(jì)算密集型科研發(fā)展到以大數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)密集型科研方法?？茖W(xué)研究方法的發(fā)展

真正的革命并不發(fā)生在分析數(shù)據(jù)的機(jī)器，而在于數(shù)據(jù)本身和我們?nèi)绾芜\(yùn)用數(shù)據(jù)。一、大數(shù)據(jù)的涵義與研究意義研究大數(shù)據(jù)的意義：科學(xué)進(jìn)步圖靈獎(jiǎng)獲一、大數(shù)據(jù)的涵義與研究意義研究大數(shù)據(jù)的意義：社會(huì)變革2009至今美國(guó)政府全面開(kāi)放了40萬(wàn)聯(lián)邦政府原始數(shù)據(jù)集。大數(shù)據(jù)已成為美國(guó)國(guó)家創(chuàng)新戰(zhàn)略、國(guó)家安全戰(zhàn)略、國(guó)家IT產(chǎn)業(yè)發(fā)展戰(zhàn)略以及國(guó)家信息網(wǎng)絡(luò)戰(zhàn)略的交叉領(lǐng)域、核心領(lǐng)域。21世紀(jì)數(shù)據(jù)的價(jià)值有可能等同于20世紀(jì)的石油，大數(shù)據(jù)研究使得人們降低了對(duì)因果關(guān)系的渴求，而關(guān)注相關(guān)關(guān)系。只需要知道是什么，而不需知道為什么。這將使得理解現(xiàn)實(shí)和做決定的基礎(chǔ)也將受到根本性挑戰(zhàn)。社會(huì)價(jià)值一、大數(shù)據(jù)的涵義與研究意義研究大數(shù)據(jù)的意義：社會(huì)變革2009一、大數(shù)據(jù)的涵義與研究意義研究大數(shù)據(jù)的意義：經(jīng)濟(jì)增長(zhǎng)一、大數(shù)據(jù)的涵義與研究意義研究大數(shù)據(jù)的意義：經(jīng)濟(jì)增長(zhǎng)二、與空間信息和位置相關(guān)的大數(shù)據(jù)指直接或間接關(guān)聯(lián)著相對(duì)于地球的某個(gè)地點(diǎn)的數(shù)據(jù)，包括自然地理數(shù)據(jù)和社會(huì)經(jīng)濟(jì)數(shù)據(jù)?？臻g媒體數(shù)據(jù)地理數(shù)據(jù)軌跡數(shù)據(jù)包含位置的數(shù)字化的文字、圖形、圖像、視頻影像等媒體數(shù)據(jù)，主要來(lái)源于移動(dòng)社交網(wǎng)絡(luò)、微博等新型互聯(lián)網(wǎng)應(yīng)用指通過(guò)GNSS等測(cè)量手段以及網(wǎng)絡(luò)簽到等方法獲得的用戶(hù)活動(dòng)數(shù)據(jù)，可以被用來(lái)反映用戶(hù)的位置和用戶(hù)的社會(huì)偏好。位置大數(shù)據(jù)的分類(lèi)二、與空間信息和位置相關(guān)的大數(shù)據(jù)空間媒體數(shù)據(jù)地理數(shù)據(jù)軌跡二、與空間信息和位置相關(guān)的大數(shù)據(jù)地理數(shù)據(jù)內(nèi)容：土地覆蓋類(lèi)型數(shù)據(jù)、地貌數(shù)據(jù)、土壤數(shù)據(jù)、水文數(shù)據(jù)、植被數(shù)據(jù)、居民地?cái)?shù)據(jù)、河流數(shù)據(jù)、行政境界及社會(huì)經(jīng)濟(jì)方面的數(shù)據(jù)等。特點(diǎn)：數(shù)據(jù)體量大、較為規(guī)則化、變化較慢。二、與空間信息和位置相關(guān)的大數(shù)據(jù)地理數(shù)據(jù)二、與空間信息和位置相關(guān)的大數(shù)據(jù)軌跡數(shù)據(jù)內(nèi)容：個(gè)人軌跡數(shù)據(jù)、群體軌跡數(shù)據(jù)、車(chē)輛軌跡數(shù)據(jù)等特點(diǎn)：數(shù)據(jù)體量大、信息碎片化、準(zhǔn)確性較低、半結(jié)構(gòu)化出租車(chē)軌跡數(shù)據(jù)示例二、與空間信息和位置相關(guān)的大數(shù)據(jù)軌跡數(shù)據(jù)二、與空間信息和位置相關(guān)的大數(shù)據(jù)社會(huì)交流、個(gè)性化信息推送、駕駛安全、智能駕駛為個(gè)人生活服務(wù)城市規(guī)劃、疾病控制、智能交通、節(jié)能減排、環(huán)境保護(hù)、應(yīng)急響應(yīng)企業(yè)調(diào)度、門(mén)店選址、廣告推送、位置營(yíng)銷(xiāo)為企業(yè)經(jīng)濟(jì)服務(wù)為城市運(yùn)行服務(wù)位置大數(shù)據(jù)的作用二、與空間信息和位置相關(guān)的大數(shù)據(jù)為城市運(yùn)行服務(wù)三、空間大數(shù)據(jù)的應(yīng)用1.空間大數(shù)據(jù)與智能交通Inrix是美國(guó)的一家交通數(shù)據(jù)處理公司，也是全球領(lǐng)先的道路交通信息和駕駛員服務(wù)供應(yīng)商。他們?cè)O(shè)計(jì)的APP是一款致力于為全球交通問(wèn)題帶來(lái)智能數(shù)據(jù)和先進(jìn)的分析方法的交通智能化平臺(tái)。三、空間大數(shù)據(jù)的應(yīng)用1.空間大數(shù)據(jù)與智能交通Inri三、空間大數(shù)據(jù)的應(yīng)用利用大數(shù)據(jù)預(yù)判未來(lái)交通信息和路況是核心2012年英國(guó)倫敦奧運(yùn)會(huì)利用INRIX軟件和在線(xiàn)服務(wù)確保交通順暢;在美國(guó)有超過(guò)25個(gè)州的交通部門(mén)使用INRIX數(shù)據(jù)輔助交通管理。三、空間大數(shù)據(jù)的應(yīng)用利用大數(shù)據(jù)預(yù)判未來(lái)交通信息和路況是核心三、空間大數(shù)據(jù)的應(yīng)用

2015年2月11日，國(guó)內(nèi)智能交通行業(yè)領(lǐng)軍企業(yè)北京千方科技股份有限公司與INRIX簽署戰(zhàn)略合作協(xié)議。千方科技在國(guó)內(nèi)智能交通行業(yè)具有深厚的理解和市場(chǎng)、技術(shù)積累，INRIX在歐美地區(qū)具有成熟的交通信息化解決方案和先進(jìn)理念。雙方將結(jié)合各自的優(yōu)勢(shì)，整合交通信息化及數(shù)據(jù)分析解決方案和產(chǎn)品，共同拓展智能交通行業(yè)市場(chǎng)，雙方將在交通大數(shù)據(jù)分析、增值挖掘、交通仿真等技術(shù)方向深度交流，提升雙方專(zhuān)業(yè)化及技術(shù)能力。

不過(guò)，由于涉及國(guó)內(nèi)職能部門(mén)的數(shù)據(jù)保護(hù)問(wèn)題，國(guó)內(nèi)手機(jī)用戶(hù)還未能夠體驗(yàn)這款A(yù)pp。三、空間大數(shù)據(jù)的應(yīng)用2015年2月11日，國(guó)內(nèi)智能交通三、空間大數(shù)據(jù)的應(yīng)用2.空間大數(shù)據(jù)與社會(huì)生活2014年春節(jié)期間，百度地圖定位可視化大數(shù)據(jù)播報(bào)的國(guó)內(nèi)春節(jié)人口遷徙情況。2015年最近一周南京夫子廟景區(qū)熱力圖三、空間大數(shù)據(jù)的應(yīng)用2.空間大數(shù)據(jù)與社會(huì)生活2014年春三、空間大數(shù)據(jù)的應(yīng)用3.空間大數(shù)據(jù)與應(yīng)急管理2013年4月15日，波士頓馬拉松爆炸案事發(fā)幾小時(shí)內(nèi)，數(shù)以千計(jì)的在場(chǎng)群眾將事發(fā)現(xiàn)場(chǎng)拍攝的照片和視頻放到了公共網(wǎng)絡(luò)平臺(tái)上，這些照片和視頻圖像來(lái)自各種相機(jī)，手機(jī)和平板電腦。不到一天時(shí)間，嫌犯被確認(rèn)并在紐約被抓獲這是一種典型的利用空間社會(huì)媒體的位置大數(shù)據(jù)與反犯罪機(jī)構(gòu)的專(zhuān)業(yè)能力結(jié)合，建立的城市安全與應(yīng)急新體制三、空間大數(shù)據(jù)的應(yīng)用3.空間大數(shù)據(jù)與應(yīng)急管理

位置大數(shù)據(jù)研究涉及到數(shù)據(jù)采集、數(shù)據(jù)處理、計(jì)算和存儲(chǔ)以及可視化等一套完整的方法體系

四、空間大數(shù)據(jù)的存儲(chǔ)

位置大數(shù)據(jù)研究涉及到數(shù)據(jù)采集、數(shù)據(jù)處理、計(jì)算和存儲(chǔ)以及可四、空間大數(shù)據(jù)的存儲(chǔ)海量數(shù)據(jù)的高效存儲(chǔ)支持豐富的數(shù)據(jù)類(lèi)型處理速度快數(shù)據(jù)庫(kù)應(yīng)當(dāng)易于擴(kuò)展大數(shù)據(jù)下對(duì)于數(shù)據(jù)庫(kù)的需求四、空間大數(shù)據(jù)的存儲(chǔ)海量數(shù)據(jù)的高效存儲(chǔ)支持豐富的數(shù)據(jù)類(lèi)型處理四、空間大數(shù)據(jù)的存儲(chǔ)CAPNOSQLBASE不保證遵循ACID原則分布式的非關(guān)系型的四、空間大數(shù)據(jù)的存儲(chǔ)CAPNOSQLBASE不保證遵循分布式四、位置大數(shù)據(jù)的存儲(chǔ)必須保證兩者權(quán)衡一致性可用性分區(qū)容錯(cuò)性BASE四、位置大數(shù)據(jù)的存儲(chǔ)必須保證兩者權(quán)衡一致性可用性分區(qū)容四、空間大數(shù)據(jù)的存儲(chǔ)靈活高可用性高性能易擴(kuò)展NoSQL數(shù)據(jù)庫(kù)的特點(diǎn)四、空間大數(shù)據(jù)的存儲(chǔ)靈活高可用性高性能易擴(kuò)展NoSQL數(shù)據(jù)庫(kù)四、空間大數(shù)據(jù)的存儲(chǔ)Key-value型文檔型圖形數(shù)據(jù)庫(kù)列式存儲(chǔ)四、空間大數(shù)據(jù)的存儲(chǔ)Key-value型文檔型圖形數(shù)據(jù)庫(kù)列式四、空間大數(shù)據(jù)的存儲(chǔ)定義一個(gè)大的有序結(jié)構(gòu)數(shù)組HashValue[m]，用來(lái)存放各信息查詢(xún)哈希表哈希函數(shù)當(dāng)查詢(xún)的時(shí)候再使用哈希函數(shù)得到這個(gè)下標(biāo)值編寫(xiě)一個(gè)哈希函數(shù)將關(guān)鍵值的名字轉(zhuǎn)換為HashValue[m]中的某個(gè)下標(biāo)值xKey-value型四、空間大數(shù)據(jù)的存儲(chǔ)定義一個(gè)大的有序結(jié)查詢(xún)哈希表哈希函數(shù)四、空間大數(shù)據(jù)的存儲(chǔ)文檔集合數(shù)據(jù)庫(kù)集合就是一組文檔。集合是無(wú)模式的。多個(gè)文檔組成集合多個(gè)集合數(shù)據(jù)庫(kù)。它包含多個(gè)鍵/值對(duì)文檔中的鍵/值對(duì)是有序的文檔型數(shù)據(jù)庫(kù)四、空間大數(shù)據(jù)的存儲(chǔ)文檔集合數(shù)據(jù)庫(kù)集合就是一組文檔。多個(gè)文檔四、空間大數(shù)據(jù)的存儲(chǔ)四、空間大數(shù)據(jù)的存儲(chǔ)四、空間大數(shù)據(jù)的存儲(chǔ)四、空間大數(shù)據(jù)的存儲(chǔ)四、空間大數(shù)據(jù)的存儲(chǔ)分類(lèi)Examples舉例典型應(yīng)用場(chǎng)景數(shù)據(jù)模型優(yōu)點(diǎn)缺點(diǎn)鍵值（key-value）TokyoCabinet/Tyrant,Redis,Voldemort,OracleBDB內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪(fǎng)問(wèn)負(fù)載，也用于一些日志系統(tǒng)等等。Key指向Value的鍵值對(duì)，通常用hashtable來(lái)實(shí)現(xiàn)查找速度快數(shù)據(jù)無(wú)結(jié)構(gòu)化，通常只被當(dāng)作字符串或者二進(jìn)制數(shù)據(jù)列存儲(chǔ)數(shù)據(jù)庫(kù)Cassandra,HBase,Riak分布式的文件系統(tǒng)