信息資源管理-擴(kuò)展知識(shí)大數(shù)據(jù)及其典型應(yīng)用

1、信息資源管理-擴(kuò)展知識(shí)大數(shù)據(jù)及其典型應(yīng)用2020-02-272引子棱鏡門波士頓馬馬拉松爆爆炸案PredPol少數(shù)派報(bào)報(bào)告2013大數(shù)據(jù)元元年video一、大數(shù)數(shù)據(jù)的相相關(guān)概念念二、國(guó)內(nèi)內(nèi)外大數(shù)數(shù)據(jù)分析析的研究究現(xiàn)狀三、構(gòu)建建大數(shù)據(jù)據(jù)分析平平臺(tái)四、公共共安全領(lǐng)領(lǐng)域大數(shù)數(shù)據(jù)應(yīng)用用案例目錄2020-02-273一、大數(shù)數(shù)據(jù)的相相關(guān)概念念2020-02-274數(shù)據(jù)管理理技術(shù)發(fā)展歷歷史數(shù)據(jù)管理理技術(shù)歷歷經(jīng)人工工管理、文件管管理、數(shù)數(shù)據(jù)庫(kù)管管理等時(shí)時(shí)代，大大數(shù)據(jù)技技術(shù)的出出現(xiàn)使該該領(lǐng)域進(jìn)進(jìn)入了一一個(gè)新的的發(fā)展階階段-5-1946195119561961197019741979199120012003200

2、82011第一臺(tái)計(jì)計(jì)算機(jī)ENIAC面世磁帶+卡片人工管理理磁盤被發(fā)發(fā)明，進(jìn)進(jìn)入文件件管理時(shí)時(shí)代網(wǎng)絡(luò)型SQLE-RGE公司發(fā)明明第一個(gè)個(gè)網(wǎng)絡(luò)模模型數(shù)據(jù)據(jù)庫(kù)，但但僅限于于GE自己的主主機(jī)1960年代，IT系統(tǒng)規(guī)模模和復(fù)雜雜度變大大，數(shù)據(jù)據(jù)與應(yīng)用用分離的的需求開(kāi)開(kāi)始產(chǎn)生生，數(shù)據(jù)據(jù)庫(kù)技術(shù)術(shù)開(kāi)始萌萌芽并蓬蓬勃發(fā)展展，并在在1990年后逐步步統(tǒng)一到到以關(guān)系系型數(shù)據(jù)據(jù)庫(kù)為主主導(dǎo)IBME.F.Dodd提出關(guān)系系模型SQL語(yǔ)言被發(fā)發(fā)明關(guān)系型數(shù)據(jù)庫(kù)ORACLE發(fā)布第一一個(gè)商用用SQL關(guān)系數(shù)據(jù)據(jù)庫(kù)，后后續(xù)快速速發(fā)展數(shù)據(jù)倉(cāng)庫(kù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)開(kāi)始涌涌現(xiàn)，關(guān)關(guān)系數(shù)據(jù)據(jù)庫(kù)開(kāi)始始全面普普及且平平臺(tái)無(wú)關(guān)關(guān)，進(jìn)入入成熟期期2001年

3、后，互互聯(lián)網(wǎng)迅迅速發(fā)展展，數(shù)據(jù)據(jù)量成倍倍遞增，量變引引起質(zhì)變變，開(kāi)始始對(duì)數(shù)據(jù)據(jù)管理技技術(shù)提出出全新的的要求1946年，電腦腦誕生，數(shù)據(jù)與與應(yīng)用緊緊密捆綁綁在文件件中，彼彼此不分分Hadoop成為Apache頂級(jí)項(xiàng)目目，重點(diǎn)點(diǎn)支持海海量數(shù)據(jù)據(jù)分布式式管理和和分布式式計(jì)算GFS谷歌發(fā)表表論文介介紹分布布式計(jì)算算大數(shù)據(jù)發(fā)發(fā)展背景景全球信息息化發(fā)展展已步入入大數(shù)據(jù)據(jù)時(shí)代150億個(gè)設(shè)備備連接到到互聯(lián)網(wǎng)網(wǎng)全球每秒秒鐘發(fā)送送290萬(wàn)封電子子郵件每天有2.88萬(wàn)小時(shí)視視頻上傳傳到Y(jié)outubeFacebook每日評(píng)論論達(dá)32億條，每每天上傳傳照片近近3億張，每每月處理理數(shù)據(jù)總總量約130萬(wàn)TB2011年全球產(chǎn)

4、產(chǎn)生數(shù)據(jù)據(jù)量1.8ZB，預(yù)計(jì)2020年將增長(zhǎng)長(zhǎng)到35ZB大數(shù)據(jù)正正迅速成成為最值值得關(guān)注注的IT領(lǐng)域之一一2011年5月，EMCWorld2011大會(huì)主題題“云計(jì)計(jì)算相遇遇大數(shù)據(jù)據(jù)”，EMC除了一直直倡導(dǎo)的的云計(jì)算算外，還還拋出大數(shù)據(jù)（BigData）概念2011年6月底，IBM、麥肯錫錫等眾多多國(guó)外機(jī)機(jī)構(gòu)發(fā)布布大數(shù)據(jù)相關(guān)研究究報(bào)告，予以積積極跟進(jìn)進(jìn)2011年10月，Gartner認(rèn)為2012年十大戰(zhàn)戰(zhàn)略技術(shù)術(shù)將包括括大數(shù)據(jù)2011年11月底，IDC將大數(shù)據(jù)放入2012年信息通通信產(chǎn)業(yè)業(yè)十大預(yù)預(yù)測(cè)之一一-6-IDC全球數(shù)據(jù)據(jù)量預(yù)測(cè)測(cè)（1ZB= 1百萬(wàn)PB= 10億TB）Google網(wǎng)站Bigd

5、ata關(guān)鍵詞搜搜索及新新聞引用用量什么是大數(shù)據(jù)123大數(shù)據(jù)的的定義理理解大數(shù)據(jù)的的“4V”特征大數(shù)據(jù)的的產(chǎn)生、增長(zhǎng)2020-02-277“大數(shù)據(jù)據(jù)”是如如何產(chǎn)生生的？facebook社交網(wǎng)絡(luò)淘寶電子商務(wù)微博、Apps移動(dòng)互聯(lián)21世紀(jì)是數(shù)數(shù)據(jù)信息息大發(fā)展展的時(shí)代代，移動(dòng)動(dòng)互聯(lián)、社交網(wǎng)網(wǎng)絡(luò)、電電子商務(wù)務(wù)等極大大拓展了了互聯(lián)網(wǎng)網(wǎng)的邊界界和應(yīng)用用范圍，各種數(shù)數(shù)據(jù)正在在迅速膨膨脹并變變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)動(dòng)互聯(lián)網(wǎng)網(wǎng)（微博博）、物物聯(lián)網(wǎng)（傳感器器，智慧慧地球）、車聯(lián)聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影影像、安安全監(jiān)控控、金融融（銀行行、股市市、保險(xiǎn)險(xiǎn)）、電電信（通通話、短短信）都都在瘋狂狂產(chǎn)生著著數(shù)據(jù)。半

6、個(gè)世紀(jì)紀(jì)以來(lái)，隨著計(jì)計(jì)算機(jī)技技術(shù)全面面融入社社會(huì)生活活，信息息爆炸已已經(jīng)積累累到了一一個(gè)開(kāi)始始引發(fā)變變革的程程度。它它不僅使使世界充充斥著比比以往更更多的信信息，而而且其增增長(zhǎng)速度度也在加加快。信信息爆炸炸的學(xué)科科如天文文學(xué)和基基因?qū)W，創(chuàng)造出出了“大大數(shù)據(jù)”這個(gè)概概念*。如今，這個(gè)概概念幾乎乎應(yīng)用到到了所有有人類智智力與發(fā)發(fā)展的領(lǐng)領(lǐng)域中。2020-02-278大數(shù)據(jù)時(shí)時(shí)代的爆爆炸增長(zhǎng)長(zhǎng)想駕馭這這龐大的的數(shù)據(jù)，我們必必須了解解大數(shù)據(jù)據(jù)的特征征。地球上至至今總共共的數(shù)據(jù)據(jù)量：在2006年，個(gè)人人用戶才才剛剛邁邁進(jìn)TB時(shí)代，全全球一共共新產(chǎn)生生了約180EB的數(shù)據(jù)；在2011年，這個(gè)個(gè)數(shù)字達(dá)達(dá)到了1

7、.8ZB。而有市場(chǎng)場(chǎng)研究機(jī)機(jī)構(gòu)預(yù)測(cè)測(cè)：到2020年，整個(gè)個(gè)世界的的數(shù)據(jù)總總量將會(huì)會(huì)增長(zhǎng)44倍，達(dá)到到35.2ZB（1ZB=10億TB）！GBTBPBEBZB1GB= 230字節(jié)1TB=240字節(jié)1PB= 250字節(jié)1EB= 260字節(jié)1ZB=270字節(jié)2020-02-279大數(shù)據(jù)的的4V特征“大量化化(Volume)、多樣化化(Variety)、快速化化(Velocity)、價(jià)值密密度低（Value）”就是是“大數(shù)數(shù)據(jù)”的的顯著特特征，或或者說(shuō)，只有具具備這些些特點(diǎn)的的數(shù)據(jù)，才是大大數(shù)據(jù)。VolumeVelocityValueVariety2020-02-2710大數(shù)據(jù)的的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)

8、據(jù)+復(fù)雜類型型的數(shù)據(jù)據(jù)海量交易易數(shù)據(jù)：企業(yè)內(nèi)部部的經(jīng)營(yíng)營(yíng)交易信信息主要要包括聯(lián)聯(lián)機(jī)交易易數(shù)據(jù)和和聯(lián)機(jī)分分析數(shù)據(jù)據(jù)，是結(jié)結(jié)構(gòu)化的的、通過(guò)過(guò)關(guān)系數(shù)數(shù)據(jù)庫(kù)進(jìn)進(jìn)行管理理和訪問(wèn)問(wèn)的靜態(tài)態(tài)、歷史史數(shù)據(jù)。通過(guò)這這些數(shù)據(jù)據(jù)，我們們能了解解過(guò)去發(fā)發(fā)生了什什么。大數(shù)據(jù)包包括：交易數(shù)據(jù)據(jù)和交互互數(shù)據(jù)集集在內(nèi)的的所有數(shù)數(shù)據(jù)集海量交互互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來(lái)來(lái)源的社社交媒體體數(shù)據(jù)構(gòu)構(gòu)成。它它包括了了呼叫詳詳細(xì)記錄錄CDR、設(shè)備和和傳感器器信息、GPS和地理定定位映射射數(shù)據(jù)、通過(guò)管管理文件件傳輸ManageFileTransfer協(xié)議傳送送的海量量圖像文文件、Web文本和點(diǎn)點(diǎn)

9、擊流數(shù)數(shù)據(jù)、科科學(xué)信息息、電子子郵件等等等?？煽梢愿嬖V訴我們未未來(lái)會(huì)發(fā)發(fā)生什么么。海量數(shù)據(jù)據(jù)處理：大數(shù)據(jù)的的涌現(xiàn)已已經(jīng)催生生出了設(shè)設(shè)計(jì)用于于數(shù)據(jù)密密集型處處理的架架構(gòu)。例例如具有有開(kāi)放源源碼、在在商品硬硬件群中中運(yùn)行的的ApacheHadoop。2020-02-2711分析技術(shù)術(shù)：數(shù)據(jù)處理理：自然然語(yǔ)言處處理技術(shù)術(shù)統(tǒng)計(jì)和分分析：A/Btest;top N排行榜；地域占占比；文文本情感感分析數(shù)據(jù)挖掘掘：關(guān)聯(lián)聯(lián)規(guī)則分分析；分分類；聚聚類模型預(yù)測(cè)測(cè)：預(yù)測(cè)測(cè)模型；機(jī)器學(xué)學(xué)習(xí)；建建模仿真真大數(shù)據(jù)技技術(shù)：數(shù)據(jù)采集集：ETL工具數(shù)據(jù)存取?。宏P(guān)系系數(shù)據(jù)庫(kù)庫(kù)；NoSQL；SQL等基礎(chǔ)架構(gòu)構(gòu)支持：云存儲(chǔ)儲(chǔ)；分布布

10、式文件件系統(tǒng)等等計(jì)算結(jié)果果展現(xiàn)：云計(jì)算算；標(biāo)簽簽云；關(guān)關(guān)系圖等等一些相關(guān)關(guān)技術(shù)存儲(chǔ)結(jié)構(gòu)化數(shù)數(shù)據(jù)海量數(shù)據(jù)據(jù)的查詢?cè)?、統(tǒng)計(jì)計(jì)、更新新等操作作效率低低非結(jié)構(gòu)化化數(shù)據(jù)圖片、視視頻、word、pdf、ppt等文件存存儲(chǔ)不利于檢檢索、查查詢和存存儲(chǔ)半結(jié)構(gòu)化化數(shù)據(jù)轉(zhuǎn)換為結(jié)結(jié)構(gòu)化存存儲(chǔ)按照非結(jié)結(jié)構(gòu)化存存儲(chǔ)解決方案案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘2020-02-27122020-02-2713大數(shù)據(jù)的的市場(chǎng)潛潛力利用GPS數(shù)據(jù)了解解交通狀狀況智能電表表應(yīng)用級(jí)級(jí)家庭能能源監(jiān)測(cè)測(cè)2012年3月29日奧巴馬馬政府公

11、公布了”大數(shù)據(jù)研研發(fā)計(jì)劃劃”。該計(jì)劃劃的目標(biāo)標(biāo)是改進(jìn)進(jìn)現(xiàn)有人人們從海海量和復(fù)復(fù)雜的數(shù)數(shù)據(jù)中獲獲取知識(shí)識(shí)的能力力，從而而加速美美國(guó)在科科學(xué)與工工程領(lǐng)域域發(fā)明的的步伐，增強(qiáng)國(guó)國(guó)家安全全，轉(zhuǎn)變變現(xiàn)有的的教學(xué)和和學(xué)習(xí)方方式?！按髷?shù)據(jù)據(jù)戰(zhàn)略”上升為為美國(guó)最最高國(guó)策策對(duì)數(shù)據(jù)占占有和控控制，做做為在陸陸權(quán)、海海權(quán)、空空權(quán)之外外的另一一種國(guó)家家核心能能力。大數(shù)據(jù)的浪浪潮谷歌搜索索與流感感預(yù)測(cè)大數(shù)據(jù)與與喬布斯斯的癌癥癥治療微博&投資沃爾瑪?shù)牡钠【婆c與紙尿布布塔吉特預(yù)預(yù)測(cè)少女女懷孕沃爾瑪?shù)暗皳榕c颶颶風(fēng)用品品的關(guān)系系“魔毯”病人的的監(jiān)控智慧城市市&智能化交交通谷歌翻譯譯系統(tǒng)理解大數(shù)數(shù)據(jù)數(shù)據(jù)已經(jīng)經(jīng)成為可可以與物物質(zhì)資

12、產(chǎn)產(chǎn)和人力力資本相相提并論論的重要要的生產(chǎn)產(chǎn)要素麥肯錫大數(shù)據(jù):下一個(gè)創(chuàng)創(chuàng)新、競(jìng)競(jìng)爭(zhēng)和生生產(chǎn)力的的前沿二、國(guó)內(nèi)內(nèi)外大數(shù)數(shù)據(jù)分析析的研究究現(xiàn)狀流感趨勢(shì)勢(shì)預(yù)測(cè)2020-02-27172020-02-2718全球每星星期會(huì)有有數(shù)以百百萬(wàn)計(jì)的的用戶在在網(wǎng)上搜搜索健康康信息。正如您您所預(yù)料料的那樣樣，在流流感季節(jié)節(jié)，與流流感有關(guān)關(guān)的搜索索會(huì)明顯顯增多；到了過(guò)過(guò)敏季節(jié)節(jié)，與過(guò)過(guò)敏有關(guān)關(guān)的搜索索會(huì)顯著著上升；而到了了夏季，與曬傷傷有關(guān)的的搜索又又會(huì)大幅幅增加。某些搜索索字詞非非常有助助于了解解流感疫疫情。Google流感趨勢(shì)勢(shì)會(huì)根據(jù)據(jù)匯總的的Google搜索數(shù)據(jù)據(jù)，近乎乎實(shí)時(shí)地地對(duì)全球球當(dāng)前的的流感疫疫情進(jìn)行

13、行估測(cè)。搜索流感感相關(guān)主主題的人人數(shù)與實(shí)實(shí)際患有有流感癥癥狀的人人數(shù)之間間存在著著密切的的關(guān)系。當(dāng)然，并非每每個(gè)搜索索“流感感”的人人都真的的患有流流感，但但將與流流感有關(guān)關(guān)的搜索索查詢匯匯總到一一起時(shí)，便可以以找到一一種模式式。將統(tǒng)統(tǒng)計(jì)的查查詢數(shù)量量與傳統(tǒng)統(tǒng)流感監(jiān)監(jiān)測(cè)系統(tǒng)統(tǒng)的數(shù)據(jù)據(jù)進(jìn)行了了對(duì)比，結(jié)果發(fā)發(fā)現(xiàn)許多多搜索查查詢?cè)诹髁鞲屑竟?jié)節(jié)確實(shí)會(huì)會(huì)明顯增增多。通通過(guò)對(duì)這這些搜索索查詢的的出現(xiàn)次次數(shù)進(jìn)行行統(tǒng)計(jì)，便可以以估測(cè)出出世界上上不同國(guó)國(guó)家和地地區(qū)的流流感傳播播情況。Detectinginfluenza epidemicsusingsearchengine query data,Nature45

14、7, 1012-1014(19February2009)2020-02-2719上圖顯示示了根據(jù)據(jù)歷史查查詢所得得的美國(guó)國(guó)近幾年年的流感感估測(cè)結(jié)結(jié)果，以以及這些些結(jié)果與與官方的的流感監(jiān)監(jiān)測(cè)數(shù)據(jù)據(jù)的對(duì)比比。從圖圖中可以以看出，根據(jù)與與流感相相關(guān)的Google 搜索索查詢所所得到的的估測(cè)結(jié)結(jié)果，與與以往的的流感疫疫情指示示線非常常接近。當(dāng)然，過(guò)去的的表現(xiàn)并并不能保保證以后后的結(jié)果果一定準(zhǔn)準(zhǔn)確。2020-02-27202020-02-27212020-02-2722卡耐基梅梅隆大學(xué)學(xué)的JiweiLi和和康乃爾爾大學(xué)的的 ClaireCardie，成功利利用Twitter 預(yù)測(cè)測(cè)了早期期流感爆爆發(fā)。他

15、們的方方式與Google 類似似。首先先，從Twitter數(shù)數(shù)據(jù)流中中過(guò)濾包包含與“流感”相關(guān)，并帶有有位置標(biāo)標(biāo)簽的tweet；然后，在地圖圖上標(biāo)注注這些tweet的的位置置分布，以及隨隨時(shí)間產(chǎn)產(chǎn)生的變變化。同同時(shí)，還還制作了了流感的的動(dòng)態(tài)變變化模型型。新模模型中，流感包包括4 個(gè)階階段：無(wú)無(wú)傳染階階段、爆爆發(fā)階段段、穩(wěn)定定階段以以及衰退退階段。此外，采采用了全全新的算算法，試試圖盡可可能快得得發(fā)現(xiàn)不不同時(shí)期期的轉(zhuǎn)換換節(jié)點(diǎn)。實(shí)際上上，Li 和Cardie 在2008年年 6月月至2010年年 6月月間，已經(jīng)利利用100萬(wàn)萬(wàn)美國(guó)國(guó)人的360 萬(wàn)條條 tweet ，驗(yàn)驗(yàn)證了該該方法的的有效性性。為

16、為了檢驗(yàn)驗(yàn)他們的的預(yù)測(cè)是是否成真真，Li 和Cardie 將他他們的分分析與CDC 進(jìn)行行對(duì)比。他們說(shuō)說(shuō)，“我我們確信信，流感感相關(guān)tweet與與CDC提提供的的流感疾疾病案例例數(shù)目，呈顯著著相關(guān)。 ”2020-02-27232020-02-2724日本國(guó)內(nèi)內(nèi)有一個(gè)個(gè)網(wǎng)站，你只要要打開(kāi)這這個(gè)網(wǎng)站站用自己己的Twitter賬號(hào)登錄錄，就可可以在短短時(shí)間內(nèi)內(nèi)通過(guò)數(shù)數(shù)萬(wàn)條Twitter找出可能能感冒的的人，并并通過(guò)過(guò)過(guò)去的感感冒情況況和今日日的感冒冒情況進(jìn)進(jìn)行分析析（以及及統(tǒng)計(jì)目目前發(fā)燒燒以及嗓嗓子痛的的患者數(shù)數(shù)量），另外該該程序還還會(huì)結(jié)合合氣溫和和濕度的的變化來(lái)來(lái)預(yù)測(cè)將將來(lái)感感冒的流流行情況況，并

17、制制作一個(gè)個(gè)“易感感冒日歷歷”。目目前，此此類服務(wù)務(wù)正在日日本陸續(xù)續(xù)展開(kāi)。通過(guò)這這個(gè)服務(wù)務(wù)器的分分析，大大家就能能夠知道道在自己己身邊到到底有多多少人有有感冒的的癥狀，并提前前做好預(yù)預(yù)防準(zhǔn)備備。日本國(guó)立立感染癥癥研究所所將會(huì)把把全國(guó)約約5000個(gè)醫(yī)療診診所的流流感患者者進(jìn)行統(tǒng)統(tǒng)計(jì)并發(fā)發(fā)布數(shù)據(jù)據(jù)。經(jīng)過(guò)過(guò)對(duì)比，研究所所得出的的實(shí)際統(tǒng)統(tǒng)計(jì)數(shù)字字和網(wǎng)站站上預(yù)測(cè)測(cè)的結(jié)果果基本是是一致的的，那么么為什么么大數(shù)據(jù)據(jù)的結(jié)果果會(huì)很準(zhǔn)準(zhǔn)呢？首先是因因?yàn)橥ㄟ^(guò)過(guò)網(wǎng)絡(luò)信信息分析析的技術(shù)術(shù)有所進(jìn)進(jìn)步，已已經(jīng)可以以通過(guò)各各種各樣樣的留言言自動(dòng)搜搜索到相相關(guān)的數(shù)數(shù)據(jù)，并并自動(dòng)分分類。就就像Google現(xiàn)在所使使用的技技術(shù)，就

18、就是利用用服務(wù)器器分析與與流感關(guān)關(guān)系十分分密切的的十幾個(gè)個(gè)單詞進(jìn)進(jìn)行統(tǒng)計(jì)計(jì)。另一個(gè)就就是大數(shù)數(shù)據(jù)所特特有的功功能。在在流感最最嚴(yán)重的的時(shí)候，每天會(huì)會(huì)有成千千上萬(wàn)條條Tweets發(fā)布，即即便有一一些誤差差，但通通過(guò)數(shù)據(jù)據(jù)分析也也能分析析出數(shù)據(jù)據(jù)的精準(zhǔn)準(zhǔn)度。以往，公公共機(jī)構(gòu)構(gòu)在發(fā)布布流感情情報(bào)的時(shí)時(shí)候至少少要延遲遲一周，在有些些偏遠(yuǎn)地地區(qū)的立立桿信息息也并不不確切，而現(xiàn)在在，通過(guò)過(guò)網(wǎng)絡(luò)能能夠有效效彌補(bǔ)這這些缺憾憾。2020-02-27252020-02-2726淘寶的數(shù)數(shù)據(jù)化運(yùn)營(yíng)實(shí)例分析分析流程程1.分析主題題確定及及數(shù)據(jù)指指標(biāo)的選選擇；2.數(shù)據(jù)倉(cāng)庫(kù)庫(kù)數(shù)據(jù)提提取及清清洗；3.不相關(guān)指指標(biāo)剔除除；4

19、.用訓(xùn)練數(shù)數(shù)據(jù)建立立模型；5.用測(cè)試數(shù)數(shù)據(jù)檢驗(yàn)驗(yàn)?zāi)Ｐ停?.預(yù)測(cè)新的的流失用用戶，并并提取用用戶名單單；7.制訂挽留留策略：對(duì)圈定定的客戶戶進(jìn)一步步進(jìn)行分分群，然然后逐群群制訂有針對(duì)對(duì)的挽留留策略。比如有有的群組組是屬于于夜間通通話多（和總體的均均值相比比）的客客戶，那那么針對(duì)對(duì)他們的的挽留策策略可能能是推薦一些些夜間通通話優(yōu)惠惠的資費(fèi)費(fèi)方案。8.實(shí)施挽留留行動(dòng)、收集客客戶反饋饋。9.評(píng)估挽留留效果：2020-02-2727三、構(gòu)建建大數(shù)據(jù)據(jù)分析平平臺(tái)四、公共共安全領(lǐng)領(lǐng)域大數(shù)數(shù)據(jù)應(yīng)用用案例面向公共共安全領(lǐng)領(lǐng)域的大大數(shù)據(jù)分分析技術(shù)術(shù)平臺(tái)數(shù)據(jù)挖掘掘Data Miner多維分析析BIBeans查詢Di

20、scoverer數(shù)據(jù)倉(cāng)庫(kù)庫(kù)管理(OEM)數(shù)據(jù)提取取WarehouseBuilder應(yīng)用服務(wù)務(wù)器ApplicationServer/PortalDataBase人口數(shù)據(jù)外部數(shù)據(jù)犯罪數(shù)據(jù)報(bào)表ReportsData MiningOLAP數(shù)據(jù)轉(zhuǎn)換換中央數(shù)據(jù)據(jù)倉(cāng)庫(kù)知識(shí)發(fā)現(xiàn)現(xiàn)信息展現(xiàn)現(xiàn)應(yīng)用系統(tǒng)統(tǒng)源數(shù)據(jù)數(shù)據(jù)獲取數(shù)據(jù)管理數(shù)據(jù)使用2020-02-2730刑偵的犯犯罪預(yù)防防搜集犯罪罪的信息息推斷罪犯犯的習(xí)慣慣預(yù)測(cè)罪案案的發(fā)生生非法出入入境判別別海關(guān)走私私模式的的分析緊急事件件的處理理人員的緊緊急疏散散資源的緊緊急調(diào)配配緊急狀態(tài)態(tài)的安全全管理緊急事件件發(fā)生的的預(yù)演交通管理理公共安全全領(lǐng)域基基于大數(shù)數(shù)據(jù)的智智能分析析

21、2020-02-2731信息的來(lái)來(lái)源銀行交易易歷史資料料庫(kù)/知識(shí)庫(kù)庫(kù)公共信息息政府?dāng)?shù)據(jù)據(jù)庫(kù)Internet截獲/監(jiān)監(jiān)聽(tīng)情報(bào)報(bào)通信情報(bào)報(bào)人工情報(bào)報(bào)2020-02-2732問(wèn)題的關(guān)關(guān)鍵大量的信信息(有有關(guān)/無(wú)無(wú)關(guān))是是分析的的基礎(chǔ)，也是分分析的障障礙事件的信信息往往往是隨機(jī)機(jī)獲得不確定的的因素影影響分析析的結(jié)果果分析的速速度是關(guān)關(guān)鍵2020-02-2733飛速膨脹脹的信息息多種學(xué)科科的邊緣緣結(jié)合有限的記記憶和注注意范圍圍長(zhǎng)時(shí)間持持續(xù)的分分析工作作嚴(yán)重依賴賴分析人人員的經(jīng)經(jīng)驗(yàn)如何用計(jì)計(jì)算機(jī)系系統(tǒng)支持持復(fù)雜海海量的分分析過(guò)程程 ?限制他們承擔(dān)擔(dān)了大部部分負(fù)擔(dān)擔(dān)依靠分析析人員2020-02-2734限制

22、分析人員員的沉重重負(fù)擔(dān)依靠分析析人員2020-02-2735當(dāng)前的分分析需求求從不同的的來(lái)源有有效的集集成知識(shí)識(shí)和信息息連續(xù)的知知識(shí)積累累提供自動(dòng)動(dòng)的警告告為分析人人員的查查詢提供供答案構(gòu)造不同同的案件件情節(jié)假假設(shè)2020-02-2736定性,定定量分分析時(shí)間& 頻率率分析Databases經(jīng)驗(yàn)自由文本本統(tǒng)一的知知識(shí)系統(tǒng)統(tǒng)從不同信信息來(lái)源源和格式式獲取數(shù)數(shù)據(jù)2020-02-2737基本信息息 組織 個(gè)人人工情報(bào)報(bào)事件數(shù)據(jù)庫(kù)銀行交易易其它數(shù)據(jù)源政府?dāng)?shù)據(jù)據(jù)庫(kù)通信情報(bào)報(bào)監(jiān)聽(tīng) 反饋 人工情報(bào)報(bào) 詢問(wèn) 檢查 模擬 聯(lián)結(jié)事件生成成 Events:Meeting (What, Who, Where, Whe

23、n, Frequency)Travel (Who, How, Where, When, Length)Phone call (Who, When, Length, Content, Frequency)Delivery (Who, When, How, Size, What, Frequent, Payment)Other (What, Who, When, Where)Crime (What, When, Where, Who, How)2020-02-2738典型應(yīng)用用 1刑事罪案案自動(dòng)分分析2020-02-2739參與分析析的數(shù)據(jù)據(jù)罪犯 犯罪罪技巧(爆炸炸-爆炸炸物制作作,殺殺人方式式,

24、動(dòng)動(dòng)機(jī)等等等),屬屬于特特定團(tuán)伙伙和團(tuán)伙伙中的角角色(計(jì)劃者者,輔輔助者, 領(lǐng)導(dǎo)導(dǎo)者,執(zhí)執(zhí)行者者/馬仔仔等等),戶戶籍地/暫住地地,入入獄歷史史團(tuán)伙 成員員,角角色潛在目標(biāo)標(biāo) 人群群/公共共機(jī)構(gòu)/商業(yè)機(jī)機(jī)構(gòu),他他們的的位置知識(shí)和經(jīng)經(jīng)驗(yàn) 這些些因素如如何相互互作用包包括外在在的影響響和經(jīng)驗(yàn)驗(yàn) (過(guò)過(guò)去發(fā)生生的事件件)新的信息息會(huì)源源源不斷2020-02-2740模擬案例例- 西西西里,巴巴勒莫莫,4/4/03:“Corradi拘捕了DonMarcello”(公共信息息)理解信息息Corradi是巴勒莫莫警方的的的首席席偵探DonMarcello是Marcello家族的教教父Marcello家族具

25、有有很強(qiáng)的的報(bào)復(fù)性性巴勒莫警警方很可可能遭到到報(bào)復(fù)文本信息息的理解解外部數(shù)據(jù)據(jù)訪問(wèn)外部數(shù)據(jù)據(jù)訪問(wèn)Data Mining/先驗(yàn)知識(shí)識(shí)推理,警警報(bào)2020-02-2741新的信息息理解信息息Bob是Marcello家族的成成員Bob是家族中中的計(jì)劃劃者和談?wù)勁写肀鞰arcello家族的勢(shì)勢(shì)力只限限于巴勒勒莫談判代表表到外面面的地區(qū)區(qū)尋找家家族內(nèi)沒(méi)沒(méi)有的炸炸彈專家家炸彈制造造和使用用是Marcello家族沒(méi)有有的技術(shù)術(shù),Parsi地區(qū)的黑黑手黨家家族有這這樣的專專家Per是Parsi地區(qū)的黑黑手黨炸炸彈專家家同時(shí)間服服刑的罪罪犯經(jīng)常常會(huì)一起起合作犯犯案Per和Bob有同時(shí)間間服刑的的歷史Marce

26、llo家族有可可能以炸炸彈攻擊擊的方式式報(bào)復(fù)DonMarcello的被拘捕捕Bob有可能計(jì)計(jì)劃用炸炸彈攻擊擊巴勒莫莫警方巴勒莫, 4/4/03:“Corradi拘捕了DonMarcello”(公共信息息)巴勒莫, 5/5/03:“Bob在Parsi出現(xiàn)”(警方通通報(bào))文本信息的理解外部數(shù)據(jù)訪問(wèn)外部數(shù)據(jù)訪問(wèn)外部數(shù)據(jù)訪問(wèn)Data Mining / 先驗(yàn)知識(shí)外部數(shù)據(jù)訪問(wèn)外部數(shù)據(jù)訪問(wèn)Data Mining / 先驗(yàn)知識(shí)Data Mining / 先驗(yàn)知識(shí)推理, 警報(bào)外部數(shù)據(jù)訪問(wèn)2020-02-2742新的信息息巴勒莫, 4/4/03:“Corradi拘捕了DonMarcello”(公共信息息)巴勒莫,

27、 5/5/03:“Bob在Parsi出現(xiàn)”(警方通通報(bào))羅馬,5/5/03 :“Fabrizzi將會(huì)29號(hào)在巴巴勒莫法法庭宣判判DonMarcello(公共信息息)巴勒莫, 7/5/03:“這個(gè)月巴巴勒莫會(huì)會(huì)發(fā)生一一些事情情”(警方情情報(bào)) 有可能報(bào)報(bào)復(fù)巴勒勒莫警方方 可可能是是一起炸炸彈攻擊擊有可能針針對(duì)Fabrizzi法官 可能能的攻擊擊手段, 謀殺殺或是炸炸彈攻擊擊基于時(shí)間的相關(guān)分析(所有的分析都是與時(shí)間高度相關(guān)的)2020-02-2743新的信息息如果我們們拘捕Per?炸彈攻擊擊的威脅脅會(huì)降低低,但但是不會(huì)會(huì)消失Marcello家族的談?wù)勁写肀磉€知道道其他的的炸彈專專家,等等等如果我

28、們們同時(shí)拘拘捕Per和Bob?推理, 假設(shè)分析推理, 假設(shè)分析2020-02-2744巴勒莫, 4/4/03:“Corradi拘捕了DonMarcello”(公共信息息)巴勒莫, 5/5/03:“Bob在Parsi出現(xiàn)”(警方通通報(bào))羅馬,5/5/03 :“Fabrizzi將會(huì)29號(hào)在巴巴勒莫法法庭宣判判DonMarcello(公共信息息)巴勒莫, 7/5/03:“這個(gè)月巴巴勒莫會(huì)會(huì)發(fā)生一一些事情情”(警方情情報(bào))本月有事事情(突發(fā)事件件)在巴勒莫莫發(fā)生Fabrizzi將在29日宣判判DonMarcelloBob 出現(xiàn)在 Parsi密切注意相關(guān)人員的接觸炸彈有可能在制造中(假設(shè)事件與 Marcello 家族有關(guān) - 警告會(huì)在三個(gè)月內(nèi)有效)可能的報(bào)復(fù)Don Marcello被囚禁Don Marcello被拘捕