大數(shù)據(jù)時(shí)代技術(shù)與應(yīng)用

大數(shù)據(jù)時(shí)代：技術(shù)與應(yīng)用楊華博士/副教授中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院E-mail：大數(shù)據(jù)營(yíng)銷《紙牌屋》是“大數(shù)據(jù)”時(shí)代下的產(chǎn)物，其制作公司Netflix公司通過對(duì)3000萬付費(fèi)用戶的收視習(xí)慣、劇情評(píng)論、演員喜好等數(shù)據(jù)精準(zhǔn)分析定制內(nèi)容，將全部13集內(nèi)容一次全部推出而大獲成功?，F(xiàn)代海洋科技淺藍(lán)

深藍(lán)

透明海洋ToomuchVolume(Ihavetoomuchdata)ToomuchVelocity(It’scomingatmetoofast)ToomuchVariety(It’scomingatmefromtoomanyplacesintoomanyformats)Whatis“BigData”數(shù)據(jù)爆炸：互聯(lián)網(wǎng)催生大量數(shù)據(jù)“COPYRIGHTRESERVED”，“一鍵分享”1995年，Windows95，MB2004，Google上市，GB2014，大數(shù)據(jù)，TB，PB大數(shù)據(jù)分分析字節(jié)(B)、千字節(jié)節(jié)(KB)、兆字節(jié)節(jié)(MB)、吉字節(jié)節(jié)(GB)、太字節(jié)節(jié)(TB)、拍字節(jié)節(jié)(PB)、艾字節(jié)節(jié)(EB)、澤它字字節(jié)(ZB，又稱皆皆字節(jié))、堯它字字節(jié)(YB)表示、千千億億億億字節(jié)(BB)封面故事事：利用海量數(shù)據(jù)據(jù)的最新新策略研究人員員怎樣才才能應(yīng)對(duì)對(duì)現(xiàn)代方方法所產(chǎn)生的大量數(shù)數(shù)據(jù)流？大數(shù)據(jù)分分析不是隨機(jī)機(jī)樣本，，而是全全體數(shù)據(jù)據(jù)不是精確確性，而而是混雜雜性不是因果果關(guān)系，，而是相相關(guān)關(guān)系系大數(shù)據(jù)分分析1.AnalyticVisualizations（可視化化分析））2.DataMiningAlgorithms（數(shù)據(jù)挖挖掘算法法）3.PredictiveAnalyticCapabilities（預(yù)測(cè)性性分析能能力）4.SemanticEngines（語義引引擎）5.DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)質(zhì)量和數(shù)數(shù)據(jù)管理理）大數(shù)據(jù)分分析可視化：：NASA公布全球球洋流圖圖語義搜索索引擎數(shù)據(jù)挖掘掘案例分析析：電子子商務(wù)領(lǐng)領(lǐng)域大數(shù)據(jù)之用戶行為分析析數(shù)據(jù)挖掘掘：機(jī)器器學(xué)習(xí)算算法學(xué)習(xí)方式式1、監(jiān)督式式；2、非監(jiān)督督式；3、半監(jiān)督督式；4、強(qiáng)化；；算法類似似性1、回歸算算法；2、基于實(shí)實(shí)例的算算法；3、正則化化方法；；4、決策樹樹學(xué)習(xí)；；5、貝葉斯斯方法；；6、基于核核的算法法；7、聚類算算法；8、關(guān)聯(lián)規(guī)規(guī)則學(xué)習(xí)習(xí)；9、人工神神經(jīng)網(wǎng)絡(luò)絡(luò)數(shù)據(jù)挖掘掘：機(jī)器器學(xué)習(xí)算算法輸入數(shù)據(jù)據(jù)，被稱作作“訓(xùn)練練數(shù)據(jù)””，并進(jìn)進(jìn)行標(biāo)識(shí)識(shí)。在建模時(shí)時(shí)，將預(yù)測(cè)測(cè)結(jié)果和和實(shí)際結(jié)結(jié)果進(jìn)行行比較，，不斷調(diào)調(diào)整，直直到預(yù)期期的準(zhǔn)確確率。應(yīng)用：分類、、回歸算法：邏輯回回歸、反反向傳遞遞神經(jīng)網(wǎng)網(wǎng)絡(luò)等監(jiān)督式學(xué)學(xué)習(xí)非監(jiān)督式式學(xué)習(xí)數(shù)據(jù)不被標(biāo)識(shí)識(shí)，學(xué)習(xí)習(xí)模型是是為了推推斷出數(shù)數(shù)據(jù)的內(nèi)內(nèi)部結(jié)構(gòu)構(gòu)。應(yīng)用場(chǎng)景景：企業(yè)數(shù)數(shù)據(jù)，如如關(guān)聯(lián)規(guī)規(guī)則學(xué)習(xí)習(xí)、聚類類半監(jiān)督學(xué)學(xué)習(xí)數(shù)據(jù)部分被標(biāo)標(biāo)識(shí)，部部分不被被標(biāo)識(shí)。。模型先學(xué)習(xí)數(shù)數(shù)據(jù)的內(nèi)內(nèi)部結(jié)構(gòu)構(gòu)，再用用于預(yù)測(cè)測(cè)應(yīng)用場(chǎng)景景：圖像識(shí)識(shí)別，回回歸和分分類算法：對(duì)標(biāo)識(shí)識(shí)數(shù)據(jù)進(jìn)進(jìn)行建模模，然后后對(duì)未標(biāo)標(biāo)識(shí)數(shù)據(jù)據(jù)進(jìn)行預(yù)預(yù)測(cè)。強(qiáng)化學(xué)習(xí)習(xí)數(shù)據(jù)：直接作為為模型的的反饋模型：必須對(duì)數(shù)數(shù)據(jù)做出出直接反反應(yīng)應(yīng)用場(chǎng)景：動(dòng)態(tài)系統(tǒng)統(tǒng)和機(jī)器器人控制制機(jī)器學(xué)習(xí)習(xí)算法學(xué)習(xí)方式式1、監(jiān)督式式；2、非監(jiān)督督式；3、半監(jiān)督督式；4、強(qiáng)化；；算法類似似性1、回歸算算法；2、基于實(shí)實(shí)例的算算法；3、正則化化方法；4、決策樹樹學(xué)習(xí)；5、貝葉斯斯方法；6、基于核核的算法法；7、聚類算算法；8、關(guān)聯(lián)規(guī)規(guī)則學(xué)習(xí)習(xí)；9、人工神神經(jīng)網(wǎng)絡(luò)絡(luò)回歸分析析RegressionAnalysis物理意義義：試圖采用用對(duì)誤差差的衡量量來描述變變量之間間的相關(guān)關(guān)關(guān)系步驟?確定定變量?建立預(yù)測(cè)測(cè)模型?進(jìn)行相關(guān)關(guān)分析?計(jì)算預(yù)測(cè)測(cè)誤差?確定預(yù)測(cè)測(cè)值回歸分析析RegressionAnalysisSIM手機(jī)的用用戶滿意意度與相相關(guān)變量量的線性性回歸分分析因變量：：“用戶滿滿意度””自變量：：“質(zhì)量””、“形形象”和和“價(jià)格””回歸方程程：用戶滿意意度=0.008××形象+0.645××質(zhì)量+0.221××價(jià)格指標(biāo)顯著性水平意義

R20.89

“質(zhì)量”和“形象”解釋了89%的“用戶滿意度”的變化程度F248.530.001回歸方程的線性關(guān)系顯著T（形象）0.001.000“形象”變量對(duì)回歸方程幾乎沒有貢獻(xiàn)T（質(zhì)量）13.930.001“質(zhì)量”對(duì)回歸方程有很大貢獻(xiàn)T（價(jià)格）5.000.001“價(jià)格”對(duì)回歸方程有很大貢獻(xiàn)回歸分析析RegressionAnalysis指標(biāo)顯著性水平意義

R0.89

“質(zhì)量”和“形象”解釋了89%的“用戶滿意度”的變化程度F374.690.001回歸方程的線性關(guān)系顯著T（質(zhì)量）15.150.001“質(zhì)量”對(duì)回歸方程有很大貢獻(xiàn)T（價(jià)格）5.060.001“價(jià)格”對(duì)回歸方程有很大貢獻(xiàn)SIM手機(jī)的用用戶滿意意度與相相關(guān)變量量的線性性回歸分分析因變量：：“用戶滿滿意度””自變量：：“質(zhì)量””、“形象””和“價(jià)格””回歸方程程：用戶滿意度度=0.008×形象+0.645×質(zhì)量+0.221×價(jià)格決策樹DecisionTree決策樹DecisionTreeEMV（建建大廠）=(0.4)*($100,000)+(0.6)*(-$90,000)=-$14,000EMV（中型廠））=(0.4)*($60,000))+(0.6)*(-$10,000)=+$18,000EMV（建小廠）=(0.4)*($40,000)+(0.6)*(-$5,000)=+$13,000EMV（不建廠））=$0如果建一個(gè)大廠且市場(chǎng)較好好就可實(shí)現(xiàn)現(xiàn)$100，000的利潤(rùn)。。如果市場(chǎng)場(chǎng)不好則會(huì)會(huì)導(dǎo)致$90，000的損失失。但是，如果市場(chǎng)場(chǎng)較好，建建中型廠將會(huì)獲得$60,000，，小型廠將會(huì)獲得$40，000，市市場(chǎng)不好則則建中型廠廠將會(huì)損失失$10,000，，小型廠將將會(huì)損失$5，000。當(dāng)然，還有一個(gè)個(gè)選擇就是是什么也不干干。最近的市市場(chǎng)研究表表明市場(chǎng)好好的概率是是0.4，，也就是說說市場(chǎng)不好好的概率是是0.6。。決策樹DecisionTree根據(jù)EMV標(biāo)準(zhǔn)公司應(yīng)該建一個(gè)個(gè)中型廠復(fù)雜網(wǎng)絡(luò)ComplexNetworksAspatialcomplexdynamicalnetworkwithtime-varying(switching)topology復(fù)雜網(wǎng)絡(luò)ComplexNetworksConsensusCorrectconsensus(Truelearning)ControlManipulationMisinformation復(fù)雜網(wǎng)絡(luò)ComplexNetworksPOWEROFBIGDATAOFTHEDATAWisdomofcrowdsBYTHEDATAWhatuneedtochangeFORTHEDATAQualitymattersmost工商數(shù)據(jù)分分析應(yīng)用案案例簡(jiǎn)介活躍度分析析包括資本本活躍度CRI（CapitalRelativeindex）和主體數(shù)數(shù)量活躍度度QRI（QuantityRelativeindex）。活躍度指數(shù)數(shù)是衡量市市場(chǎng)環(huán)境的的體檢表，，也是實(shí)體體經(jīng)濟(jì)的晴晴雨表，是是一項(xiàng)重要要的經(jīng)濟(jì)先先行指標(biāo)。?；钴S度指指數(shù)與企業(yè)業(yè)生存環(huán)境境和市場(chǎng)投投資環(huán)境密密切相關(guān)，，在市場(chǎng)環(huán)環(huán)境轉(zhuǎn)好時(shí)時(shí)，投資踴踴躍，資本本活躍度指指數(shù)升高；；反之，指指數(shù)下降，，表示投資資人不愿向向經(jīng)濟(jì)體注注入資金，，反映市場(chǎng)場(chǎng)環(huán)境趨于于惡化。案例一市場(chǎng)主體活活躍度模型型分析案例—市場(chǎng)主體活活躍度模型型活躍度指數(shù)數(shù)與很多市市場(chǎng)經(jīng)濟(jì)指指標(biāo)有相當(dāng)當(dāng)密切的關(guān)關(guān)系。CRI與財(cái)政收入入呈現(xiàn)明顯顯的相關(guān)關(guān)關(guān)系。CRI與存款準(zhǔn)備備金率、CPI等也有明顯顯相關(guān)關(guān)系系。案例一市場(chǎng)主體活活躍度模型型案例分享—企業(yè)生命周周期企業(yè)生命周期是是反映某一一國(guó)家或地地區(qū)中市場(chǎng)場(chǎng)環(huán)境優(yōu)劣劣的重要指指標(biāo)，一般般來講，長(zhǎng)長(zhǎng)壽企業(yè)對(duì)對(duì)于區(qū)域市市場(chǎng)經(jīng)濟(jì)秩秩序的穩(wěn)定定有一定積積極作用，，相對(duì)的非非長(zhǎng)壽企業(yè)業(yè)對(duì)經(jīng)濟(jì)秩秩序的平穩(wěn)穩(wěn)有相應(yīng)的的負(fù)面影響響。對(duì)不同同維度中的的企業(yè)分析析其生命周周期，可以以客觀反映映區(qū)域細(xì)分分市場(chǎng)的經(jīng)經(jīng)濟(jì)秩序，，從而協(xié)助助決策者準(zhǔn)準(zhǔn)確把握影影響區(qū)域市市場(chǎng)經(jīng)濟(jì)秩秩序的主要要因素。案例二市場(chǎng)主體退退出路徑案例分享—企業(yè)生命周周期常規(guī)統(tǒng)計(jì)一般趨勢(shì)分析生存規(guī)律挖掘基于規(guī)律的知識(shí)發(fā)現(xiàn)企業(yè)生命周周期的分析析層次基于工商登登記數(shù)據(jù)分分析企業(yè)生生命周期，，一般有兩兩種常見的的分析層次次：常規(guī)統(tǒng)統(tǒng)計(jì)、一般般趨勢(shì)分析析。通過對(duì)數(shù)數(shù)據(jù)的深度度分析，還還可以挖掘掘出區(qū)域企企業(yè)的生存存規(guī)律，并并可以根據(jù)據(jù)生存規(guī)律律進(jìn)一步總總結(jié)出直觀觀的，可用用于實(shí)際監(jiān)監(jiān)管工作的的“知識(shí)””。善于發(fā)現(xiàn)數(shù)數(shù)據(jù)背后的的規(guī)律與價(jià)價(jià)值案例二市場(chǎng)主體退退出路徑43Chapter#7案例分享—企業(yè)生命周周期常規(guī)統(tǒng)計(jì)一般趨勢(shì)分分析案例二市場(chǎng)主體退退出路徑Chapter#7案例分享—企業(yè)生命周周期生存規(guī)律挖挖掘基于規(guī)律的知識(shí)發(fā)現(xiàn)死亡高風(fēng)險(xiǎn)險(xiǎn)時(shí)間段---政府監(jiān)管介介入的最佳佳時(shí)機(jī)案例二市場(chǎng)主體退退出路徑不同產(chǎn)業(yè)，，不同區(qū)域域，不同規(guī)規(guī)模市場(chǎng)主主體存活率率的研究有有助于判別別市場(chǎng)生態(tài)態(tài)環(huán)境發(fā)生生了哪些變變化。產(chǎn)業(yè)業(yè)生命周期期模型對(duì)于于政府產(chǎn)業(yè)業(yè)扶持政策策的出臺(tái)也也有著較強(qiáng)強(qiáng)的參考意意義。案例二市場(chǎng)主體退退出路徑用2000-2007年的數(shù)據(jù)預(yù)預(yù)測(cè)2001-2007年成立企業(yè)業(yè)在2008年末的存活活數(shù)。預(yù)測(cè)2001-2007年成立企業(yè)業(yè)在2008年末的存活活總數(shù)為363322，實(shí)際存活活個(gè)數(shù)為364927，誤差為-0.44%。開業(yè)年開業(yè)數(shù)存活率預(yù)測(cè)存活個(gè)數(shù)實(shí)際存活個(gè)數(shù)誤差個(gè)數(shù)誤差200170,5060.419129,55028,8097412.57%200274,1110.462734,29333,5937002.08%200385,3060.510043,50842,6418672.03%200499,4850.569556,66055,4131,2472.25%200596,3560.643461,99763,941-1,944-3.04%200681,6980.749361,21563,288-2,073-3.28%200785,3530.891676,09877,242-1,144-1.48%案例二市場(chǎng)主體退退出路徑預(yù)預(yù)測(cè)驗(yàn)驗(yàn)證“偏好”（Preference）一詞源自自經(jīng)濟(jì)學(xué)術(shù)術(shù)語，反映映用戶對(duì)某某種物品或或勞務(wù)的喜喜愛或不喜喜愛程度，，這種喜愛愛或不喜愛愛與物品或或勞務(wù)的價(jià)價(jià)格及用戶戶收入無關(guān)關(guān)。偏好模模型主要用用于分析不不同類型群群體之間的的結(jié)構(gòu)差異異。投資偏好等等于1時(shí)，表明沒沒有顯著差差異。當(dāng)投投資偏好>>1時(shí)，表明該該群體有著著顯著的比比較優(yōu)勢(shì)。。案例三區(qū)域產(chǎn)業(yè)偏偏好分析模模型案例五波士頓矩陣陣分析洞察察產(chǎn)業(yè)變遷遷A類（優(yōu)勢(shì)行行業(yè)）B類（支柱行行業(yè)）C類（潛力行行業(yè)）D類（弱勢(shì)行行業(yè)）：案例五波士頓矩陣陣分析洞察察產(chǎn)業(yè)變遷遷北京市2008、2009年重點(diǎn)行業(yè)業(yè)產(chǎn)業(yè)遷移移情況。如，2009年租賃和商商務(wù)服務(wù)業(yè)業(yè)優(yōu)勢(shì)地位位近一步增增強(qiáng)；科學(xué)研究、、技術(shù)服務(wù)務(wù)行業(yè)由支支柱行業(yè)向向優(yōu)勢(shì)行業(yè)業(yè)轉(zhuǎn)化；制造業(yè)則逐逐步從支柱柱行業(yè)向弱弱勢(shì)行業(yè)轉(zhuǎn)轉(zhuǎn)化。案例五智波士頓矩矩陣分析洞洞察產(chǎn)業(yè)變變遷案例五智波士頓矩矩陣分析洞洞察產(chǎn)業(yè)變變遷利潤(rùn)率%可視化案例例GISofBeijingAdministrationforIndustryandCommerce地理分析系系統(tǒng)-市場(chǎng)主體密密度分析—使分析更加加直觀化根據(jù)市場(chǎng)主主體GIS信息進(jìn)行密密度分析。。疊加其他他面數(shù)據(jù)信信息，可直直觀看出主主體的區(qū)域域分布熱點(diǎn)點(diǎn)。密度分析：：根據(jù)輸入入的點(diǎn)要素素的分布，，計(jì)算整個(gè)個(gè)區(qū)域的數(shù)數(shù)據(jù)分布情情況，從而而生成一個(gè)個(gè)連續(xù)的表表面。GISforSAICGISofBeijingAdministrationforIndustryandCommerce地理分析系系統(tǒng)-市場(chǎng)主體密密度分析—使分析更加加直觀化GISforSAICGISofBeijingAdministrationforIndustryandCommerce地理分析系系統(tǒng)-市場(chǎng)主體密密度分析—使分析更加加直觀化GISforSAICGISofBeijingAdministrationforIndustryandCommerce市場(chǎng)主體密密度分析—疊加網(wǎng)格數(shù)數(shù)據(jù)，點(diǎn)數(shù)數(shù)據(jù)GISforSAICGISofBeijingAdministrationforIndustry