基于大數(shù)據(jù)的統(tǒng)計(jì)分析方法和工具

1、2目錄背景統(tǒng)計(jì)分析方法和技術(shù)原理 主流工具案例總結(jié)3 結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù) 傳統(tǒng)數(shù)據(jù)分析與大數(shù)據(jù)分析 NoSQL的特點(diǎn)背景4背景結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)：行數(shù)據(jù)，存儲(chǔ)在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)：不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等。5背景傳統(tǒng)數(shù)據(jù)分析與大數(shù)據(jù)分析傳統(tǒng)數(shù)據(jù)分析大數(shù)據(jù)分析關(guān)聯(lián)性重量銷量形狀大小適合喝茶or咖啡？適合男生or女生？適合送禮？6背景NoSQL的特點(diǎn)NoSQL數(shù)據(jù)庫的主要特點(diǎn)：lNoSQL具有靈活的數(shù)據(jù)模型lNoSQL容易實(shí)現(xiàn)可伸縮性

2、（向上擴(kuò)展與水平擴(kuò)展）l動(dòng)態(tài)模式7目錄概論統(tǒng)計(jì)分析方法和技術(shù)原理 主流工具案例總結(jié)8基于NoSQL的統(tǒng)計(jì)分析方法和技術(shù)原理l基于NoSQL的數(shù)據(jù)管理l傳統(tǒng)關(guān)系型數(shù)據(jù)庫向大數(shù)據(jù)處理方式的轉(zhuǎn)移統(tǒng)計(jì)分析方法和技術(shù)原理 9統(tǒng)計(jì)分析方法和技術(shù)原理 基于NoSQL的數(shù)據(jù)管理10統(tǒng)計(jì)分析方法和技術(shù)原理 傳統(tǒng)關(guān)系型數(shù)據(jù)庫向大數(shù)據(jù)處理方式的轉(zhuǎn)移l 數(shù)據(jù)遷移工作： Apache Sqoopl 訪問接口改造： Pig Latinl 半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)l 數(shù)據(jù)統(tǒng)計(jì)分析方式改造：HadoopMAP REDUCE11目錄概論統(tǒng)計(jì)分析方法和技術(shù)原理 主流工具案例總結(jié)12 目前，大數(shù)據(jù)分析工具在金融服務(wù)、零售、醫(yī)療衛(wèi)

3、生/生命科學(xué)、執(zhí)法、電信、能源與公共事業(yè)、數(shù)字媒體/精準(zhǔn)營銷、交通運(yùn)輸?shù)刃袠I(yè)都有著廣泛的應(yīng)用。但縱觀國內(nèi)企業(yè)，不論是國企還是民企，真正在業(yè)務(wù)決策中以數(shù)據(jù)分析結(jié)果為依據(jù)的，主要還是集中在銀行，保險(xiǎn)，電信和電商等幾個(gè)行業(yè)。主流大數(shù)據(jù)統(tǒng)計(jì)分析工具13成功案例案例1：民生銀行借IBM InfoSphereBigInsights應(yīng)對(duì)金融業(yè)的大數(shù)據(jù)挑戰(zhàn) IBM InfoSphereBigInsights大數(shù)據(jù)解決方案和企業(yè)級(jí)NoSQL數(shù)據(jù)庫SequoiaDB合作，為民生銀行搭建低成本、高性能、高可靠且水平擴(kuò)張的數(shù)據(jù)平臺(tái)，幫助民生銀行通過大數(shù)據(jù)分析應(yīng)對(duì)金融業(yè)的大數(shù)據(jù)挑戰(zhàn)，完善交易流水查詢分析系統(tǒng)，產(chǎn)業(yè)鏈金融

4、管理系統(tǒng)，以及私人銀行產(chǎn)品貨架管理系統(tǒng)。 主流大數(shù)據(jù)統(tǒng)計(jì)分析工具14成功案例案例2：華為FusionInsight：招行數(shù)據(jù)生產(chǎn)力的“挖掘機(jī)” 招商銀行部署華為FusionInsight之后，構(gòu)建起基于云計(jì)算平臺(tái)的大數(shù)據(jù)應(yīng)用和分析平臺(tái)，實(shí)現(xiàn)7年內(nèi)海量交易歷史明細(xì)信息的實(shí)時(shí)查詢、實(shí)時(shí)征信、實(shí)時(shí)事件營銷，以及針對(duì)準(zhǔn)確客戶群的精準(zhǔn)營銷。信用卡征信時(shí)間將由2周左右降到10分鐘以內(nèi)。根據(jù)招商銀行某重要分行客戶為樣本測算，招商銀行只要發(fā)送原來數(shù)量19.6%的短信，就可以覆蓋95%最終購買的客戶。主流大數(shù)據(jù)統(tǒng)計(jì)分析工具15成功案例案例3：用友UAP成功案例大大提高波司登競爭力 波司登基于用友UAP統(tǒng)一應(yīng)用平

5、臺(tái)的ERP系統(tǒng)，打通從客戶下訂單到生產(chǎn)、倉儲(chǔ)、發(fā)運(yùn)、財(cái)務(wù)等環(huán)節(jié)，構(gòu)建企業(yè)的完整的內(nèi)部管理信息系統(tǒng)，提高企業(yè)的內(nèi)部協(xié)同能力，從而提高企業(yè)競爭力。并且將財(cái)務(wù)、銷售、訂單等大集中，訂單數(shù)據(jù)能實(shí)時(shí)統(tǒng)計(jì)到集團(tuán)總部，為采購業(yè)務(wù)提供精確支撐，實(shí)現(xiàn)按訂單采購，保證采購原輔料能夠滿足生產(chǎn)需要，避免大量庫存積壓，也避免缺貨等風(fēng)險(xiǎn)。 主流大數(shù)據(jù)統(tǒng)計(jì)分析工具16成功案例案例4：農(nóng)行攜手曙光構(gòu)建大數(shù)據(jù)系統(tǒng)推動(dòng)業(yè)務(wù)創(chuàng)新 農(nóng)行采用曙光XData大數(shù)據(jù)一體機(jī)系統(tǒng)，滿足系統(tǒng)對(duì)于并發(fā)用戶數(shù)和性能的要求，能夠支撐農(nóng)業(yè)銀行歷史數(shù)據(jù)查詢和分析業(yè)務(wù)，為推動(dòng)農(nóng)行業(yè)務(wù)持續(xù)不斷創(chuàng)新奠定基礎(chǔ)。 主流大數(shù)據(jù)統(tǒng)計(jì)分析工具17成功案例案例5：九次方企

6、業(yè)征信大數(shù)據(jù)平臺(tái)令金融交易更加簡單便攜 九次方企業(yè)征信大數(shù)據(jù)平臺(tái)利用互聯(lián)網(wǎng)大數(shù)據(jù)挖掘技術(shù)采集互聯(lián)網(wǎng)全部與企業(yè)相關(guān)的信用指標(biāo)，比如企業(yè)違法違規(guī)信息、行政處罰信息、客戶投訴信息等等。同時(shí)九次方還聯(lián)合20多個(gè)省市政府，協(xié)助政府搭建當(dāng)?shù)氐钠髽I(yè)征信大數(shù)據(jù)平臺(tái)獲取地方政府的數(shù)據(jù)授權(quán)，通過脫敏處理之后，向銀行、小貸公司、擔(dān)保公司等客戶提供企業(yè)信用分析服務(wù)。 主流大數(shù)據(jù)統(tǒng)計(jì)分析工具18成功案例案例6：王府井百貨與百分點(diǎn)合作搭建王府井大數(shù)據(jù)平臺(tái) 在王府井百貨與百分點(diǎn)合作搭建的王府井大數(shù)據(jù)平臺(tái)將用來分析商品、用戶和業(yè)務(wù)數(shù)據(jù)，以打通用戶和后端運(yùn)營的關(guān)系，構(gòu)建用戶畫像，以及分析商品的全渠道經(jīng)營狀況。其中，百分點(diǎn)幫助王

7、府井針對(duì)線上用戶的瀏覽和購買行為，進(jìn)行數(shù)據(jù)分析，從而形成實(shí)時(shí)的商品個(gè)性化推薦和消息推送。 主流大數(shù)據(jù)統(tǒng)計(jì)分析工具19成功案例案例7：宜信金融云打造大數(shù)據(jù)變現(xiàn)超級(jí)伙伴 宜信旗下的宜人貸，是利用宜信金融云平臺(tái)，其極速模式將對(duì)用戶的授信時(shí)長從原來的十多分鐘壓縮到了一分鐘之內(nèi)，極大提高了用戶體驗(yàn)和放款效率。宜信商通貸是基于宜信金融云推出的面向電商的一個(gè)實(shí)時(shí)授信產(chǎn)品。這種電商貸款模式通過高效整合交易數(shù)據(jù)、第三方數(shù)據(jù)以及社交網(wǎng)絡(luò)行為數(shù)據(jù)，為用戶提供個(gè)性化的融資產(chǎn)品。 主流大數(shù)據(jù)統(tǒng)計(jì)分析工具20目錄概論統(tǒng)計(jì)分析方法和技術(shù)原理 主流工具案例總結(jié)21App AnalyticsGame AnalyticsMobi

8、le Ad TrackingEnterprise游戲運(yùn)營分析移動(dòng)廣告監(jiān)測企業(yè)解決方案移動(dòng)應(yīng)用統(tǒng)計(jì)分析11500+l 應(yīng)用款數(shù)7.5億+l 累計(jì)覆蓋2500萬+l 日活設(shè)備35%覆蓋l Top盈收游戲2.5億+l 玩家覆蓋1000萬+l 日活玩家49家l 網(wǎng)盟對(duì)接40%覆蓋l 行業(yè)廣告主1500萬點(diǎn)擊l 日監(jiān)測點(diǎn)l 兩大一線應(yīng)用市場l 三大運(yùn)營商l 四大銀行大數(shù)據(jù)統(tǒng)計(jì)分析案例TalkingData22計(jì)算需求大數(shù)據(jù)統(tǒng)計(jì)分析案例23大數(shù)據(jù)統(tǒng)計(jì)分析案例u 開發(fā)人員少u 業(yè)務(wù)方向不清晰u 產(chǎn)品需求簡單u 簡單、可用、快速開發(fā)u 批量插入效率一般u 大數(shù)據(jù)量下Schema變化難草根時(shí)代（HelloWor

9、ld）草根時(shí)代24大數(shù)據(jù)統(tǒng)計(jì)分析案例草根時(shí)代（統(tǒng)計(jì)分析系統(tǒng)計(jì)算模型）ucountusumugroup byumulti join udistinct count草根時(shí)代25大數(shù)據(jù)統(tǒng)計(jì)分析案例青銅時(shí)代u基于Hadoop生態(tài)的批處理系統(tǒng)u數(shù)據(jù)庫批量Insert/Update，壓力大u數(shù)據(jù)庫讀壓力小uSchema 更新多青銅時(shí)代26大數(shù)據(jù)統(tǒng)計(jì)分析案例u大數(shù)據(jù)量 Insert/Update/Delete/優(yōu)化，均是messageulazy式操作，自上而下逐步Flush到leaf節(jié)點(diǎn)u天然多版本，無需做undo loguFast insert/ Fast update，延遲小uSchema更改，例如Co

10、lumn增加/刪除/更改青銅時(shí)代青銅時(shí)代27大數(shù)據(jù)統(tǒng)計(jì)分析案例u大數(shù)據(jù)量插入能力，更新能力的確比較突出uInnoDB也不差，和索引、數(shù)據(jù)Layout、操作模式有關(guān)青銅時(shí)代青銅時(shí)代28大數(shù)據(jù)統(tǒng)計(jì)分析案例黃金時(shí)代（行式到列式）u極高的裝載速度（最高可以等于所有硬盤IO的總和，基本是極限了）u適合大量的數(shù)據(jù)而不是小數(shù)據(jù)u高效的壓縮率，不僅節(jié)省儲(chǔ)存空間也節(jié)省計(jì)算內(nèi)存和CPUu非常適合做聚合操作黃金時(shí)代29大數(shù)據(jù)統(tǒng)計(jì)分析案例uInfobrightuInfiniDBuMonetDBuVerticau列存儲(chǔ)uAggressiveCompression（CPU/IO平衡）ushared-nothing,gri

11、d-based（并行查詢）u多備份（高可用性）黃金時(shí)代（行式到列式）黃金時(shí)代30大數(shù)據(jù)統(tǒng)計(jì)分析案例select avg( score ) from example where class =Junior and grade = A group by gender;黃金時(shí)代（行式到列式）黃金時(shí)代31大數(shù)據(jù)統(tǒng)計(jì)分析案例黃金時(shí)代（行式到列式）查詢速度（ms）存儲(chǔ)能力（G）黃金時(shí)代32大數(shù)據(jù)統(tǒng)計(jì)分析案例云端時(shí)代uAerospike/RedisuLevelDB/RocksDBuBitmap服務(wù)，高吞吐、高隨機(jī)查詢下下誰更合適？云端時(shí)代33大數(shù)據(jù)統(tǒng)計(jì)分析案例u列式數(shù)據(jù)庫（count/Group by）uHDFS/Kafka等文件存儲(chǔ)（scan）u搜索引擎（文本隨機(jī)查詢）uRedis/LMDB/R