大數(shù)據(jù)技術(shù)概述課件

大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)概述

大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)平臺功能規(guī)劃

大數(shù)據(jù)核心技術(shù)——DataMing目錄

案例展示 大數(shù)據(jù)概述 大數(shù)據(jù)平臺架構(gòu) 數(shù)據(jù)平臺功能規(guī)劃 大數(shù)據(jù)核心技大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)技術(shù)概述課件大數(shù)據(jù)時代的背景QQ、facebook社交網(wǎng)絡Googlebaidu淘寶、ebuy電子商務超級TV微信、微博、Apps移動互聯(lián)游戲21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景QQ、facebook社交網(wǎng)絡Google淘大數(shù)據(jù)的產(chǎn)生大數(shù)據(jù)的產(chǎn)生大數(shù)據(jù)的4V特征體量Volume多樣性Variety價值密度低Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的4V特征體量Volume多樣性Variety價值密度大數(shù)據(jù)要解決的問題

Volume海量的數(shù)據(jù)規(guī)模Variety多樣的數(shù)據(jù)類型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的數(shù)據(jù)流轉(zhuǎn)巨大的數(shù)據(jù)價值大數(shù)據(jù)要解決的問題VolumeVarietyStreams大數(shù)據(jù)技術(shù)：統(tǒng)計分析：A/Btest;topN排行榜；地域占比等數(shù)據(jù)挖掘：聚類；分類；關(guān)聯(lián)規(guī)則；預測模型機器學習：神經(jīng)網(wǎng)絡，支持向量機；文本挖掘：自然語言處理技術(shù)，文本情感分析解決方案：數(shù)據(jù)采集：日志、爬蟲；ETL工具，kettle等數(shù)據(jù)存儲：HDFS,HBASE,Hive,MongoDB等數(shù)據(jù)讀?。篠QL；NoSQL等數(shù)據(jù)計算：并行計算：MapReduce技術(shù)流計算：twitter的storm等內(nèi)存計算：Spark等結(jié)果展現(xiàn)：標簽云；關(guān)系圖等基礎架構(gòu)支持：分布式文件系統(tǒng)等（云存儲）相關(guān)技術(shù)與解決方案數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘大數(shù)據(jù)技術(shù)：相關(guān)技術(shù)與解決方案數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分大數(shù)據(jù)應用搜索引擎推薦引擎輿情系統(tǒng)社交網(wǎng)絡知識管理……大數(shù)據(jù)應用搜索引擎大數(shù)據(jù)與云計算云計算的模式是業(yè)務模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當前云計算更偏重海量存儲和計算，以及提供的云服務，運行云應用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預測性分析，為國家、企業(yè)、個人提供決策和服務，是大數(shù)據(jù)核心議題，也是云計算的最終方向。大數(shù)據(jù)與云計算云計算的模式是業(yè)務模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)賦予我們洞察未來的能力機遇鬼城？房屋空置率——電力公司馬云成功預測2008年經(jīng)濟危機Mobo的印度危機……“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６?，買家在采購商品前，會比較多家供應商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大,保證用戶行為模型的準確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻之一。——《大數(shù)據(jù)時代》大數(shù)據(jù)賦予我們洞察未來的能力機遇鬼城？房屋空置率——電力公司挑戰(zhàn)諸多領(lǐng)域的問題亟待解決，最重要的是每個人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來，并且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了多少密碼和賬號是因為“社交網(wǎng)絡”流出去的？2011年4月索尼的系統(tǒng)漏洞導致7700萬用戶資料失竊2011年4月，iOS被發(fā)現(xiàn)會按照時間順序記錄用戶的位置坐標信息2011年CSDN密碼泄露事件2013年，斯諾登事件……2000萬開房數(shù)據(jù)……12306數(shù)據(jù)……銀行賬戶信息……挑戰(zhàn)諸多領(lǐng)域的問題亟待解決，最重要的是每個人的信息都被互聯(lián)網(wǎng)心得你是T還是P？數(shù)據(jù)越多越好深度挖掘、精準營銷必須搞大數(shù)據(jù)必須要懂技術(shù)心得你是T還是P？心得你是T還是P？數(shù)據(jù)越多越好深度挖掘、精準營銷必須搞大數(shù)據(jù)必須要懂技術(shù)你是E、Z又怎樣？價值才是王道！中移動的教訓對大數(shù)據(jù)要寬容，容錯性是大數(shù)據(jù)重要特征！準確率與召回率大數(shù)據(jù)不是萬能的，沒有大數(shù)據(jù)也不是萬萬不能的！移動互聯(lián)網(wǎng)最賺錢的是誰？懂點技術(shù)當然更好，但不要迷失在不靠譜的技術(shù)中！知道自己想要什么更重要！心得你是T還是P？你是E、Z又怎樣？

大數(shù)據(jù)概述

大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)平臺功能規(guī)劃

大數(shù)據(jù)核心技術(shù)——DataMing目錄

案例展示 大數(shù)據(jù)概述 大數(shù)據(jù)平臺架構(gòu) 數(shù)據(jù)平臺功能規(guī)劃 大數(shù)據(jù)核心技大數(shù)據(jù)平臺架構(gòu)大數(shù)據(jù)平臺架構(gòu)

大數(shù)據(jù)概述

大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)平臺功能規(guī)劃

大數(shù)據(jù)核心技術(shù)——DataMing目錄

案例展示 大數(shù)據(jù)概述 大數(shù)據(jù)平臺架構(gòu) 數(shù)據(jù)平臺功能規(guī)劃 大數(shù)據(jù)核心技統(tǒng)計指標Userid+激活時間+itemid+item所屬類別（可分多級）Userid+使用時間+itemid+item所屬類別（可分多級）用戶留存分析統(tǒng)計指標用戶留存分析產(chǎn)出統(tǒng)計新、老用戶及所占比例，時間粒度包括年、季、月、周、日。產(chǎn)出用戶留存分析用戶留存分析統(tǒng)計指標Userid+使用時間+itemid+item所屬類別（可分多級:頻道、欄目、頁面、模塊）產(chǎn)出——用戶忠誠度分析模型用戶忠誠度分析統(tǒng)計指標用戶忠誠度分析統(tǒng)計指標Userid+消費時間+消費金額+itemid+item類別產(chǎn)出——用戶價值生命周期用戶價值分析統(tǒng)計指標用戶價值分析統(tǒng)計指標1、Userid+消費時間+消費金額+itemid+item類別2、Userid+使用時間+itemid+item所屬類別產(chǎn)出——用戶質(zhì)量評價模型用戶綜合質(zhì)量評價統(tǒng)計指標用戶綜合質(zhì)量評價

大數(shù)據(jù)概述

大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)平臺功能規(guī)劃

大數(shù)據(jù)核心技術(shù)——DataMing目錄

案例展示 大數(shù)據(jù)概述 大數(shù)據(jù)平臺架構(gòu) 數(shù)據(jù)平臺功能規(guī)劃 大數(shù)據(jù)核心技數(shù)據(jù)挖掘時代背景信息匱乏時代信息過載時代數(shù)據(jù)挖掘時代背景信息匱乏時代信息過載時代什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中抽取出潛在的、不為人知的有用信息、模式和趨勢——JiaweiHan(UniversityofIllinoisatUrbana-Champaign

)數(shù)據(jù)挖掘不同的術(shù)語和定義：datamining,knowledgediscovery,patterndiscovery什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中抽取出潛在的、不為人數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)清理：消除噪音或不一致數(shù)據(jù)數(shù)據(jù)集成：多種數(shù)據(jù)源可以組合在一起數(shù)據(jù)選擇：從數(shù)據(jù)庫中提取與分析任務相關(guān)的數(shù)據(jù)數(shù)據(jù)變換：數(shù)據(jù)變換或統(tǒng)一成適合挖掘的形式數(shù)據(jù)挖掘：基本步驟，使用智能方法提取數(shù)據(jù)模式模式評估：根據(jù)某種興趣度度量，識別提供知識的真正有用的模式知識表示：使用可視化和知識表示技術(shù)，向用戶提供挖掘的知識數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)清理：消除噪音或不一致數(shù)據(jù)數(shù)據(jù)挖掘涉及的技術(shù)

數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計學機器學習人工智能信息科學可視化技術(shù)其他技術(shù)數(shù)據(jù)挖掘涉及的技術(shù)

數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計學機器學習人工智能數(shù)據(jù)挖掘的功能類型關(guān)聯(lián)規(guī)則序列模式聚類挖掘分類挖掘預測挖掘孤立點挖掘文本挖掘網(wǎng)絡挖掘……數(shù)據(jù)挖掘的功能類型關(guān)聯(lián)規(guī)則預測挖掘關(guān)聯(lián)規(guī)則（Association）反映一個事件和其他事件之間依賴或關(guān)聯(lián)的知識如果兩項或多項屬性之間存在關(guān)聯(lián)，那么其中一項的屬性值就可以依據(jù)其他屬性值進行預測可以用關(guān)聯(lián)規(guī)則的形式表示規(guī)則形式：“A

?B[support,confidence]”.應用：業(yè)務相關(guān)性分析交叉銷售貨架擺放位置頁面結(jié)構(gòu)設計等關(guān)聯(lián)規(guī)則（Association）反映一個事件和其他事件之間挖掘順序發(fā)生的事件中的模式給定序列數(shù)據(jù)庫和最小支持度閾值，序列模式挖掘就是要找出序列數(shù)據(jù)庫中所有的序列模式序列模式挖掘挖掘順序發(fā)生的事件中的模式序列模式挖掘序列模式挖掘

應用：用戶訪問模式預測用戶移動模式挖掘用戶點擊流分析DNA序列分析自然災害預測疾病病癥預測……序列模式挖掘

應用：聚類（Clustering）最大化類內(nèi)的相似性、最小化類間相似性的原則進行聚類或者分組，使得在一個類中的對象具有很高的相似性，而與其他類中的對象很不相似簇（Cluster）:一個數(shù)據(jù)對象的集合在同一個類中，對象之間具有相似性不同類的對象之間是相異的聚類分析：把一個給定的數(shù)據(jù)對象集合分成不同的簇特點：一種無監(jiān)督分類法，沒有預先指定的類別聚類（Clustering）最大化類內(nèi)的相似性、最小化類間相Page35聚類挖掘的應用用戶細分與市場營銷:幫助市場人員發(fā)現(xiàn)客戶中的不同群體，然后用這些知識來開展一個目標明確的市場計劃；土地使用:在一個陸地觀察數(shù)據(jù)庫中標識那些土地使用相似的地區(qū)；保險:對購買了汽車保險的客戶，標識那些有較高平均賠償成本的客戶；城市規(guī)劃:根據(jù)類型、價格、地理位置等來劃分不同類型的住宅Page35聚類挖掘的應用用戶細分與市場營銷:幫助市場人員Page36聚類算法Page36聚類算法大數(shù)據(jù)技術(shù)概述課件分類(classification)找出描述或識別數(shù)據(jù)類或概念的模型(或函數(shù))，以便能夠使用模型預測未知對象的類別模型是由訓練數(shù)據(jù)集（即，其類標記已知的數(shù)據(jù)對象）訓練得到分類(classification)找出描述或識別數(shù)據(jù)類或概Page39有監(jiān)督和無監(jiān)督學習無監(jiān)督學習(聚類)訓練集是沒有類標簽的提供一組屬性，然后尋找出訓練集中存在類別或者聚集有監(jiān)督學習(分類)訓練集是帶有類標簽的新的數(shù)據(jù)是基于訓練集進行分類的Page39有監(jiān)督和無監(jiān)督學習無監(jiān)督學習(聚類)Page40分類的兩個步驟模型創(chuàng)建:對一個類別已經(jīng)確定的訓練集創(chuàng)建模型用于創(chuàng)建模型的數(shù)據(jù)集叫做訓練集每一條記錄都屬于一個確定的類別，使用類標簽屬性記錄類別模型可用分類規(guī)則、決策樹或者神經(jīng)網(wǎng)絡的形式來表達模型使用:用創(chuàng)建的模型預測未來或者類別未知的記錄模型測試模型預測使用創(chuàng)建的模型在一個測試集上進行預測，并將結(jié)果和實際值進行比較測試集和訓練集是獨立的使用靠譜的模型預測未知對象的類Page40分類的兩個步驟模型創(chuàng)建:對一個類別已經(jīng)確定的訓常用分類算法基本算法決策樹貝葉斯KNN組合方法隨機森林Baggingadaboost高級算法神經(jīng)網(wǎng)絡支持向量機……常用分類算法基本算法組合方法高級算法預測回歸預測時間序列預測……預測回歸預測數(shù)據(jù)庫中可能包含一些數(shù)據(jù)對象，它們與數(shù)據(jù)的一般行為或模型很不一致，這些對象稱作孤立點孤立點包括很多潛在的知識，如分類中的反常實例、不滿足規(guī)則的特例、觀測結(jié)果與模型預測值的偏差、量值隨時間的變化等孤立點（Outlier）挖掘

數(shù)據(jù)庫中可能包含一些數(shù)據(jù)對象，它們與數(shù)據(jù)的一般行為或模型很不大數(shù)據(jù)技術(shù)概述課件搜索引擎輿情系統(tǒng)文本推薦微博新聞線索發(fā)現(xiàn)用戶評論分析……文本挖掘搜索引擎文本挖掘Page46微博傳播話單網(wǎng)絡郵件網(wǎng)絡用戶關(guān)系網(wǎng)絡用戶搜索網(wǎng)絡用戶興趣網(wǎng)絡用戶路徑云圖……網(wǎng)絡挖掘Page46微博傳播網(wǎng)絡挖掘大數(shù)據(jù)技術(shù)概述課件

大數(shù)據(jù)概述

大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)平臺功能規(guī)劃

大數(shù)據(jù)核心技術(shù)——DataMing目錄

案例展示 大數(shù)據(jù)概述 大數(shù)據(jù)平臺架構(gòu) 數(shù)據(jù)平臺功能規(guī)劃 大數(shù)據(jù)核心技用戶行為路徑用戶搜索網(wǎng)絡……用戶行為路徑

大數(shù)據(jù)概述

大數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)平臺功能規(guī)劃

大數(shù)據(jù)核心技術(shù)——DataMing目錄

案例展示 大數(shù)據(jù)概述 大數(shù)據(jù)平臺架構(gòu) 數(shù)據(jù)平臺功能規(guī)劃 大數(shù)據(jù)核心技大數(shù)據(jù)賦予我們洞察未來的能力機遇鬼城？房屋空置率——電力公司馬云成功預測2008年經(jīng)濟危機Mobo的印度危機……“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑