數(shù)據(jù)與大數(shù)據(jù)分析ppt課件

.,.,Contents,我們可以做些什么,實操分享,大數(shù)據(jù)，你從哪來,你是誰,.,中國網(wǎng)民數(shù)量：7.51億半年增長率：2.7%,中國注冊網(wǎng)站數(shù)量：344.3萬個,手機網(wǎng)民：7.236億占網(wǎng)民總數(shù)：96.3%,月均網(wǎng)絡交易：16億筆,每日新發(fā)微博數(shù)量：1億+條,注冊微博用戶數(shù)：2.9071億,發(fā)布的網(wǎng)頁數(shù)量：866億頁年增速：40%,網(wǎng)絡直播用戶：3.43億占網(wǎng)民總數(shù)：47.1%,.,很多人還沒搞清楚什么是PC互聯(lián)網(wǎng)，移動互聯(lián)來了；我們還沒搞清楚移動互聯(lián)的時候，大數(shù)據(jù)時代又來了！馬云,.,數(shù)據(jù)爆炸式的增長,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),需要更高性價比的數(shù)據(jù)計算與儲存方式,需要不同的數(shù)據(jù)管理策略,01,你從哪里來？,.,數(shù)據(jù)爆炸式的增長,.,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),數(shù)據(jù)資產(chǎn),數(shù)據(jù)資產(chǎn)管理,傳統(tǒng)數(shù)據(jù)管理方式面臨挑戰(zhàn),.,需要更高性價比的數(shù)據(jù)計算與儲存方式,計算更快存儲更省,10萬GB,10萬TB,1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,.,需要不同的數(shù)據(jù)管理策略,15%結構化的DB/DW,殘缺,當我們想要擴充時，才發(fā)覺：架構只能scale-up，scale-out不易處理時間過長，time-to-value受限成本過高，cost-efficiency受限,.,概念（Concept）特征（Features）變革（Change）技術（Technology）,數(shù)據(jù)庫（database）,大數(shù)據(jù)（bigdata）,你是什么？,02,.,大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來的新石油”。,全球信息咨詢機構國際數(shù)據(jù)公司（IDC）對大數(shù)據(jù)的技術定義是：通過高速捕捉、發(fā)現(xiàn)或分析，從大容量數(shù)據(jù)中獲取價值的一種新的技術架構。,所謂“大數(shù)據(jù)”(bigdata)指的是這樣一種現(xiàn)象：一個公司日常運營所生成和積累用戶行為數(shù)據(jù)“增長如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難存在于數(shù)據(jù)的獲取、存儲、搜索、共享、分析和可視化等方面?！边@些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們所熟知的多少G和多少T為單位來衡量，而是以P(1000個T)，E(一百萬個T)或Z(10億個T)為計量單位，所以稱之為大數(shù)據(jù)。,概念,.,數(shù)據(jù)類型多越來越多非結構化數(shù)據(jù)；音頻、食品，地理位置信息等多類型數(shù)據(jù)對數(shù)據(jù)處理能力提出更高要求。,數(shù)據(jù)價值高海量數(shù)據(jù)帶來了巨大的商業(yè)價值。數(shù)據(jù)之間關聯(lián)性支持深層的數(shù)據(jù)挖掘。,大數(shù)據(jù)的特點-4V理論,數(shù)據(jù)處理速度快對數(shù)據(jù)實時處理有著極高的要求，通過傳統(tǒng)數(shù)據(jù)庫查詢方式得到的“當前結果”很可能已經(jīng)沒有價值。,數(shù)據(jù)規(guī)模大從TB躍升到PB甚至EB。一組公式：1024GB=1TB;1024TB=1PB;1024PB=1EB。,.,。,大數(shù)據(jù)改變生活,.,IBMC&PIndustry,需求海量數(shù)據(jù)存儲技術實時數(shù)據(jù)處理技術數(shù)據(jù)高速傳輸技術搜索技術,描述分布式文件系統(tǒng)流計算引擎服務器/存儲間高速通信文本檢索、智能搜索、實時搜索,技術Hadoop，x86/MPPMapReduceStreamingDataInfiniBandEnterpriseSearch,數(shù)據(jù)分析技術,大數(shù)據(jù)涉及的關鍵技術,TextAnalyticsEngine自然語言處理、文本情感分析、VisualDataModeling機器學習、聚類關聯(lián)、數(shù)據(jù)模型,.,顧客一次購買商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚、雞5雞蛋、面包、黃油6鮭魚、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,顧客一次購買商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚、雞5雞蛋、面包、黃油6鮭魚、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,.,概念（Concept）分類（Features）流程（Technologicalprocess）,03,我們可以做些什么？,.,大數(shù)據(jù)時代的核心價值數(shù)據(jù)分析,什么是數(shù)據(jù)分析,.,數(shù)據(jù)分析有哪些類型,初級數(shù)據(jù)分析,高級數(shù)據(jù)分析,.,數(shù)據(jù)分析的一般環(huán)節(jié),.,04,關于數(shù)據(jù)分析的分享與交流,理論模型統(tǒng)計方法可視化,.,數(shù)據(jù)分析方法論,.,4P（productpriceplacepromotion）,.,5W2H,.,KANO模型,對顧客的不同需求進行分區(qū)處理，幫助團隊識別對產(chǎn)品來說較為關鍵的客戶需求層次，盡快完成規(guī)劃。,興奮型需求,期望型需求,基本型需求,.,數(shù)據(jù)分析統(tǒng)計方法,聚類分析,01,回歸分析,02,時間序列分析,03,因子分析和主成分分析,04,數(shù)據(jù)分析軟件MATLABSASSpssStataEviewsExcel,.,可視化方法,ECHARTS,EASELY,PPT,附：1、ECHARTS,.,THEEND,.,用戶行為理論,用戶行為理論的用途較單一，就是用于用戶行為研究分析用戶使用行為：認知-熟悉-試用-使用-忠誠利用用戶行為理論，梳理網(wǎng)站分析的各關鍵指標之間的邏輯關系，構建符合公司實際業(yè)務的網(wǎng)站分析指標體系：,.,ADDYOURTITLEHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,數(shù)據(jù)分析統(tǒng)計方法,01,02,04,03,聚類分析,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,數(shù)據(jù)分析統(tǒng)計方法聚類分析回歸分析因子分析和主成分分析時間序列分析,數(shù)據(jù)分析軟件MATLABSASSpssStataEviewsExcel,.,1.績效指標必須是具體的（Specific）2.績效指標必須是可以衡量的（Measurable）3.績效指標必須是可以達到的（Attainable）4.績效指標是要與其他目標具有一定的相關性(Relevant)5.績效指標必須具有明確的截止期限（Time-bound）無論是制定團隊的工作目標還是員工的績效目標都必須符合上述原則，五個原則缺一不可,.,ADDYOURTITLEHERE,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,03,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),.,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),.,.,.,軟件是大數(shù)據(jù)的引擎,和數(shù)據(jù)中心（DataCenter）一樣，軟件是大數(shù)據(jù)的驅動力.軟件改變世界!,.,中央政府對大數(shù)據(jù)的重視程度,.,零售業(yè),制造業(yè),信息產(chǎn)業(yè),移動通信,金融證券,數(shù)據(jù)量大,挖掘潛力大,數(shù)據(jù)意識強,IT基礎好,這些產(chǎn)業(yè)在大數(shù)據(jù)分析應用方面具有如下優(yōu)勢：,數(shù)據(jù)化讓產(chǎn)業(yè)績效大幅提升,電子商務,醫(yī)療服務,.,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.01,Thisisanexampletext.Goaheadandreplaceit.02,Thisisanexampletext.Goaheadandreplaceit.03,Thisisanexampletext.Goaheadandreplaceit.04,80%,47%,57%,67%,.,數(shù)據(jù)分析的一般環(huán)節(jié),.,數(shù)據(jù)分析的一般環(huán)節(jié),AADDYOURTEXEHERE,BADDYOURTEXEHERE,CADDYOURTEXEHERE,EADDYOURTEXEHERE,DADDYOURTEXEHERE,.,.,.,在項目投資分析之外，數(shù)據(jù)分析的價值在企業(yè)經(jīng)營管理上起到更加舉足輕重的作用。各種量化的模型、量化分析方法的應用，使數(shù)據(jù)下面隱藏的規(guī)律得以展現(xiàn)，讓企業(yè)在運營管理上、市場營銷上、客戶服務體驗上，越來越精細化，讓企業(yè)在激烈的競爭中取勝！,.,數(shù)據(jù)分析的營銷價值-預測消費行為,數(shù)據(jù)分析的營銷價值-優(yōu)化營銷策略,數(shù)據(jù)分析的營銷價值-消費者描述,數(shù)據(jù)分析的營銷價值-個性化營銷,數(shù)據(jù)分析的營銷價值-廣告精準投放,通過分析以下幾個方面的關聯(lián)性，為消費者推薦具體的產(chǎn)品和內(nèi)容：產(chǎn)品本身的關聯(lián)性客戶消費習慣的關聯(lián)性客戶喜好的關聯(lián)性客戶品牌的關聯(lián)性產(chǎn)品價格和價值的關聯(lián)性客戶習性的一致性等等,.,01,什么是大數(shù)據(jù),.,數(shù)據(jù)挖掘,1.從數(shù)據(jù)中提取出隱含的過去未知的有價值的潛在信息2.從大量數(shù)據(jù)或者數(shù)據(jù)庫中提取有用信息的科學,典型事例：購物籃分析顧客一次購買商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚、雞5雞蛋、面包、黃油6鮭魚、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,.,SocialMedia,Machine/Sensor,DOC/Media,WebClickstream,Apps,CallLog,Log,什么是數(shù)據(jù)？,半結構化/非結構化數(shù)據(jù),.,何為大？數(shù)據(jù)度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,什么是大數(shù)據(jù)？,.,數(shù)據(jù)分析的流程,.,ADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,02,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,60%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,80%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,50%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,19%Thisisanexampletext.Goaheadandreplaceit.,43%Thisisanexampletext.Goaheadandreplaceit.,25%Thisisanexampletext.Goaheadandreplaceit.,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexamplet