chap8 大數(shù)據(jù)在電子商務(wù)中的應(yīng)用

大數(shù)據(jù)在電子商務(wù)中的應(yīng)用

第八章DATASTATISTICALANALYSISTOOLANDPLATFORM12345大數(shù)據(jù)時(shí)代的商業(yè)數(shù)據(jù)如何獲得數(shù)據(jù)數(shù)據(jù)統(tǒng)計(jì)分析工具與平臺(tái)數(shù)據(jù)可視化商務(wù)數(shù)據(jù)分析與挖掘BUSINESSDATAINTHEAGEOFBIGDATAHOWTOGETTHEDATADATAANALYSISBUSINESSDATAANALYSISANDMINING主目錄案例8-1數(shù)據(jù)驅(qū)動(dòng)的企業(yè)運(yùn)營(yíng)機(jī)制——酷特云藍(lán)的智能之路閱讀p185頁(yè)案例8-1，思考以下問(wèn)題：搜索百度百科，學(xué)習(xí)工業(yè)4.0內(nèi)容，登錄酷特智能官網(wǎng)對(duì)照學(xué)習(xí)。前沿技術(shù)和最新的客戶(hù)服務(wù)模式共同成長(zhǎng)，酷特采用了什么技術(shù)？酷特是如何解決工業(yè)化的大批大量和智能時(shí)代的個(gè)性化定制這對(duì)矛盾的？應(yīng)用大數(shù)據(jù)庫(kù)是如何實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的？Part

1大數(shù)據(jù)時(shí)代的商業(yè)數(shù)據(jù)BUSINESSDATAINTHEAGEOFBIGDATA8.1.1

大數(shù)據(jù)的概念大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)有四個(gè)層面特點(diǎn)，也可將其歸納為4個(gè)“V”：數(shù)據(jù)體量巨大（Volume）數(shù)據(jù)類(lèi)型繁多（Variety）價(jià)值密度低（Value）處理速度快（Velocity）數(shù)據(jù)類(lèi)型繁多：數(shù)據(jù)庫(kù)中結(jié)構(gòu)性數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)（文本數(shù)據(jù)、圖片、視頻、音頻）、半結(jié)構(gòu)數(shù)據(jù)（XML、JSON數(shù)據(jù)和傳感數(shù)據(jù)）、元數(shù)據(jù)。圖8-1大數(shù)據(jù)的不同類(lèi)型8.1.2

電子商務(wù)中的大數(shù)據(jù)商業(yè)特征圖8-2大數(shù)據(jù)的商業(yè)特征客戶(hù)定位通過(guò)對(duì)客戶(hù)已有購(gòu)買(mǎi)的數(shù)據(jù)的分析，洞察客戶(hù)的購(gòu)物習(xí)慣、興趣愛(ài)好和購(gòu)買(mǎi)意愿，并可以對(duì)客戶(hù)群體進(jìn)行細(xì)分。通過(guò)用戶(hù)畫(huà)像了解用戶(hù)，猜測(cè)用戶(hù)對(duì)產(chǎn)品的需求或者潛在需求。精細(xì)化地定位人群特征，挖掘潛在的用戶(hù)群體，使媒體網(wǎng)站、廣告主、企業(yè)及廣告公司可以充分認(rèn)知群體用戶(hù)的差異化特征。根據(jù)劃分的客戶(hù)群的差異化特征，幫助商家找到營(yíng)銷(xiāo)機(jī)會(huì)、運(yùn)營(yíng)方向。8.1.2

電子商務(wù)中的大數(shù)據(jù)商業(yè)特征圖8-2大數(shù)據(jù)的商業(yè)特征營(yíng)銷(xiāo)策劃精準(zhǔn)的廣告信息的及時(shí)推送信息的個(gè)性化展示物流管理將供應(yīng)鏈領(lǐng)域的銷(xiāo)售網(wǎng)點(diǎn)體系、條形碼掃描設(shè)備、射頻識(shí)別閱讀儀、用于車(chē)輛和手機(jī)的全球定位系統(tǒng)以及用于管理交通、庫(kù)房和其他運(yùn)作的軟件體系等數(shù)據(jù)相關(guān)聯(lián)。從多種渠道獲取大量非結(jié)構(gòu)性數(shù)據(jù)，進(jìn)行研究，提升物流速度和針對(duì)性。8.1.2

電子商務(wù)中的大數(shù)據(jù)商業(yè)特征圖8-2大數(shù)據(jù)的商業(yè)特征流程管理更好地根據(jù)市場(chǎng)需求與企業(yè)要求調(diào)整企業(yè)流程。企業(yè)分析過(guò)程中可以掌握流程在組織、結(jié)構(gòu)及技術(shù)方面存在的不足，明確潛在的改進(jìn)領(lǐng)域。企業(yè)利用數(shù)據(jù)倉(cāng)庫(kù)將業(yè)務(wù)流程設(shè)計(jì)的數(shù)據(jù)逐一聯(lián)系起來(lái)，從而實(shí)現(xiàn)按盡可能低的成本、最快的速度支持業(yè)務(wù)活動(dòng)。8.1.2

電子商務(wù)中的大數(shù)據(jù)商業(yè)特征圖8-2大數(shù)據(jù)的商業(yè)特征風(fēng)險(xiǎn)控制通過(guò)研究客戶(hù)需求在一定程度上降低因市場(chǎng)變化、產(chǎn)品滯銷(xiāo)等原因?qū)е碌鴥r(jià)或不能及時(shí)賣(mài)出產(chǎn)品的影響。及時(shí)發(fā)現(xiàn)市場(chǎng)疲軟、產(chǎn)品產(chǎn)銷(xiāo)不對(duì)路、商品更新?lián)Q代、客戶(hù)偏好變化等影響銷(xiāo)售的因素，從而很好地管控風(fēng)險(xiǎn)。通過(guò)市場(chǎng)數(shù)據(jù)和客戶(hù)數(shù)據(jù)的結(jié)合研究，企業(yè)能夠更好地控制生產(chǎn)投入、控制采購(gòu)、按時(shí)產(chǎn)出，加強(qiáng)保管。Part

2如何獲得數(shù)據(jù)HOWTOGETTHEDATA采集來(lái)源單一存儲(chǔ)、管理和分析數(shù)據(jù)量相對(duì)較小以處理器為中心8.2.1

電子商務(wù)中的大數(shù)據(jù)搜集和處理方法02010304傳統(tǒng)數(shù)據(jù)采集方法的不足大數(shù)據(jù)技術(shù)數(shù)據(jù)采集的方法系統(tǒng)日志采集方法網(wǎng)絡(luò)數(shù)據(jù)采集方法其他數(shù)據(jù)采集方法與企業(yè)或研究機(jī)構(gòu)合作使用特定系統(tǒng)接口等大數(shù)據(jù)的數(shù)據(jù)處理流程從大量的、復(fù)雜的、無(wú)序的數(shù)據(jù)中抽取出有價(jià)值、有意義的數(shù)據(jù)，剔除無(wú)效的、異常的、偶然的“臟數(shù)據(jù)”，提高數(shù)據(jù)的質(zhì)量。8.2.1電子商務(wù)中的大數(shù)據(jù)搜集和處理方法大數(shù)據(jù)的并行處理——MapReduce突出優(yōu)勢(shì)是具有擴(kuò)展性和可用性，特別適用于海量的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的混合處理。MapReduce具有更強(qiáng)的并行處理能力，將傳統(tǒng)的查詢(xún)、分解及數(shù)據(jù)分析進(jìn)行分布式處理，將處理任務(wù)分配到不同的處理結(jié)點(diǎn)，。MapReduce的工作原理是先分后合的數(shù)據(jù)處理方式。MapReduce與傳統(tǒng)的分布式并行計(jì)算環(huán)境MPI區(qū)別：商

務(wù)

環(huán)

節(jié)MapReduceMPI設(shè)計(jì)目的用于互聯(lián)網(wǎng)服務(wù)用于科學(xué)計(jì)算使用廉價(jià)PC多使用專(zhuān)用并行機(jī)耦合度低耦合度高結(jié)點(diǎn)式效率高結(jié)點(diǎn)式效率低有容錯(cuò)機(jī)制無(wú)備份使用方式以架構(gòu)形式提出，系統(tǒng)自動(dòng)選擇計(jì)算結(jié)點(diǎn)，分布處理對(duì)用戶(hù)透明提供結(jié)點(diǎn)間信息溝通的工具，構(gòu)架不固定，計(jì)算結(jié)點(diǎn)由開(kāi)發(fā)者制定對(duì)文件系統(tǒng)的支持支持分布式文件系統(tǒng)，通過(guò)MAP/REDUCEHANSHU實(shí)現(xiàn)分布并行計(jì)算不支持分布文件系統(tǒng)，數(shù)據(jù)庫(kù)中存儲(chǔ)有高級(jí)語(yǔ)言通過(guò)調(diào)用標(biāo)準(zhǔn)函數(shù)傳遞消息實(shí)現(xiàn)并行計(jì)算案例8-2阿里與線(xiàn)下Mall的共榮共進(jìn)——JUMP計(jì)劃閱讀p190頁(yè)案例8-2，思考以下問(wèn)題：阿里為客戶(hù)提供導(dǎo)購(gòu)信息，客戶(hù)的體驗(yàn)和選擇為阿里積累數(shù)據(jù)。杭州商業(yè)街的運(yùn)營(yíng)模式是如何搜集信息的？請(qǐng)用圖表達(dá)出來(lái)。搜索網(wǎng)絡(luò)信息，阿里和杭州商業(yè)街是如何打造O2O運(yùn)營(yíng)模式的？智能技術(shù)和傳感技術(shù)在為客戶(hù)服務(wù)模式中共同運(yùn)用，分析比較一下客戶(hù)的體驗(yàn)和商家的運(yùn)營(yíng)效率。8.2.2客戶(hù)評(píng)價(jià)信息的收集和處理研究發(fā)現(xiàn)，大約70%的消費(fèi)者在購(gòu)買(mǎi)前閱讀產(chǎn)品評(píng)論，近63%的人表示他們更有可能從具有產(chǎn)品評(píng)級(jí)和評(píng)論的網(wǎng)站上購(gòu)買(mǎi)。積極的用戶(hù)評(píng)價(jià)能夠推動(dòng)客戶(hù)獲取，吸引潛在客戶(hù)嘗試商品。用戶(hù)評(píng)價(jià)收集方法：調(diào)查電子郵件表格探索性客戶(hù)訪(fǎng)談網(wǎng)絡(luò)輿情監(jiān)測(cè)等客戶(hù)評(píng)價(jià)信息的處理：判斷哪些客戶(hù)是因?yàn)樾枨筚?gòu)買(mǎi)，哪些客戶(hù)是因?yàn)閺V告購(gòu)買(mǎi)，哪些客戶(hù)是因?yàn)閮r(jià)格購(gòu)買(mǎi)，哪些客戶(hù)是因?yàn)榭诒?gòu)買(mǎi)，以此優(yōu)化營(yíng)銷(xiāo)配置，使之盡可能帶來(lái)高的回報(bào)。8.2.3

大數(shù)據(jù)處理優(yōu)化銷(xiāo)售和營(yíng)銷(xiāo)把數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)和分析直接結(jié)合，通過(guò)相關(guān)的分析技術(shù)和工具，直接挑選出具有商業(yè)價(jià)值的數(shù)據(jù)，之后通過(guò)商務(wù)智能（BI）迅速將其商業(yè)價(jià)值擴(kuò)大化。加強(qiáng)網(wǎng)站安全性的維護(hù)和宣傳，降低消費(fèi)者風(fēng)險(xiǎn)知覺(jué)。精細(xì)化用戶(hù)評(píng)論板塊，提高信息含量，吸引用戶(hù)發(fā)表評(píng)論信息，維護(hù)高信譽(yù)度評(píng)論者的活躍度。提升網(wǎng)絡(luò)購(gòu)物服務(wù)實(shí)體性的短板。挖掘意見(jiàn)領(lǐng)袖網(wǎng)絡(luò)互動(dòng)推動(dòng)力。案例8-3大眾點(diǎn)評(píng)網(wǎng)發(fā)展歷程閱讀p191頁(yè)案例8-3，思考以下問(wèn)題：大眾點(diǎn)評(píng)網(wǎng)和客戶(hù)的互動(dòng)模式是什么？請(qǐng)用圖表達(dá)出來(lái)。搜集大眾點(diǎn)評(píng)網(wǎng)的同類(lèi)型服務(wù)，比較網(wǎng)上評(píng)論和實(shí)際體驗(yàn)的差異。如何在大數(shù)據(jù)框架下，對(duì)大眾點(diǎn)評(píng)網(wǎng)的客戶(hù)評(píng)價(jià)進(jìn)行挖掘？可采用的工具是什么Part

3數(shù)據(jù)統(tǒng)計(jì)分析工具與平臺(tái)DATASTATISTICALANALYSISTOOLANDPLATFORM8.3.1

數(shù)據(jù)分析與挖掘工具Excel數(shù)據(jù)分析數(shù)據(jù)分析概述數(shù)據(jù)分析工具ExcelExcel數(shù)據(jù)透視表功能Excel條件格式Excel函數(shù)Excel畫(huà)圖數(shù)學(xué)及統(tǒng)計(jì)分析微積分線(xiàn)性代數(shù)描述性統(tǒng)計(jì)抽樣估計(jì)假設(shè)檢驗(yàn)方差和相關(guān)分析SPSS數(shù)據(jù)分析SPSS基礎(chǔ)操作T檢驗(yàn)方差分析卡方檢驗(yàn)相關(guān)分析回歸分析神經(jīng)網(wǎng)絡(luò)商業(yè)智能可視化分析Tableau基礎(chǔ)操作實(shí)例分析PowerBI數(shù)據(jù)處理可視化報(bào)表PowerServiceR數(shù)據(jù)分析R基礎(chǔ)知識(shí)R基本語(yǔ)句結(jié)構(gòu)及循環(huán)R數(shù)據(jù)清洗文本對(duì)象處理R畫(huà)圖R數(shù)據(jù)挖掘線(xiàn)性回歸邏輯回歸梯度下降聚類(lèi)關(guān)聯(lián)規(guī)則主成分分析8.3.2

大數(shù)據(jù)分析處理數(shù)據(jù)庫(kù)管理與應(yīng)用數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)MySQL數(shù)據(jù)類(lèi)型操作MySQL數(shù)據(jù)庫(kù)創(chuàng)建、修改、刪除表SQL語(yǔ)句增刪改查Hadoop大數(shù)據(jù)平臺(tái)大數(shù)據(jù)技術(shù)生態(tài)系統(tǒng)概述Linux系統(tǒng)運(yùn)維Hadoop集群部署及應(yīng)用HDFS指令實(shí)踐MapReduse數(shù)據(jù)處理Scala和Spark搭建大數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用Hive原理和應(yīng)用場(chǎng)景HiveQL數(shù)據(jù)查詢(xún)、函數(shù)Hbase表設(shè)計(jì)及數(shù)據(jù)查詢(xún)Python爬蟲(chóng)探索Python基礎(chǔ)知識(shí)語(yǔ)言高級(jí)特性網(wǎng)絡(luò)爬蟲(chóng)技術(shù)Python機(jī)器學(xué)習(xí)Numpy、Pandas和Matplotlib數(shù)據(jù)清洗和集合時(shí)間序列數(shù)據(jù)分析和數(shù)值預(yù)測(cè)型回歸集成學(xué)習(xí)、KNN、聚類(lèi)算法實(shí)現(xiàn)Part

4數(shù)據(jù)可視化DATAANALYSIS8.4.1

大數(shù)據(jù)分析及可視化工具在大數(shù)據(jù)時(shí)代，數(shù)據(jù)可視化工具必須具有以下特性：實(shí)時(shí)性簡(jiǎn)單操作更豐富的展現(xiàn)多種數(shù)據(jù)集成支持方式工具內(nèi)容Excel快速分析數(shù)據(jù)的理想工具，也能創(chuàng)建供內(nèi)部使用的數(shù)據(jù)圖，但是Excel在顏色、線(xiàn)條和樣式上可選擇的范圍有限，這也意味著用Excel很難制作出能符合專(zhuān)業(yè)出版物和網(wǎng)站需要的數(shù)據(jù)圖RR語(yǔ)言是主要用于統(tǒng)計(jì)分析、繪圖的語(yǔ)言和操作環(huán)境。雖然R主要用于統(tǒng)計(jì)分析或者開(kāi)發(fā)統(tǒng)計(jì)相關(guān)的軟件，但也能用作矩陣計(jì)算。其分析速度可比美GNUOctave甚至商業(yè)軟件MATLABProcessing提出假設(shè)，然后進(jìn)行測(cè)試，觀察假設(shè)是否成立，可以證明假設(shè)的正確或者錯(cuò)誤PolyMaps是一個(gè)地圖庫(kù)，主要面向數(shù)據(jù)可視化用戶(hù)。PolyMaps在地圖風(fēng)格化方面有獨(dú)到之處，類(lèi)似CSS樣式表的選擇器Gephi是進(jìn)行社會(huì)圖譜數(shù)據(jù)可視化分析的工具，能處理大規(guī)模數(shù)據(jù)集。Gephi是一個(gè)可視化的網(wǎng)絡(luò)探索平臺(tái)，用于構(gòu)建動(dòng)態(tài)的、分層的數(shù)據(jù)圖表TableauPublic是一款桌面可視化工具，用戶(hù)可以創(chuàng)建自己的數(shù)據(jù)可視化，并將交互性數(shù)據(jù)可視化發(fā)布到網(wǎng)頁(yè)上GeoCommons可以使用戶(hù)構(gòu)建交互可視化應(yīng)用來(lái)解決問(wèn)題，即使他們沒(méi)有任何傳統(tǒng)地圖使用經(jīng)驗(yàn)。可以將社會(huì)化數(shù)據(jù)或者GeoCommons保存的超5萬(wàn)份開(kāi)源數(shù)據(jù)在地圖上可視化，創(chuàng)造帶交互的可視化分析作品，并將作品嵌入網(wǎng)站、博客或分享到社交網(wǎng)絡(luò)上表8-2主要可視化軟件工具8.4.2

電商數(shù)據(jù)可視化030201將指標(biāo)圖形化將指標(biāo)關(guān)系圖形化借助已有的場(chǎng)景來(lái)表現(xiàn)。構(gòu)建場(chǎng)景來(lái)表現(xiàn)。將指標(biāo)值圖形化0103050601010204開(kāi)店階段通過(guò)市場(chǎng)分析掌握類(lèi)目行情走勢(shì)，查看該類(lèi)目下的大數(shù)據(jù)測(cè)款階段關(guān)鍵字實(shí)時(shí)排名和類(lèi)目實(shí)時(shí)排名，及時(shí)了解自己的排名，調(diào)整運(yùn)營(yíng)方式，不斷優(yōu)化排名，提高曝光率通過(guò)查看商品/店鋪排行榜，選出暢銷(xiāo)商品，借助商品/店鋪成長(zhǎng)指數(shù)，快速發(fā)掘潛力寶貝選款階段成熟運(yùn)營(yíng)階段查看全站的整體GMV和銷(xiāo)量走勢(shì)，深度分析全站市場(chǎng)的發(fā)展空間，充分掌握市場(chǎng)變動(dòng)環(huán)境，合理制定最優(yōu)的運(yùn)營(yíng)策略初始運(yùn)營(yíng)階段多維度分析商品，包括：商品銷(xiāo)量，同類(lèi)產(chǎn)品數(shù)，30天坑產(chǎn)，深度分析活動(dòng)商品信息，價(jià)格以及排名等，深挖競(jìng)品sku銷(xiāo)量走勢(shì)，全方位監(jiān)控競(jìng)品爆款階段查看店鋪和商品成交時(shí)段分布，分析SKU成交量占比，深入挖掘流量變化，有利于分時(shí)段出價(jià)推廣8.4.2

電商數(shù)據(jù)可視化實(shí)例01實(shí)例一：多多情報(bào)通（原名多多參謀）。多多情報(bào)通提供給拼多多商家從開(kāi)店、選款、測(cè)款、運(yùn)營(yíng)多個(gè)階段的數(shù)據(jù)功能支持，功能種類(lèi)齊全。圖8-7多多情報(bào)通多維分析8.4.2

電商數(shù)據(jù)可視化實(shí)例02實(shí)例二：iOS手機(jī)及平板分布如圖8-8所示。當(dāng)展示使用不同類(lèi)型的手機(jī)和平板用戶(hù)占比時(shí)，直接用總的蘋(píng)果圖形為背景來(lái)劃分用戶(hù)比例，讓用戶(hù)第一眼就可以直觀地看到這些圖是在描述蘋(píng)果設(shè)備的，直觀而清晰。。圖8-8蘋(píng)果產(chǎn)品比例圖8.4.2

電商數(shù)據(jù)可視化實(shí)例03實(shí)例三：某購(gòu)物網(wǎng)用戶(hù)的網(wǎng)購(gòu)調(diào)查數(shù)據(jù)采用了可視化的設(shè)計(jì)，如圖8-9所示。圖中采用男性和女性的圖形，這樣讓分類(lèi)一目了然。再結(jié)合了顏色可視化（男性為藍(lán)色，女性為粉色），使用不同的比例用不同長(zhǎng)度的條形顯示。這些可視化方法的組合使用大大加強(qiáng)了數(shù)據(jù)的可理解性。圖8-9男生女生購(gòu)買(mǎi)偏好Part

5商務(wù)數(shù)據(jù)分析與挖掘BUSINESSDATAANALYSISANDMINING8.5.1

大數(shù)據(jù)分析和數(shù)據(jù)挖掘數(shù)據(jù)處理流程數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)變換數(shù)據(jù)集成數(shù)據(jù)挖掘從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息是指從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值信息的非平凡過(guò)程。數(shù)據(jù)挖掘是通過(guò)分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個(gè)步驟。數(shù)據(jù)挖掘利用了來(lái)自如下一些領(lǐng)域的思想：①來(lái)自統(tǒng)計(jì)學(xué)的抽樣、估計(jì)和假設(shè)檢驗(yàn)；②人工智能、模式識(shí)別和機(jī)器學(xué)習(xí)的搜索算法、建模技術(shù)和學(xué)習(xí)理論。8.5.1

大數(shù)據(jù)分析和數(shù)據(jù)挖掘數(shù)據(jù)分析與數(shù)據(jù)挖掘的區(qū)別兩者