數(shù)據(jù)營(yíng)銷學(xué) 課件 第3、4章 營(yíng)銷數(shù)據(jù)及數(shù)據(jù)采集、統(tǒng)計(jì)技術(shù)和數(shù)字營(yíng)銷

第三章營(yíng)銷數(shù)據(jù)采集MARKETING數(shù)字營(yíng)銷學(xué)黃勁松教授/博士生導(dǎo)師Contents目錄第一節(jié)

營(yíng)銷數(shù)據(jù)概述第二節(jié)

營(yíng)銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術(shù)第四節(jié)營(yíng)銷數(shù)據(jù)管理Contents目錄第一節(jié)

營(yíng)銷數(shù)據(jù)概述第二節(jié)

營(yíng)銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術(shù)第四節(jié)營(yíng)銷數(shù)據(jù)管理一、營(yíng)銷數(shù)據(jù)及其特點(diǎn)1.營(yíng)銷數(shù)據(jù)的定義

營(yíng)銷數(shù)據(jù)是企業(yè)可以用于洞察市場(chǎng)、確定定位、傳播信息、銷售產(chǎn)品、管理顧客的各類數(shù)據(jù)。一、營(yíng)銷數(shù)據(jù)及其特點(diǎn)2.營(yíng)銷數(shù)據(jù)特點(diǎn)

來(lái)源豐富性

類型復(fù)雜性

目標(biāo)多樣性

應(yīng)用廣泛性

方法匯聚性目標(biāo)多樣

數(shù)據(jù)

類型應(yīng)用廣泛來(lái)源豐富方法匯聚二、營(yíng)銷數(shù)據(jù)的類型Contents目錄第一節(jié)

營(yíng)銷數(shù)據(jù)概述第二節(jié)

營(yíng)銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術(shù)第四節(jié)營(yíng)銷數(shù)據(jù)管理（一）銷售數(shù)據(jù)企業(yè)在日常的經(jīng)營(yíng)過(guò)程中，業(yè)務(wù)應(yīng)用產(chǎn)生了不同類型的數(shù)據(jù)，這些數(shù)據(jù)也幫助企業(yè)做出不同場(chǎng)景的決策。例如：銷售訂單數(shù)據(jù)、渠道存貨數(shù)據(jù)、價(jià)格變化信息等一、企業(yè)內(nèi)部經(jīng)營(yíng)數(shù)據(jù)（二）產(chǎn)品數(shù)據(jù)產(chǎn)品數(shù)據(jù)包括產(chǎn)品名稱、產(chǎn)品類別、產(chǎn)品屬性、產(chǎn)品配置、生產(chǎn)成本、供應(yīng)商等等。產(chǎn)品數(shù)據(jù)還包括與產(chǎn)品相關(guān)的過(guò)程數(shù)據(jù)，例如加工工序、加工指南、工作流程、產(chǎn)品圖樣、數(shù)據(jù)模型、設(shè)備數(shù)據(jù)、技術(shù)文件、工裝數(shù)據(jù)等。一、企業(yè)內(nèi)部經(jīng)營(yíng)數(shù)據(jù)（三）顧客數(shù)據(jù)1.顧客基本信息：指顧客的基本屬性和基本資料信息，通常的信息包括姓名、生日、性別、民族、聯(lián)系信息、地理信息和人口統(tǒng)計(jì)信息等。2.顧客行為數(shù)據(jù)：指顧客購(gòu)買數(shù)據(jù)、顧客消費(fèi)數(shù)據(jù)、客戶關(guān)系管理數(shù)據(jù)等3.顧客關(guān)聯(lián)數(shù)據(jù)：指反映和影響顧客行為和心理的關(guān)聯(lián)信息。一、企業(yè)內(nèi)部經(jīng)營(yíng)數(shù)據(jù)（四）營(yíng)銷活動(dòng)數(shù)據(jù)營(yíng)銷活動(dòng)指促銷活動(dòng)、福利發(fā)放、創(chuàng)意參與、公共關(guān)系等活動(dòng)，它能夠增加顧客、提高營(yíng)收或提升品牌知名度。常見的營(yíng)銷活動(dòng)數(shù)據(jù)包括營(yíng)銷活動(dòng)推廣數(shù)據(jù)、活動(dòng)的總收入（GMV）、不同產(chǎn)品的銷售數(shù)據(jù)、獲得新顧客的數(shù)據(jù)等。一、企業(yè)內(nèi)部經(jīng)營(yíng)數(shù)據(jù)（一）訪談數(shù)據(jù)訪談數(shù)據(jù)是在一定的調(diào)研目的下，通過(guò)對(duì)個(gè)人或小組的問(wèn)答或談話獲得的數(shù)據(jù)，這類數(shù)據(jù)一般展現(xiàn)了被訪者的觀點(diǎn)、看法和思路。二、定性研究小數(shù)據(jù)訪談包括：

結(jié)構(gòu)化訪談

無(wú)結(jié)構(gòu)化訪談

半結(jié)構(gòu)化訪談（二）焦點(diǎn)組訪談數(shù)據(jù)焦點(diǎn)組（focusgroup）訪談也稱專題座談，它是對(duì)多人組成的小組進(jìn)行焦點(diǎn)問(wèn)題的訪談或小組討論。焦點(diǎn)組訪談參加人數(shù)一般是6-15人。很多焦點(diǎn)組訪談是在單面鏡房間中完成的，有完整的錄音錄像和單面鏡房間的觀察，便于后期的數(shù)據(jù)分析。二、定性研究小數(shù)據(jù)（三）定性資料數(shù)據(jù)定性資料指以文字、聲音、圖片、視頻或其他記錄符號(hào)描述或表達(dá)社會(huì)生活中的人物、行為、態(tài)度，以及各種社會(huì)生活事件的資料。定性資料在通過(guò)編碼和訓(xùn)練之后，形成定性資料數(shù)據(jù)。二、定性研究小數(shù)據(jù)（四）其他定性研究數(shù)據(jù)在定性研究中，研究者獲取數(shù)據(jù)的方式分為參與式數(shù)據(jù)采集和非參與式數(shù)據(jù)采集。參與式數(shù)據(jù)采集是指研究者參與到被研究者的社區(qū)或團(tuán)體之中，通過(guò)觀察、感受、交流等方式獲得數(shù)據(jù)，典型的方法是民族志。非參與式的數(shù)據(jù)采集是研究者通過(guò)訪談、座談、文本分析等方法獲得數(shù)據(jù)，典型的方法是個(gè)案研究。二、定性研究小數(shù)據(jù)（一）問(wèn)卷調(diào)查數(shù)據(jù)問(wèn)卷調(diào)查法是指調(diào)研人員事先擬好調(diào)查問(wèn)卷，以書面、郵件或電話等不同形式對(duì)被調(diào)查者提出問(wèn)題，要求其給與回答，由此獲得所需調(diào)查材料的調(diào)查方法。常用的調(diào)查方法有電話訪談、人員面訪、郵寄訪問(wèn)、電子訪問(wèn)以及留置問(wèn)卷調(diào)查訪問(wèn)。三、調(diào)研小數(shù)據(jù)（1/2）（二）觀察法觀察法是指調(diào)查人員根據(jù)一定的研究目的、研究提綱，用自己的感官和攝像器材等輔助工具在調(diào)查現(xiàn)場(chǎng)直接觀察用戶和記錄正在發(fā)生的市場(chǎng)行為狀況的一種有效的收集資料數(shù)據(jù)的方法。觀察調(diào)查是調(diào)查者對(duì)發(fā)生的情景不加控制和干擾，在自然條件下發(fā)生的感知活動(dòng)，也是有目的、有計(jì)劃、有系統(tǒng)的感知活動(dòng)。三、調(diào)研小數(shù)據(jù)（2/2）（一）實(shí)驗(yàn)室實(shí)驗(yàn)實(shí)驗(yàn)室實(shí)驗(yàn)法通常指在實(shí)驗(yàn)室內(nèi)嚴(yán)格控制實(shí)驗(yàn)條件，分組測(cè)量給定刺激是否引發(fā)一定的行為反應(yīng)。實(shí)驗(yàn)室實(shí)驗(yàn)在實(shí)施時(shí)一般分為實(shí)驗(yàn)組和參照組，實(shí)驗(yàn)結(jié)果是對(duì)照兩組結(jié)果，從而判斷實(shí)驗(yàn)刺激是否產(chǎn)生顯著作用。四、實(shí)驗(yàn)數(shù)據(jù)（二）田野實(shí)驗(yàn)數(shù)據(jù)田野實(shí)驗(yàn)數(shù)據(jù)是通過(guò)田野實(shí)驗(yàn)獲取的對(duì)不同刺激的市場(chǎng)反應(yīng)數(shù)據(jù)。田野實(shí)驗(yàn)（又稱為實(shí)地實(shí)驗(yàn)、現(xiàn)場(chǎng)實(shí)驗(yàn)）是在真實(shí)的市場(chǎng)環(huán)境下進(jìn)行的實(shí)驗(yàn)，它結(jié)合了田野調(diào)查和實(shí)驗(yàn)研究?jī)煞N研究方法的優(yōu)點(diǎn)，既考慮了實(shí)驗(yàn)結(jié)果的真實(shí)性，又考慮了對(duì)研究結(jié)果的因果推斷。四、實(shí)驗(yàn)數(shù)據(jù)（三）自然實(shí)驗(yàn)數(shù)據(jù)自然實(shí)驗(yàn)是指在自然的刺激或者其他非研究者控制的刺激下，被試產(chǎn)生市場(chǎng)反應(yīng)的一種實(shí)驗(yàn)方法。例如，典型的自然實(shí)驗(yàn)是某一政策出臺(tái)導(dǎo)致政策前后顧客行為產(chǎn)生了變化。自然實(shí)驗(yàn)數(shù)據(jù)是在自然實(shí)驗(yàn)中產(chǎn)生的各類數(shù)據(jù)，這些數(shù)據(jù)往往具有不可設(shè)計(jì)和不可重復(fù)的特點(diǎn)。四、實(shí)驗(yàn)數(shù)據(jù)（四）認(rèn)知神經(jīng)實(shí)驗(yàn)數(shù)據(jù)認(rèn)知神經(jīng)實(shí)驗(yàn)數(shù)據(jù)指在認(rèn)知神經(jīng)實(shí)驗(yàn)中通過(guò)眼動(dòng)、腦電、皮電、肌電等的設(shè)備獲得的測(cè)量數(shù)據(jù)。認(rèn)知神經(jīng)測(cè)量主要通過(guò)腦部的神經(jīng)元信號(hào)測(cè)試人們的認(rèn)知和情感，表征不同情感的神經(jīng)元信號(hào)出現(xiàn)在特定的腦區(qū)。四、實(shí)驗(yàn)數(shù)據(jù)例如，腹內(nèi)側(cè)前額葉皮質(zhì)是將情感納入決策的重要區(qū)域，它與廣告吸引力、產(chǎn)品偏好、品牌忠誠(chéng)等均有關(guān)。（一）商業(yè)情報(bào)數(shù)據(jù)商業(yè)情報(bào)數(shù)據(jù)分為公開信息和非公開信息兩類。公開信息主要來(lái)自于各類政府公開信息、公開的出版物、知識(shí)數(shù)據(jù)庫(kù)和企業(yè)公開信息等方面；五、商業(yè)數(shù)據(jù)非公開信息主要來(lái)源于企業(yè)內(nèi)部關(guān)聯(lián)人士、相關(guān)利益攸關(guān)者和第三方咨詢服務(wù)提供者。（二）商業(yè)服務(wù)數(shù)據(jù)商業(yè)服務(wù)數(shù)據(jù)通常由第三方商業(yè)服務(wù)公司提供，這些公司一般會(huì)確定典型的市場(chǎng)研究方向，并以此為拓展展開業(yè)務(wù)。公司名稱典型研究領(lǐng)域上海AC尼爾森市場(chǎng)研究公司零售研究蓋洛特市場(chǎng)研究?jī)?yōu)先公司移動(dòng)通訊研究蓋洛普（中國(guó)）咨詢有限公司民意測(cè)驗(yàn)和商業(yè)調(diào)查央視市場(chǎng)研究股份有限公司媒介調(diào)查益普索（中國(guó)）市場(chǎng)研究咨詢有限公司廣告事前測(cè)試、滿意度和忠誠(chéng)度研究新力市場(chǎng)研究（DMBResearch）定性研究和廣告研究GFK（賽諾、科思瑞智）市場(chǎng)研究公司家電零售監(jiān)測(cè)北京零點(diǎn)研究集團(tuán)行業(yè)與產(chǎn)品研究、消費(fèi)文化研究、社會(huì)問(wèn)題研究新生代市場(chǎng)監(jiān)測(cè)機(jī)構(gòu)有限公司媒介監(jiān)測(cè)北京華夏盈聯(lián)市場(chǎng)咨詢有限公司滿意度調(diào)查、神秘顧客調(diào)查北京環(huán)亞市場(chǎng)研究社汽車行業(yè)研究深圳思緯市場(chǎng)資訊公司廣告測(cè)試研究等廣州市致聯(lián)市場(chǎng)研究有限公司醫(yī)藥行業(yè)研究典型的商業(yè)數(shù)據(jù)服務(wù)公司五、商業(yè)數(shù)據(jù)（三）商業(yè)數(shù)據(jù)庫(kù)數(shù)據(jù)商業(yè)數(shù)據(jù)庫(kù)數(shù)據(jù)包括面向大眾的公共數(shù)據(jù)庫(kù)數(shù)據(jù)和商業(yè)銷售的數(shù)據(jù)庫(kù)數(shù)據(jù)。面向大眾的公共數(shù)據(jù)包括政府部門和統(tǒng)計(jì)機(jī)構(gòu)、貿(mào)易和產(chǎn)業(yè)組織的公開商業(yè)資料，商業(yè)期刊等，這些數(shù)據(jù)庫(kù)中包含宏觀經(jīng)濟(jì)數(shù)據(jù)、行業(yè)數(shù)據(jù)、期刊報(bào)刊數(shù)據(jù)等。五、商業(yè)數(shù)據(jù)向市場(chǎng)銷售的商業(yè)數(shù)據(jù)庫(kù)往往來(lái)自于企業(yè)的一些固定研究項(xiàng)目，例如顧客滿意指數(shù)調(diào)查、品牌價(jià)值研究等，這些研究項(xiàng)目所形成的數(shù)據(jù)庫(kù)將會(huì)定期發(fā)布并可以銷售和訂閱。（一）大數(shù)據(jù)的特點(diǎn)和類型大數(shù)據(jù)類型六、企業(yè)大數(shù)據(jù)“海量”是指數(shù)據(jù)量非常大且急速增長(zhǎng)“高速”是指數(shù)據(jù)產(chǎn)生的速度快“多樣”指數(shù)據(jù)格式、數(shù)據(jù)類型復(fù)雜多樣“復(fù)雜性”是指數(shù)據(jù)源繁多“多變性”是指數(shù)據(jù)流不穩(wěn)定（二）企業(yè)經(jīng)營(yíng)產(chǎn)品的大數(shù)據(jù)六、企業(yè)大數(shù)據(jù)1.業(yè)務(wù)應(yīng)用數(shù)據(jù)：（1）Web網(wǎng)站數(shù)據(jù)（2）App應(yīng)用數(shù)據(jù)2.互聯(lián)網(wǎng)數(shù)據(jù)（1）政府和行業(yè)數(shù)據(jù)（2）垂直平臺(tái)數(shù)據(jù)（3）社交數(shù)據(jù)3.物聯(lián)網(wǎng)數(shù)據(jù)4.系統(tǒng)日志數(shù)據(jù)5.合作伙伴數(shù)據(jù)企業(yè)經(jīng)營(yíng)中產(chǎn)生的大數(shù)據(jù)包括企業(yè)多場(chǎng)景數(shù)據(jù)，例如業(yè)務(wù)應(yīng)用數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、系統(tǒng)日志數(shù)據(jù)以及合作伙伴數(shù)據(jù)等Contents目錄第一節(jié)

營(yíng)銷數(shù)據(jù)概述第二節(jié)

營(yíng)銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術(shù)第四節(jié)營(yíng)銷數(shù)據(jù)管理大數(shù)據(jù)采集是對(duì)數(shù)據(jù)進(jìn)行Extract-Transform-Load操作，通過(guò)對(duì)數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、加載，最終挖掘數(shù)據(jù)的潛在價(jià)值。從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去，最后對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和處理。一、大數(shù)據(jù)采集概述數(shù)據(jù)采集方式描述典型公司PC機(jī)cookie采集通過(guò)分布式計(jì)算機(jī)進(jìn)行海量PC用戶的cookie采集。秒針PC應(yīng)用行為數(shù)據(jù)對(duì)PC應(yīng)用的行為進(jìn)行數(shù)據(jù)采集。搜狗拼音、360殺毒、華為運(yùn)動(dòng)網(wǎng)絡(luò)爬蟲通過(guò)分布式網(wǎng)絡(luò)爬蟲采集網(wǎng)上數(shù)據(jù)。針對(duì)微博的抓取最為普遍設(shè)備傳感器數(shù)據(jù)通過(guò)手機(jī)、機(jī)頂盒、新能源汽車等采集用戶的設(shè)備使用行為。蘋果、歌華、特斯拉、比亞迪交易行為數(shù)據(jù)通過(guò)分布式計(jì)算機(jī)進(jìn)行海量PC用戶的cookie采集。阿里巴巴、騰訊手機(jī)APP通過(guò)在APP中埋點(diǎn)的方式進(jìn)行用戶行為數(shù)據(jù)采集，也可以通過(guò)APP采集通訊錄、位置能數(shù)據(jù)。幾乎所有APP應(yīng)用電信運(yùn)營(yíng)商數(shù)據(jù)通過(guò)通信網(wǎng)絡(luò)采集用戶的行為，包括使用行為、位置、通話等。中國(guó)移動(dòng)、中國(guó)聯(lián)通操作系統(tǒng)通過(guò)通信網(wǎng)絡(luò)采集用戶的行為，包括App使用行為、位置、通話等等。微軟、安卓、IOS顧客關(guān)系系統(tǒng)通過(guò)社群、會(huì)員行為、社區(qū)行為、評(píng)論等采集數(shù)據(jù)。小米數(shù)據(jù)采集方式一覽一、大數(shù)據(jù)采集概述

（一）爬蟲采集網(wǎng)絡(luò)爬蟲又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則自動(dòng)化、系統(tǒng)化收集互聯(lián)網(wǎng)上相關(guān)數(shù)據(jù)的技術(shù)。大數(shù)據(jù)時(shí)代的今天，網(wǎng)絡(luò)爬蟲是互聯(lián)網(wǎng)上采集數(shù)據(jù)的主要工具之一，通過(guò)網(wǎng)絡(luò)爬蟲的方式可以獲取到網(wǎng)站上不同類型的數(shù)據(jù)信息，包括文本、圖片、音頻、視頻等文件數(shù)據(jù)。二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

某爬蟲采集工具（二）埋點(diǎn)采集（1）埋點(diǎn)的基本概念在技術(shù)實(shí)現(xiàn)上，線上數(shù)據(jù)采集主要通過(guò)埋點(diǎn)的方式實(shí)現(xiàn)，通過(guò)不同應(yīng)用的SDK（SoftwareDevelopmentKit，軟件工具包）數(shù)據(jù)埋點(diǎn)，將顧客端或服務(wù)端的數(shù)據(jù)上傳到數(shù)據(jù)服務(wù)器終端。二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

埋點(diǎn)是事件追蹤（EventTracking）的主要方式，針對(duì)特定用戶行為或事件進(jìn)行捕獲、處理和發(fā)送的相關(guān)技術(shù)及其實(shí)施過(guò)程。（二）埋點(diǎn)采集（2）埋點(diǎn)的方式

類別代碼埋點(diǎn)全埋點(diǎn)可視化埋點(diǎn)服務(wù)端埋點(diǎn)采集說(shuō)明嵌入SDK，定義事件并添加好事件代碼嵌入SDK嵌入SDK，可視化圈選定義事件接口調(diào)用，數(shù)據(jù)結(jié)構(gòu)化場(chǎng)景以業(yè)務(wù)價(jià)值為出發(fā)點(diǎn)的行為分析無(wú)需采集事件，適用于活動(dòng)頁(yè)、著陸頁(yè)需要設(shè)計(jì)體驗(yàn)衡量用戶在頁(yè)面的行為與業(yè)務(wù)信息關(guān)聯(lián)較少，頁(yè)面較多且頁(yè)面元素較少對(duì)行為數(shù)據(jù)的應(yīng)用較為淺前后端數(shù)據(jù)整合，如訂單數(shù)據(jù)優(yōu)勢(shì)按需采集：業(yè)務(wù)信息更完善，對(duì)數(shù)據(jù)的分析更聚焦簡(jiǎn)單、快捷，與代碼埋點(diǎn)相比開發(fā)人員工作量較少與代碼埋點(diǎn)相比，開發(fā)人員工作量較少更靈活、更準(zhǔn)確、不需要發(fā)版本，數(shù)據(jù)上傳更加及時(shí)劣勢(shì)與后兩種采集方式相比，開發(fā)人中工作量較多數(shù)據(jù)準(zhǔn)確性不高，上傳數(shù)據(jù)多，消耗量高數(shù)據(jù)維度單一（僅點(diǎn)擊、加載、刷新）業(yè)務(wù)人中工作量較大，改版后需要重新定義事件，缺乏基于業(yè)務(wù)的解讀僅服務(wù)端采集較少前端的環(huán)境信息，前端交互數(shù)據(jù)缺失典型案例友盟，百度統(tǒng)計(jì)GoogleanalyticsWMDA

二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

（二）埋點(diǎn)采集（3）埋點(diǎn)的設(shè)計(jì)Who：參與此事件的用戶When：事件發(fā)生的實(shí)際時(shí)間Where：事件發(fā)生的地點(diǎn)How：用戶進(jìn)行事件的方式What：描述用戶所做的事件的具體內(nèi)容記錄和收集用戶的長(zhǎng)期屬性通過(guò)ID與相關(guān)的Event關(guān)聯(lián)事件模型用戶

User事件Event二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

埋點(diǎn)的設(shè)計(jì)是將行為拆解為單個(gè)的點(diǎn)擊或?yàn)g覽動(dòng)作，將需要分析的目標(biāo)動(dòng)作抽象為“事件”。例如,事件分析模型是常用的分析模型之一。事件模型（Event模型）用來(lái)描述用戶的各種行為，包括事件（Event）和用戶（User）兩個(gè)核心實(shí)體。以某APP的事件設(shè)計(jì)為例，通常包括APP啟動(dòng)，退出、頁(yè)面瀏覽、按鈕事件點(diǎn)擊，頁(yè)面訪問(wèn)時(shí)長(zhǎng)等。（二）埋點(diǎn)采集（4）埋點(diǎn)的應(yīng)用①在產(chǎn)品流程關(guān)鍵部位植入相關(guān)統(tǒng)計(jì)代碼，用來(lái)追蹤每次用戶的行為，統(tǒng)計(jì)關(guān)鍵流程的使用程度。②在產(chǎn)品中植入多段代碼追蹤用戶連續(xù)行為，建立用戶模型來(lái)具體化用戶在使用產(chǎn)品中的操作行為。③與研發(fā)及數(shù)據(jù)分析師團(tuán)隊(duì)合作，通過(guò)數(shù)據(jù)埋點(diǎn)還原出用戶畫像及用戶行為，建立數(shù)據(jù)分析后臺(tái)，通過(guò)數(shù)據(jù)分析，優(yōu)化產(chǎn)品。二、互聯(lián)網(wǎng)線上數(shù)據(jù)采集

物聯(lián)網(wǎng)（InternetofThings，簡(jiǎn)稱IoT）是指通過(guò)各種信息傳感器、射頻識(shí)別技術(shù)、全球定位系統(tǒng)、紅外感應(yīng)器、激光掃描儀等各種裝置和技術(shù)，實(shí)時(shí)采集各種需要的信息，包括聲、光、熱、電、力學(xué)、化學(xué)、生物、位置等各種需要的信息。物聯(lián)網(wǎng)分為三層：

感知層（設(shè)備接入層）

網(wǎng)絡(luò)層

應(yīng)用層三、物聯(lián)網(wǎng)數(shù)據(jù)采集

數(shù)據(jù)庫(kù)同步數(shù)據(jù)采集是指直接和數(shù)據(jù)庫(kù)進(jìn)行交互同步，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)采集，這種方式的優(yōu)勢(shì)是數(shù)據(jù)來(lái)源大而全。根據(jù)同步的方式可以分為：直接數(shù)據(jù)源同步、生成數(shù)據(jù)文件同步和數(shù)據(jù)庫(kù)日志同步。四、數(shù)據(jù)庫(kù)同步數(shù)據(jù)采集大多數(shù)互聯(lián)網(wǎng)企業(yè)都有各自的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Facebook公司的Scribe、Hadoop平臺(tái)的Chukwa、Cloudera公司的Flume等，這些工具均采用分布式的架構(gòu)，能滿足每秒數(shù)百兆的日志數(shù)據(jù)采集和傳輸需求。五、系統(tǒng)日志數(shù)據(jù)采集

Contents目錄第一節(jié)

營(yíng)銷數(shù)據(jù)概述第二節(jié)

營(yíng)銷數(shù)據(jù)的類型第三節(jié)

大數(shù)據(jù)采集技術(shù)第四節(jié)營(yíng)銷數(shù)據(jù)管理數(shù)據(jù)匯聚是指將企業(yè)中各個(gè)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)通過(guò)數(shù)據(jù)處理后匯聚到數(shù)據(jù)倉(cāng)庫(kù)，按不同的主題進(jìn)行加工形成數(shù)據(jù)資產(chǎn)體系。數(shù)據(jù)匯聚是打破數(shù)據(jù)孤島，匯聚企業(yè)數(shù)據(jù)到統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)體系建設(shè)的基礎(chǔ)重要環(huán)節(jié)。一、數(shù)據(jù)匯聚

某企業(yè)數(shù)據(jù)匯聚示意圖二、數(shù)據(jù)開發(fā)

數(shù)據(jù)開發(fā)是數(shù)據(jù)加工的過(guò)程。數(shù)據(jù)匯聚后的數(shù)據(jù)為數(shù)據(jù)的原始狀態(tài)，數(shù)據(jù)工程師根據(jù)業(yè)務(wù)需求，將數(shù)據(jù)進(jìn)行轉(zhuǎn)換或聚合計(jì)算，快速轉(zhuǎn)換成對(duì)業(yè)務(wù)有價(jià)值的形式提供給業(yè)務(wù)分析、可視化使用。數(shù)據(jù)資產(chǎn)管理包括數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)信息、數(shù)據(jù)主題、數(shù)據(jù)標(biāo)簽分類、數(shù)據(jù)安全的級(jí)別信息、數(shù)據(jù)質(zhì)量情況，以及生產(chǎn)數(shù)據(jù)的血緣關(guān)系、數(shù)據(jù)的歷史版本、數(shù)據(jù)的生命周期等信息的管理和展示。數(shù)據(jù)資產(chǎn)管理以數(shù)據(jù)平臺(tái)的形式展示給數(shù)據(jù)的運(yùn)營(yíng)人員和數(shù)據(jù)開發(fā)人員，方便數(shù)據(jù)工程師二次開發(fā)數(shù)據(jù)，也幫助運(yùn)營(yíng)工程師檢索和運(yùn)營(yíng)。三、數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)服務(wù)是以滿足業(yè)務(wù)應(yīng)用的能力之一。數(shù)據(jù)服務(wù)的形式較多，通常企業(yè)的數(shù)據(jù)平臺(tái)有標(biāo)準(zhǔn)的服務(wù)，例如數(shù)據(jù)的API定制服務(wù)業(yè)務(wù)人員可以通過(guò)URL的鏈接和參數(shù)，直接訪問(wèn)接口獲取到需要的數(shù)據(jù)內(nèi)容。四、數(shù)據(jù)服務(wù)

數(shù)據(jù)可視化是數(shù)據(jù)應(yīng)用的能力之一，數(shù)據(jù)可視化通過(guò)數(shù)據(jù)的加工后，將統(tǒng)計(jì)結(jié)果、分析結(jié)論或預(yù)測(cè)信息通過(guò)可視化的形式展示出來(lái)，方便決策人員直觀了解業(yè)務(wù)情況，為管理決策提供數(shù)據(jù)支撐。最通用的數(shù)據(jù)可視化應(yīng)用有數(shù)據(jù)圖表可視化、數(shù)據(jù)大屏可視化等。四、數(shù)據(jù)可視化

1.請(qǐng)簡(jiǎn)述營(yíng)銷數(shù)據(jù)的基本特征。2.簡(jiǎn)述營(yíng)銷數(shù)據(jù)的類型及分類。3.請(qǐng)簡(jiǎn)述大數(shù)據(jù)有哪些采集方式。4.請(qǐng)說(shuō)明營(yíng)銷數(shù)據(jù)管理的幾個(gè)階段以及對(duì)應(yīng)的核心內(nèi)容有哪些。思考與討論DIGITALMARKETINGISJUSTMARKETING數(shù)字驅(qū)動(dòng)營(yíng)銷致遠(yuǎn)！教師：黃勁松教授數(shù)字營(yíng)銷學(xué)第四章統(tǒng)計(jì)技術(shù)和數(shù)字營(yíng)銷MARKETING數(shù)字營(yíng)銷學(xué)黃勁松教授/博士生導(dǎo)師開篇案例：恒豐銀行的營(yíng)銷大數(shù)據(jù)分析

恒豐銀行通過(guò)建立客戶理財(cái)偏好模型，為客戶推薦最適合他們的產(chǎn)品。例如，在合適的時(shí)機(jī)，通過(guò)用戶偏好模型向用戶推薦產(chǎn)品，推薦的結(jié)果是用戶的購(gòu)買或未購(gòu)買。這個(gè)問(wèn)題可以看作是一個(gè)典型的機(jī)器學(xué)習(xí)二分類問(wèn)題：基于歷史營(yíng)銷數(shù)據(jù)訓(xùn)練模型，讓模型自動(dòng)學(xué)習(xí)客戶購(gòu)買產(chǎn)品的偏好，并預(yù)測(cè)客戶下次購(gòu)買理財(cái)產(chǎn)品的概率。通過(guò)對(duì)模型預(yù)測(cè)出的所有客戶對(duì)所有產(chǎn)品的響應(yīng)概率進(jìn)行排序，可以從中選擇購(gòu)買概率最高的幾個(gè)產(chǎn)品推薦給客戶。通過(guò)以上過(guò)程，恒豐銀行成功實(shí)現(xiàn)了對(duì)營(yíng)銷大數(shù)據(jù)的有效處理和分析。恒豐銀行針對(duì)每個(gè)客戶進(jìn)行需求預(yù)測(cè)，預(yù)測(cè)某個(gè)有消費(fèi)歷史的客戶在下一階段是否會(huì)重復(fù)購(gòu)買，并且預(yù)測(cè)有重復(fù)購(gòu)買行為的客戶在接下來(lái)的消費(fèi)過(guò)程中會(huì)購(gòu)買多大價(jià)值的產(chǎn)品。同時(shí)，恒豐銀行還針對(duì)每個(gè)客戶進(jìn)行終身價(jià)值建模。通過(guò)分析每位客戶的消費(fèi)歷史，他們能夠計(jì)算出客戶的當(dāng)前價(jià)值和未來(lái)價(jià)值。這有助于業(yè)務(wù)人員把握重點(diǎn)客戶，并根據(jù)客戶價(jià)值的高低進(jìn)行分級(jí)服務(wù)。此外，他們能夠分析哪些客戶有流失傾向，并對(duì)流失階段的高價(jià)值客戶提供適當(dāng)?shù)臓I(yíng)銷優(yōu)惠和消費(fèi)引導(dǎo)。通過(guò)構(gòu)建基于大數(shù)據(jù)的營(yíng)銷方案，恒豐銀行深入洞察客戶的行為、需求和偏好，幫助銀行更深入地了解客戶、打造個(gè)性化推薦系統(tǒng)和建立客戶價(jià)值預(yù)測(cè)模型，從而實(shí)現(xiàn)可持續(xù)發(fā)展。目錄第一節(jié)

數(shù)字營(yíng)銷分析方法概述第二節(jié)

典型的數(shù)字營(yíng)銷數(shù)據(jù)分析方法第三節(jié)

典型數(shù)字營(yíng)銷實(shí)驗(yàn)方法目錄第一節(jié)

數(shù)字營(yíng)銷分析方法概述第二節(jié)

典型的數(shù)字營(yíng)銷數(shù)據(jù)分析方法第三節(jié)

典型數(shù)字營(yíng)銷實(shí)驗(yàn)方法一、數(shù)字營(yíng)銷分析方法概述二、營(yíng)銷數(shù)據(jù)及分析技術(shù)的

發(fā)展過(guò)程第一節(jié)

數(shù)字營(yíng)銷分析方法概述一、數(shù)字營(yíng)銷分析方法概述（一）研究方法“洋蔥”模型數(shù)據(jù)收集和數(shù)據(jù)分析是“洋蔥”的核心，也是數(shù)字營(yíng)銷學(xué)的基礎(chǔ)（二）數(shù)據(jù)分析方法的分類一、數(shù)字營(yíng)銷分析方法概述解釋性方法-預(yù)測(cè)性方法描述性方法

多元統(tǒng)計(jì)分析方法：聚類分析、因子分析/主成分分析、多維標(biāo)度分析、對(duì)應(yīng)分析數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)方法：聚類分析、文本挖掘無(wú)監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)多元統(tǒng)計(jì)分析方法：描述性統(tǒng)計(jì)、列聯(lián)表分析多元統(tǒng)計(jì)分析方法：方差分析、t檢驗(yàn)分析、回歸分析、判別分析、分層線性模型、時(shí)間序列等數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)方法：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、隨機(jī)森林、Logit分析、路徑分析等實(shí)驗(yàn)方法：方差分析、t檢驗(yàn)分析、回歸分析、聯(lián)合分析、結(jié)構(gòu)方程模型等

數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)方法：各種潛分類方法，如聚類回歸、混合模型（MixtureModels）等根據(jù)數(shù)據(jù)分析的目的，可以分為描述性分析方法和解釋性/預(yù)測(cè)性分析方法根據(jù)分析前是否有明確數(shù)據(jù)的分類，可以分為事前已確定分類和事前未確定分類（二）數(shù)據(jù)分析方法的分類1.有監(jiān)督學(xué)習(xí)-描述性方法

描述性統(tǒng)計(jì)分析：描述性統(tǒng)計(jì)分析使用描述統(tǒng)計(jì)量和數(shù)據(jù)可視化等方法描述數(shù)據(jù)的基本特征。

一、數(shù)字營(yíng)銷分析方法概述（二）數(shù)據(jù)分析方法的分類1.有監(jiān)督學(xué)習(xí)-描述性方法列聯(lián)表：是一種交叉分類頻數(shù)分布表，用于按兩個(gè)或多個(gè)屬性（定性變量）對(duì)觀測(cè)數(shù)據(jù)進(jìn)行分類，進(jìn)而研究不同變量之間的關(guān)系。一、數(shù)字營(yíng)銷分析方法概述（二）數(shù)據(jù)分析方法的分類2.無(wú)監(jiān)督學(xué)習(xí)-描述性方法

多元統(tǒng)計(jì)分析方法：包括聚類分析、因子分析/主成分分析、多維標(biāo)度分析、對(duì)應(yīng)分析等。一、數(shù)字營(yíng)銷分析方法概述（二）數(shù)據(jù)分析方法的分類2.無(wú)監(jiān)督學(xué)習(xí)-描述性方法數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)方法：包括聚類分析、文本挖掘等。一、數(shù)字營(yíng)銷分析方法概述（二）數(shù)據(jù)分析方法的分類3.有監(jiān)督學(xué)習(xí)-解釋性和預(yù)測(cè)性方法多元統(tǒng)計(jì)分析方法：方差分析、回歸分析、時(shí)間序列分析等。數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)方法：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、隨機(jī)森林、Logit分析、路徑分析等。實(shí)驗(yàn)方法：主要包括實(shí)地實(shí)驗(yàn)和實(shí)驗(yàn)室實(shí)驗(yàn)。一、數(shù)字營(yíng)銷分析方法概述（二）數(shù)據(jù)分析方法的分類4.無(wú)監(jiān)督學(xué)習(xí)-解釋性和預(yù)測(cè)性方法無(wú)監(jiān)督學(xué)習(xí)-解釋性和預(yù)測(cè)性方法主要應(yīng)用于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中，包括聚類回歸和混合模型等方法。這些方法在深度學(xué)習(xí)中得到廣泛應(yīng)用，本質(zhì)可以看作是兩個(gè)步驟：首先對(duì)數(shù)據(jù)進(jìn)行分類處理，然后進(jìn)行邏輯回歸。一、數(shù)字營(yíng)銷分析方法概述（一）營(yíng)銷數(shù)據(jù)和分析技術(shù)的發(fā)展過(guò)程二、營(yíng)銷數(shù)據(jù)及分析技術(shù)的發(fā)展過(guò)程目錄第一節(jié)

數(shù)字營(yíng)銷分析方法概述第二節(jié)

典型的數(shù)字營(yíng)銷數(shù)據(jù)分析方法第三節(jié)

典型數(shù)字營(yíng)銷實(shí)驗(yàn)方法一、描述性分析-事前分類典型方法（一）描述性分析描述性分析常用于揭示數(shù)據(jù)的整體分布情況和趨勢(shì)。它主要包括以下三個(gè)方面的內(nèi)容：進(jìn)行統(tǒng)計(jì)分組和頻數(shù)統(tǒng)計(jì)；計(jì)算分布特征指標(biāo)，例如平均數(shù)、眾數(shù)、中位數(shù)、標(biāo)準(zhǔn)差等；制作圖表，例如條形圖、餅圖、散點(diǎn)圖、直方圖、雷達(dá)圖等。一、描述性分析-事前分類典型方法（一）描述性分析描述統(tǒng)計(jì)量包括均值、方差、標(biāo)準(zhǔn)差、最大值、最小值、極差、中位數(shù)、分位數(shù)、眾數(shù)、變異系數(shù)、中心矩、原點(diǎn)矩、偏度、峰度、協(xié)方差和相關(guān)系數(shù)等。從集中趨勢(shì)、離散程度和分布形狀三個(gè)方面可以描述數(shù)據(jù)集的分布特征。數(shù)據(jù)分布特征集中趨勢(shì)離散程度分布形狀眾數(shù)中位數(shù)平均數(shù)異眾比率四分位差方差/標(biāo)準(zhǔn)差極差平均差離散系數(shù)偏態(tài)系數(shù)峰態(tài)系數(shù)一、描述性分析-事前分類典型方法（二）列聯(lián)表列聯(lián)表是一種將觀測(cè)數(shù)據(jù)按照兩個(gè)或更多屬性進(jìn)行分類時(shí)所列出的頻數(shù)表，也被稱為交互分類表。列聯(lián)表由兩個(gè)以上的變量進(jìn)行交叉分類的頻數(shù)分布表組成，能夠同時(shí)描述兩個(gè)或更多變量之間的情況。一、描述性分析-事前分類典型方法（二）列聯(lián)表通過(guò)列聯(lián)表分析，我們可以判斷同一個(gè)調(diào)查對(duì)象的兩個(gè)特性之間是否存在明顯的相關(guān)性。例子：某醫(yī)院收得某類型重癥病人204例，隨機(jī)分成兩組，分別用同樣的中草藥方劑進(jìn)行治療，但其中一組加一定量的人工牛黃，每個(gè)病人根據(jù)治療方法和治療效果進(jìn)行分類，得出如下表格：一、描述性分析-事前分類典型方法（二）列聯(lián)表列聯(lián)表分析的基本問(wèn)題是判斷所考察的各屬性之間是否存在關(guān)聯(lián)，即它們是否獨(dú)立。列聯(lián)表可以作為一種初步的知識(shí)檢驗(yàn)工具使用。列聯(lián)表分析適用于定性數(shù)據(jù)，通常使用卡方檢驗(yàn)等方法進(jìn)行分析，這些方法分析的是各個(gè)分類方法中的頻度數(shù)據(jù)。二、描述性分析-非事前分類典型方法（一）聚類分析聚類分析是一種多元統(tǒng)計(jì)方法，它可以將研究對(duì)象（樣本或指標(biāo)）根據(jù)其特征進(jìn)行分類，將研究對(duì)象分為相對(duì)同質(zhì)的群組，群組內(nèi)的成員彼此相似，而不同群組的成員彼此不同。二、描述性分析-非事前分類典型方法（一）聚類分析在市場(chǎng)細(xì)分領(lǐng)域，聚類分析可以根據(jù)細(xì)分變量將消費(fèi)者分為不同的細(xì)分市場(chǎng)，細(xì)分市場(chǎng)內(nèi)的消費(fèi)者彼此相似，而不同細(xì)分市場(chǎng)的消費(fèi)者彼此不同。二、描述性分析-非事前分類典型方法（一）聚類分析聚類分析包括三種方法，分別是非重疊聚類、重疊聚類和模糊聚類。非重疊聚類假設(shè)每個(gè)顧客只屬于一個(gè)細(xì)分市場(chǎng)，而重疊聚類和模糊聚類認(rèn)為顧客可能同時(shí)屬于多個(gè)市場(chǎng)。在數(shù)字營(yíng)銷分析中，聚類分析方法有助于解決顧客畫像、客戶群體劃分等問(wèn)題。二、描述性分析-非事前分類典型方法（二）文本挖掘文本挖掘可以提取文本文件中有效、新穎、有用、可理解的有價(jià)值知識(shí)，并利用這些知識(shí)更好地組織信息。文本挖掘是圖像、語(yǔ)言、自然語(yǔ)言理解與知識(shí)挖掘中的重要內(nèi)容。二、描述性分析-非事前分類典型方法（二）文本挖掘通過(guò)文本挖掘技術(shù)，可以分析出消費(fèi)者對(duì)各個(gè)品牌討論的內(nèi)容主題、頻率和情感等。由此可以了解消費(fèi)者對(duì)相關(guān)品牌的感知和偏好，對(duì)營(yíng)銷決策制定具有重要的參考意義。二、描述性分析-非事前分類典型方法（三）Logit分析Logit分析與回歸分析類似，都是分析自變量對(duì)因變量的影響，但這里的因變量是分類變量。由于Logit模型的因變量不服從正態(tài)分布，因此不能直接通過(guò)自變量來(lái)預(yù)測(cè)因變量，需要對(duì)因變量進(jìn)行特定的轉(zhuǎn)換。常用Logit模型來(lái)估計(jì)消費(fèi)者購(gòu)買產(chǎn)品的概率，通過(guò)將數(shù)據(jù)代入模型，可以根據(jù)自變量來(lái)估計(jì)消費(fèi)者購(gòu)買產(chǎn)品的概率，并將消費(fèi)者劃分為不同的群體。三、解釋性、預(yù)測(cè)性分析-事前分類典型方法（一）時(shí)間序列分析時(shí)間序列分析法就是將經(jīng)濟(jì)發(fā)展、購(gòu)買力大小、銷售變化等同一變數(shù)的一組觀察值，按時(shí)間順序加以排列，構(gòu)成統(tǒng)計(jì)的時(shí)間序列。通過(guò)觀察隨機(jī)序列的歷史數(shù)據(jù)，利用特定的數(shù)字方法來(lái)預(yù)測(cè)市場(chǎng)未來(lái)的發(fā)展趨勢(shì)和確定市場(chǎng)預(yù)測(cè)值。時(shí)間序列分析的主要特點(diǎn)是通過(guò)時(shí)間推移來(lái)研究和預(yù)測(cè)市場(chǎng)需求趨勢(shì)，不受其他外在因素的影響。三、解釋性、預(yù)測(cè)性分析-事前分類典型方法（二）決策樹決策樹以樹狀的層級(jí)結(jié)構(gòu)呈現(xiàn)分類過(guò)程，并提取分類規(guī)則。經(jīng)過(guò)修整后的決策樹模型可以用