計(jì)算廣告學(xué) 課件 第三章 計(jì)算廣告數(shù)據(jù)處理

數(shù)據(jù)處理計(jì)算廣告DataProcessing第三章目錄數(shù)據(jù)采集DATACOLLECTION數(shù)據(jù)清洗DATACLEANING數(shù)據(jù)洞察與建模DATAINSIGHTANDMODELING01數(shù)據(jù)采集采集目標(biāo)在數(shù)據(jù)采集之前，首先要確定本次廣告活動(dòng)想要達(dá)到的營(yíng)銷目標(biāo)與廣告效果，如了解消費(fèi)者的需求轉(zhuǎn)移路徑，或者產(chǎn)品之間的關(guān)聯(lián)性等。采集來(lái)源第一方數(shù)據(jù)是在廣告主自有平臺(tái)上產(chǎn)生和被采集的，所有權(quán)屬于廣告主的數(shù)據(jù)。第二方數(shù)據(jù)是在外部平臺(tái)上產(chǎn)生和被采集的，所有權(quán)屬于廣告主的數(shù)據(jù)。第三方數(shù)據(jù)即在外部平臺(tái)上產(chǎn)生和被采集的，所有權(quán)屬于第三方的數(shù)據(jù)。采集系統(tǒng)計(jì)算廣告數(shù)據(jù)種類較多，并且不同種類數(shù)據(jù)產(chǎn)生的方式與來(lái)源不同。據(jù)此，采集系統(tǒng)主要分為系統(tǒng)日志采集系統(tǒng)、網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)庫(kù)采集系統(tǒng)等三種類型。數(shù)據(jù)庫(kù)數(shù)據(jù)采集常見(jiàn)的三種采集方式是直連同步、數(shù)據(jù)文件同步和數(shù)據(jù)庫(kù)日志解析同步。HSDKTUOPMN數(shù)據(jù)采集是通過(guò)傳感器、社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)等渠道獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，以供后續(xù)數(shù)據(jù)開(kāi)發(fā)和使用。廣告采集的數(shù)據(jù)主要有四種類型：系統(tǒng)數(shù)據(jù)、指標(biāo)數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)和性能數(shù)據(jù)。數(shù)據(jù)采集02數(shù)據(jù)清洗用戶標(biāo)識(shí)數(shù)據(jù)私有用戶標(biāo)識(shí)僅僅標(biāo)識(shí)了用戶的簽約狀態(tài)，不需要告知?jiǎng)e人，用戶也無(wú)須感知；公有用戶標(biāo)識(shí)包括UserID、Cookie、IDFA、IDFV、IMEI、AndroidID、MAC、OAID、OpenID、UnionID。人口屬性數(shù)據(jù)人口屬性是指人口所固有的性質(zhì)和特點(diǎn)，包括生物屬性和社會(huì)屬性兩個(gè)方面。生物屬性是社會(huì)屬性的自然條件；社會(huì)屬性是人口區(qū)別于生物群體的根本標(biāo)志。地理位置數(shù)據(jù)地理位置數(shù)據(jù)是指與地理空間或水平面上存在的物體或元素相關(guān)的信息。地理位置信息可以用于用戶行為和生活狀態(tài)分析。用戶行為數(shù)據(jù)主要有轉(zhuǎn)化、預(yù)轉(zhuǎn)化、搜索廣告點(diǎn)擊、展示廣告點(diǎn)擊、搜索點(diǎn)擊、搜索、分享、頁(yè)面瀏覽、廣告瀏覽。根據(jù)效果廣告的有效性來(lái)劃分，用戶行為可以分為決策行為、主動(dòng)行為、半主動(dòng)行為和被動(dòng)行為。社交關(guān)系數(shù)據(jù)在線社交網(wǎng)絡(luò)是由互聯(lián)網(wǎng)用戶通過(guò)自組織方式構(gòu)建組成的集合，是真實(shí)物理世界的社交關(guān)系在虛擬網(wǎng)絡(luò)世界的一種映射，其本質(zhì)是人與人之間的關(guān)系網(wǎng)絡(luò)。包括雙向確認(rèn)的社交網(wǎng)絡(luò)數(shù)據(jù)、單向關(guān)注的社交網(wǎng)絡(luò)數(shù)據(jù)和基于社區(qū)的社交網(wǎng)絡(luò)數(shù)據(jù)。數(shù)據(jù)分類數(shù)據(jù)標(biāo)準(zhǔn)化——不標(biāo)準(zhǔn)數(shù)據(jù)形式標(biāo)準(zhǔn)化主要解決數(shù)據(jù)的形式問(wèn)題；數(shù)據(jù)同趨化處理解決不同性質(zhì)的數(shù)據(jù)問(wèn)題；數(shù)據(jù)無(wú)量綱化處理主要解決數(shù)據(jù)的可比性問(wèn)題。異常數(shù)據(jù)過(guò)濾——不干凈異常數(shù)據(jù)是指那些在數(shù)據(jù)集中存在的不合理的值。首先使用工具和數(shù)據(jù)分析來(lái)進(jìn)行異常數(shù)據(jù)的排查，之后進(jìn)行異常數(shù)據(jù)過(guò)濾，常用方法有七種：刪除、視為缺失值、平均值修正、蓋帽法、分箱法、回歸插補(bǔ)、多重插補(bǔ)。數(shù)據(jù)ID打通——不整合ID打通也稱為“同人”，即找到“人和設(shè)備”“設(shè)備和設(shè)備”之間的關(guān)聯(lián)。ID打通常用的幾個(gè)合規(guī)做法包括會(huì)員體系ID打通、IP同源ID打通、多場(chǎng)景ID適配。數(shù)據(jù)整理數(shù)據(jù)庫(kù)技術(shù)數(shù)據(jù)模型管理常用的數(shù)據(jù)模型數(shù)據(jù)庫(kù)技術(shù)是研究如何組織和存儲(chǔ)數(shù)據(jù)，如何高效地獲取和處理數(shù)據(jù)，是一種計(jì)算機(jī)輔助管理數(shù)據(jù)的方法。包括存儲(chǔ)、查找、添加、修改、刪除數(shù)據(jù)等功能。數(shù)據(jù)模型是現(xiàn)實(shí)世界在數(shù)據(jù)庫(kù)中的抽象，也是數(shù)據(jù)庫(kù)系統(tǒng)的核心和基礎(chǔ)。數(shù)據(jù)模型通常包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和數(shù)據(jù)完整性約束三個(gè)要素。數(shù)據(jù)庫(kù)理論領(lǐng)域中最常見(jiàn)的數(shù)據(jù)模型主要有層次模型、網(wǎng)狀模型和關(guān)系模型三種。數(shù)據(jù)管理03洞察建模數(shù)據(jù)洞察計(jì)算廣告數(shù)據(jù)洞察針對(duì)廣告投放后的數(shù)據(jù)報(bào)表及其分析，涵蓋推廣賬號(hào)、推廣計(jì)劃、廣告組、定向標(biāo)簽等多個(gè)層級(jí)的數(shù)據(jù)，并支持按日、按小時(shí)進(jìn)行查詢?；凇皵?shù)據(jù)擴(kuò)充”的數(shù)據(jù)洞察基于“數(shù)據(jù)擴(kuò)充”的數(shù)據(jù)洞察法是根據(jù)廣告主采集的的9直接采購(gòu)?fù)獠抗?yīng)商的現(xiàn)成標(biāo)簽用以數(shù)據(jù)洞察。數(shù)據(jù)分析和數(shù)據(jù)挖掘數(shù)據(jù)分析是通過(guò)SQL、Python、Excel等工具匯總數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換為可理解可使用的信息。數(shù)據(jù)挖掘是通過(guò)建模來(lái)挖掘數(shù)據(jù)的內(nèi)在關(guān)聯(lián)，主要是通過(guò)機(jī)器學(xué)習(xí)從訓(xùn)練集中發(fā)現(xiàn)一定的規(guī)律，從而將數(shù)據(jù)轉(zhuǎn)換為信息。基于“知識(shí)圖譜”的數(shù)據(jù)洞察基于“知識(shí)圖譜”的數(shù)據(jù)洞察法即通過(guò)“知識(shí)圖譜”結(jié)構(gòu)化數(shù)據(jù)，建立自定義標(biāo)簽用以數(shù)據(jù)洞察。常規(guī)的知識(shí)圖譜有URL圖譜、App圖譜、Location圖譜、互動(dòng)行為圖譜和產(chǎn)品分類圖譜。數(shù)據(jù)洞察數(shù)據(jù)建模計(jì)算廣告本質(zhì)是一個(gè)流量售賣的過(guò)程，是廣告主、媒體方和用戶三方的博弈。廣告主通過(guò)流量的購(gòu)買(mǎi)最大化自己的投資回報(bào)率（ROI），媒體方通過(guò)流量的售賣進(jìn)行充分“變現(xiàn)”，用戶可以從廣告中獲取自己需要的信息。從交易方式來(lái)看，計(jì)算廣告可以分為合約式廣告和競(jìng)價(jià)廣告兩大類。合約式廣告由廣告代理公司和媒體簽訂協(xié)議，確保某些廣告位在某時(shí)間段為指定的廣告商所占有，同時(shí)廣告商按整體合同支付廣告費(fèi)用，合約交易并不需要廣告模型。

在競(jìng)價(jià)廣告中，廣告主針對(duì)曝光展示機(jī)會(huì)出價(jià)競(jìng)購(gòu)，最后由流量方按照競(jìng)價(jià)規(guī)則（一價(jià)或者二價(jià)）將流量售賣給廣告主。數(shù)據(jù)模型類型數(shù)據(jù)模型作用數(shù)據(jù)建模步驟概念數(shù)據(jù)模型是面向用戶、面向現(xiàn)實(shí)世界的數(shù)據(jù)模型，通常是對(duì)實(shí)際的客觀對(duì)象的簡(jiǎn)化描述。邏輯模型是指數(shù)據(jù)的邏輯結(jié)構(gòu)。物理模型就是把邏輯模型的內(nèi)容在具體的物理介質(zhì)上實(shí)現(xiàn)出來(lái)。計(jì)算廣告數(shù)據(jù)模型的作用是通過(guò)分析廣告投放數(shù)據(jù)、用戶行為數(shù)據(jù)和其他相關(guān)數(shù)據(jù)，預(yù)測(cè)廣告的點(diǎn)擊率、轉(zhuǎn)化率等關(guān)鍵指標(biāo)。數(shù)據(jù)建模的具體步驟分為選