ApacheKylin在綠城客戶畫像系統(tǒng)中實踐

ApacheKylin在綠城客戶畫像系統(tǒng)中的實踐序言作為國內(nèi)出名的房地產(chǎn)開發(fā)商，綠城經(jīng)過24年的發(fā)展，已為全國25萬戶、80萬人創(chuàng)立了漂亮家園，并將以“理想生活綜合服務(wù)供給商”為目標，連續(xù)為客戶創(chuàng)立高品質(zhì)的房產(chǎn)品和生活服務(wù)。2017年，綠城理想生活公司建立，環(huán)繞客戶全生活鏈、房子全生命周期，為客戶供給從買房子到房子的養(yǎng)護保護，再到業(yè)主全方向的生活服務(wù)。為此建立了綠城+App生活服務(wù)平臺、房產(chǎn)營銷數(shù)字化平臺及房子4S服務(wù)平臺，這些系統(tǒng)的建立為業(yè)主購房及生活服務(wù)供給了極大的便利，部分系統(tǒng)不只開放給綠城客戶、業(yè)主使用，同時也服務(wù)于非綠城的客戶。經(jīng)過一整套垂直行業(yè)的用戶畫像系統(tǒng)建立并使用ApacheKylin加快主要數(shù)據(jù)服務(wù)，有效提高了互聯(lián)網(wǎng)廣告推行、營銷服務(wù)的效率。一、綠城客戶畫像系統(tǒng)的背景房產(chǎn)品的創(chuàng)立和線下銷售是目前綠城的主營業(yè)務(wù)，為有效提高服務(wù)質(zhì)量、管理效能，降低營銷開銷，實現(xiàn)客戶服務(wù)智能化、銷售行為自動化、成本管理合理化，綠城踴躍擁抱互聯(lián)網(wǎng)，于2015年開始了數(shù)字化營銷（DigitalMarketing）的研究和研究，經(jīng)過+互聯(lián)網(wǎng)創(chuàng)新營銷業(yè)務(wù)。經(jīng)過2年的探索和模式考證今后，2017年綠城建立了專門的大數(shù)據(jù)團隊，環(huán)繞營銷全過程和客戶全生命周期，建立了房地產(chǎn)行業(yè)首個全閉環(huán)的“房產(chǎn)營銷數(shù)字化平臺”，服務(wù)于營銷找客到成交回款全過程，以以下列圖所示:1綠城房產(chǎn)營銷數(shù)字化平臺在“房產(chǎn)營銷數(shù)字化平臺”中，精確營銷和智慧案場為營銷線最核心的兩個系統(tǒng)，它們以廣告投放、客戶數(shù)據(jù)財產(chǎn)管理、經(jīng)營指標分析為基礎(chǔ)，延展出會合營銷知識分享與學習、營銷與轉(zhuǎn)變工具、第三方供給商為一體的互聯(lián)網(wǎng)平臺，服務(wù)于房地產(chǎn)市場營銷家產(chǎn)鏈生態(tài)圈，為Marketing階段的客戶獲得供給了一站式程序化解決方案。其余置業(yè)綠城、掌上銷售等系統(tǒng)則為后續(xù)的Sales環(huán)節(jié)供給數(shù)字化服務(wù)。精確營銷系統(tǒng)和智慧案場系統(tǒng)，鑒于DMP（DataManagementPlatform，數(shù)據(jù)管理平臺）的數(shù)據(jù)分析和辦理能力支撐和流轉(zhuǎn)起全部業(yè)務(wù)邏輯，一方面，綠城DMP系統(tǒng)經(jīng)過累積營銷投放過程中的回流數(shù)據(jù)，其余一方面又收集置業(yè)綠城、全民營銷系統(tǒng)（綠粉匯）、掌上銷售系統(tǒng)中的埋點行為數(shù)據(jù)及數(shù)據(jù)庫數(shù)據(jù)。經(jīng)過上述各種方式為數(shù)字化營銷建立更為正確優(yōu)化的策略，進而真實做到“數(shù)據(jù)驅(qū)動營銷”。綠城DMP的數(shù)據(jù)包含第一、第二和第三方數(shù)據(jù)：第一方數(shù)據(jù)，即完滿自有的數(shù)據(jù)。公司自己的CRM系統(tǒng)數(shù)據(jù)、網(wǎng)站和APP等營運活動的應(yīng)用數(shù)據(jù)；第二方數(shù)據(jù)，主要包含程序化廣告投放過程中的交易數(shù)據(jù)；第三方數(shù)據(jù)，主要為BAT數(shù)據(jù)、營運商數(shù)據(jù)等。綠城DMP整體的業(yè)務(wù)架構(gòu)圖如下：圖2：綠城DMP與系統(tǒng)間的邏輯架構(gòu)DMP作為服務(wù)于Marketing的核心工具，客戶畫像發(fā)揮著極其重要的作用?？蛻舢嬒褚揽坑贒MP的標簽管理、用戶歸一化以及營銷有關(guān)的客戶數(shù)據(jù)，它為房子的營銷推行供給決議支持和依照。其余一方面，營銷有關(guān)營運活動也需要畫像系統(tǒng)支持。營銷引擎鑒于用戶畫像系統(tǒng)，為精確營銷、智慧案場系統(tǒng)供給一致的廣告投放服務(wù)。二、客戶畫像與ApacheKylin的聯(lián)合如前所述，客戶畫像服務(wù)于Marketing，其核心的業(yè)務(wù)流程能夠用以下列圖表示：3客戶畫像的核心邏輯經(jīng)過DMP進行數(shù)據(jù)的收集、交融分析、歸一化辦理，再鑒于行業(yè)標簽，為精確營銷系統(tǒng)供給精確的人群畫像，并投放到各種媒體及網(wǎng)站，實現(xiàn)關(guān)于受眾的精確觸達。2015~2016年，綠城大數(shù)據(jù)平臺中的數(shù)據(jù)主要經(jīng)過Hive+HBase進行儲蓄以及分析計算，后臺的數(shù)據(jù)服務(wù)特別是畫像服務(wù)，均是鑒于HBase的JavaAPI開發(fā)，那時基本能知足業(yè)務(wù)秒級的響應(yīng)需求。但經(jīng)歷2017年的業(yè)務(wù)高速發(fā)展今后，跟著渠道及合作方的增添，數(shù)據(jù)的體量和維度的增添了數(shù)十倍，畫像等數(shù)據(jù)服務(wù)的響應(yīng)速度漸漸降至5秒甚至30秒，部分業(yè)務(wù)查問甚至超出了1min，并且數(shù)據(jù)源泉繁雜、維度眾多，需要系統(tǒng)化地管理。為解決這個問題，綠城大數(shù)據(jù)團隊于17年上半年進行標簽系統(tǒng)建設(shè)形成共13大類、8000+細類的多維度標簽，客戶畫像的建立，便依靠于這個豐富成熟的標簽系統(tǒng)。日均300G以上數(shù)據(jù)會積淀在大數(shù)據(jù)平臺中，數(shù)據(jù)體量的增添致使性能瓶頸顯然，經(jīng)過多輪測試、綜合比較分析ApacheKudu，Presto，Druid以及ApacheKylin今后，最后選擇ApacheKylin作為OLAP工具，最后優(yōu)化并解決了數(shù)據(jù)服務(wù)查問的性能問題。選擇ApacheKylin的主要原由有以下幾點：成熟度來講：ApacheKylin和Druid更為成熟（參照堅固性、性能、社區(qū)活躍度等要素）查問效率來講：Druid≈ApacheKylin，優(yōu)于其余（主要業(yè)務(wù)場景）適用和便利性：ApacheKylin搭建和使用均較為便利（同時也是華人的頂級開源項目）其余，ApacheKylin還有以下優(yōu)點：ApacheKylin進行估計算，空間換時間，經(jīng)過預(yù)約義、計算Cube的方式提高查問的速度和性能，同時，查問的性能隨業(yè)務(wù)的增添也不會遇到影響；數(shù)據(jù)管理及同步方便。預(yù)計算、建立Cube、數(shù)據(jù)管理都可鑒于ApacheKylin自行管理；有開放的API能夠方便、迅速地對接內(nèi)部數(shù)據(jù)辦理流程、與調(diào)動系統(tǒng)打通。綠城大數(shù)據(jù)平臺每天增量建立數(shù)百GB的Cube，建立的時間從幾小時到十幾小時不等，以前后臺較慢的查問時間范圍是從十幾到幾十秒，使用ApacheKylin后則基本都在1-2秒內(nèi)即可予以響應(yīng)。最后優(yōu)化今后的客戶畫像建立流程以下：4客戶畫像建立流程此中，業(yè)務(wù)系統(tǒng)數(shù)據(jù)和Log數(shù)據(jù)經(jīng)過收集、傳輸后，鑒于Spark進行初步辦理，今后包含埋點、營運活動等的結(jié)果數(shù)據(jù)會寫入HDFS以及HBase中。一部分客戶、樓盤的數(shù)據(jù)報告和分析服務(wù)經(jīng)過

Hive

及

Spark

進行支撐和輸出，而主要的數(shù)據(jù)服務(wù)則經(jīng)過

ApacheKylin

進行建立。Kylin中，關(guān)于小數(shù)據(jù)量的Cube，或許常常需要全表更新的Cube，使用全量建立需要更少的運維精力，以少許的重復(fù)計算降低生產(chǎn)環(huán)境中的保護復(fù)雜度。而關(guān)于大數(shù)據(jù)量的Cube，比方關(guān)于一個包含兩年歷史數(shù)據(jù)的Cube，假如需要每天更新，那么每天為了新數(shù)據(jù)而去重復(fù)計算過去兩年的數(shù)據(jù)就會變得特別浪費，而在這類狀況下需要考慮使用增量構(gòu)建。由于綠城大數(shù)據(jù)平臺的數(shù)據(jù)每天按日更新，并且日均數(shù)據(jù)量都會在百

G以上，因此我們用到了

ApacheKylin

的增量建立

Cube。Kylin

在

Web

界面上供給了手動建立

Cube的操作，其余，ApacheKylin也供給了RestAPI進行增量建立。在綠城客戶畫像系統(tǒng)中，70%的自動化觸發(fā)增量建立都鑒于RestAPI達成。圖5ApacheKylin建立Cube的Web頁面我們鑒于ApacheKylin建立好的數(shù)據(jù)服務(wù)，又經(jīng)過開源工具Superset進行客戶畫像中標簽數(shù)據(jù)的可視化分析展現(xiàn)，以以下列圖：圖6鑒于Superset的標簽畫像展現(xiàn)大數(shù)據(jù)可視化工具的選擇特別豐富。在比較了開源工具Superset、Zeppelin以及商業(yè)工具FineBI后，最后采納Airbnb開源的Superset（曾用名Caravel）的主要原由以下：數(shù)據(jù)安全性、權(quán)限控制，僅Superset有表檢索的權(quán)限控制圖表多樣性，Superset擁有多達30張以上的圖表，多表的聯(lián)動性-filter支持多表聯(lián)動數(shù)據(jù)庫多元性，Superset既支持關(guān)系型數(shù)據(jù)庫，也支持像ApacheKylin這樣的大數(shù)據(jù)框架社區(qū)活躍度相對更高Superset作為一款開源的BI

工具，能夠知足我們關(guān)于標簽畫像聯(lián)動分析的需求，

節(jié)儉了前端、

UI

的開發(fā)資源客戶畫像依靠的數(shù)據(jù)、

后臺計算引擎以及標簽都建立達成后，綠城客戶畫像的一瞥以以下列圖所示：三、將來客戶畫像系統(tǒng)的展望綠城客戶畫像系統(tǒng)目前只服務(wù)于