商務(wù)大數(shù)據(jù)分析導論 課件 附錄3.MI科技公司大數(shù)據(jù)應(yīng)用案例

MI科技公司大數(shù)據(jù)應(yīng)用案例CONTENTS01.案例背景02.業(yè)務(wù)需求03.大數(shù)據(jù)平臺04.大數(shù)據(jù)實時分析05.云深度學習平臺占06.“4M”智能營銷CONTENTS07.MI廣告交易平臺08.品牌廣告業(yè)務(wù)09.區(qū)塊鏈應(yīng)用10.案例評析案例背景PARTONE創(chuàng)始人在W大學期間受《硅谷之火》影響，立志創(chuàng)辦世界級企業(yè)，先后創(chuàng)辦S軟件公司、Y網(wǎng)，并取得成功。2010年4月6日，MI公司成立。創(chuàng)業(yè)歷程MI公司發(fā)展歷史業(yè)務(wù)發(fā)展MI公司自成立以來，銷售業(yè)績快速增長，尤其在手機市場取得顯著成就，同時在互聯(lián)網(wǎng)電視、智能硬件生態(tài)鏈等領(lǐng)域顛覆傳統(tǒng)市場。MI公司發(fā)展歷史MI公司戰(zhàn)略與模式MI生態(tài)鏈堅持開放合作，打造了豐富的智能產(chǎn)品生態(tài)體系，MIJA品牌推出，產(chǎn)品迅速成為市場明星。生態(tài)鏈建設(shè)01MI公司戰(zhàn)略與模式MI公司通過MI社區(qū)、MI操作系統(tǒng)、電商、云服務(wù)等逐步擴展業(yè)務(wù)，形成獨特的發(fā)展模式，稱為“旋風圖”。業(yè)務(wù)發(fā)展模式01MI公司大數(shù)據(jù)與未來大數(shù)據(jù)應(yīng)用發(fā)展前景01MI公司擁有大量用戶資源，通過大數(shù)據(jù)賦能，以支持企業(yè)超常規(guī)發(fā)展，提供強勁動力。02未來有品商城、MI商城、MI之家將進一步擴展SKU，持續(xù)提升服務(wù)與產(chǎn)品覆蓋，向千億元目標沖刺。業(yè)務(wù)需求PARTTWOMI生態(tài)大數(shù)據(jù)銷售的智能產(chǎn)品產(chǎn)生大量數(shù)據(jù)，MIUI操作系統(tǒng)和內(nèi)置應(yīng)用則進一步豐富大數(shù)據(jù)來源。涵蓋手機、電視等硬件產(chǎn)品，以及MIUI操作系統(tǒng)和各類App，形成國內(nèi)領(lǐng)先智能終端生態(tài)。以“全生態(tài)，多樣性”為特點，構(gòu)建了獨一無二的用戶行為數(shù)據(jù)資源庫。MI公司業(yè)務(wù)構(gòu)成大數(shù)據(jù)來源分析用戶從早到晚的各種智能設(shè)備使用數(shù)據(jù)上傳至MI云，為MI公司提供持續(xù)的數(shù)據(jù)經(jīng)營與分析資源。MI生態(tài)大數(shù)據(jù)特征大數(shù)據(jù)應(yīng)用與價值MI云平臺01個人云服務(wù)平臺個人云服務(wù)平臺"MIiCloud"專注于為MI用戶服務(wù)，提供數(shù)據(jù)備份與存儲，助力用戶管理聯(lián)系人、短信、照片等信息。02MI內(nèi)部云MI內(nèi)部云為業(yè)務(wù)提供云端服務(wù)，支持大數(shù)據(jù)處理，服務(wù)于內(nèi)部研發(fā)、運維和測試團隊，構(gòu)建資源池。03MI生態(tài)云MI生態(tài)云為生態(tài)鏈企業(yè)提供一站式云服務(wù)，融合數(shù)據(jù)，助力企業(yè)實現(xiàn)業(yè)務(wù)云端化，服務(wù)億萬用戶。MI大數(shù)據(jù)的應(yīng)用需求廣告營銷中心，預估點擊，畫像描繪，實現(xiàn)精準推廣和營銷。MI大數(shù)據(jù)核心應(yīng)用用戶征信評估，融資輔助，打造安全金融環(huán)境?；ヂ?lián)網(wǎng)金融運用提供個性化搜索，定制化推薦，提升用戶服務(wù)體驗。大數(shù)據(jù)搜索推薦010203大數(shù)據(jù)識別異常購買，保障公平，打擊非法搶購。應(yīng)用于照片處理，圖像分析，增強用戶體驗和服務(wù)。依據(jù)用戶需求，實施定制服務(wù)，實現(xiàn)運營精細化管理。精細化運營策略防“黃?！毕到y(tǒng)圖像分析處理功能MI大數(shù)據(jù)的應(yīng)用需求大數(shù)據(jù)平臺PARTTHREE涵蓋數(shù)據(jù)采集、存儲、管理、分析、算法及數(shù)據(jù)可視化，核心組件基于開源技術(shù)并進行優(yōu)化。MI公司大數(shù)據(jù)架構(gòu)概覽采用JavaScribe，每臺機器通過代理軟件收集數(shù)據(jù)，實現(xiàn)高效數(shù)據(jù)整合。數(shù)據(jù)采集機制主要使用HBase，結(jié)合開源技術(shù)，確保存儲效果和性能。數(shù)據(jù)存儲解決方案Kerberos進行數(shù)據(jù)管理與認證，保證數(shù)據(jù)操作的準確性和效率。數(shù)據(jù)管理與認證技術(shù)架構(gòu)技術(shù)架構(gòu)MapReduce、Spark等工具實現(xiàn)從天級到小時級，甚至秒級的數(shù)據(jù)分析能力。01利用Tensorflow進行深度學習，結(jié)合Kubernetes進行資源調(diào)度，支持多元化業(yè)務(wù)。02通過Kafka、Druid等實現(xiàn)數(shù)據(jù)實時流處理和可視化，確保數(shù)據(jù)準確呈現(xiàn)。03MI公司在HBase和Kudu項目中的深度參與，技術(shù)專家在技術(shù)委員會中發(fā)揮關(guān)鍵作用。04多維度數(shù)據(jù)分析算法應(yīng)用實時數(shù)據(jù)可視化HBase與Kudu技術(shù)對比MI數(shù)據(jù)工場構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺，提供數(shù)據(jù)采集、計算、存儲及各類工具，服務(wù)于公司各團隊和生態(tài)鏈企業(yè)。MI數(shù)據(jù)工場概述基于Hadoop體系，融合Hive、Spark、MIapReduce等技術(shù)，適應(yīng)豐富多樣的業(yè)務(wù)場景。技術(shù)選型多樣性支持機器學習、挖掘，提供數(shù)據(jù)可視化、任務(wù)管理、權(quán)限管理等服務(wù)，促進部門間數(shù)據(jù)利用。數(shù)據(jù)工場功能強化數(shù)據(jù)權(quán)限管理，防止不當利用，確保數(shù)據(jù)在開放共享中的安全性。安全與權(quán)限控制MI的數(shù)據(jù)存儲格式MI數(shù)據(jù)存儲采用Parquet格式，支持多種大數(shù)據(jù)處理技術(shù)，具備讀取速度快、占用空間少、處理效率高的優(yōu)勢。客戶端數(shù)據(jù)接入客戶端數(shù)據(jù)接入通過WAP、App采集，SDK模式便于前端采集，服務(wù)端Log模式則無需前端介入，兩者在不同場景下各有優(yōu)勢。服務(wù)器端數(shù)據(jù)源處理數(shù)據(jù)時，需關(guān)注服務(wù)器端數(shù)據(jù)源，如業(yè)務(wù)數(shù)據(jù)庫和日志。使用ETL工具批量導入數(shù)據(jù)庫數(shù)據(jù)，Scribe則用于將日志數(shù)據(jù)寫入HDFS。數(shù)據(jù)處理方式數(shù)據(jù)處理方式MII公司運用Docker管理計算框架，解決環(huán)境需求和異構(gòu)問題，實現(xiàn)資源的有效利用和用戶數(shù)據(jù)的高級保護。DockerMI公司優(yōu)化計算管理：定時/手工執(zhí)行任務(wù)，參數(shù)化處理，數(shù)據(jù)依賴與指定隊列確保效率，結(jié)果通過郵件通知，實現(xiàn)數(shù)據(jù)自動對接。計算管理元數(shù)據(jù)管理旨在統(tǒng)一數(shù)據(jù)處理方式，滿足不同工具需求，節(jié)省用戶理解和使用數(shù)據(jù)的時間。元數(shù)據(jù)管理大數(shù)據(jù)實時分析PARTFOUR因MySQL處理容量限制，MI公司在日活躍用戶超過1億后，面臨處理困境，需尋求擴展性更強的解決方案。MySQL至HBase遷移背景01HBase遷移策略02采用雙寫機制，新數(shù)據(jù)同時寫入HBase和MySQL，確保數(shù)據(jù)同步，再逐步遷移MySQL的歷史數(shù)據(jù)至HBase。數(shù)據(jù)的遷移數(shù)據(jù)的遷移遷移過程中采用雙讀檢查，對比HBase和MySQL數(shù)據(jù)，當一致性達到99.9%時，確認遷移完成。在數(shù)據(jù)一致性高且穩(wěn)定后，全面切換至HBase，最終返回并處理灰度測試結(jié)果，確保業(yè)務(wù)正常運行。數(shù)據(jù)一致性驗證HBase遷移結(jié)果確認01從非實時到MIapReduce結(jié)合RDBMS，再到HBase，最后通過Kafka、Storm實時分析，最終采用Druid實現(xiàn)高效實時處理。02專為OLAP設(shè)計，支持快速查詢，具備高可用性和可伸縮性，適用于大規(guī)模實時分析。03第四個階段開始，通過Kafka、Storm到RDBMS或NoSQL，數(shù)據(jù)直接進入Druid實現(xiàn)毫秒級交互式查詢。04在MI公司內(nèi)部，除了統(tǒng)計分析，還用于廣告系統(tǒng)，實現(xiàn)實時請求、點擊、展現(xiàn)等數(shù)據(jù)的快速分析。MI公司數(shù)據(jù)分析演進Druid特性摘要實時分析階段Druid應(yīng)用案例基于Druid的數(shù)據(jù)實時分析基于Kudu的實時數(shù)據(jù)分析2015年聯(lián)合發(fā)布Kudu，Apache開源，兼顧大吞吐和低延時，優(yōu)化Druid的響應(yīng)慢問題。MI公司實時數(shù)據(jù)分析技術(shù)01使用前：ETL高延時，Logo無序，需完整數(shù)據(jù)才計算；使用后：ETL流程簡化，訪問性能提升，問題解決明顯。Kudu應(yīng)用效果對比02實時統(tǒng)計數(shù)據(jù)服務(wù)大數(shù)據(jù)實時分析平臺集成多元數(shù)據(jù)，提供廣泛實時統(tǒng)計分析，深度結(jié)合用戶畫像，助力優(yōu)化業(yè)務(wù)策略。用戶畫像服務(wù)精準描繪用戶行為，通過實時統(tǒng)計分析業(yè)務(wù)數(shù)據(jù)，支持開發(fā)者做出數(shù)據(jù)驅(qū)動的決策。云深度學習平臺占PARTFIVE01MI云深度學習平臺概述提供高性能分布式云服務(wù)，支持模型開發(fā)到預測的全過程，旨在優(yōu)化機器學習。02易用性與兼容性支持跨平臺命令行工具和多種API，兼容TensorFlow等深度學習框架，實現(xiàn)跨云平臺的代碼兼容。03高性能與靈活性采用GPU運算支持數(shù)據(jù)并行，靈活分配CPU、GPU資源，實現(xiàn)秒級計費。04安全與完整性采用多租戶認證授權(quán)，動態(tài)調(diào)整用戶配額，支持云端訓練及模型服務(wù)，提供完整的開發(fā)環(huán)境。05模型服務(wù)與支持支持模型一鍵部署，提供高性能服務(wù)，支持在線升級和負載均衡，內(nèi)置豐富深度學習框架。性能特點系統(tǒng)架構(gòu)構(gòu)建于公有云和私有云，利用GPU集群提供強計算能力，支持TensorFlow等自定義模型。01包含存儲服務(wù)、任務(wù)管理、GPU集群管理和計算服務(wù)，用于處理各種深度學習任務(wù)。02服務(wù)于智能助手、云相冊、廣告、金融和搜索推薦等業(yè)務(wù)，實現(xiàn)圖像、語言和語音的智能處理。03提供API、SDK、命令行和Web控制臺，適應(yīng)不同用戶和場景的需求，滿足復雜應(yīng)用環(huán)境。04MI云深度學習平臺概述平臺核心組件服務(wù)應(yīng)用領(lǐng)域用戶訪問方式數(shù)據(jù)經(jīng)FDS系統(tǒng)存儲，處理后數(shù)據(jù)返回MI云，綜合分析得出結(jié)果，支持各類應(yīng)用場景。數(shù)據(jù)處理流程智能設(shè)備通過App服務(wù)器將圖像、語音、文本數(shù)據(jù)傳輸?shù)組I云，進行分析處理，為用戶提供服務(wù)。MI云深度學習平臺應(yīng)用應(yīng)用場景應(yīng)用實例覆蓋1500+種物體分類，助力智能家居，可應(yīng)用于場景識別和產(chǎn)品分類。物體識別功能定位人臉位置，分析性別、年齡信息，適用于圖像分析、安防監(jiān)控等場景。MI云人臉檢測服務(wù)01內(nèi)部廣泛使用，提升資源利用率，縮短啟動時間，支持分布式訓練和故障遷移。MI云服務(wù)優(yōu)勢02支持數(shù)十個功能，兼容近20個深度學習框架，滿足異構(gòu)硬件和多框架需求。平臺功能特性03提供自動超參數(shù)調(diào)優(yōu)，實現(xiàn)無人值守操作，支持從訓練到上線的完整流程。自動化優(yōu)化服務(wù)04建成多租戶隔離、資源共享的高性能平臺，集成訓練和服務(wù)功能，提升用戶體驗。創(chuàng)造用戶價值應(yīng)用狀況“4M”智能營銷PARTSIX大數(shù)據(jù)類營銷MI公司產(chǎn)品矩陣涵蓋手機、電視、路由器，依托大量用戶基礎(chǔ)進行大數(shù)據(jù)用戶畫像。營銷效果評估對比通投，點擊率提升87%，搜索關(guān)鍵詞相關(guān)用戶增長顯著，展現(xiàn)大數(shù)據(jù)營銷優(yōu)勢。精準營銷階段劃分三個階段深入挖掘科沃茲目標用戶：種子用戶挖掘、潛在受眾尋找、潛在受眾更新。大數(shù)據(jù)維度應(yīng)用依據(jù)用戶年齡、收入、購車意向等五維數(shù)據(jù)，定位并推送廣告，提升營銷精準度。全場景類營銷用戶佩戴PUMA定制MI手環(huán)，鎖屏提示運動數(shù)據(jù)，鼓勵用戶積極參與戶外運動。evoKNIT跑鞋結(jié)合“酷跑街頭”理念，通過MI運動實現(xiàn)跨平臺展示，鎖屏即見運動數(shù)據(jù)。MI手機與生態(tài)鏈產(chǎn)品無縫對接，全場景包圍用戶，打造智能生活體驗。MI生態(tài)鏈產(chǎn)品整合PUMA跑鞋營銷創(chuàng)新運動健康場景融合01MI公司培育粉絲文化，借助粉絲群體進行話題互動，增強用戶參與感，實現(xiàn)品牌與用戶深度互動。022016年10月，華潤怡寶借助MI新品發(fā)布會，開展線上猜價活動，通過微博話題吸引用戶參與，提升品牌曝光度。03MINote2發(fā)布會現(xiàn)場發(fā)放特制華潤怡寶純凈水，結(jié)合直播貼，實現(xiàn)線上線下聯(lián)動，品牌曝光次數(shù)顯著增加。粉絲文化與社群營銷華潤怡寶跨界合作案例新品發(fā)布會創(chuàng)新營銷社群類營銷創(chuàng)意創(chuàng)新類營銷設(shè)計別克汽車互動專題，以動物勛章激勵用戶參與，結(jié)合多渠道推廣，引導用戶參與線下試駕，提升品牌曝光和用戶參與度。創(chuàng)新營銷策略別克品牌曝光量達到8000萬次，點擊量超120萬次，活動期間形成多次參與高潮，有效轉(zhuǎn)化為潛在消費者?；顒訄?zhí)行效果MI廣告交易平臺PARTSEVENMI廣告平臺涵蓋MI應(yīng)用商店、瀏覽器等軟硬件業(yè)務(wù)的變現(xiàn)，支持多種廣告形式，如圖2-12所示。01MI廣告平臺架構(gòu)對接MI用戶手機、服務(wù)器等，管理流量，配置和運營。02接入層功能包含廣告核心邏輯，如廣告交易平臺、效果服務(wù)和排期服務(wù)。03廣告服務(wù)層描述負責點擊率預估、預算平滑和精準定向等算法，實現(xiàn)廣告精準投放。04算法數(shù)據(jù)層職責存儲廣告數(shù)據(jù)，提供廣告和用戶數(shù)據(jù)的訪問，支持數(shù)據(jù)訪問層。05存儲層作用構(gòu)建DSP服務(wù)廣告主，統(tǒng)一管理平臺提升廣告效率，支持多種競價模式如PDB、PD、PrivateAuction和PublicAuction。包括DSP，方便廣告主和代理公司統(tǒng)一管理多賬戶，支持CostPerClick和CostPerDay付費模式。提供綜合性管理界面，實現(xiàn)按日付費和按點擊付費，促進廣告交易的便捷與高效。已歷經(jīng)三個發(fā)展階段，不斷優(yōu)化升級，滿足廣告交易的多樣需求。MIAdExchange功能概述MAX平臺體系架構(gòu)廣告交易服務(wù)MI廣告平臺發(fā)展歷程廣告交易平臺點擊率預估MI公司廣告部門通過優(yōu)化用戶特征值和使用FTRL算法，提升廣告在應(yīng)用分發(fā)中的效果，尤其重視用戶行為特征的運用。應(yīng)用分發(fā)01搜索是通過應(yīng)用商店和瀏覽器利用搜索流量進行廣告變現(xiàn)，通過上下文、廣告、用戶和組合特征進行精準推送，模型已從相關(guān)性模型升級為點擊率模型，效果顯著提升。搜索02起源于Facebook的信息流廣告在今日頭條、微博等平臺成功，MI公司一點資訊、瀏覽器為其主要載體，通過個性化算法提升廣告效果，實現(xiàn)流量的精準售賣。信息流03大數(shù)據(jù)反作弊應(yīng)用MI公司開發(fā)的硬件標識方案能生成設(shè)備唯一的ID，有效識別設(shè)備真?zhèn)?，?yīng)用效果良好。設(shè)備真?zhèn)巫R別MI公司通過大數(shù)據(jù)分析用戶異常行為，構(gòu)建包含客戶端、服務(wù)端和前端的廣告反作弊系統(tǒng)，以強化監(jiān)控和識別作弊行為。用戶行為分析品牌廣告業(yè)務(wù)PARTEIGHT售賣方式售賣方式有CPT(按時間計費)和CPM(按展示量計費)廣告，以及合約式廣告，后者若違約需補量賠償。定向方式MI公司MI品牌廣告業(yè)務(wù)提供多樣定向選擇，如用戶屬性、設(shè)備型號、人群包、時間、內(nèi)容及特殊天氣狀況等。頻控絕大多數(shù)的廣告需要有頻次控制，MI品牌廣告業(yè)務(wù)以小時、日、周進行頻控。第三方監(jiān)測MI品牌廣告業(yè)務(wù)委托秒針、Admaster和DoubleClick等第三方機構(gòu)進行專業(yè)的監(jiān)測。業(yè)務(wù)的特點系統(tǒng)架構(gòu)MI公司的SSP管理手機電視流量，對接多個DSP，實現(xiàn)廣告的效果服務(wù)和品牌服務(wù)，如檢索、過濾、預估、定向等。廣告檢索系統(tǒng)廣告售賣系統(tǒng)是廣告排期工具，具備訂單管理、庫存分配（依賴流量預估）等功能，支持定量、尋量等操作。廣告售賣系統(tǒng)數(shù)據(jù)處理包含日志服務(wù)、實時和離線數(shù)據(jù)處理，其中流量預估是基礎(chǔ)，支持在線投放和庫存分配。數(shù)據(jù)處理分為在線和離線兩部分，在線提供查詢接口，離線包括總量、定向數(shù)據(jù)處理和算法評估。流量預估系統(tǒng)架構(gòu)依賴請求日志，數(shù)據(jù)求和后用Holt-Winters算法進行總量預估，用于流量預測?？偭繑?shù)據(jù)預估針對日期、廣告位和定向條件，離線部分使用BitMap和正交算法處理請求日志，定向數(shù)據(jù)存儲在MySQL。廣告位定向處理通過RMISE、高估率和低估率等指標，評估預估算法的準確性，持續(xù)優(yōu)化流量預估。算法評估與優(yōu)化流量預估庫存分配處理大量訂單，解決定向沖突，優(yōu)化庫存利用率，尤其在節(jié)日高峰期。廣告訂單處理基于預估流量和訂單數(shù)據(jù)構(gòu)建二分圖，確保每個訂單得到有效分配。二分圖構(gòu)建與分配分析請求日志預測流量，生成最小化定向條件，簡化后續(xù)分配。流量預估與定向條件結(jié)合訂單優(yōu)先級應(yīng)用啟發(fā)式算法，保證分配效率與公平性。分配算法與優(yōu)化01020304優(yōu)化訂單完成率和平滑投放，面對實際流量偏離預期時的快速修正需求。在線投放目標與挑戰(zhàn)通過實時數(shù)據(jù)處理得出訂單完成率，不斷進入循環(huán)優(yōu)化，確保投放精準有效。數(shù)據(jù)驅(qū)動優(yōu)化兼顧實時流量預估修正與訂單完成率動態(tài)反饋，實現(xiàn)小時級模型訓練更新。實時反饋機制閉環(huán)流程，實時數(shù)據(jù)進入庫存分配模型訓練，生成方案，結(jié)合品牌需求發(fā)布廣告，通過日志服務(wù)處理數(shù)據(jù)。在線投放流程在線投放01實時分析debug請求，追蹤廣告投放關(guān)鍵步驟，快速定位實時問題所在。廣告運營問題定位02小時級數(shù)據(jù)統(tǒng)計，結(jié)合總請求、過濾次數(shù)，全面分析歷史問題，判斷預估或分