鳳巢學(xué)習(xí)搜索引擎架構(gòu)

鳳巢搜索引擎架構(gòu)IMPL-蔣松

2012-11-08概要背景知識(shí)架構(gòu)介紹輔助支撐概要背景知識(shí)架構(gòu)介紹輔助支撐網(wǎng)民視角PPPaidPlacementPPIMPP位置的IM廣告IMIntelligentMatch廣告主視角關(guān)鍵詞字面、匹配方式、出價(jià)創(chuàng)意標(biāo)題、摘要、url單元關(guān)鍵詞共享創(chuàng)意(優(yōu)選/輪選)，M*N計(jì)劃/帳戶時(shí)段、地域、否定詞等業(yè)務(wù)規(guī)則表達(dá)賬戶推廣計(jì)劃推廣單元推廣單元關(guān)鍵詞廣告創(chuàng)意關(guān)鍵詞廣告創(chuàng)意關(guān)鍵詞推廣單元推廣計(jì)劃推廣計(jì)劃匹配模式網(wǎng)民檢索詞與廣告主拍賣詞匹配程度匹配方式檢索詞拍賣詞精確鮮花鮮花高語精確包含西二旗鮮花鮮花切詞包含運(yùn)動(dòng)鞋lining李寧籃球鞋自定義網(wǎng)球拍李寧(李寧)運(yùn)動(dòng)鞋寬泛鮮花巧克力TargetingQueryTargetingQuery拍賣機(jī)制引入廣告質(zhì)量度GSP：點(diǎn)擊計(jì)費(fèi)&騙展現(xiàn)排序：Q*bid計(jì)費(fèi)：最低保位價(jià)引入用戶體驗(yàn)HC_GSP：需求滿足&排污費(fèi)排序：Q*(bid-HC)計(jì)費(fèi)：激勵(lì)兼容的最低保位價(jià)

一些指標(biāo)指標(biāo)含義備注cpm每千次檢索收入檢索端的核心kpictr點(diǎn)擊率與廣告相關(guān)性相輔相成acp平均點(diǎn)擊價(jià)格高價(jià)廣告召回pvr出廣告的檢索pv比例流量的商業(yè)屬性asn平均展現(xiàn)條數(shù)相關(guān)的門限閾值arpu戶均消費(fèi)供給來源

概要背景知識(shí)架構(gòu)介紹輔助支撐鳳巢整體架構(gòu)檢索端整體架構(gòu)實(shí)時(shí)檢索系統(tǒng)2.需求分析3.廣告觸發(fā)5.排序計(jì)費(fèi)1.展現(xiàn)接入4.模型預(yù)估展現(xiàn)接入1.請(qǐng)求分流：選擇產(chǎn)品線災(zāi)備切流量2.實(shí)驗(yàn)抽樣：實(shí)驗(yàn)觸發(fā)實(shí)驗(yàn)參數(shù)實(shí)驗(yàn)路徑流量分配3.模板渲染：生成HTML4.日志打?。悍醋鞅捉y(tǒng)計(jì)分析模型訓(xùn)練需求分析–cs檢索詞：觸發(fā)的核心來源字面：同義糾錯(cuò)擴(kuò)展語義：主題聚類離線挖掘：二步圖候選空間：寬泛高短Query靜態(tài)結(jié)構(gòu)唯一的緩存需求分析–upin用戶行為：觸發(fā)和預(yù)估中調(diào)權(quán)uflow：短期行為在線計(jì)算patternubay：長(zhǎng)期操作離線挖掘興趣點(diǎn)weaver：Bigpipe=>RPC+復(fù)雜結(jié)構(gòu)

強(qiáng)調(diào)數(shù)據(jù)及時(shí)(<1s)反饋xbox：HDFS=>RPC+KV強(qiáng)調(diào)數(shù)據(jù)豐富和多源統(tǒng)一入口：在線策略框架打印日志廣告觸發(fā)–imbs&nks數(shù)據(jù)和邏輯解耦合：存儲(chǔ)系統(tǒng)索引框架策略和業(yè)務(wù)解耦合：描述索引更新執(zhí)行業(yè)務(wù)過濾多維觸發(fā)：規(guī)則和策略在線和離線索引橋接選擇模型預(yù)估–predictorAPI，服務(wù)化數(shù)據(jù)準(zhǔn)備填充特征提取計(jì)算預(yù)估值打印日志兼顧大小客戶：自定義默認(rèn)實(shí)現(xiàn)配置驅(qū)動(dòng)應(yīng)用廣泛：多層剪枝多維預(yù)估廣告基礎(chǔ)信息平臺(tái)-adseaExtractor：穩(wěn)定高效邏輯消息隊(duì)列：高可用高擴(kuò)展在線特征提?。河?jì)算框架流式處理統(tǒng)一訪問入口：built-in:adtableRPC:adrest離線挖掘框架-adex基礎(chǔ)服務(wù)：數(shù)據(jù)計(jì)算關(guān)系存儲(chǔ)策略框架：屬性關(guān)系概要背景知識(shí)架構(gòu)介紹輔助支撐快速實(shí)驗(yàn)體系相互隔離穩(wěn)定性高效果便于評(píng)估流量和機(jī)器浪費(fèi)推左單點(diǎn)的折衷按模塊預(yù)分層實(shí)現(xiàn)部分流量復(fù)用流量的波動(dòng)性流量的最大復(fù)用支持灰度發(fā)布大數(shù)據(jù)大詞表實(shí)驗(yàn)其它面向廣告