右智能出價詳細設(shè)計

1、文檔名稱：右智能出價詳細設(shè)計BS-AT 右詳細設(shè)計網(wǎng)絡(luò)技術(shù)（北京） 所有,()網(wǎng)絡(luò)技術(shù)（北京）- 1 -模塊名稱bdbs所屬系統(tǒng)nova模塊洪爽項目周天力文檔提交日期文檔名稱：右智能出價詳細設(shè)計網(wǎng)絡(luò)技術(shù)（北京）- 2 -文檔名稱：右智能出價詳細設(shè)計修改網(wǎng)絡(luò)技術(shù)（北京）- 1 -No修改后版本號修改內(nèi)容簡介修改日期修改人1V1.0全文2013/11/20洪爽如果系統(tǒng)已編寫MRD，寫明對應的MRD文檔名稱文檔名稱：右智能出價詳細設(shè)計目 錄文檔名稱錯誤!未定義書簽。123背景1名詞解釋1設(shè)計目標13.1 實現(xiàn)的功能13.2 設(shè)計的性能指標3系統(tǒng)環(huán)境（可選）錯誤!未定義書簽。44.14.24.34.4

2、假設(shè)及與其它模塊錯誤!未定義書簽。相關(guān)軟件及硬件錯誤!未定義書簽。模塊限制錯誤!未定義書簽。數(shù)據(jù)規(guī)模估計錯誤!未定義書簽。56設(shè)計思路及折衷錯誤!未定義書簽。模塊設(shè)計36.16.26.36.46.56.66.7模塊流程圖及說明錯誤!未定義書簽。數(shù)據(jù)結(jié)構(gòu)及說明錯誤!未定義書簽。算法描述（可選）錯誤!未定義書簽。與其它模塊的接口錯誤!未定義書簽。異常處理錯誤!未定義書簽。測試考慮錯誤!未定義書簽。各子模塊設(shè)計（可選）錯誤!未定義書簽。6.7.11 子模塊錯誤!未定義書簽。7風險評估及對其它模塊/系統(tǒng)影響（可選）87.1 已知的或可預知的風險87.2 與其它模塊/系統(tǒng)可能的影響8設(shè)計評審意見8附件及

3、參考資料989網(wǎng)絡(luò)技術(shù)（北京）- 2 -文檔名稱：右智能出價詳細設(shè)計1 背景北斗客戶（特別是中小戶）不能準確、細致定義的目標受眾；而且大部分主期望能夠簡單、傻瓜式搭建維護賬戶；但系統(tǒng)現(xiàn)狀是，定向方式雖多，但不是準確意義的人群。策略端主導的紅鸞右（AT 右）項目，目標就是實現(xiàn)在保證效果基礎(chǔ)上，實現(xiàn)系統(tǒng)為客戶選擇受眾人群，自動投放。所以，北斗系統(tǒng)亟需支持 AT 右自動投放，為北斗系統(tǒng)智能化投放探索前進。在 AT 右中，引入聚類的概念，通過分析用戶的歷史行為（瀏覽，點擊等），用戶被分到的聚類，即相同受眾的類別，為用戶使用此類別觸發(fā)，在 BS 中新增AT 右觸發(fā)邏輯?？傮w流程：As 請求Bs，AT 通

4、道觸發(fā)的，排序后返回 AS。本文檔給出了 AT 右在檢索端工程化的總體設(shè)計，包括與 AFS 接口、觸發(fā)、排序邏輯等內(nèi)容。2 名詞解釋1. 全自動投放（AT 右）：支持客戶輸入信息，系統(tǒng)自動選擇受眾人群，自動投放；用戶對所投放的受眾不可見。2. Cluster：具有相同受眾的類別，策略端根據(jù)的已購詞、創(chuàng)意提詞，將具有相同受眾的聚類在一起的結(jié)果。3 設(shè)計目標3.1 實現(xiàn)的功能總體檢索邏輯網(wǎng)絡(luò)技術(shù)（北京）第 1 頁 共 9 頁文檔名稱：右智能出價詳細設(shè)計Cookie用戶當前行為、歷史行為集合2用集合1BS定時AFS的增量AT NOVA 框架需要實現(xiàn)的功能：1.增加基準、增量索引利用 afs-inde

5、x 模塊生成的基線索引文件，并DAS 增量，生成索引數(shù)據(jù)2.新增 AT 右正排，倒排索引3.AT 右觸發(fā)1) 依次獲取 as 請求中的 fea_cluster_t 結(jié)構(gòu)，處理 FEA_CLUSTER_TYPE:BT 特征簇，解析其中 clusterid 在范圍（1000000-5000000）內(nèi)的 cluster，并放入觸發(fā)隊列2) 觸發(fā)過程使用 bid*cluster_weight 遍歷倒排拉鏈，并觸發(fā)，本階段數(shù)設(shè)置截斷數(shù) 320，支持可配置可以使用 as_req.atright_trigger_unit_num 來配置4.rank在 rank 階段，暫定使用 adq*bid 作為權(quán)重進行排

6、序，默認設(shè)置截斷數(shù) 50，支持通過分流配置使用 as_req.atright_unit_num 配置5.select在 select 階段，對于 AT 右通道，設(shè)置網(wǎng)絡(luò)技術(shù)（北京）第 2 頁 共 9 頁AFS基準、增量BS觸發(fā)排序請求UAP特征抽取戶聚類ClusterAS高級排序文檔名稱：右智能出價詳細設(shè)計ctr_bs_m_channel_type = CTR_BS_MDOEL_CHANNEL_TYPE_INDEX(NOT_DEFINED);6.其他1)設(shè)置通道觸發(fā)優(yōu)先級（保持與 BT 一致）RT>RT3>KT>UIT>AT>PT2)Tar 值設(shè)定AT 右通道觸發(fā)

7、的使用新的 tag 值4096/定向?qū)傩詍essage BSUnitTaroptionalboolis_hct=11;optionalboolis_pack=12;optionalboolis_at=13;3.2 設(shè)計的性能指標4 模塊設(shè)計4.1 流程圖及說明1. 觸發(fā)階段流程網(wǎng)絡(luò)技術(shù)（北京）第 3 頁 共 9 頁文檔名稱：右智能出價詳細設(shè)計AS請求TRIGGER觸發(fā)RANK排序?qū)rigger排序Bid*adq做倒序排列4.2 數(shù)據(jù)結(jié)構(gòu)及說明1、 分檔閾值表功能：觸發(fā)時候根據(jù) Cluster、分檔獲取對應的閾值typedef ST_TABLE(AT_CLUSTER_ID, CROWDWEIG

8、HT, VERSION,THRESHOLD,ST_UNIQUE_KEY(AT_CLUSTER_ID, CROWDWEIGHT, version) ATClusterThresholdTable;各字段含義：網(wǎng)絡(luò)技術(shù)（北京）第 4 頁 共 9 頁填充apres日志返回AS創(chuàng)意優(yōu)選數(shù)截斷填充bad,tar等字段遍歷特征簇對應的倒排拉鏈，按照Bid*weight順序觸發(fā)特征簇文檔名稱：右智能出價詳細設(shè)計AT_CLUSTER_ID：聚類 idCROWDWEIGHT：權(quán)重分檔THRESHOLD：cluster 對應分檔下的截斷閾值VERSION：模型的版本，與 uap 請求中的版本號相對應從文件加載，支

9、持動態(tài)更新2、 正排表從基準、增量讀入的數(shù)據(jù)在正排表中，格式如下Typedef ST_TABLE(UNIT_ID, AT_CLUSTER_ID, CROWDWEIGHT, ATINFOID,ST_UNIQUE_KEY(UNIT_ID) ATUnitClusterTable;各字段含義：UNIT_ID：推廣組 idAT_CLUSTER_ID：相同受眾的類別 idCROWDWEIGHT：此 unit 設(shè)置的閾值分檔ATINFOID：AT 關(guān)聯(lián)id，業(yè)務端需要3、 倒排表Typedef ST_TABLE(AT_CLUSTER_ID, UNIT_ID, WIGHT, CROWDWEIGHT, ATIN

10、FOID,ST_UNIQUE_KEY(AT_CLUSTER_ID,ST_REVERSED_CLUSTER_KEY(WEIGHT,UNIT_ID)ATUnitClusterTable;根據(jù)正排表，構(gòu)造的倒排索引，在觸發(fā)中使用，倒排表中按照 unit_id 的 bid 進行排序字段含義同正排表，其中 WEIGHT 取 unit_id 對應的出價4.3 算法描述（可選）1、 觸發(fā)算法網(wǎng)絡(luò)技術(shù)（北京）第 5 頁 共 9 頁文檔名稱：右智能出價詳細設(shè)計在 bs/module/mod_trigger_bt.h|cpp中實現(xiàn)，1、配置文件 trigger_atright.h ：max_trigger_uni

11、t_num;max_traverse_unit_num;is_fix_rand;2、 按照bid * cluster_weight 的順序觸發(fā)具體算法如下a)AS 請求的 BT 特征簇 tag_fea_list獲取特征 cluster_id權(quán)重 cluster_weight放入 at_trig_list 中1,Cluster_id 的限制為1000000,5000000 )，并去與 1000000 取余后的數(shù)值作為觸發(fā)使用的 clusterid2,vesion 使用特征簇中 src3,weight 使用特征簇中的 weightb)遍歷 at_trig_list 各個 cluster 對應拉鏈中

12、 group，支持隨機遍歷倒排c)對每個 group，計算截斷閾值（通過 clusterid 和閾值分檔查出）d)對通過截斷閾值的 group，調(diào)用 BS 觸發(fā)邏輯，回調(diào)框架代碼，保證相關(guān)業(yè)務過濾2、 排序算法在 Rank 中，目前只按照 bid 排序，后續(xù)會使用 ADQ 進行排序3、 實驗支持需要支持給不同實驗模型配置不同閾值，比如 UAP 有 clusterid=123 的兩個模型，一個全流量模型，一個是小流量實驗，使用 UAP 傳人的 cluster 對應的 src 屬性標志是否實驗，哪一版本模型。并且為其分配閾值。增加分檔閾值文件格式為 cluster_id t crowd_weigh

13、t t version t threshold網(wǎng)絡(luò)技術(shù)（北京）第 6 頁 共 9 頁文檔名稱：右智能出價詳細設(shè)計配置項：atright_threshold_fname數(shù)據(jù)文件：./data/bdlib/atright_threshold.txt設(shè)計 typedef ST_TABLE(AT_CLUSTER_ID, CROWDWEIGHT, VERSION, THRESHOLD,ST_UNIQUE_KEY(AT_CLUSTER_ID, CROWDWEIGHT) ATClusterThresholdTable;結(jié)構(gòu)，根據(jù) VERSION 來區(qū)分實驗流量的分檔閾值配置，在統(tǒng)計上可以通過 UAP 的實驗

14、號來區(qū)分。4.4 與其它子模塊的接口1、 與 DAS 模塊接口層級 level3targetype：推廣組定向類型，新增定向方式 at，按位取值 128新增層級 level20Atid:at 關(guān)聯(lián)關(guān)系 idGroupidPlanidUseridClusteridCrowdweight2、 與 AS 模塊接口實驗參數(shù)：1) At 右返回數(shù)at_right_unit_num 分流參數(shù)，默認設(shè)置 502) AT 右通道使能開關(guān)enable_at_right 分流開關(guān)3）AT 右通道觸發(fā)數(shù)網(wǎng)絡(luò)技術(shù)（北京）第 7 頁 共 9 頁文檔名稱：右智能出價詳細設(shè)計atright_trigger_unit_num

15、 分流配置3）AT 右是否支持隨機觸發(fā)enable_atright_trigger_random 分流開關(guān)4）AT 右隨機觸發(fā)的比例atright_trigger_random_ratio 分流配置Apres 日志打?。?) bad 字段apres 中打印 AT 觸發(fā)的 clusterid、weight（uap->as->bs），_Apres_bad，復用格式bad:tagid#weight:version，以 version 字段區(qū)分不同版本的模型2) 業(yè)務相關(guān)字段（業(yè)務端需要）AtidAT 關(guān)聯(lián) id，一個 Atid 唯一對應了 group 和 clusterid 一個組合AtcidAT clustered3) 打印 AT 右的Tar 值4.5 異常處理5 風險評估及對其它模塊/系統(tǒng)影響（可選）5.1 已知的或可預知的風險在這里加上已經(jīng)知道的或可能會發(fā)生的風險，包括技術(shù)、業(yè)務等方面。最好每個風險，列出相應的應對措施。5.2 與其它模塊/系統(tǒng)可能的影響在“錯誤!未找到源?！敝忻枋隽嗽撃K與其它模塊的依賴關(guān)系。在這里描述這些依