深度學(xué)習(xí)推薦系統(tǒng)

深度學(xué)習(xí)推薦系統(tǒng)讀書筆記模板01思維導(dǎo)圖讀書筆記作者介紹內(nèi)容摘要目錄分析精彩摘錄目錄0305020406思維導(dǎo)圖深度推薦模型系統(tǒng)技術(shù)業(yè)界評(píng)估模型推薦系統(tǒng)方法深度技術(shù)特征結(jié)構(gòu)過程架構(gòu)用戶局限性本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要深度學(xué)習(xí)在推薦系統(tǒng)領(lǐng)域掀起了一場(chǎng)技術(shù)革命，本書從深度學(xué)習(xí)推薦模型、Embedding技術(shù)、推薦系統(tǒng)工程實(shí)現(xiàn)、模型評(píng)估體系、業(yè)界前沿實(shí)踐等幾個(gè)方面介紹了這場(chǎng)技術(shù)革命中的主流技術(shù)要點(diǎn)。讀書筆記讀書筆記非常棒看完可以對(duì)推薦系統(tǒng)有很體系的了解也很有趣作為運(yùn)營(yíng)和算法工程師溝通沒有啥障礙了。如果**讀書早點(diǎn)上架這本書，我就可以日夜研讀，拿到更好的offer了??開玩笑：）。微讀????，這本書也有了，再多上架一點(diǎn)類似的技術(shù)書呀，等我有空了就看看??。較新且較為全面的推薦系統(tǒng)的深度學(xué)習(xí)應(yīng)用的書了。21年:只能說牛逼，作者功力太深，對(duì)機(jī)器學(xué)習(xí)和推薦系統(tǒng)的理解都很到位，學(xué)習(xí)中，內(nèi)容很多，需要?？础Ｄ夸浄治?.2推薦系統(tǒng)的架構(gòu)1.1為什么推薦系統(tǒng)是互聯(lián)網(wǎng)的增長(zhǎng)引擎第1章互聯(lián)網(wǎng)的增長(zhǎng)引擎——推薦系統(tǒng)參考文獻(xiàn)1.3本書的整體結(jié)構(gòu)第1章互聯(lián)網(wǎng)的增長(zhǎng)引擎——推薦系統(tǒng)1.1為什么推薦系統(tǒng)是互聯(lián)網(wǎng)的增長(zhǎng)引擎1.1.1推薦系統(tǒng)的作用和意義1.1.2推薦系統(tǒng)與YouTube的觀看時(shí)長(zhǎng)增長(zhǎng)1.1.3推薦系統(tǒng)與電商網(wǎng)站的收入增長(zhǎng)1.2推薦系統(tǒng)的架構(gòu)1.2.1推薦系統(tǒng)的邏輯框架1.2.2推薦系統(tǒng)的技術(shù)架構(gòu)1.2.3推薦系統(tǒng)的數(shù)據(jù)部分1.2.4推薦系統(tǒng)的模型部分1.2.5深度學(xué)習(xí)對(duì)推薦系統(tǒng)的革命性貢獻(xiàn)1.2.6把握整體，補(bǔ)充細(xì)節(jié)2.1傳統(tǒng)推薦模型的演化關(guān)系圖2.2協(xié)同過濾——經(jīng)典的推薦算法2.3矩陣分解算法——協(xié)同過濾的進(jìn)化2.4邏輯回歸——融合多種特征的推薦模型第2章前深度學(xué)習(xí)時(shí)代——推薦系統(tǒng)的進(jìn)化之路2.5從FM到FFM——自動(dòng)特征交叉的解決方案2.6GBDT+LR——特征工程模型化的開端2.7LS-PLM——阿里巴巴曾經(jīng)的主流推薦模型2.8總結(jié)——深度學(xué)習(xí)推薦系統(tǒng)的前夜參考文獻(xiàn)12345第2章前深度學(xué)習(xí)時(shí)代——推薦系統(tǒng)的進(jìn)化之路2.2協(xié)同過濾——經(jīng)典的推薦算法2.2.1什么是協(xié)同過濾2.2.2用戶相似度計(jì)算2.2.3最終結(jié)果的排序2.2.4ItemCF2.2.5UserCF與ItemCF的應(yīng)用場(chǎng)景2.2.6協(xié)同過濾的下一步發(fā)展2.3矩陣分解算法——協(xié)同過濾的進(jìn)化2.3.1矩陣分解算法的原理2.3.2矩陣分解的求解過程2.3.3消除用戶和物品打分的偏差2.3.4矩陣分解的優(yōu)點(diǎn)和局限性2.4邏輯回歸——融合多種特征的推薦模型2.4.1基于邏輯回歸模型的推薦流程2.4.2邏輯回歸模型的數(shù)學(xué)形式2.4.3邏輯回歸模型的訓(xùn)練方法2.4.4邏輯回歸模型的優(yōu)勢(shì)2.4.5邏輯回歸模型的局限性2.5從FM到FFM——自動(dòng)特征交叉的解決方案2.5.1POLY2模型——特征交叉的開始2.5.2FM模型——隱向量特征交叉2.5.3FFM模型——引入特征域的概念2.5.4從POLY2到FFM的模型演化過程2.6GBDT+LR——特征工程模型化的開端2.6.1GBDT+LR組合模型的結(jié)構(gòu)2.6.2GBDT進(jìn)行特征轉(zhuǎn)換的過程2.6.3GBDT+LR組合模型開啟的特征工程新趨勢(shì)2.7LS-PLM——阿里巴巴曾經(jīng)的主流推薦模型2.7.1LS-PLM模型的主要結(jié)構(gòu)2.7.2LS-PLM模型的優(yōu)點(diǎn)2.7.3從深度學(xué)習(xí)的角度重新審視LS-PLM模型3.1深度學(xué)習(xí)推薦模型的演化關(guān)系圖3.2AutoRec——單隱層神經(jīng)網(wǎng)絡(luò)推薦模型3.3DeepCrossing模型——經(jīng)典的深度學(xué)習(xí)架構(gòu)3.4NeuralCF模型——CF與深度學(xué)習(xí)的結(jié)合3.5PNN模型——加強(qiáng)特征交叉能力12345第3章浪潮之巔——深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用3.6Wide＆Deep模型——記憶能力和泛化能力的綜合3.7FM與深度學(xué)習(xí)模型的結(jié)合3.8注意力機(jī)制在推薦模型中的應(yīng)用3.9DIEN——序列模型與推薦系統(tǒng)的結(jié)合第3章浪潮之巔——深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用3.10強(qiáng)化學(xué)習(xí)與推薦系統(tǒng)的結(jié)合參考文獻(xiàn)3.11總結(jié)——推薦系統(tǒng)的深度學(xué)習(xí)時(shí)代第3章浪潮之巔——深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用3.2AutoRec——單隱層神經(jīng)網(wǎng)絡(luò)推薦模型3.2.1AutoRec模型的基本原理3.2.2AutoRec模型的結(jié)構(gòu)3.2.3基于AutoRec模型的推薦過程3.2.4AutoRec模型的特點(diǎn)和局限性3.3DeepCrossing模型——經(jīng)典的深度學(xué)習(xí)架構(gòu)3.3.1DeepCrossing模型的應(yīng)用場(chǎng)景3.3.2DeepCrossing模型的網(wǎng)絡(luò)結(jié)構(gòu)3.3.3DeepCrossing模型對(duì)特征交叉方法的革命3.4NeuralCF模型——CF與深度學(xué)習(xí)的結(jié)合3.4.1從深度學(xué)習(xí)的視角重新審視矩陣分解模型3.4.2NeuralCF模型的結(jié)構(gòu)3.4.3NeuralCF模型的優(yōu)勢(shì)和局限性3.5PNN模型——加強(qiáng)特征交叉能力3.5.1PNN模型的網(wǎng)絡(luò)架構(gòu)3.5.2Product層的多種特征交叉方式3.5.3PNN模型的優(yōu)勢(shì)和局限性3.6Wide＆Deep模型——記憶能力和泛化能力的綜合3.6.1模型的記憶能力與泛化能力3.6.2Wide＆Deep模型的結(jié)構(gòu)3.6.3Wide＆Deep模型的進(jìn)化——Deep＆Cross模型3.6.4Wide＆Deep模型的影響力3.7FM與深度學(xué)習(xí)模型的結(jié)合3.7.1FNN——用FM的隱向量完成Embedding層初始化3.7.2DeepFM——用FM代替Wide部分3.7.3NFM——FM的神經(jīng)網(wǎng)絡(luò)化嘗試3.7.4基于FM的深度學(xué)習(xí)模型的優(yōu)點(diǎn)和局限性3.8注意力機(jī)制在推薦模型中的應(yīng)用3.8.1AFM——引入注意力機(jī)制的FM3.8.2DIN——引入注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)3.8.3注意力機(jī)制對(duì)推薦系統(tǒng)的啟發(fā)3.9DIEN——序列模型與推薦系統(tǒng)的結(jié)合3.9.1DIEN的“進(jìn)化”動(dòng)機(jī)3.9.2DIEN模型的架構(gòu)3.9.3興趣抽取層的結(jié)構(gòu)3.9.4興趣進(jìn)化層的結(jié)構(gòu)3.9.5序列模型對(duì)推薦系統(tǒng)的啟發(fā)3.10強(qiáng)化學(xué)習(xí)與推薦系統(tǒng)的結(jié)合3.10.1深度強(qiáng)化學(xué)習(xí)推薦系統(tǒng)框架3.10.2深度強(qiáng)化學(xué)習(xí)推薦模型3.10.3DRN的學(xué)習(xí)過程3.10.4DRN的在線學(xué)習(xí)方法——競(jìng)爭(zhēng)梯度下降算法3.10.5強(qiáng)化學(xué)習(xí)對(duì)推薦系統(tǒng)的啟發(fā)4.1什么是Embedding4.2Word2vec——經(jīng)典的Embedding方法4.3Item2vec——Word2vec在推薦系統(tǒng)領(lǐng)域的推廣4.4GraphEmbedding——引入更多結(jié)構(gòu)信息的圖嵌入技術(shù)第4章Embedding技術(shù)在推薦系統(tǒng)中的應(yīng)用4.5Embedding與深度學(xué)習(xí)推薦系統(tǒng)的結(jié)合4.6局部敏感哈?！孍mbedding插上翅膀的快速搜索方法4.7總結(jié)——深度學(xué)習(xí)推薦系統(tǒng)的核心操作參考文獻(xiàn)第4章Embedding技術(shù)在推薦系統(tǒng)中的應(yīng)用4.1什么是Embedding4.1.1詞向量的例子4.1.2Embedding技術(shù)在其他領(lǐng)域的擴(kuò)展4.1.3Embedding技術(shù)對(duì)于深度學(xué)習(xí)推薦系統(tǒng)的重要性4.2Word2vec——經(jīng)典的Embedding方法4.2.1什么是Word2vec4.2.2Word2vec模型的訓(xùn)練過程4.2.3Word2vec的“負(fù)采樣”訓(xùn)練方法4.2.4Word2vec對(duì)Embedding技術(shù)的奠基性意義4.3Item2vec——Word2vec在推薦系統(tǒng)領(lǐng)域的推廣4.3.1Item2vec的基本原理4.3.2“廣義”的Item2vec4.3.3Item2vec方法的特點(diǎn)和局限性4.4GraphEmbedding——引入更多結(jié)構(gòu)信息的圖嵌入技術(shù)4.4.1DeepWalk——基礎(chǔ)的GraphEmbedding方法4.4.2Node2vec——同質(zhì)性和結(jié)構(gòu)性的權(quán)衡4.4.3EGES——阿里巴巴的綜合性GraphEmbedding方法4.5Embedding與深度學(xué)習(xí)推薦系統(tǒng)的結(jié)合4.5.1深度學(xué)習(xí)網(wǎng)絡(luò)中的Embedding層4.5.2Embedding的預(yù)訓(xùn)練方法4.5.3Embedding作為推薦系統(tǒng)召回層的方法4.6局部敏感哈?！孍mbedding插上翅膀的快速搜索方法4.6.1“快速”Embedding最近鄰搜索4.6.2局部敏感哈希的基本原理4.6.3局部敏感哈希多桶策略5.1推薦系統(tǒng)的特征工程5.2推薦系統(tǒng)召回層的主要策略5.3推薦系統(tǒng)的實(shí)時(shí)性5.4如何合理設(shè)定推薦系統(tǒng)中的優(yōu)化目標(biāo)5.5推薦系統(tǒng)中比模型結(jié)構(gòu)更重要的是什么12345第5章多角度審視推薦系統(tǒng)5.6冷啟動(dòng)的解決辦法參考文獻(xiàn)5.7探索與利用第5章多角度審視推薦系統(tǒng)5.1推薦系統(tǒng)的特征工程5.1.1構(gòu)建推薦系統(tǒng)特征工程的原則5.1.2推薦系統(tǒng)中的常用特征5.1.3常用的特征處理方法5.1.4特征工程與業(yè)務(wù)理解5.2推薦系統(tǒng)召回層的主要策略5.2.1召回層和排序?qū)拥墓δ芴攸c(diǎn)5.2.2多路召回策略5.2.3基于Embedding的召回方法5.3推薦系統(tǒng)的實(shí)時(shí)性5.3.1為什么說推薦系統(tǒng)的實(shí)時(shí)性是重要的5.3.2推薦系統(tǒng)“特征”的實(shí)時(shí)性5.3.3推薦系統(tǒng)“模型”的實(shí)時(shí)性5.3.4用“木桶理論”看待推薦系統(tǒng)的迭代升級(jí)5.4如何合理設(shè)定推薦系統(tǒng)中的優(yōu)化目標(biāo)5.4.1YouTube以觀看時(shí)長(zhǎng)為優(yōu)化目標(biāo)的合理性5.4.2模型優(yōu)化和應(yīng)用場(chǎng)景的統(tǒng)一性5.4.3優(yōu)化目標(biāo)是和其他團(tuán)隊(duì)的接口性工作5.5推薦系統(tǒng)中比模型結(jié)構(gòu)更重要的是什么5.5.1有解決推薦問題的“銀彈”嗎5.5.2Netflix對(duì)用戶行為的觀察5.5.3觀察用戶行為，在模型中加入有價(jià)值的用戶信息5.5.4DIN模型的改進(jìn)動(dòng)機(jī)5.5.5算法工程師不能只是一個(gè)“煉金術(shù)士”5.6冷啟動(dòng)的解決辦法5.6.1基于規(guī)則的冷啟動(dòng)過程5.6.2豐富冷啟動(dòng)過程中可獲得的用戶和物品特征5.6.3利用主動(dòng)學(xué)習(xí)、遷移學(xué)習(xí)和“探索與利用”機(jī)制5.6.4“巧婦難為無米之炊”的困境5.7探索與利用5.7.1傳統(tǒng)的探索與利用方法5.7.2個(gè)性化的探索與利用方法5.7.3基于模型的探索與利用方法5.7.4“探索與利用”機(jī)制在推薦系統(tǒng)中的應(yīng)用6.1推薦系統(tǒng)的數(shù)據(jù)流6.2推薦模型離線訓(xùn)練之SparkMLlib6.3推薦模型離線訓(xùn)練之ParameterServer6.4推薦模型離線訓(xùn)練之TensorFlow6.5深度學(xué)習(xí)推薦模型的上線部署12345第6章深度學(xué)習(xí)推薦系統(tǒng)的工程實(shí)現(xiàn)參考文獻(xiàn)6.6工程與理論之間的權(quán)衡第6章深度學(xué)習(xí)推薦系統(tǒng)的工程實(shí)現(xiàn)6.1推薦系統(tǒng)的數(shù)據(jù)流6.1.1批處理大數(shù)據(jù)架構(gòu)6.1.2流計(jì)算大數(shù)據(jù)架構(gòu)6.1.3Lambda架構(gòu)6.1.4Kappa架構(gòu)6.1.5大數(shù)據(jù)平臺(tái)與推薦系統(tǒng)的整合6.2推薦模型離線訓(xùn)練之SparkMLlib6.2.1Spark的分布式計(jì)算原理6.2.2SparkMLlib的模型并行訓(xùn)練原理6.2.3SparkMLlib并行訓(xùn)練的局限性6.3推薦模型離線訓(xùn)練之ParameterServer6.3.1ParameterServer的分布式訓(xùn)練原理6.3.2一致性與并行效率之間的取舍6.3.3多server節(jié)點(diǎn)的協(xié)同和效率問題6.3.4ParameterServer技術(shù)要點(diǎn)總結(jié)6.4推薦模型離線訓(xùn)練之TensorFlow6.4.1TensorFlow的基本原理6.4.2TensorFlow基于任務(wù)關(guān)系圖的并行訓(xùn)練過程6.4.3TensorFlow的單機(jī)訓(xùn)練與分布式訓(xùn)練模式6.4.4TensorFlow技術(shù)要點(diǎn)總結(jié)6.5深度學(xué)習(xí)推薦模型的上線部署6.5.1預(yù)存推薦結(jié)果或Embedding結(jié)果6.5.2自研模型線上服務(wù)平臺(tái)6.5.3預(yù)訓(xùn)練Embedding+輕量級(jí)線上模型6.5.4利用PMML轉(zhuǎn)換并部署模型6.5.5TensorFlowServing6.5.6靈活選擇模型服務(wù)方法6.6工程與理論之間的權(quán)衡6.6.1工程師職責(zé)的本質(zhì)6.6.2Redis容量和模型上線方式之間的權(quán)衡6.6.3研發(fā)周期限制和技術(shù)選型的權(quán)衡6.6.4硬件平臺(tái)環(huán)境和模型結(jié)構(gòu)間的權(quán)衡6.6.5處理好整體和局部的關(guān)系7.1離線評(píng)估方法與基本評(píng)價(jià)指標(biāo)7.2直接評(píng)估推薦序列的離線指標(biāo)7.3更接近線上環(huán)境的離線評(píng)估方法——Replay7.4A/B測(cè)試與線上評(píng)估指標(biāo)7.5快速線上評(píng)估方法——Interleaving12345第7章推薦系統(tǒng)的評(píng)估參考文獻(xiàn)7.6推薦系統(tǒng)的評(píng)估體系第7章推薦系統(tǒng)的評(píng)估7.1離線評(píng)估方法與基本評(píng)價(jià)指標(biāo)7.1.1離線評(píng)估的主要方法7.1.2離線評(píng)估的指標(biāo)7.2直接評(píng)估推薦序列的離線指標(biāo)7.2.1P-R曲線7.2.2ROC曲線7.2.3平均精度均值7.2.4合理選擇評(píng)估指標(biāo)7.3更接近線上環(huán)境的離線評(píng)估方法——Replay7.3.1模型評(píng)估的邏輯閉環(huán)7.3.2動(dòng)態(tài)離線評(píng)估方法7.3.3Netflix的Replay評(píng)估方法實(shí)踐7.4A/B測(cè)試與線上評(píng)估指標(biāo)7.4.1什么是A/B測(cè)試7.4.2A/B測(cè)試的“分桶”原則7.4.3線上A/B測(cè)試的評(píng)估指標(biāo)7.5快速線上評(píng)估方法——Interleaving7.5.1傳統(tǒng)A/B測(cè)試存在的統(tǒng)計(jì)學(xué)問題7.5.2Interleaving方法的實(shí)現(xiàn)7.5.3Interleaving方法與傳統(tǒng)A/B測(cè)試的靈敏度比較7.5.4Interleaving方法指標(biāo)與A/B測(cè)試指標(biāo)的相關(guān)性7.5.5Interleaving方法的優(yōu)點(diǎn)與缺點(diǎn)8.1Facebook的深度學(xué)習(xí)推薦系統(tǒng)8.3YouTube深度學(xué)習(xí)視頻推薦系統(tǒng)8.2Airbnb基于Embedding的實(shí)時(shí)搜索推薦系統(tǒng)第8章深度學(xué)習(xí)推薦系統(tǒng)的前沿實(shí)踐參考文獻(xiàn)8.4阿里巴巴深度學(xué)習(xí)推薦系統(tǒng)的進(jìn)化第8章深度學(xué)習(xí)推薦系統(tǒng)的前沿實(shí)踐8.1Facebook的深度學(xué)習(xí)推薦系統(tǒng)8.1.1推薦系統(tǒng)應(yīng)用場(chǎng)景8.1.2以GBDT+LR組合模型為基礎(chǔ)的CTR預(yù)估模型8.1.3實(shí)時(shí)數(shù)據(jù)流架構(gòu)8.1.4降采樣和模型校正8.1.5FacebookGBDT+LR組合模型的工程實(shí)踐8.1.6Facebook的深度學(xué)習(xí)模型DLRM8.1.7DLRM模型并行訓(xùn)練方法8.1.8DLRM模型的效果8.1.9