機器學習a brief introduction to recsys計算機學院 語音及語

RecommenderSystems:ABriefIntroduction劉淇計算機學院、語音及語言信息處理國家工程實驗室RecommenderSystems:ABriefIntroduction劉淇計算機學院、語音及語言信息處理國家工程實驗室qiliuql@/~qiliuql/主要目標 2 了解推薦系統(tǒng)的背景和現(xiàn)狀主要目標 2 了解推薦系統(tǒng)的背景和現(xiàn)狀總結(jié)推薦算法的主要思想、技術(shù)方案建立推薦系統(tǒng)與數(shù)據(jù)挖掘的關(guān)聯(lián)學習推薦算法的設(shè)計（研究）案例探討推薦算法的未來研究方向主要內(nèi)容 3 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 3 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦主要內(nèi)容 4 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 4 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦為什么要推薦 5 InformationoverloadWe為什么要推薦 5 InformationoverloadWeareleavingtheageofinformationandenteringtheageofrecommendation.ChrisAndersoninTheLongTail背景 6 原因示例‐1返回信息量太大Java信息推薦??！背景 6 原因示例‐1返回信息量太大Java信息推薦??！背景 7 原因示例‐2該買哪一件？個性化信息推薦??！背景 7 原因示例‐2該買哪一件？個性化信息推薦??！背景 8 推薦系統(tǒng)商家增加收益網(wǎng)絡(luò)商家推薦系統(tǒng)項目項目過濾主動服務(wù)信息技術(shù)普通用戶用戶各得所需背景 8 推薦系統(tǒng)商家增加收益網(wǎng)絡(luò)商家推薦系統(tǒng)項目項目過濾主動服務(wù)信息技術(shù)普通用戶用戶各得所需—豆瓣 9 —豆瓣 9 —淘寶 10 我的淘寶商品頁面—淘寶 10 我的淘寶商品頁面—Amazon 11 —Amazon 11 背景 12 推薦無處不在背景 12 推薦無處不在 13 首屆全國大學生數(shù)據(jù)挖掘邀請賽Willtheycontact? 13 首屆全國大學生數(shù)據(jù)挖掘邀請賽Willtheycontact? 14 被評選為09年IT行業(yè)100件最重要大事之一 14 被評選為09年IT行業(yè)100件最重要大事之一 15 15 16 16 主要內(nèi)容 17 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 17 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦背景及相關(guān)工作 18 推薦系統(tǒng)首先是一個“System”UI/UE30%Data30%DomainKnowledge 20%Algorithm10%Others10%背景及相關(guān)工作 18 推薦系統(tǒng)首先是一個“System”UI/UE30%Data30%DomainKnowledge 20%Algorithm10%Others10%背景及相關(guān)工作 19 推薦系統(tǒng)框架背景及相關(guān)工作 19 推薦系統(tǒng)框架相關(guān)工作 20 推薦方法分類相關(guān)工作 20 推薦方法分類主要內(nèi)容 21 什么是推薦系統(tǒng)主要內(nèi)容 21 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦興趣建模 22 非個性化興趣模型無法識別單個用戶的ID群體智慧興趣建模 22 非個性化興趣模型無法識別單個用戶的ID群體智慧興趣建模非個性化興趣模型無法識別單個用戶的IDLogips1B2ABBA3ABC…4ABDC5ABCDEFGPrintLogDatabase……興趣建模非個性化興趣模型無法識別單個用戶的IDLogips1B2ABBA3ABC…4ABDC5ABCDEFGPrintLogDatabase……DatabaseCE23興趣建模 24 非個性化興趣建模‐‐‐‐發(fā)現(xiàn)經(jīng)常出現(xiàn)的事物、行為、現(xiàn)象購買A的顧客還會購買。。。搜索“訊飛”的用戶還會經(jīng)常搜索“科大訊飛”興趣建模 24 非個性化興趣建模‐‐‐‐發(fā)現(xiàn)經(jīng)常出現(xiàn)的事物、行為、現(xiàn)象購買A的顧客還會購買。。。搜索“訊飛”的用戶還會經(jīng)常搜索“科大訊飛”移動用戶在下午五點經(jīng)常聽歌還是玩游戲？下載某類音樂的用戶通常有哪些特點？用戶行為與所處環(huán)境的關(guān)聯(lián)市區(qū)(timerange:PM3:00-4:00),),(location:Urban)}行為模式：手機瀏覽網(wǎng)頁咖啡館下午3點興趣建模 25 意圖：國際汽車品牌頻繁序列模式挖掘搜索序列模式1：豐田寶馬奔馳搜索序列模式2：長安吉利江淮意圖：國內(nèi)汽車品牌類似于關(guān)聯(lián)模式挖掘的算法PrefixSpan隱馬爾科夫模型、CRF將搜索意圖理解為隱狀態(tài)建模搜索歷史與當前意圖之間的序列模式SIDSearch興趣建模 25 意圖：國際汽車品牌頻繁序列模式挖掘搜索序列模式1：豐田寶馬奔馳搜索序列模式2：長安吉利江淮意圖：國內(nèi)汽車品牌類似于關(guān)聯(lián)模式挖掘的算法PrefixSpan隱馬爾科夫模型、CRF將搜索意圖理解為隱狀態(tài)建模搜索歷史與當前意圖之間的序列模式SIDSearchSession1豐田雷諾寶馬奔馳2寶馬奔馳法拉利3本田豐田通用寶馬4 吉利奇瑞長城江淮5 比亞迪吉利江淮長安6 長城江淮華泰長安興趣建模 26 個性化興趣模型利用項目列表來表示用戶or不加權(quán)數(shù)據(jù)異常稀疏趣Item-1Item-2tem-3 Item-4 Item-5 Item-6User-14*25**User-2321**3User-3*2*33*4User-4*35 4 *User-55*3 4 * *興趣建模 26 個性化興趣模型利用項目列表來表示用戶or不加權(quán)數(shù)據(jù)異常稀疏趣Item-1Item-2tem-3 Item-4 Item-5 Item-6User-14*25**User-2321**3User-3*2*33*4User-4*35 4 *User-55*3 4 * *興趣建模 27 個性化興趣模型Item-1Item-2Item-Item-4Item-5Item-6User-14*25**User-2321**3User-3*2*3*4User-4*3354*User-55*34**Threekindsofdata:users’data,items’data,andratings’data.NameJobLikeAddress……NameTag[content][category][time]興趣建模 27 個性化興趣模型Item-1Item-2Item-Item-4Item-5Item-6User-14*25**User-2321**3User-3*2*3*4User-4*3354*User-55*34**Threekindsofdata:users’data,items’data,andratings’data.NameJobLikeAddress……NameTag[content][category][time]……ValueUser-idItem-id[time]……興趣建模 28 個性化興趣模型低秩分解評分預(yù)測1‐5分學習排序1購買，0未購買ABCDEU1U2用戶項目1010010011........................興趣建模 28 個性化興趣模型低秩分解評分預(yù)測1‐5分學習排序1購買，0未購買ABCDEU1U2用戶項目1010010011.........................興趣建模 29 顯式信息(ExplicitInformation)用戶手動添加，系統(tǒng)直接從用戶輸入獲得評分、點贊、評論等例如個人信息，包括生日、性別、位置、愛好、工作等等興趣建模 29 顯式信息(ExplicitInformation)用戶手動添加，系統(tǒng)直接從用戶輸入獲得評分、點贊、評論等例如個人信息，包括生日、性別、位置、愛好、工作等等興趣建模 30 隱式信息(ImplicitInformation)自動生成，要么是和系統(tǒng)的交互信息，要么是模型訓練所得例如點擊、瀏覽等日志行為還如鼠標軌跡、瀏覽器緩存等等興趣建模 30 隱式信息(ImplicitInformation)自動生成，要么是和系統(tǒng)的交互信息，要么是模型訓練所得例如點擊、瀏覽等日志行為還如鼠標軌跡、瀏覽器緩存等等興趣建模 31 融合情境信息的個性化興趣模型基于情境信息的用戶行為切分移動情境當前時用戶位移動速度周圍噪聲。。。興趣建模 31 融合情境信息的個性化興趣模型基于情境信息的用戶行為切分移動情境當前時用戶位移動速度周圍噪聲。。。興趣建模 32 融合情境信息的個性化興趣模型基于情境信息的用戶行為切分旅游情境季節(jié)地區(qū)？興趣建模 32 融合情境信息的個性化興趣模型基于情境信息的用戶行為切分旅游情境季節(jié)地區(qū)？興趣建模 33 融合情境信息的個性化興趣模型基于情境信息的用戶行為切分旅游情境用戶興趣表示情境感知的用戶興趣挖掘模型興趣建模 33 融合情境信息的個性化興趣模型基于情境信息的用戶行為切分旅游情境用戶興趣表示情境感知的用戶興趣挖掘模型興趣建模融合情境信息的個性化興趣模型用戶我要買7月1日合肥到北京的車票其他 用戶的數(shù)據(jù)傳統(tǒng)興趣建模出差？看?。柯糜?？……無情境識別不區(qū)分用戶在不34興趣建模融合情境信息的個性化興趣模型用戶我要買7月1日合肥到北京的車票其他 用戶的數(shù)據(jù)傳統(tǒng)興趣建模出差？看??？旅游？……無情境識別不區(qū)分用戶在不34興趣建模融合情境信息的個性化興趣模型用戶我要買7月1日合肥到北京的車票情境：18歲：6月27日其他 用戶的數(shù)據(jù)傳統(tǒng)興趣建模情境感知模型出差？看病？旅游？……旅游35興趣建模融合情境信息的個性化興趣模型用戶我要買7月1日合肥到北京的車票情境：18歲：6月27日其他 用戶的數(shù)據(jù)傳統(tǒng)興趣建模情境感知模型出差？看?。柯糜危俊糜?5主要內(nèi)容 36 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 36 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦推薦算法設(shè)計 37 推薦算法設(shè)計 37 推薦算法設(shè)計 38 基于內(nèi)容推薦算法編程實踐思想C++入門Windows推薦算法設(shè)計 38 基于內(nèi)容推薦算法編程實踐思想C++入門WindowsLinux操作系統(tǒng)Unix論文推薦算法設(shè)計 39 基于內(nèi)容推薦算法算法基本步驟：分別對用戶和項目建立配置文件；通過分析已經(jīng)購買（或瀏覽）過的內(nèi)容，建立或更新用戶的配置文件；，最相似的項目。推薦算法設(shè)計 39 基于內(nèi)容推薦算法算法基本步驟：分別對用戶和項目建立配置文件；通過分析已經(jīng)購買（或瀏覽）過的內(nèi)容，建立或更新用戶的配置文件；，最相似的項目?；趦?nèi)容的推薦算法根本在于信息獲取和信息過濾！推薦算法設(shè)計 40 基于內(nèi)容推薦算法令Content(s)為項目s的配置文件，可用向量表示：其中每個分表示關(guān)鍵詞對于項s的重要程度。令推薦算法設(shè)計 40 基于內(nèi)容推薦算法令Content(s)為項目s的配置文件，可用向量表示：其中每個分表示關(guān)鍵詞對于項s的重要程度。令UserProfile(c)為用戶c的配置文件，可用向量表示：表示，其中每個分量表示關(guān)鍵詞對于用戶c的重要性。kiwciwc(wc1,wc2,...,wck)ki量wiws(ws1,ws2,...,wsk)推薦算法設(shè)計 41 基于內(nèi)容推薦算法配置文件常用特征網(wǎng)頁推薦算法設(shè)計 41 基于內(nèi)容推薦算法配置文件常用特征網(wǎng)頁words,hyperlinks,images,tags,comments,titles,URL,topic音樂genre,rhythm,melody,harmony,lyrics,metadata,artists,bands,pressreleases,expertreviews,loudness,energy,time,spectrum,duration,frequency,pitch,key,mode,mood,style,tempo用戶age,sex,job,location,time,income,education,language,familystatus,hobbies,generalinterests,Webusage,computerusage,fanclubmembership,opinion,comments,tags,mobileusage情境time,location,mobility,activity,socializing,emotion推薦算法設(shè)計 42 基于內(nèi)容推薦算法推薦算法設(shè)計 42 基于內(nèi)容推薦算法信息獲取TF‐IDF聚類分析Bayes分類決策樹人工神經(jīng)網(wǎng)絡(luò)信息過濾設(shè)置合理閾值信息更新人機交互，在線反饋推薦算法設(shè)計 43 基于內(nèi)容推薦算法信息獲取‐‐‐推薦算法設(shè)計 43 基于內(nèi)容推薦算法信息獲取‐‐‐降維概率主題模型：PLSI、LDA每個文檔存在一個主題分布，每個主題上有單詞分布每個主題即可視為一個類（或者隱空間里的一維）推薦算法設(shè)計 44 基于內(nèi)容推薦算法用戶c對項目s的喜歡程度可以預(yù)測為：可以使用向量推薦算法設(shè)計 44 基于內(nèi)容推薦算法用戶c對項目s的喜歡程度可以預(yù)測為：可以使用向量wc和ws表示成一個值，例如夾角余弦方法：r cos(w,w) c,s c swc ws2 2rc,sscore(UserProfile(c),Content(s))推薦算法設(shè)計 45 基于內(nèi)容推薦算法推薦算法設(shè)計 45 基于內(nèi)容推薦算法優(yōu)點：簡單易懂；可以處理新用戶和新項問題（冷啟動）；可以不受打分稀疏性問題的約束；通過列出推薦項目的內(nèi)容特征，可以解釋為什么推薦這些項缺點：受到信息獲取技術(shù)的約束，難于提取多媒體數(shù)據(jù)（圖形、視頻流、聲音流等）的內(nèi)容特征；難以發(fā)現(xiàn)用戶潛在的但自己尚未覺察的興趣偏好；對用戶不希望得到相似內(nèi)容的推薦系統(tǒng)（如新聞推薦系統(tǒng)），該方法并不適用。推薦算法設(shè)計 46 協(xié)同過濾推薦算法利用歷史評分信息)算法算用戶之間的相似性；根據(jù)相似度得到鄰居用戶集，利用鄰居用戶在目標項上的評分信息來預(yù)測目標用戶對目標項的喜好程度；。需要數(shù)據(jù)：用戶評分矩陣user‐itemItem-1Item-2Item-3Item-4Item-5Item-6User-14*25**User-2321**3User-3*2*3*4User-4*3354*User-55*推薦算法設(shè)計 46 協(xié)同過濾推薦算法利用歷史評分信息)算法算用戶之間的相似性；根據(jù)相似度得到鄰居用戶集，利用鄰居用戶在目標項上的評分信息來預(yù)測目標用戶對目標項的喜好程度；。需要數(shù)據(jù)：用戶評分矩陣user‐itemItem-1Item-2Item-3Item-4Item-5Item-6User-14*25**User-2321**3User-3*2*3*4User-4*3354*User-55*34**推薦算法設(shè)計 47 協(xié)同過濾推薦算法推薦算法設(shè)計 47 協(xié)同過濾推薦算法基于用戶(User‐based)算法新用戶推薦算法設(shè)計基于用戶的協(xié)同過濾算法；項集合用戶c對項s的喜好預(yù)測值為：其中k為一個標準化因子，為與用戶c相似度較高且已經(jīng)對項s進行評價了的用戶集合，sim(i,j)i和j之間的相似性，S推薦算法設(shè)計基于用戶的協(xié)同過濾算法；項集合用戶c對項s的喜好預(yù)測值為：其中k為一個標準化因子，為與用戶c相似度較高且已經(jīng)對項s進行評價了的用戶集合，sim(i,j)i和j之間的相似性，Ssr S|用戶c的平均打分定義，其中cc,src為rcrc,s ScsScCk1/|sim(c,)|Crc,srcksim(c,)(r,src)CS{s1,s2,...,sM}Cc1,c2,...,cN}48推薦算法設(shè)計 49 基于用戶的協(xié)同過濾算法‐‐KNNPearson相似性：夾角余弦相似性其中，定義為用戶x和y共同打過分的項集合。推薦算法設(shè)計 49 基于用戶的協(xié)同過濾算法‐‐KNNPearson相似性：夾角余弦相似性其中，定義為用戶x和y共同打過分的項集合。SxySxSy： r rx,s y,ssim(x,y)cos(x,y)2 2rx,sry,s(rx,srx)(ry,sry)sim(x,y)2 2(rx,srx)(ry,sry)推薦算法設(shè)計 50 基于用戶的協(xié)同過濾算法關(guān)鍵：計算用戶間的相似度（對用戶聚類）K近鄰（KNN）如果一個動物像鴨子一樣走，又像鴨子一樣叫，那么它就很有可能是鴨子DistanceTestTraining推薦算法設(shè)計 50 基于用戶的協(xié)同過濾算法關(guān)鍵：計算用戶間的相似度（對用戶聚類）K近鄰（KNN）如果一個動物像鴨子一樣走，又像鴨子一樣叫，那么它就很有可能是鴨子DistanceTestTrainingChoosekofthe“nearest”records推薦算法設(shè)計 51 協(xié)同過濾推薦算法基于項目(Item‐based)的算法利用歷史評分信息計算項之間的相似性；根據(jù)相似度得到鄰居項集，利用目標用戶對這些項的評分信息來預(yù)測目標用戶對目標項的喜好程度；。需要數(shù)據(jù)：用戶評分矩陣user‐itemItem-1Item-2Item-3Item-4Item-5Item-6User-14*25**User-2321**3User-3*2*3*4User-4*3354*User-55推薦算法設(shè)計 51 協(xié)同過濾推薦算法基于項目(Item‐based)的算法利用歷史評分信息計算項之間的相似性；根據(jù)相似度得到鄰居項集，利用目標用戶對這些項的評分信息來預(yù)測目標用戶對目標項的喜好程度；。需要數(shù)據(jù)：用戶評分矩陣user‐itemItem-1Item-2Item-3Item-4Item-5Item-6User-14*25**User-2321**3User-3*2*3*4User-4*3354*User-55*34**推薦算法設(shè)計 52 協(xié)同過濾推薦算法基于項目推薦算法設(shè)計 52 協(xié)同過濾推薦算法基于項目(Item‐based)的算法新用戶與基于內(nèi)容推薦算法（根據(jù)項目的配置文件計算項目相似度）不同，ItemCF根據(jù)用戶的行為計算項目相似度推薦算法設(shè)計 53 基于項目的協(xié)同過濾算法用戶集合；項集合用戶c對項s的評分預(yù)測值為：其中，是項i推薦算法設(shè)計 53 基于項目的協(xié)同過濾算法用戶集合；項集合用戶c對項s的評分預(yù)測值為：其中，是項i和j之間的相似性程度sim(i,j)r allsimilaritems,t(sim(s,t)rc,t)c,s (|sim(s,t)|)allsimilar ms,tS{s1,s2,...,sM}Cc1,c2,...,cN}推薦算法設(shè)計 54 基于項目的協(xié)同過濾算法項i和項j之間的相似性計算（項目的距離度量）：Pearson相似性：改進的夾角余弦相似性：其中，定義為對項i和j都打過分的用戶C推薦算法設(shè)計 54 基于項目的協(xié)同過濾算法項i和項j之間的相似性計算（項目的距離度量）：Pearson相似性：改進的夾角余弦相似性：其中，定義為對項i和j都打過分的用戶CjCiCj(rc,irc)(rc,jrc)sim(i,j)2 2(rc,irc)(rc,jrc)(rc,iri)(rc,jrj)sim(i,j)2 2(rc,iri)(rc,jrj)推薦算法設(shè)計 55 基于用戶/項目的協(xié)同過濾算法推薦算法設(shè)計 55 基于用戶/項目的協(xié)同過濾算法常用相似度基于評分(Rating‐based)的相似度在很多電子商務(wù)網(wǎng)站中，用戶都可以給消費的商品評分夾角余弦Pearson相似度各種變形：例如根據(jù)活躍度、時間等加權(quán)結(jié)構(gòu)性相似度根據(jù)數(shù)據(jù)的網(wǎng)絡(luò)結(jié)果來計算相似度Node‐dependentsimilarityPath‐dependentsimilarityRandom‐walk‐basedsimilarity外部信息相似度用戶profile信息相似度項目的特征信息相似度推薦算法設(shè)計 56 UserCF與ItemCF的比較UserCFItemCF原理用戶與朋友的愛好相同與用戶之前喜歡的產(chǎn)品類似的項目典型應(yīng)用推薦文章的DiggAmazon、Netflix推薦的側(cè)重點小型興趣群體的社會化愛好更個性化，反映用戶興趣的傳承技術(shù)上維護用戶-用戶相似度維護項目-項目相似度性能推薦算法設(shè)計 56 UserCF與ItemCF的比較UserCFItemCF原理用戶與朋友的愛好相同與用戶之前喜歡的產(chǎn)品類似的項目典型應(yīng)用推薦文章的DiggAmazon、Netflix推薦的側(cè)重點小型興趣群體的社會化愛好更個性化，反映用戶興趣的傳承技術(shù)上維護用戶-用戶相似度維護項目-項目相似度性能適用于用戶較少的場合適用于項目較少的場合領(lǐng)域領(lǐng)域烈的領(lǐng)域推薦理由經(jīng)常有“驚喜”、不好解釋容易被接受推薦算法設(shè)計 57 其他協(xié)同過濾算法推薦算法設(shè)計 57 其他協(xié)同過濾算法基于對已有數(shù)據(jù)應(yīng)用統(tǒng)計和機器學習得到的模型進行預(yù)測把推薦當成一個聚類問題K‐means…把推薦當成一個分類問題：買？Or不買？SVM、貝葉斯分類器、決策樹…把推薦當成一個回歸預(yù)測問題評分預(yù)測分解模型：預(yù)測一個數(shù)值學習排序分解模型：預(yù)測一個排序推薦算法設(shè)計 58 基于矩陣分解的協(xié)同過濾算法面向評分預(yù)測的模型奇異值分解(SVD)用戶項目k項目2.....1.....30025210043210........................12............推薦算法設(shè)計 58 基于矩陣分解的協(xié)同過濾算法面向評分預(yù)測的模型奇異值分解(SVD)用戶項目k項目2.....1.....30025210043210........................12............評分預(yù)測算法設(shè)計 59 基于矩陣分解的協(xié)同過濾算法面向評分預(yù)測的模型用戶基本分解思想PMF（概率矩陣分解）項目5210043210.........................評分預(yù)測算法設(shè)計 59 基于矩陣分解的協(xié)同過濾算法面向評分預(yù)測的模型用戶基本分解思想PMF（概率矩陣分解）項目5210043210.........................評分預(yù)測算法設(shè)計 60 基于矩陣分解的協(xié)同過濾算法PMFSolution目標函數(shù)HowtogetUandV?Thelog‐posteriorofuserand評分預(yù)測算法設(shè)計 60 基于矩陣分解的協(xié)同過濾算法PMFSolution目標函數(shù)HowtogetUandV?Thelog‐posteriorofuseranditemfeaturesoverfixedparametersp(U,V|R,,,)222UVp(R|U,V,)*p(U| )*p(V|)222UVPriorLikelihood!評分預(yù)測算法設(shè)計 61 概率矩陣分解MAPlearningMaxmizethelog‐posteriorEquivalenttominimizesum‐of‐squared‐errorswithquadratic評分預(yù)測算法設(shè)計 61 概率矩陣分解MAPlearningMaxmizethelog‐posteriorEquivalenttominimizesum‐of‐squared‐errorswithquadraticregularizationterms.22U ,V2U2Vregularization termtoavoidoverfitting評分預(yù)測算法設(shè)計 62 概率矩陣分解1)IntializeU ,Vwithsmall,randomvalues2)repeatforeachrecordinthetrainingdataOptimize:stochasticgradientdescentE評分預(yù)測算法設(shè)計 62 概率矩陣分解1)IntializeU ,Vwithsmall,randomvalues2)repeatforeachrecordinthetrainingdataOptimize:stochasticgradientdescentEVj)UUi2.a)UiUiaUiaIij(RuiUiVj)(T Uij2.b)VjVjaEVjUi)VVjIij(RuiUiVj)(TaVjuntilconvergence istochasticupdatesfullupdates(averagedoveralldata-items)評分預(yù)測算法設(shè)計 63 概率矩陣分解測試UsingMovielensdatasetSVDtrain_errorSVDtest_error------------評分預(yù)測算法設(shè)計 63 概率矩陣分解測試UsingMovielensdatasetSVDtrain_errorSVDtest_error------------PMFPMFtrain_errortest_errorepochMAE排序預(yù)測算法設(shè)計 64 ABCDE基于排序?qū)W習的協(xié)同過濾無顯式的評分，只有隱式的購買行為，如何產(chǎn)生推薦？用一個模型預(yù)測產(chǎn)品之間的排序關(guān)系，把排在前邊的產(chǎn)品推薦給用戶‐‐‐‐BPR模型低秩分解的時候去擬和項目pair的排序關(guān)系U1U2用戶項目目標函數(shù)：的排序關(guān)系(U1,A,B)(U1,A,D)(U1,A,E)(U1,C,B)(U1,C,D)(U1,C,E)(U2,A,B)…..A>U1BA>U1DA>U1EC>U1BC>U1DC>U1E排序預(yù)測算法設(shè)計 64 ABCDE基于排序?qū)W習的協(xié)同過濾無顯式的評分，只有隱式的購買行為，如何產(chǎn)生推薦？用一個模型預(yù)測產(chǎn)品之間的排序關(guān)系，把排在前邊的產(chǎn)品推薦給用戶‐‐‐‐BPR模型低秩分解的時候去擬和項目pair的排序關(guān)系U1U2用戶項目目標函數(shù)：的排序關(guān)系(U1,A,B)(U1,A,D)(U1,A,E)(U1,C,B)(U1,C,D)(U1,C,E)(U2,A,B)…..A>U1BA>U1DA>U1EC>U1BC>U1DC>U1EA>U2B 然后用分解的結(jié)果去預(yù)測未知的項目pair排序關(guān)系，由此生成排序序列1010010011.........................推薦算法設(shè)計 65 基于矩陣分解的協(xié)同過濾算法RatingMatrixLatent推薦算法設(shè)計 65 基于矩陣分解的協(xié)同過濾算法RatingMatrixLatentfactorsUsers/itemsarearrangedindenselatentspace推薦算法設(shè)計 66 基于矩陣分解的協(xié)同過濾算法Rec推薦算法設(shè)計 66 基于矩陣分解的協(xié)同過濾算法Rec推薦算法設(shè)計 67 協(xié)同過濾算法優(yōu)點：具有推薦新信息的能力，可以發(fā)現(xiàn)用戶潛在的但自己尚未覺察的興趣偏好；能夠推薦藝術(shù)品、音樂、電影等難以進行內(nèi)容分析的項；推薦算法設(shè)計 67 協(xié)同過濾算法優(yōu)點：具有推薦新信息的能力，可以發(fā)現(xiàn)用戶潛在的但自己尚未覺察的興趣偏好；能夠推薦藝術(shù)品、音樂、電影等難以進行內(nèi)容分析的項；新用戶、新項問題（冷啟動）；消費數(shù)據(jù)的稀疏性問題；算法的可擴展性問。推薦算法設(shè)計 68 混合推薦算法獨立系統(tǒng)相結(jié)合——多種方法取其優(yōu)推薦算法設(shè)計 68 混合推薦算法獨立系統(tǒng)相結(jié)合——多種方法取其優(yōu)協(xié)同過濾結(jié)合基于內(nèi)容的特性基于內(nèi)容算法結(jié)合協(xié)同過濾的特性構(gòu)建一種統(tǒng)一算法：結(jié)合考慮協(xié)同過濾和基于內(nèi)容算法推薦算法設(shè)計 69 工程應(yīng)用中的混合推薦（如點擊率預(yù)測）方法成千上百萬特征的提取和建模LogisticRegression(LR)推薦算法設(shè)計 69 工程應(yīng)用中的混合推薦（如點擊率預(yù)測）方法成千上百萬特征的提取和建模LogisticRegression(LR)FactorizationMachines(FM、Field-awareFM)BoostingDecisionTreeDeepLearning、RandomForests…主要內(nèi)容 70 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 70 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦結(jié)果評估 71 結(jié)果評估 71 結(jié)果評估 72 以精度為目標評價預(yù)測精度MAE:Mean結(jié)果評估 72 以精度為目標評價預(yù)測精度MAE:MeanAbsoluteErrorRMSE:RootMeanSquaredError結(jié)果評估 73 以精度為目標排序預(yù)測精度Precision、Recall、F‐measTPPrecision(p)TPFPTPRecall(r)Degree結(jié)果評估 73 以精度為目標排序預(yù)測精度Precision、Recall、F‐measTPPrecision(p)TPFPTPRecall(r)DegreeofAgreement(DOA)TPFN2TP2rp1rp 2TPFPFNNDCG、MAPKendall’sτ、JaccardSimilarityClickRatio…結(jié)果評估 74 以精度為目標VS排序預(yù)測基于不同的假設(shè)評分預(yù)假定機會評價所有的項目，所以使用評分代表用戶偏好排序預(yù)測算法一般認為用戶喜歡那些他們已經(jīng)消費過的項目不足之處評分預(yù)測結(jié)果評估 74 以精度為目標VS排序預(yù)測基于不同的假設(shè)評分預(yù)假定機會評價所有的項目，所以使用評分代表用戶偏好排序預(yù)測算法一般認為用戶喜歡那些他們已經(jīng)消費過的項目不足之處評分預(yù)測:用戶不可能接觸所有排序預(yù)測：用戶沒消費的不一目，而且只是中間步驟表不喜歡，消費的不一定是喜歡（正負反饋）其它問題具體展示方式結(jié)果是否可解釋結(jié)果評估 75 以多樣性為目標列表內(nèi)部多樣性內(nèi)部相似度列表外部多樣性前后兩次推薦的相似性興趣覆蓋率結(jié)果評估 75 以多樣性為目標列表內(nèi)部多樣性內(nèi)部相似度列表外部多樣性前后兩次推薦的相似性興趣覆蓋率新穎性、意外性結(jié)果評估 76 其他約束目標結(jié)果評估 76 其他約束目標潛在消費量潛在收益效率、可擴展性算法魯棒性用戶滿意度A/BTest多個目標的優(yōu)化。。。實用推薦算法的三步驗證離線實驗驗證其在離線指標上的表現(xiàn)用戶調(diào)查確定用戶滿意度在線的A/B測試主要內(nèi)容 77 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 77 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦 78 研究動機當前協(xié)同過濾推薦算法的不足用戶‐項目（User‐Item）表示?！窡o 78 研究動機當前協(xié)同過濾推薦算法的不足用戶‐項目（User‐Item）表示?！窡o獲用戶真正需求僅考慮用戶當前興趣‐‐》容易導致興趣過 79 研究假設(shè)用戶的消費行為由一組隱式興趣決定用戶可以表示成興趣的分布興趣可以表示成項目的分布興趣抽取 79 研究假設(shè)用戶的消費行為由一組隱式興趣決定用戶可以表示成興趣的分布興趣可以表示成項目的分布興趣抽取LDA概率圖模型 80 興趣表示LDA模型假設(shè)用戶(U~文檔項目I 80 興趣表示LDA模型假設(shè)用戶(U~文檔項目I)~單詞興趣(T~主題抽取結(jié)果Θij=P(Tj|Ui)Φij=P(Ii|Tj)=P(T)ii基于Gibbs抽樣的LDA推導過程實例 81 興趣擴展構(gòu)建興趣關(guān)聯(lián)圖由項目‐興趣二部圖投影得到用戶興趣擴展給定用戶當前興趣向量，在興趣關(guān)聯(lián)圖上進行隨機游走項目-興趣二部圖 81 興趣擴展構(gòu)建興趣關(guān)聯(lián)圖由項目‐興趣二部圖投影得到用戶興趣擴展給定用戶當前興趣向量，在興趣關(guān)聯(lián)圖上進行隨機游走項目-興趣二部圖興趣關(guān)聯(lián)圖} 82 生成推薦列表 82 生成推薦列表直接對項目進行排序計算P(Ij|Ui)由評分預(yù)測生成推薦面向用戶的協(xié)同過濾算法計算用戶相似度，尋找最近鄰居根據(jù)近鄰愛好進行評分預(yù)測在線推薦過程離線進行模型推導LDA推導興趣關(guān)聯(lián)圖實時更新用戶興趣 83 推薦算法iExpd流程第四步： 83 推薦算法iExpd流程第四步：基據(jù)(|U生成聯(lián)j趣i展取推薦列表 84 實驗設(shè)置三個數(shù)據(jù)集的統(tǒng)計信息對比方法基于圖模型的推薦算法 84 實驗設(shè)置三個數(shù)據(jù)集的統(tǒng)計信息對比方法基于圖模型的推薦算法ItemRank、L+基于降維的推薦算法LDA、SVD評價指標DOA、Recall、TOP‐K 85 DOA、Recall結(jié)果 85 DOA、Recall結(jié)果標，iExpand在 86 86 使用Top‐K評價指標，iExpand 87 實例學習興趣理解三個興趣中概率最大的5 87 實例學習興趣理解三個興趣中概率最大的5部電影推薦實例U1 及相應(yīng)的推薦結(jié)果 88 小結(jié)[IEEETrans.SMC‐B]提出iExpand協(xié)同過濾推薦算法采用用戶 88 小結(jié)[IEEETrans.SMC‐B]提出iExpand協(xié)同過濾推薦算法采用用戶‐興趣‐項目三層推薦模型利用隨機游走擴展用戶當可應(yīng)對用戶興趣過擬興趣實驗表明iExpand主要內(nèi)容 89 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述主要內(nèi)容 89 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦面向推薦系統(tǒng)的糾結(jié)心理挖掘 90 研究背景用戶的“糾結(jié)”無處不在體現(xiàn)在消費（如點擊記錄過程中建模糾結(jié)心理可以提供更好的服務(wù)量化產(chǎn)品（商家）競爭關(guān)系引導用戶的消費、增加消費成功率面向推薦系統(tǒng)的糾結(jié)心理挖掘 90 研究背景用戶的“糾結(jié)”無處不在體現(xiàn)在消費（如點擊記錄過程中建模糾結(jié)心理可以提供更好的服務(wù)量化產(chǎn)品（商家）競爭關(guān)系引導用戶的消費、增加消費成功率 91 研究挑戰(zhàn)心理學專家給出定義用戶完成調(diào)查問卷行為數(shù)據(jù)驅(qū)動的定義？???如何定義和量化糾結(jié)度哪些因素導致了糾結(jié)？用戶自身原因？相似競爭產(chǎn)品的原因？?如何發(fā)現(xiàn)糾結(jié)的原因 91 研究挑戰(zhàn)心理學專家給出定義用戶完成調(diào)查問卷行為數(shù)據(jù)驅(qū)動的定義？???如何定義和量化糾結(jié)度哪些因素導致了糾結(jié)？用戶自身原因？相似競爭產(chǎn)品的原因？?如何發(fā)現(xiàn)糾結(jié)的原因如何幫助商家？如何幫助消費者？??如何使用糾結(jié)度 92 數(shù)據(jù)和平臺大規(guī)模真實數(shù)據(jù)集‐‐分布式數(shù)據(jù)處理服務(wù)平臺 92 數(shù)據(jù)和平臺大規(guī)模真實數(shù)據(jù)集‐‐分布式數(shù)據(jù)處理服務(wù)平臺 93 數(shù)據(jù)預(yù)處理格式轉(zhuǎn)換一個session里的不同item組成的集合 93 數(shù)據(jù)預(yù)處理格式轉(zhuǎn)換一個session里的不同item組成的集合 94 Step1:定義觀察到的“糾結(jié)”對每個用戶的一個session進行定義依據(jù)：點擊數(shù)目相似產(chǎn)品的均衡度（熵）產(chǎn)品間的轉(zhuǎn)移數(shù) 94 Step1:定義觀察到的“糾結(jié)”對每個用戶的一個session進行定義依據(jù)：點擊數(shù)目相似產(chǎn)品的均衡度（熵）產(chǎn)品間的轉(zhuǎn)移數(shù)驗證：糾結(jié)現(xiàn)象真實存在再歸一化= 95 Step2:發(fā)現(xiàn)糾結(jié)背后的原因有的用戶容易糾結(jié)有些產(chǎn)品的組合(Bundle) 95 Step2:發(fā)現(xiàn)糾結(jié)背后的原因有的用戶容易糾結(jié)有些產(chǎn)品的組合(Bundle)容易讓用戶糾結(jié)}隱含的糾結(jié)指數(shù)如何識別“糾結(jié)指數(shù)”？觀察值觀察到的“糾結(jié)”DSij隱含變量產(chǎn)品組合的糾結(jié)指數(shù)ZSj優(yōu)化目標 96 Step3:如何使用糾結(jié)度客戶分群需要用戶的性別、年發(fā)現(xiàn)競爭產(chǎn)品（商家）屬性數(shù)據(jù)根據(jù)產(chǎn)品組合的糾結(jié)指數(shù) 96 Step3:如何使用糾結(jié)度客戶分群需要用戶的性別、年發(fā)現(xiàn)競爭產(chǎn)品（商家）屬性數(shù)據(jù)根據(jù)產(chǎn)品組合的糾結(jié)指數(shù)(ZB 97 Step3:如何使用糾結(jié)度提高推薦準確率用戶糾結(jié)于多個產(chǎn)品時，越讓他糾結(jié)的產(chǎn)品，他最終從中購買的比率越高 97 Step3:如何使用糾結(jié)度提高推薦準確率用戶糾結(jié)于多個產(chǎn)品時，越讓他糾結(jié)的產(chǎn)品，他最終從中購買的比率越高 98 Step3:如何使用糾結(jié)度提高推薦準確率用戶糾結(jié)于多個產(chǎn)品時，越讓他糾結(jié)的產(chǎn)品，他最終從中購買的比率越高可以利用糾結(jié)度做為額外特征去選擇產(chǎn)品（產(chǎn)品組合）進行實時推薦由糾結(jié)指數(shù)計算得到的糾結(jié)度用戶最終的購買結(jié)果測試集 98 Step3:如何使用糾結(jié)度提高推薦準確率用戶糾結(jié)于多個產(chǎn)品時，越讓他糾結(jié)的產(chǎn)品，他最終從中購買的比率越高可以利用糾結(jié)度做為額外特征去選擇產(chǎn)品（產(chǎn)品組合）進行實時推薦由糾結(jié)指數(shù)計算得到的糾結(jié)度用戶最終的購買結(jié)果測試集 99 實驗驗證實驗數(shù)據(jù)Tmall網(wǎng)站2013 99 實驗驗證實驗數(shù)據(jù)Tmall網(wǎng)站2013年4月至9月全平臺介紹的用戶行為記錄阿里云研發(fā)的分布式開放數(shù)據(jù)處理服務(wù)平臺—天池（MapReduce）預(yù)處理例如，去除冷啟動用戶和產(chǎn)品等80%訓練‐‐20%測試100 實驗結(jié)果“糾結(jié)”定義的有效性缺乏GroundTruth100 實驗結(jié)果“糾結(jié)”定義的有效性缺乏GroundTruth，所以使用UserStudy（在線調(diào)查表）驗證讓志愿者選擇哪一個session看上去更糾結(jié)收集到106個志愿者的共計954次選擇本文的定義與人工結(jié)果最相似101 實驗結(jié)果“糾結(jié)指數(shù)”矩陣分解模型（101 實驗結(jié)果“糾結(jié)指數(shù)”矩陣分解模型（IMF）有效性對比方法：PMF評價指標：RMSE比PMF的預(yù)測效果提升約10%102 實驗結(jié)果用戶最終購買的產(chǎn)品子集（Bundle）推薦（預(yù)測）的準確性本文提出的方法取得了最高的推薦精度，而且平均把用戶的候選購買集合縮小了102 實驗結(jié)果用戶最終購買的產(chǎn)品子集（Bundle）推薦（預(yù)測）的準確性本文提出的方法取得了最高的推薦精度，而且平均把用戶的候選購買集合縮小了60%根據(jù)直觀的統(tǒng)計結(jié)果K近鄰相關(guān)的推薦方法僅考慮糾結(jié)或?qū)W習排序QiLiu,XianyuZeng,ChuanrenLiu,HenghuZhu,EnhongChen,HuiXiong,XingXie,MiningIndecisivenessinCustomerBehaviors,ICDM2015，Acceptedasaregularpaper(AcceptanceRate8.4%).103 小結(jié)行為數(shù)據(jù)驅(qū)動的定義，考慮用戶表現(xiàn)出的三種心理和行為特征?（或稱其為糾結(jié)偏好）?的原因（產(chǎn)品集合），以進行針對用戶最終購買預(yù)測的實時推薦?度未來工作…進行更完備的實驗驗證尋找更多的應(yīng)用場景更合理的糾結(jié)定義方法103 小結(jié)行為數(shù)據(jù)驅(qū)動的定義，考慮用戶表現(xiàn)出的三種心理和行為特征?（或稱其為糾結(jié)偏好）?的原因（產(chǎn)品集合），以進行針對用戶最終購買預(yù)測的實時推薦?度未來工作…進行更完備的實驗驗證尋找更多的應(yīng)用場景更合理的糾結(jié)定義方法主要內(nèi)容104 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景主要內(nèi)容104 什么是推薦系統(tǒng)背景、定義、應(yīng)用場景推薦方法概述興趣建模推薦算法設(shè)計推薦結(jié)果的評估案例學習基于用戶興趣擴展的個性化推薦方法面向推薦系統(tǒng)的糾結(jié)心理挖掘小結(jié)及未來的路資料推薦推薦方法小結(jié)105 推薦系統(tǒng)是個基于數(shù)據(jù)挖掘方法的系統(tǒng)UI/UEData30%30%DomainKnowledge 20%AlgorithmOthers10%10%推薦方法小結(jié)105 推薦系統(tǒng)是個基于數(shù)據(jù)挖掘方法的系統(tǒng)UI/UEData30%30%DomainKnowledge 20%AlgorithmOthers10%10%推薦方法小結(jié)106 設(shè)計推薦算法不能盲目最終目標不同，設(shè)計的算法也不同評分預(yù)測—推薦方法小結(jié)106 設(shè)計推薦算法不能盲目最終目標不同，設(shè)計的算法也不同評分預(yù)測—概率矩陣MF排序預(yù)測—學習排序模型BPR推薦具有很強的領(lǐng)域特性面向教育、旅游、社交好友的推薦融合領(lǐng)域知識、特征自底向上的設(shè)計推薦算法從問題出發(fā)特征有時比算法更重要集成的推薦方法一般比較穩(wěn)定未來的路107 開拓新的應(yīng)用領(lǐng)域?qū)W習和結(jié)合領(lǐng)域醫(yī)療推薦未來的路107 開拓新的應(yīng)用領(lǐng)域?qū)W習和結(jié)合領(lǐng)域醫(yī)療推薦投資推薦房產(chǎn)推薦在線教育。。。未來的路108 在線教育未來的路108 在線教育致力于學生能力提高的試題推薦、協(xié)作學習推薦策略性化推薦未來的路109 完善推薦算法設(shè)計借鑒更多的機器學習方法Deeplearning、Onlinelearning未來的路109 完善推薦算法設(shè)計借鑒更多的機器學習方法Deeplearning、Onlinelearning利用多源數(shù)據(jù)指導推薦算法設(shè)計用戶深入理解各角色之間的約束關(guān)系如何保證項目的“機會公平性”如何保護用戶的隱私、安全如何對商家進行“推薦”？推薦最能盈利的項目、用戶推薦生產(chǎn)、營銷的策略和庫存、物流安排