CH05 電子商務推薦系統(tǒng)

1第五章：電子商務推薦系統(tǒng)陳震宇東北大學管理學院什么是推薦系統(tǒng)？什么是推薦系統(tǒng)？TheNextflixprizestoryInOctober2006,Netflixannounceditwouldgivea$1milliontowhoevercreatedamovie-recommendingalgorithm10%betterthanitsown.Withintwoweeks,theDVDrentalcompanyhadreceived169submissions,includingthreethatwereslightlysuperiortoCinematch,Netflix'srecommendationsoftwareAfteramonth,morethanathousandprogramshadbeenentered,andthetopscorerswerealmosthalfwaytothegoalButwhatstartedoutlookingsimplesuddenlygothard.Therateofimprovementbegantoslow.Thesamethreeorfourteamscloggedthetopoftheleader-board.TheNextflixprizestoryProgresswasalmostimperceptible,andpeoplebegantosaya10percentimprovementmightnotbepossible.Threeyearslater,on21stofSeptember2009,Netflixannouncedthewinner.電子商務推薦系統(tǒng)概念Harvard商學院的JoePing在大規(guī)模定制一文中認為現(xiàn)代企業(yè)應該從大規(guī)模生產(chǎn)(以標準化的產(chǎn)品和均勻的市場為特征)向大規(guī)模定制(為不同客戶的不同需求提供不同的商品)轉化。電子商務推薦系統(tǒng)(RecommendationSystem)向客戶提供商品信息和建議，模擬銷售人員幫助客戶完成購買過程。推薦系統(tǒng)在互聯(lián)網(wǎng)產(chǎn)品與服務推薦中廣泛使用.大多數(shù)電子商務網(wǎng)站有推薦系統(tǒng).2023/2/4電子商務推薦系統(tǒng)作用電子商務推薦系統(tǒng)的兩個重要功能.面對海量信息，推薦系統(tǒng)幫助使用者解決信息過載問題.推薦系統(tǒng)幫助商家銷售更多商品，獲取更多利潤.從商家的角度，電子商務推薦系統(tǒng)有助于：將電子商務網(wǎng)站的瀏覽者轉變?yōu)橘徺I者(ConvertingBrowsersintoBuyers)提高電子商務網(wǎng)站的交叉銷售能力(Cross-Selling)提高客戶對電子商務網(wǎng)站的忠誠度(BuildingLoyalty)2023/2/4電子商務推薦系統(tǒng)分類電子商務推薦系統(tǒng)的輸出：建議(Suggestion)單個建議(SingleItem)未排序建議列表(UnorderedList)排序建議列表(OrderedList)預言(Prediction)：系統(tǒng)對給定項目的總體評分個體評分(IndividualRating)：輸出其他客戶對商品的個體評分評論(Review)：輸出其他客戶對商品的文本評價2023/2/4電子商務推薦系統(tǒng)分類電子商務推薦系統(tǒng)的輸入：客戶輸入(TargetedCustomerInputs)隱式瀏覽輸入(Implicitnavigation)：客戶的瀏覽行為作為推薦系統(tǒng)的輸入，但客戶并不知道這一點顯式瀏覽輸入(Explicitnavigation)：客戶的瀏覽行為是有目的向推薦系統(tǒng)提供自己的喜好關鍵詞和項目屬性輸入(KeywordsandItemattributes)：客戶輸入關鍵詞或項目的有關屬性以得到推薦系統(tǒng)有價值的推薦用戶購買歷史(Purchasehistory)：用戶過去的購買紀錄2023/2/4電子商務推薦系統(tǒng)簡介電子商務推薦系統(tǒng)的輸入(續(xù))：社團輸入(CommunityInputs)項目屬性(ItemAttribute)：社團對商品風格和類別的集體評判社團購買歷史(CommunityPurchaseHistory)：社團過去的購買紀錄文本評價(TextComments)：其他客戶對商品的文本評價，計算機并不知道評價是好是壞評分(Rating)：其他客戶對商品的評分，計算機可以對評分進行處理2023/2/4電子商務推薦系統(tǒng)分類推薦技術分類標準：自動化程度(DegreeofAutomation)：客戶為了得到推薦系統(tǒng)的推薦是否需要顯式的輸入信息持久性程度(DegreeofPersistence)：推薦系統(tǒng)產(chǎn)生推薦是基于客戶當前的單個會話(Session)還是基于客戶的多個會話2023/2/4電子商務推薦系統(tǒng)分類推薦技術分類Non-PersonalizedRecommendation：推薦系統(tǒng)的推薦主要基于其他客戶對該產(chǎn)品的平均評價，這種推薦系統(tǒng)獨立于客戶，所有的客戶得到的推薦都是相同的(自動，瞬時)Attributed-BasedRecommendation：推薦系統(tǒng)的推薦主要基于產(chǎn)品的屬性特征(手工)Item-to-ItemCorrelation：推薦系統(tǒng)根據(jù)客戶感興趣的產(chǎn)品推薦相關的產(chǎn)品(瞬時)People-to-PeopleCorrelation：推薦系統(tǒng)根據(jù)客戶與其他已經(jīng)購買了商品的客戶之間的相關性進行推薦(自動，持久)2023/2/4電子商務推薦系統(tǒng)的研究問題給定一組使用者U

和一組推薦給使用者的對象集S.令

p是效用函數(shù)，用來測量某一對象s(S)對于某一特定的使用者

u(

U)的有用性，例如：p:U×S

R,R是完全有序集合(例如,一個區(qū)間的非負整數(shù)或者實數(shù))目標基于歷史數(shù)據(jù)來學習

p.使用p來預測每一個對象s(S)對于每一個使用者u(U)的效用函數(shù).29預測的類型評分預測：預測使用者以前沒有使用過的對象的評分.例如：預測沒有看過的電影的評分.在這種情況下,對于使用者u

而言,對象s

的效用是u對s

的評分.TopN對象預測：預測使用者可能購買的對象的排序列表.30電子商務推薦系統(tǒng)的基本方法基于內容的推薦（Content-basedrecommendations）:Theuserwillberecommendeditemssimilartotheonestheuserpreferredinthepast;協(xié)同過濾(Collaborativefilteringorcollaborativerecommendations):Theuserwillberecommendeditemsthatpeoplewithsimilartastesandpreferenceslikedinthepast.混合方法(Hybrids):Combinecollaborativeandcontent-basedmethods.31基于內容的推薦系統(tǒng)的思路推薦相似對象：Recommenditemssimilartothoseuserspreferredinthepast使用者資料：Userprofilingisthekey關鍵詞：Items/contentusuallydenotedbykeywords匹配：Matching“userpreferences”with“itemcharacteristics”…worksfortextualinformation向量空間方法：VectorSpaceModelwidelyused32基于內容的推薦方法的局限性有的內容難于通過關鍵詞描述：Notallcontentiswellrepresentedbykeywords,e.g.images無法區(qū)分基于相同特征的對象：ItemsrepresentedbysamesetoffeaturesareindistinguishableOverspecialization:unrateditemsnotshown大量內容信息導致匹配困難：Userswiththousandsofpurchasesisaproblem新使用者沒有歷史信息:Nohistoryavailable過于相似或者差異過大的推薦不容易被使用者接受：Shouldn’tshowitemsthataretoodifferent,ortoosimilar33協(xié)同過濾協(xié)同過濾(CF)是研究的最大，也是應用最為廣泛的推薦方法.k-最近鄰法

(k-nearestneighbor),關聯(lián)規(guī)則法(associationrulesbasedprediction)

矩陣因子化法(matrixfactorization)CF的關鍵特征:itpredictstheutilityofitemsforauserbasedontheitemspreviouslyratedbyotherlike-mindedusers.34k-最近鄰方法(KNN)kNN(whichisalsocalledthememory-basedapproach)utilizestheentireuser-itemdatabasetogeneratepredictionsdirectly,i.e.,thereisnomodelbuilding.ThisapproachincludesbothUser-basedmethodsItem-basedmethods35abcdHowitworksk-最近鄰方法的原理36ItemtoItemUsertoUserabcdUser-to-UserRecommendationsaremadebyfindinguserswithsimilartastes.JaneandTimbothlikedItem2anddislikedItem3;itseemstheymighthavesimilartaste,whichsuggeststhatingeneralJaneagreeswithTim.ThismakesItem1agoodrecommendationforTim.

Thisapproachdoesnotscalewellformillionsofusers.Item-to-ItemRecommendationsaremadebyfindingitemsthathavesimilarappealtomanyusers.

DonandSandraaretwouserswholikedbothItem1andItem4.Thatsuggeststhat,ingeneral,peoplewholikedItem4willalsolikeitem1,soItem1willberecommendedtoTim.Thisapproachisscalabletomillionsofusersandmillionsofitems.協(xié)同過濾的基本思想37A9B3C::Z5ABC9::Z10A5B3C::Z7ABC8::ZA6B4C::ZA10B4C8..Z1

UserDatabaseActiveUserCorrelationMatchA9B3C..Z5A9B3C::Z5A10B4C8..Z1ExtractRecommendationsC協(xié)同過濾的相似度計算問題i1i2i3………u12-45-6u2………………u352-2-9…………………256529Howsimilararethey?-CosineVectorSimilarity-SpearmanCorrelation-Mean-squaredDifference-Entropy-basedUncertaintyPearsonCorrelationCoefficientCo-ratedItems基于使用者的

kNN方法基于使用者的KNN方法包含如下兩個步驟：鄰居信息項theneighborhoodformationphase；推薦項therecommendationphase.Therearemanyspecificmethodsforboth.Hereweonlyintroduceoneforeachphase.39鄰居信息項定義兩個使用者：Lettherecord(orprofile)ofthetargetuserbeu

(representedasavector),

andtherecordofanotheruserbev(v

T).使用者之間的相似性：Thesimilaritybetweenthetargetuser,u,andaneighbor,v,canbecalculatedusingthePearson’scorrelationcoefficient:40推薦項目標使用者u對于對象i的評分預測：whereVisthesetofksimilarusers,rv,iistheratingofuservgiventoitemi,一個簡化形式如下：

41基于對象的協(xié)同過濾算法計算對象i和j之間的相似性：計算對象相似性之后，選擇k個與目標對象i最相似的對象，從而預測使用者u對于對象i的評分值：42局限性使用者評分尺度差異性：Differentusersmightusedifferentscales.Possiblesolution:weightedratings,i.e.deviationsfromaveragerating小規(guī)模數(shù)據(jù)庫難以找到相似使用者或者對象：Findingsimilarusers/usergroupsisn’tveryeasyNewuser:NopreferencesavailableNewitem:Noratingsavailable個人資料信息的價值：Demographicfilteringisrequired多屬性評分信息的價值：Multi-criteriaratingsisrequired43推薦系統(tǒng)中的關鍵問題45

冷啟動問題缺少用戶購買、瀏覽記錄等數(shù)據(jù)無法進行用戶對商品喜好的預測單次推薦結果的多樣化在單次推薦中避免商品的單一如用戶買過一個兒童玩具，則全部推薦兒童玩具應全面考慮用戶喜好（可能購買商品）的多樣性多次推薦結果