電子商務(wù)推薦系統(tǒng)概述

1、電子商務(wù)推薦系統(tǒng)概述 1電子商務(wù)個(gè)性化推薦系統(tǒng)推薦系統(tǒng)將成為未來十年里最重要的變革，社會化網(wǎng)站將由推薦系統(tǒng)所驅(qū)動(dòng)。 John Riedl明尼蘇達(dá)大學(xué)教授網(wǎng)站正從一個(gè)搜索時(shí)代進(jìn)入一個(gè)發(fā)現(xiàn)時(shí)代。他們的區(qū)別是，搜索是你明確知道需要什么東西；發(fā)現(xiàn)是說你并不十分清楚的知道一種東西存在，或者你并不清楚怎么樣才能找到這種東西。而搜索時(shí)代創(chuàng)造了市值1500億美金的google。-美國財(cái)富雜志亞馬遜很早就意識到推薦系統(tǒng)能在電子商務(wù)上發(fā)揮的巨大作用。亞馬遜使用協(xié)同過濾的算法來匹配你與其他顧客的購買習(xí)慣，從而過濾掉大量的商品信息，而只推薦出你愿意購買的商品。-ACM conference調(diào)查顯示，45%的用戶更加喜

2、歡到有產(chǎn)品推薦功能的網(wǎng)站上去購物，而在過去6個(gè)月里花費(fèi)了￥1000以上購買商品的用戶里，這個(gè)數(shù)字提高到了69%。同一個(gè)調(diào)查顯示，41%的用戶更加關(guān)注符合他們口味的個(gè)性化廣告。新聞媒體網(wǎng)站通過顯示個(gè)性化的相關(guān)內(nèi)容來提高用戶的閱讀興趣。 ChoiceStream survey隨著電子商務(wù)規(guī)模的進(jìn)一步擴(kuò)大，為用戶提供越來越多選擇的同時(shí)，其結(jié)構(gòu)也變得更加復(fù)雜。一方面，用戶面對大量的商品信息束手無策，用戶經(jīng)常會迷失在大量的商品信息空間中，無法順利找到自己需要的商品；另一方面，商家也失去了與消費(fèi)者的聯(lián)系。推薦系統(tǒng)模擬商店銷售人員向用戶提供商品推薦，幫助用戶找到所需商品，從而順利完成購買過程，因此可以有效保

3、留用戶，提高電子商務(wù)系統(tǒng)的銷售；商家也可以通過推薦系統(tǒng)保持與客戶的聯(lián)系，重建客戶關(guān)系。推薦系統(tǒng)主要通過如下三種途徑提高電子商務(wù)系統(tǒng)的銷售能力：1)將電子商務(wù)系統(tǒng)的瀏覽者變成購買者：電子商務(wù)系統(tǒng)的訪問者在瀏覽過程中經(jīng)常并沒有購買欲望，電子商務(wù)推薦系統(tǒng)能夠向訪問者推薦他們感興趣的商品，從而完成購買過程。2)提高電子商務(wù)系統(tǒng)的交叉銷售：電子商務(wù)推薦系統(tǒng)在用戶購買過程中向用戶提供其它有價(jià)值的商品推薦，用戶能夠從提供的推薦列表中購買自己確實(shí)需要但在購買過程中沒有想到的商品，從而有效提高電子商務(wù)系統(tǒng)的交叉銷售。3)保留客戶：與傳統(tǒng)的商務(wù)模式相比，電子商務(wù)系統(tǒng)使得用戶擁有越來越多的選擇，用戶更換商家及其方便

4、，只需要一兩次鼠標(biāo)的點(diǎn)擊就可以在不同電子商務(wù)系統(tǒng)之間跳轉(zhuǎn)。電子商務(wù)推薦系統(tǒng)分析用戶的購買習(xí)慣，根據(jù)用戶需求向用戶提供有價(jià)值的商品推薦。如果電子商務(wù)推薦系統(tǒng)的推薦質(zhì)量很高，那么用戶會對該電子商務(wù)推薦系統(tǒng)產(chǎn)生依賴。因此電子商務(wù)推薦系統(tǒng)不僅能要為用戶提供個(gè)性化的推薦服務(wù)，而且能與用戶建立長期穩(wěn)定的關(guān)系，從而能有效保留用戶，防止用戶流失。電子商務(wù)推薦系統(tǒng)具有良好的發(fā)展和應(yīng)用前景。目前，幾乎所有大型的電子商務(wù)系統(tǒng)，如Amazon、CDNOW、eBay、dangdang、淘寶等，都不同程度的使用了各種形式的推薦系統(tǒng)，各種提供個(gè)性化服務(wù)的Web站點(diǎn)也需要推薦系統(tǒng)的大力支持。在日趨激烈的競爭環(huán)境下，電子商務(wù)推

5、薦系統(tǒng)能有效保留用戶，提高電子商務(wù)系統(tǒng)的銷售。有關(guān)研究表明，電子商務(wù)零售行業(yè)提供個(gè)性化推薦服務(wù)后，其銷售額會提高2%8%。由此可見，成功的電子商務(wù)推薦系統(tǒng)會產(chǎn)生巨大的經(jīng)濟(jì)效益。1.推薦技術(shù)研究現(xiàn)狀與分析推薦系統(tǒng)中的推薦技術(shù)主要分為三類：基于內(nèi)容的推薦技術(shù)，協(xié)同過濾推薦技術(shù)和混合推薦技術(shù)：基于內(nèi)容的過濾(Content-based filtering approach)是信息檢索領(lǐng)域的重要研究內(nèi)容。基于內(nèi)容過濾的推薦系統(tǒng)需要分析資源內(nèi)容信息，根據(jù)用戶興趣建立用戶檔案(Profile)，然后根據(jù)資源內(nèi)容與用戶檔案之間的相似性向用戶提供推薦服務(wù)?；趦?nèi)容過濾的實(shí)驗(yàn)型推薦系統(tǒng)主要包括Malone等人提

6、出的電子郵件信息過濾系統(tǒng)(1987)、音樂過濾系統(tǒng)LyricTime(1992)、Stanford大學(xué)提出的信息過濾工具SIFT(1995)、SIFTER原形系統(tǒng)(1997)等。基于內(nèi)容過濾的推薦技術(shù)具有一定的局限性，主要表現(xiàn)在必須分析資源的內(nèi)容信息，因此對音樂、圖像、視頻等信息無能為力；無法分析信息的質(zhì)量；無法提供新穎的推薦。協(xié)同過濾推薦技術(shù)(Collaborative filtering approach)是目前研究最多、應(yīng)用最廣的電子商務(wù)推薦技術(shù)。它是基于鄰居用戶的資料得到對目標(biāo)用戶的推薦，推薦的個(gè)性化程度高。利用用戶的訪問信息，通過用戶群的相似性進(jìn)行產(chǎn)品推薦，不依賴于內(nèi)容僅依賴于用戶之

7、間的相互推薦，避免了內(nèi)容過濾的不足，保證信息推薦的質(zhì)量。協(xié)同過濾是根據(jù)和自己有著相似愛好的鄰居用戶所喜歡的商品，自己也同樣會喜歡的原理進(jìn)行推薦，能為用戶發(fā)現(xiàn)新的感興趣的商品，不需要考慮商品的特征，任何形式的商品都可以推薦。例如，使用基于內(nèi)容的推薦技術(shù)進(jìn)行推薦馮小剛的電影，系統(tǒng)返回的只是馮小剛的電影，但是如果使用了協(xié)同過濾技術(shù)，它會根據(jù)品質(zhì)等特征進(jìn)行推薦，返回的是馮小剛確實(shí)拍的好的電影，協(xié)同過濾技術(shù)尤其適合應(yīng)用在文化產(chǎn)品上，例如推薦音樂，電影等。但是協(xié)同過濾技術(shù)也同樣存在著很多局限性：如冷啟動(dòng)問題，如果一個(gè)用戶沒有對任何項(xiàng)目進(jìn)行過評價(jià)，自然不存在評分矩陣，也不能得到推薦，同理，如果一個(gè)項(xiàng)目是新項(xiàng)

8、目，同樣也得不到推薦；評分矩陣稀疏問題，在大多數(shù)的推薦系統(tǒng)中，用戶涉及的信息量是相當(dāng)?shù)挠邢薜?，在一些大的系統(tǒng)如Amazon，用戶最多不過評價(jià)了上百萬書的1%-2%，這樣的評分矩陣是很稀疏的，難以找到相似的用戶集，導(dǎo)致推薦結(jié)果大大的降低；可擴(kuò)展性問題，面對日益增多的用戶，數(shù)據(jù)量的急劇增加，算法的擴(kuò)展性問題(即適應(yīng)系統(tǒng)規(guī)模不斷擴(kuò)大的問題)成為制約推薦系統(tǒng)實(shí)施的重要因素。但隨著計(jì)算機(jī)性能的增強(qiáng)，這個(gè)問題己經(jīng)得到了很好的解決。每種推薦技術(shù)都有各自的優(yōu)缺點(diǎn)。為了給用戶提供更準(zhǔn)確更合理的推薦，在設(shè)計(jì)推薦系統(tǒng)的推薦方法模塊時(shí)結(jié)合多種基本推薦技術(shù)，以達(dá)到揚(yáng)長避短的目的。這就是組合推薦的思路。一般而言，推薦技術(shù)

9、的組合有以下幾種思路：l)加權(quán)(weight)：采用多種推薦技術(shù)得到對某一項(xiàng)目的預(yù)測評分，根據(jù)權(quán)重相加得到總評分，以此得出推薦結(jié)果。2)切換(switch)：具體采用哪種推薦技術(shù)取決于當(dāng)時(shí)的實(shí)際情況，根據(jù)應(yīng)用場合切換不同的推薦技術(shù)。3)混合(Mixed)：同時(shí)采用多種推薦技術(shù)進(jìn)行推薦。4)特征組合(Feature combination)：組合來自不同推薦數(shù)據(jù)源的特征并被一種推薦算法所采用。5)層疊(Cascade)：一個(gè)推薦器從另一種推薦器中提煉抽取一部分推薦。6)特征放大(Feature augmentation)：一種推薦技術(shù)的輸出結(jié)果作為另一種推薦技術(shù)的特征輸入。7)模型放大(Meta

10、-level)：被一種推薦器學(xué)習(xí)的模型作為另一種推薦器的輸入。2.個(gè)性化推薦系統(tǒng)相關(guān)技術(shù)2.1數(shù)據(jù)挖掘數(shù)據(jù)挖掘(Data mining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。所以，數(shù)據(jù)挖掘有時(shí)也被人們稱為知識挖掘、知識提取、知識發(fā)現(xiàn)等。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，如何從海量的數(shù)據(jù)中提取有用的知識成為當(dāng)務(wù)之急。數(shù)據(jù)挖掘就是為順應(yīng)這腫需要應(yīng)運(yùn)而生發(fā)展起來的數(shù)據(jù)處理技術(shù)。它采用了包括數(shù)據(jù)庫，數(shù)據(jù)倉庫和OLAP、統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、可視化、神經(jīng)元網(wǎng)絡(luò)等不同領(lǐng)域的技術(shù)，并且在諸如零售、銀行、保險(xiǎn)、股票市

11、場分析、Web挖掘等不同行業(yè)都得到了應(yīng)用。數(shù)據(jù)挖掘(Data Mining)采用數(shù)學(xué)的、統(tǒng)計(jì)的、人工智能和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的科學(xué)方法，如機(jī)器學(xué)習(xí)、聚類分析、關(guān)聯(lián)分析、決策樹、神經(jīng)網(wǎng)絡(luò)、基因算法等技術(shù)，從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價(jià)值的關(guān)系、模式和趨勢，并用這些知識和規(guī)則建立用于決策支持的模型，提供預(yù)測性決策支持的方法、工具和過程。綜合了各個(gè)學(xué)科的技術(shù)，有很多的功能，當(dāng)前的主要功能包括：(1)分類：按照分析對象的屬性、特征，建立不同的組類來描述事物。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應(yīng)的貸款方案。(2)聚類：

12、識別出分析對內(nèi)在的規(guī)則，按照這些規(guī)則把對象分成若干類。例如：將申請人分為高度風(fēng)險(xiǎn)申請者、中度風(fēng)險(xiǎn)申請者、低度風(fēng)險(xiǎn)申請者。(3)關(guān)聯(lián)規(guī)則：關(guān)聯(lián)是某種事物發(fā)生時(shí)其他事物會發(fā)生的這樣一種聯(lián)系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關(guān)聯(lián)的支持度和可信度來描述。(4)預(yù)測：把握分析對象發(fā)展的規(guī)律，對未來的趨勢做出預(yù)見。例如：對未來經(jīng)濟(jì)發(fā)展的判斷。(5)偏差的檢測：對分析對象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。例如：在銀行的100萬筆交易中有500例的欺詐行為，銀行為了穩(wěn)健經(jīng)營，就要發(fā)現(xiàn)這500例的內(nèi)在因素，減小以后經(jīng)營的風(fēng)險(xiǎn)。電子商務(wù)推薦系統(tǒng)中的數(shù)據(jù)挖掘技術(shù)主要是包括關(guān)聯(lián)規(guī)

13、則挖掘和分類挖掘兩類。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘中一個(gè)重要的研究內(nèi)容。在電子商務(wù)領(lǐng)域，關(guān)聯(lián)規(guī)則挖掘根據(jù)銷售數(shù)據(jù)發(fā)現(xiàn)不同類型商品在銷售過程中的相關(guān)性。關(guān)聯(lián)規(guī)則的挖掘可以離線進(jìn)行，基于關(guān)聯(lián)規(guī)則的商品推薦根據(jù)生成的關(guān)聯(lián)規(guī)則模型和用戶的購買行為產(chǎn)生推薦結(jié)果。分類挖掘模型根據(jù)用戶的輸入信息將之劃分為相應(yīng)類別，基于分類挖掘的推薦系統(tǒng)根據(jù)用戶輸入信息和項(xiàng)的特征信息，預(yù)測是否向用戶推薦該項(xiàng)。2.2信息檢索與信息過濾2.2.1信息檢索信息檢索技術(shù)一般是指根據(jù)用戶需求，從大規(guī)模的相對靜止的數(shù)據(jù)庫中檢索用戶需要的信息，主要滿足用戶瞬時(shí)的信息需求。信息檢索技術(shù)主要用于相對靜止的信息存儲領(lǐng)域。例如，當(dāng)用戶在數(shù)字圖書館中進(jìn)行

14、檢索時(shí)，用戶提交關(guān)鍵字反映了用戶當(dāng)前的信息需求，數(shù)字圖書館中的搜索引擎根據(jù)預(yù)先建立好的內(nèi)容檢索，檢索出用戶需要的信息。信息檢索的研究內(nèi)容主要包括索引技術(shù)和查詢技術(shù)。索引技術(shù)是對資源內(nèi)容進(jìn)行分析，從而將資源內(nèi)容表示為計(jì)算機(jī)可處理的數(shù)據(jù)結(jié)構(gòu)的過程。查詢技術(shù)根據(jù)用戶需求，查詢用戶需要的資源信息。其研究內(nèi)容主要包括查詢語言設(shè)計(jì)研究、可視化查詢接口研究、用戶請求與資源信息的匹配研究等。在很多情況下，索引技術(shù)與查詢技術(shù)是重疊的，查詢技術(shù)依賴資源信息所采用的索引結(jié)構(gòu)。信息檢索系統(tǒng)的界面主要包括兩種形式。傳統(tǒng)的信息檢索系統(tǒng)主要使用關(guān)鍵字查詢接口，用戶根據(jù)自己的信息需求輸入一到兩個(gè)關(guān)鍵字，信息檢索系統(tǒng)根據(jù)用戶提

15、交的關(guān)鍵字進(jìn)行查詢，然后向用戶返回檢索結(jié)果。目前，越來越多的信息檢索系統(tǒng)提供動(dòng)態(tài)查詢接口。信息檢索系統(tǒng)動(dòng)態(tài)查詢接口向用戶提供一系列的信息主題供用戶選擇，然后根據(jù)用戶的選擇向用戶提供下一層的信息主題，這樣一直進(jìn)行下去，直到用戶檢索到自己需要的信息為止。這種不斷與用戶進(jìn)行交互的動(dòng)態(tài)查詢接口使得用戶能更容易的檢索到所需信息。信息檢索技術(shù)是實(shí)現(xiàn)推薦系統(tǒng)的關(guān)鍵技術(shù)。推薦系統(tǒng)根據(jù)用戶需求，搜索產(chǎn)品類別數(shù)據(jù)庫，然后返回用戶需要的信息。其搜索過程可以實(shí)時(shí)進(jìn)行，也可以定期周期執(zhí)行。同時(shí)，推薦系統(tǒng)提供的推薦界面既可以基于傳統(tǒng)的關(guān)鍵字查詢，也可以基于動(dòng)態(tài)查詢接口。前者的例子如A中的關(guān)鍵字查詢，后者

16、的例子如中的Advisor推薦。2.2.2信息過濾信息過濾技術(shù)一般用戶用戶需求相對不變，但信息動(dòng)態(tài)呢更新比較頻繁的情況。信息過濾系統(tǒng)主要面對的是半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，它為用戶的長期信息需求提供信息過濾服務(wù)。用戶的興趣模型可用用戶檔案文件的形式表示。信息過濾系統(tǒng)將動(dòng)態(tài)信息與用戶檔案文件進(jìn)行匹配，根據(jù)匹配結(jié)果返回用戶需要的信息。信息過濾與信息檢索的區(qū)別主要包括：1)信息過濾面向用戶長期的信息需求，而信息檢索技術(shù)面向的是用戶短期的、實(shí)時(shí)的查詢。2)信息過濾用檔案文件表示用戶的信息需求特征，而信息檢索技術(shù)是用關(guān)鍵詞表達(dá)用戶的查詢請求。3)信息過濾中用戶需求相對不便，但用戶

17、訪問的是動(dòng)態(tài)數(shù)據(jù)流，是從動(dòng)態(tài)數(shù)據(jù)流中選擇數(shù)據(jù)；信息檢索技術(shù)訪問是相對靜止的數(shù)據(jù)，但用戶需求卻具有瞬時(shí)性。郵件系統(tǒng)信息過濾和新聞組信息服務(wù)是信息過濾技術(shù)的典型應(yīng)用。在新聞組信息服務(wù)中，用戶輸入自己感興趣的一組關(guān)鍵詞，新聞組信息服務(wù)通過關(guān)鍵詞建立用戶檔案。當(dāng)新聞組中加入新信息時(shí)，信息過濾系統(tǒng)對新信息進(jìn)行過濾，將滿足用戶需求的新信息反饋給用戶。新聞組信息服務(wù)也可以分析用戶訂閱的信息自動(dòng)抽取關(guān)鍵詞，簡歷用戶檔案，然后通過信息過濾系統(tǒng)將用戶感興趣的新信息反饋給用戶。信息過濾技術(shù)也是實(shí)現(xiàn)推薦系統(tǒng)的關(guān)鍵技術(shù)。例如，A提供的Eyes推薦就是一個(gè)典型的基于關(guān)鍵詞檢索的信息過濾系統(tǒng)。用戶輸入基于

18、作者、標(biāo)題、主題、ISBN和出版日期的關(guān)鍵詞，Eyes推薦根據(jù)用戶輸入的關(guān)鍵詞，建立用戶檔案。當(dāng)產(chǎn)品目錄中加入新書時(shí)，Eyes推薦根據(jù)用戶輸入的關(guān)鍵詞和新書提供的相關(guān)信息，選擇用戶感興趣的新書作為推薦結(jié)果，通過E-Mail的方式推薦給用戶。2.3協(xié)同過濾技術(shù)在協(xié)同過濾中，用戶通過相互協(xié)作來選擇信息，它依據(jù)其他用戶對信息作出的評價(jià)來挑選信息。協(xié)作方常常是用戶所信任的朋友、同事等，依據(jù)他們的判斷向用戶推薦信息。協(xié)同過濾方法對用戶的行為進(jìn)行分析，并不關(guān)心信息的實(shí)際內(nèi)容。自動(dòng)化協(xié)同過濾系統(tǒng)通過收集用戶對信息的評價(jià)，搜索具有相同興趣喜好的用戶，然后根據(jù)具有相同興趣喜好的用戶對信息的評價(jià)產(chǎn)生推薦結(jié)果。和基

19、于內(nèi)容的過濾方法相比，協(xié)同過濾具有如下優(yōu)點(diǎn)：1)適合于過濾難以分析內(nèi)容的資源：協(xié)同過濾不關(guān)心資源的具體內(nèi)容，因此，在難以分析資源內(nèi)容的情況下，如圖形、圖像、視頻、音樂等，協(xié)同過濾是很好的選擇。2)新奇的推薦：協(xié)同過濾可以發(fā)現(xiàn)內(nèi)容上完全不相似的資源，用戶對推薦信息的內(nèi)容事先是預(yù)料不到的。協(xié)同過濾推薦是當(dāng)前最成功的推薦技術(shù)。最近鄰協(xié)同過濾根據(jù)評分相似的最近鄰居的評分?jǐn)?shù)據(jù)向目標(biāo)用戶產(chǎn)生推薦。由于最近鄰居對項(xiàng)(電子商務(wù)中的商品，電影，音樂等)的評分與目標(biāo)用戶非常相似，因此目標(biāo)用戶對未評分項(xiàng)的評分可以通過最近鄰居對項(xiàng)評分的加權(quán)平均值逼近。協(xié)同過濾推薦通過用戶對項(xiàng)的評分信息產(chǎn)生推薦，用戶對項(xiàng)的評分信息可以通過隱式和顯式兩種方式得到。隱式方式通過用戶瀏覽或購買過的商品推斷用戶興趣愛好。顯式方式則讓用戶直接輸入用戶對商品的數(shù)字評分和文本評價(jià)信息。協(xié)同過濾推薦系統(tǒng)通過用戶對項(xiàng)的評分信息，建立用戶檔案，然后使用不同的推薦機(jī)制提供推薦服務(wù)。最簡單的協(xié)同過濾系統(tǒng)計(jì)算所有用戶對項(xiàng)的平均評分，選擇平均評分最高的前N個(gè)項(xiàng)作為推薦結(jié)果推薦給用戶。這種推薦機(jī)制根據(jù)所有的用戶評分信息產(chǎn)生推薦，所有用戶在同一時(shí)間得到的推薦都是相同的，因此這種推薦方法又稱為非個(gè)性化推薦。Tapestry是最早提出的個(gè)性化協(xié)同過濾推薦系統(tǒng)。用戶需要明確指出與自己興趣愛好相似的其他用戶，推薦系統(tǒng)根據(jù)指定的其他用戶