電子商務推薦系統(tǒng)概述

1、電子商務推薦系統(tǒng)概述 1電子商務個性化推薦系統(tǒng)推薦系統(tǒng)將成為未來十年里最重要的變革，社會化網(wǎng)站將由推薦系統(tǒng)所驅(qū)動。 John Riedl明尼蘇達大學教授網(wǎng)站正從一個搜索時代進入一個發(fā)現(xiàn)時代。他們的區(qū)別是，搜索是你明確知道需要什么東西；發(fā)現(xiàn)是說你并不十分清楚的知道一種東西存在，或者你并不清楚怎么樣才能找到這種東西。而搜索時代創(chuàng)造了市值1500億美金的google。-美國財富雜志亞馬遜很早就意識到推薦系統(tǒng)能在電子商務上發(fā)揮的巨大作用。亞馬遜使用協(xié)同過濾的算法來匹配你與其他顧客的購買習慣，從而過濾掉大量的商品信息，而只推薦出你愿意購買的商品。-ACM conference調(diào)查顯示，45%的用戶更加喜

2、歡到有產(chǎn)品推薦功能的網(wǎng)站上去購物，而在過去6個月里花費了￥1000以上購買商品的用戶里，這個數(shù)字提高到了69%。同一個調(diào)查顯示，41%的用戶更加關注符合他們口味的個性化廣告。新聞媒體網(wǎng)站通過顯示個性化的相關內(nèi)容來提高用戶的閱讀興趣。 ChoiceStream survey隨著電子商務規(guī)模的進一步擴大，為用戶提供越來越多選擇的同時，其結構也變得更加復雜。一方面，用戶面對大量的商品信息束手無策，用戶經(jīng)常會迷失在大量的商品信息空間中，無法順利找到自己需要的商品；另一方面，商家也失去了與消費者的聯(lián)系。推薦系統(tǒng)模擬商店銷售人員向用戶提供商品推薦，幫助用戶找到所需商品，從而順利完成購買過程，因此可以有效保

3、留用戶，提高電子商務系統(tǒng)的銷售；商家也可以通過推薦系統(tǒng)保持與客戶的聯(lián)系，重建客戶關系。推薦系統(tǒng)主要通過如下三種途徑提高電子商務系統(tǒng)的銷售能力：1)將電子商務系統(tǒng)的瀏覽者變成購買者：電子商務系統(tǒng)的訪問者在瀏覽過程中經(jīng)常并沒有購買欲望，電子商務推薦系統(tǒng)能夠向訪問者推薦他們感興趣的商品，從而完成購買過程。2)提高電子商務系統(tǒng)的交叉銷售：電子商務推薦系統(tǒng)在用戶購買過程中向用戶提供其它有價值的商品推薦，用戶能夠從提供的推薦列表中購買自己確實需要但在購買過程中沒有想到的商品，從而有效提高電子商務系統(tǒng)的交叉銷售。3)保留客戶：與傳統(tǒng)的商務模式相比，電子商務系統(tǒng)使得用戶擁有越來越多的選擇，用戶更換商家及其方便

4、，只需要一兩次鼠標的點擊就可以在不同電子商務系統(tǒng)之間跳轉(zhuǎn)。電子商務推薦系統(tǒng)分析用戶的購買習慣，根據(jù)用戶需求向用戶提供有價值的商品推薦。如果電子商務推薦系統(tǒng)的推薦質(zhì)量很高，那么用戶會對該電子商務推薦系統(tǒng)產(chǎn)生依賴。因此電子商務推薦系統(tǒng)不僅能要為用戶提供個性化的推薦服務，而且能與用戶建立長期穩(wěn)定的關系，從而能有效保留用戶，防止用戶流失。電子商務推薦系統(tǒng)具有良好的發(fā)展和應用前景。目前，幾乎所有大型的電子商務系統(tǒng)，如Amazon、CDNOW、eBay、dangdang、淘寶等，都不同程度的使用了各種形式的推薦系統(tǒng)，各種提供個性化服務的Web站點也需要推薦系統(tǒng)的大力支持。在日趨激烈的競爭環(huán)境下，電子商務推

5、薦系統(tǒng)能有效保留用戶，提高電子商務系統(tǒng)的銷售。有關研究表明，電子商務零售行業(yè)提供個性化推薦服務后，其銷售額會提高2%8%。由此可見，成功的電子商務推薦系統(tǒng)會產(chǎn)生巨大的經(jīng)濟效益。1.推薦技術研究現(xiàn)狀與分析推薦系統(tǒng)中的推薦技術主要分為三類：基于內(nèi)容的推薦技術，協(xié)同過濾推薦技術和混合推薦技術：基于內(nèi)容的過濾(Content-based filtering approach)是信息檢索領域的重要研究內(nèi)容?；趦?nèi)容過濾的推薦系統(tǒng)需要分析資源內(nèi)容信息，根據(jù)用戶興趣建立用戶檔案(Profile)，然后根據(jù)資源內(nèi)容與用戶檔案之間的相似性向用戶提供推薦服務?；趦?nèi)容過濾的實驗型推薦系統(tǒng)主要包括Malone等人提

6、出的電子郵件信息過濾系統(tǒng)(1987)、音樂過濾系統(tǒng)LyricTime(1992)、Stanford大學提出的信息過濾工具SIFT(1995)、SIFTER原形系統(tǒng)(1997)等。基于內(nèi)容過濾的推薦技術具有一定的局限性，主要表現(xiàn)在必須分析資源的內(nèi)容信息，因此對音樂、圖像、視頻等信息無能為力；無法分析信息的質(zhì)量；無法提供新穎的推薦。協(xié)同過濾推薦技術(Collaborative filtering approach)是目前研究最多、應用最廣的電子商務推薦技術。它是基于鄰居用戶的資料得到對目標用戶的推薦，推薦的個性化程度高。利用用戶的訪問信息，通過用戶群的相似性進行產(chǎn)品推薦，不依賴于內(nèi)容僅依賴于用戶之

7、間的相互推薦，避免了內(nèi)容過濾的不足，保證信息推薦的質(zhì)量。協(xié)同過濾是根據(jù)和自己有著相似愛好的鄰居用戶所喜歡的商品，自己也同樣會喜歡的原理進行推薦，能為用戶發(fā)現(xiàn)新的感興趣的商品，不需要考慮商品的特征，任何形式的商品都可以推薦。例如，使用基于內(nèi)容的推薦技術進行推薦馮小剛的電影，系統(tǒng)返回的只是馮小剛的電影，但是如果使用了協(xié)同過濾技術，它會根據(jù)品質(zhì)等特征進行推薦，返回的是馮小剛確實拍的好的電影，協(xié)同過濾技術尤其適合應用在文化產(chǎn)品上，例如推薦音樂，電影等。但是協(xié)同過濾技術也同樣存在著很多局限性：如冷啟動問題，如果一個用戶沒有對任何項目進行過評價，自然不存在評分矩陣，也不能得到推薦，同理，如果一個項目是新項

8、目，同樣也得不到推薦；評分矩陣稀疏問題，在大多數(shù)的推薦系統(tǒng)中，用戶涉及的信息量是相當?shù)挠邢薜?，在一些大的系統(tǒng)如Amazon，用戶最多不過評價了上百萬書的1%-2%，這樣的評分矩陣是很稀疏的，難以找到相似的用戶集，導致推薦結果大大的降低；可擴展性問題，面對日益增多的用戶，數(shù)據(jù)量的急劇增加，算法的擴展性問題(即適應系統(tǒng)規(guī)模不斷擴大的問題)成為制約推薦系統(tǒng)實施的重要因素。但隨著計算機性能的增強，這個問題己經(jīng)得到了很好的解決。每種推薦技術都有各自的優(yōu)缺點。為了給用戶提供更準確更合理的推薦，在設計推薦系統(tǒng)的推薦方法模塊時結合多種基本推薦技術，以達到揚長避短的目的。這就是組合推薦的思路。一般而言，推薦技術

9、的組合有以下幾種思路：l)加權(weight)：采用多種推薦技術得到對某一項目的預測評分，根據(jù)權重相加得到總評分，以此得出推薦結果。2)切換(switch)：具體采用哪種推薦技術取決于當時的實際情況，根據(jù)應用場合切換不同的推薦技術。3)混合(Mixed)：同時采用多種推薦技術進行推薦。4)特征組合(Feature combination)：組合來自不同推薦數(shù)據(jù)源的特征并被一種推薦算法所采用。5)層疊(Cascade)：一個推薦器從另一種推薦器中提煉抽取一部分推薦。6)特征放大(Feature augmentation)：一種推薦技術的輸出結果作為另一種推薦技術的特征輸入。7)模型放大(Meta

10、-level)：被一種推薦器學習的模型作為另一種推薦器的輸入。2.個性化推薦系統(tǒng)相關技術2.1數(shù)據(jù)挖掘數(shù)據(jù)挖掘(Data mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。所以，數(shù)據(jù)挖掘有時也被人們稱為知識挖掘、知識提取、知識發(fā)現(xiàn)等。隨著信息技術的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，如何從海量的數(shù)據(jù)中提取有用的知識成為當務之急。數(shù)據(jù)挖掘就是為順應這腫需要應運而生發(fā)展起來的數(shù)據(jù)處理技術。它采用了包括數(shù)據(jù)庫，數(shù)據(jù)倉庫和OLAP、統(tǒng)計、機器學習、可視化、神經(jīng)元網(wǎng)絡等不同領域的技術，并且在諸如零售、銀行、保險、股票市

11、場分析、Web挖掘等不同行業(yè)都得到了應用。數(shù)據(jù)挖掘(Data Mining)采用數(shù)學的、統(tǒng)計的、人工智能和神經(jīng)網(wǎng)絡等領域的科學方法，如機器學習、聚類分析、關聯(lián)分析、決策樹、神經(jīng)網(wǎng)絡、基因算法等技術，從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價值的關系、模式和趨勢，并用這些知識和規(guī)則建立用于決策支持的模型，提供預測性決策支持的方法、工具和過程。綜合了各個學科的技術，有很多的功能，當前的主要功能包括：(1)分類：按照分析對象的屬性、特征，建立不同的組類來描述事物。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應的貸款方案。(2)聚類：

12、識別出分析對內(nèi)在的規(guī)則，按照這些規(guī)則把對象分成若干類。例如：將申請人分為高度風險申請者、中度風險申請者、低度風險申請者。(3)關聯(lián)規(guī)則：關聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的這樣一種聯(lián)系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關聯(lián)的支持度和可信度來描述。(4)預測：把握分析對象發(fā)展的規(guī)律，對未來的趨勢做出預見。例如：對未來經(jīng)濟發(fā)展的判斷。(5)偏差的檢測：對分析對象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。例如：在銀行的100萬筆交易中有500例的欺詐行為，銀行為了穩(wěn)健經(jīng)營，就要發(fā)現(xiàn)這500例的內(nèi)在因素，減小以后經(jīng)營的風險。電子商務推薦系統(tǒng)中的數(shù)據(jù)挖掘技術主要是包括關聯(lián)規(guī)

13、則挖掘和分類挖掘兩類。關聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘中一個重要的研究內(nèi)容。在電子商務領域，關聯(lián)規(guī)則挖掘根據(jù)銷售數(shù)據(jù)發(fā)現(xiàn)不同類型商品在銷售過程中的相關性。關聯(lián)規(guī)則的挖掘可以離線進行，基于關聯(lián)規(guī)則的商品推薦根據(jù)生成的關聯(lián)規(guī)則模型和用戶的購買行為產(chǎn)生推薦結果。分類挖掘模型根據(jù)用戶的輸入信息將之劃分為相應類別，基于分類挖掘的推薦系統(tǒng)根據(jù)用戶輸入信息和項的特征信息，預測是否向用戶推薦該項。2.2信息檢索與信息過濾2.2.1信息檢索信息檢索技術一般是指根據(jù)用戶需求，從大規(guī)模的相對靜止的數(shù)據(jù)庫中檢索用戶需要的信息，主要滿足用戶瞬時的信息需求。信息檢索技術主要用于相對靜止的信息存儲領域。例如，當用戶在數(shù)字圖書館中進行

14、檢索時，用戶提交關鍵字反映了用戶當前的信息需求，數(shù)字圖書館中的搜索引擎根據(jù)預先建立好的內(nèi)容檢索，檢索出用戶需要的信息。信息檢索的研究內(nèi)容主要包括索引技術和查詢技術。索引技術是對資源內(nèi)容進行分析，從而將資源內(nèi)容表示為計算機可處理的數(shù)據(jù)結構的過程。查詢技術根據(jù)用戶需求，查詢用戶需要的資源信息。其研究內(nèi)容主要包括查詢語言設計研究、可視化查詢接口研究、用戶請求與資源信息的匹配研究等。在很多情況下，索引技術與查詢技術是重疊的，查詢技術依賴資源信息所采用的索引結構。信息檢索系統(tǒng)的界面主要包括兩種形式。傳統(tǒng)的信息檢索系統(tǒng)主要使用關鍵字查詢接口，用戶根據(jù)自己的信息需求輸入一到兩個關鍵字，信息檢索系統(tǒng)根據(jù)用戶提

15、交的關鍵字進行查詢，然后向用戶返回檢索結果。目前，越來越多的信息檢索系統(tǒng)提供動態(tài)查詢接口。信息檢索系統(tǒng)動態(tài)查詢接口向用戶提供一系列的信息主題供用戶選擇，然后根據(jù)用戶的選擇向用戶提供下一層的信息主題，這樣一直進行下去，直到用戶檢索到自己需要的信息為止。這種不斷與用戶進行交互的動態(tài)查詢接口使得用戶能更容易的檢索到所需信息。信息檢索技術是實現(xiàn)推薦系統(tǒng)的關鍵技術。推薦系統(tǒng)根據(jù)用戶需求，搜索產(chǎn)品類別數(shù)據(jù)庫，然后返回用戶需要的信息。其搜索過程可以實時進行，也可以定期周期執(zhí)行。同時，推薦系統(tǒng)提供的推薦界面既可以基于傳統(tǒng)的關鍵字查詢，也可以基于動態(tài)查詢接口。前者的例子如A中的關鍵字查詢，后者

16、的例子如中的Advisor推薦。2.2.2信息過濾信息過濾技術一般用戶用戶需求相對不變，但信息動態(tài)呢更新比較頻繁的情況。信息過濾系統(tǒng)主要面對的是半結構化和非結構化的數(shù)據(jù)，它為用戶的長期信息需求提供信息過濾服務。用戶的興趣模型可用用戶檔案文件的形式表示。信息過濾系統(tǒng)將動態(tài)信息與用戶檔案文件進行匹配，根據(jù)匹配結果返回用戶需要的信息。信息過濾與信息檢索的區(qū)別主要包括：1)信息過濾面向用戶長期的信息需求，而信息檢索技術面向的是用戶短期的、實時的查詢。2)信息過濾用檔案文件表示用戶的信息需求特征，而信息檢索技術是用關鍵詞表達用戶的查詢請求。3)信息過濾中用戶需求相對不便，但用戶

17、訪問的是動態(tài)數(shù)據(jù)流，是從動態(tài)數(shù)據(jù)流中選擇數(shù)據(jù)；信息檢索技術訪問是相對靜止的數(shù)據(jù)，但用戶需求卻具有瞬時性。郵件系統(tǒng)信息過濾和新聞組信息服務是信息過濾技術的典型應用。在新聞組信息服務中，用戶輸入自己感興趣的一組關鍵詞，新聞組信息服務通過關鍵詞建立用戶檔案。當新聞組中加入新信息時，信息過濾系統(tǒng)對新信息進行過濾，將滿足用戶需求的新信息反饋給用戶。新聞組信息服務也可以分析用戶訂閱的信息自動抽取關鍵詞，簡歷用戶檔案，然后通過信息過濾系統(tǒng)將用戶感興趣的新信息反饋給用戶。信息過濾技術也是實現(xiàn)推薦系統(tǒng)的關鍵技術。例如，A提供的Eyes推薦就是一個典型的基于關鍵詞檢索的信息過濾系統(tǒng)。用戶輸入基于

18、作者、標題、主題、ISBN和出版日期的關鍵詞，Eyes推薦根據(jù)用戶輸入的關鍵詞，建立用戶檔案。當產(chǎn)品目錄中加入新書時，Eyes推薦根據(jù)用戶輸入的關鍵詞和新書提供的相關信息，選擇用戶感興趣的新書作為推薦結果，通過E-Mail的方式推薦給用戶。2.3協(xié)同過濾技術在協(xié)同過濾中，用戶通過相互協(xié)作來選擇信息，它依據(jù)其他用戶對信息作出的評價來挑選信息。協(xié)作方常常是用戶所信任的朋友、同事等，依據(jù)他們的判斷向用戶推薦信息。協(xié)同過濾方法對用戶的行為進行分析，并不關心信息的實際內(nèi)容。自動化協(xié)同過濾系統(tǒng)通過收集用戶對信息的評價，搜索具有相同興趣喜好的用戶，然后根據(jù)具有相同興趣喜好的用戶對信息的評價產(chǎn)生推薦結果。和基

19、于內(nèi)容的過濾方法相比，協(xié)同過濾具有如下優(yōu)點：1)適合于過濾難以分析內(nèi)容的資源：協(xié)同過濾不關心資源的具體內(nèi)容，因此，在難以分析資源內(nèi)容的情況下，如圖形、圖像、視頻、音樂等，協(xié)同過濾是很好的選擇。2)新奇的推薦：協(xié)同過濾可以發(fā)現(xiàn)內(nèi)容上完全不相似的資源，用戶對推薦信息的內(nèi)容事先是預料不到的。協(xié)同過濾推薦是當前最成功的推薦技術。最近鄰協(xié)同過濾根據(jù)評分相似的最近鄰居的評分數(shù)據(jù)向目標用戶產(chǎn)生推薦。由于最近鄰居對項(電子商務中的商品，電影，音樂等)的評分與目標用戶非常相似，因此目標用戶對未評分項的評分可以通過最近鄰居對項評分的加權平均值逼近。協(xié)同過濾推薦通過用戶對項的評分信息產(chǎn)生推薦，用戶對項的評分信息可以通過隱式和顯式兩種方式得到。隱式方式通過用戶瀏覽或購買過的商品推斷用戶興趣愛好。顯式方式則讓用戶直接輸入用戶對商品的數(shù)字評分和文本評價信息。協(xié)同過濾推薦系統(tǒng)通過用戶對項的評分信息，建立用戶檔案，然后使用不同的推薦機制提供推薦服務。最簡單的協(xié)同過濾系統(tǒng)計算所有用戶對項的平均評分，選擇平均評分最高的前N個項作為推薦結果推薦給用戶。這種推薦機制根據(jù)所有的用戶評分信息產(chǎn)生推薦，所有用戶在同一時間得到的推薦都是相同的，因此這種推薦方法又稱為非個性化推薦。Tapestry是最早提出的個性化協(xié)同過濾推薦系統(tǒng)。用戶需要明確指出與自己興趣愛好相似的其他用戶，推薦系統(tǒng)根據(jù)指定的其他用戶