技術(shù)報告基于消費者購物記錄的商品推薦去重方案

1、計劃類別 項目編號 項目技術(shù)報告課題名稱 項目主持人 承擔(dān)單位 題目：基于消費者購物記錄的商品推薦去重方案伴隨著網(wǎng)購的不斷發(fā)展，各大電商網(wǎng)站均引入了商品推薦系統(tǒng)。但消費者卻常常對這類系統(tǒng)的有效性抱有疑問，因為他們發(fā)現(xiàn)自己前一天剛買的商品依然出現(xiàn)在今天的推薦列表中，而自己已經(jīng)不再需要這類商品了。針對這樣的情況，需要給推薦系統(tǒng)增加一個過濾模塊，將一些在當(dāng)前明顯不會被目標(biāo)用戶所需要的商品去除。本文在前人提出的回購周期去重方案的基礎(chǔ)上進(jìn)行優(yōu)化，提出了一套綜合去重方案。關(guān)鍵詞：推薦方法；推薦去重；推薦過濾；大數(shù)據(jù)Abstract：With the continuous development of on

2、line shopping，the main e-commerce websites have all introduced commodity recommendation systems.However，consumers usually have doubts on the effectiveness of such kind of system，as they find that the commodities they purchased a day before still appear on the recommendation list today，which they do

3、not need any more.Aimed at such cases，a filtering module needs to be added to the recommendation system to eliminate the commodities that are obviously undesired by the target users at present.This paper conducted optimization based on the filtering schemes put forward on buy-back cycle previously a

4、nd put forward a set of comprehensive filtering scheme.Keywords：Recommendation method；repetition removal；recommendation filtering；big data1 引言（Introduction）互聯(lián)網(wǎng)的出現(xiàn)使人們足不出戶就能獲得各類信息。而多年以來互聯(lián)網(wǎng)的發(fā)展也呈現(xiàn)出爆炸性趨勢，加上物流運輸產(chǎn)業(yè)的的發(fā)展，越來越多的人選擇通過網(wǎng)上商城進(jìn)行購物。商家們?yōu)榱双@取更多的利潤，幾乎都在網(wǎng)站上使用了商品推薦系統(tǒng)，以期獲得更大的利潤。Resnick和Varian在1997年給出了推薦系統(tǒng)的定

5、義：“它利用電子商務(wù)網(wǎng)站向客戶提供商品信息和建議，幫助用戶決定應(yīng)該購買什么產(chǎn)品，模擬銷售人員幫助客戶完成購買過程”1。推薦系統(tǒng)的核心是推薦方法，經(jīng)過多年的發(fā)展，當(dāng)前較為成熟的推薦方法包括協(xié)同過濾，基于內(nèi)容推薦，基于圖結(jié)構(gòu)推薦和混合推薦2。然而當(dāng)前幾乎所有的購物網(wǎng)站使用的推薦系統(tǒng)在對消費者進(jìn)行商品推薦時都沒有考慮推薦去重的問題。例如目標(biāo)用戶經(jīng)過一個月的篩選，最終買下了一臺幾千元的手機(jī)，而當(dāng)用戶第二天打開網(wǎng)站的時候，網(wǎng)站的推薦系統(tǒng)卻仍然在賣力的向其推薦手機(jī)。這樣的情況不僅浪費了推薦的機(jī)會，更讓消費者對網(wǎng)站的推薦系統(tǒng)能力產(chǎn)生懷疑，用戶對系統(tǒng)推薦性能持否定態(tài)度的結(jié)果將導(dǎo)致其不再關(guān)注系統(tǒng)推薦的任何商品。

6、這樣的局面不僅是消費者的損失，更是商家的損失。而對購買過的商品采取“一刀切”，不再推薦的做法也顯然不行，如果消費者購買的商品屬于消耗類商品，例如牙膏，那么顯然很有必要再次進(jìn)行推薦，但推薦的時機(jī)是一個很重要的問題。針對以上的問題，張志清3等人提出了一種考慮商品重復(fù)購買周期4的協(xié)同過濾推薦方案。本文則受其啟發(fā)，在其基礎(chǔ)上提出一種獨立的去重模塊，以期能與各類推薦方法組合使用在推薦系統(tǒng)中，提升推薦系統(tǒng)的有效性。2 去重方案（Filtering scheme）2.1 考慮商品重復(fù)購買周期的協(xié)同過濾推薦方案該方案主要包括如下步驟：第一是建立商品數(shù)據(jù)庫和顧客交易數(shù)據(jù)庫，并將所有商品分成三類，即長重復(fù)購買周期

7、、短重復(fù)購買周期和零重復(fù)購買周期的商品；第二步是計算短重復(fù)購買周期商品的重復(fù)購買周期，生成重復(fù)購買周期表；第三步則是計算目標(biāo)推薦用戶已購商品的回購狀態(tài)，找出處于消費周期，失效狀態(tài)和長重復(fù)購買周期的商品；最后一步是將傳統(tǒng)的協(xié)同過濾方法得到的商品推薦列表與以上三步獲得的商品列表進(jìn)行比對，將兩個列表中重復(fù)的商品從協(xié)同過濾結(jié)果的列表中去除，最后將過濾后列表內(nèi)的商品推薦給用戶。2.2 考慮商品重復(fù)購買周期方案的局限性首先是分類的局限，原方案中對商品進(jìn)行了事先人工分類，但這樣的分類缺乏個性化，因為一些商品對于不同的人來說情況不同，存在一部分人幾年內(nèi)只購買一次，而另一部分人會隔一段時間就購買一次的商品，這樣

8、的情況下人工分類吃力不討好。第二是重復(fù)購買周期計算方法的局限。原方案對顧客遇到特價活動時的提前重復(fù)購買行為在計算時僅簡單的去除，沒有考慮提前重復(fù)購買對于后續(xù)購買周期的影響。第三是對重復(fù)購買周期離散值確定上的局限。原方案將離散值設(shè)定為固定的30天，但由于商品特性和消費者復(fù)雜的情況，該離散值在實際使用上很難取得較好的效果。最后是對失效期商品去除的局限。當(dāng)超出回購周期后，原方案會認(rèn)為用戶已經(jīng)在其他地方購買了商品，于是不再對其推薦該商品，這其中沒有考慮消費者不購買的原因而是做簡單拋棄。2.3 基于消費者購物記錄的去重方案針對以上問題，本文提出了一套綜合的去重方案，主要改動包括：首先是不再進(jìn)行人工三段式

9、分類，改為先按商品品種5，6簡單分類（這樣的分類每個電商網(wǎng)站本來就有，相當(dāng)于不需要做額外分類），再通過計算來劃分出真正的針對目標(biāo)用戶的個性化分類的方式。其次，充分考慮優(yōu)惠打折活動對消費者帶來的影響，修改計算方式，使得到的回購周期更加合理。第三，通過考慮用戶多次購買同類產(chǎn)品的回購周期離散值來決定商品的黃金推薦周期，消費周期和超期失效周期。第四，對于超過回購周期的商品，通過參考用戶在最后一次購買后的瀏覽記錄，購物車記錄和商品售價情況綜合判斷用戶對商品的態(tài)度后，在有必要的情況下會根據(jù)實際情況再次計算回購周期來決定待推薦的商品的去留，不再是一超期就無條件丟棄。3 方案實現(xiàn)（Scheme realiza

10、tion）3.1 數(shù)據(jù)準(zhǔn)備在進(jìn)行去重前，需要在數(shù)據(jù)庫中先建立如下表格：表1：用戶歷史購買記錄表。表中記錄項目包括“商品ID，購買日期，購買數(shù)量，單件容量，單價，購買時是否享有折扣”。表2：商品分類表。表中記錄項目包括“商品ID，商品所屬類別ID，全體用戶日均消耗離散值”，其中商品的分類按照商品品種進(jìn)行劃分。表3：用戶瀏覽記錄表。表中記錄項目包括“商品ID，瀏覽日期，單件容量，單價，用戶瀏覽時是否有折扣”。表4：用戶購物車記錄表。表中記錄項目包括“商品ID，放入購物車時間，單件容量，單價，放入購物車時是否有折扣”。以上表中的“單件容量”屬性均指代消耗類商品的容量，非消耗類商品此值留空?？紤]到節(jié)省

11、存儲空間問題，一個用戶對一個商品的瀏覽或購物車放入記錄都只保留最后一次。3.2 去重方案具體步驟在正式開始去重前還需要準(zhǔn)備以下列表用于計算：一個針對目標(biāo)用戶的推薦列表I，該列表通過任意一種推薦算法得出；一個待處理列表I*，I*的內(nèi)容與I一致；一個排除列表Ik，Ik初始為空，用以保存待清除的推薦商品。以上列表均只保存商品的ID。步驟1：依次檢查I*中的所有商品，若目標(biāo)用戶對待檢商品及與待檢商品同類商品的購買次數(shù)之和僅為1次，則將商品ID從I*移動到Ik中，而購買記錄為0的商品ID則從I*中刪除。I*經(jīng)過處理后稱為I2*。步驟2：依次檢查I2*中所有非特價購買次數(shù)小于等于1次的商品，若這些商品正在

12、打折，則將其從I2*中刪除，否則將商品ID從I*移動到Ik中。I2*經(jīng)過處理后稱為I3*。步驟3：嘗試從I3*中取一個商品，若I3*為空，則將I與Ik中均存在的ID值相同的商品從I中刪除，I經(jīng)處理后最終得到I2，將I2中的商品推薦給用戶，全部流程結(jié)束；否則將取到的商品ID記為C，并獲得C所屬的商品類別，記為U。接著計算目標(biāo)用戶對該類商品的日均消耗量：其中，DEnR代表目標(biāo)用戶最后一次以非打折價格購買U類商品的日期，DFiR代表目標(biāo)用戶第一次以非打折價格購買U類商品的日期，WN代表單次購買U類商品的數(shù)量，WC代表單次購買U類商品的容量（若WC為空或0，則WC=1，之后步驟同理），n代表在DEnR

13、與DFiR之間購買過U類商品的次數(shù)。計算用戶對U類商品的單次回購周期內(nèi)對U的日均消耗量Gct：計算用戶對商品C的日均消耗量的離散程度SDc：其中，Dt為第t次購買U類商品的日期，Gct為第t次和t+1次購買的U類商品的日均消耗量，n代表在Dt與Dt+1之間購買過U類商品的次數(shù)。步驟4：最后一次以非特價購買U類商品到最后一次購買U類商品期間總購買量PE：其中，N為最后一次以非特價購買U類商品到最后一次購買U類商品期間對U類商品的購買次數(shù)。步驟5：計算目標(biāo)用戶對商品C的消耗周期預(yù)測范圍（即黃金回購周期）：其中，SDCA*代表商品C的全體用戶日均消耗離散程度，SDA為可選參數(shù)，默認(rèn)為0，該值代表與目

14、標(biāo)用戶相似的其他用戶對U類商品的離散程度，例如推薦算法中使用到“相似用戶”7時可以計算相似用戶對商品C的離散程度。另外考慮到電商的物流情況，若計算后THMaxTAct，說明商品處于消耗周期，不需要推薦。將C從I3*移動到Ik內(nèi)，完成后執(zhí)行步驟3。若TActTHMax，說明商品處于失效周期，需要進(jìn)一步確定情況，執(zhí)行下一步驟。其中，前時間與最后一次非特價購買U類商品的時間差為TAct。步驟7：檢查目標(biāo)用戶在回購期開始后有無將U類商品放入購物車的記錄，若無，執(zhí)行步驟8，否則首先檢查購物車記錄中商品價格情況，若滿足MNowMSeMCM，說明消費者因為價格因素放棄購買，則將C從I3*移動到Ik內(nèi)，完成后

15、執(zhí)行步驟3；若不滿足，說明消費者超期未購買的因素可能與價格無關(guān)，將DEnR值設(shè)置為購物車記錄生成日期，而PE值通過購物車信息計算得到，之后返回步驟5。其中，MNow代表當(dāng)前商品C的最新單價，MSC代表目標(biāo)用戶最后一次將U類商品放入購物車時的商品單價，MCM代表用戶購買過的U類商品的平均單價。步驟8：檢查目標(biāo)用戶在回購期開始后有無對U類商品頁面的瀏覽記錄，若無，則將商品C從I3*中刪除，完成后執(zhí)行步驟3，否則采用與購物車記錄相同的處理步驟，如果需要重新計算黃金回購周期，則DEnR的值設(shè)置為目標(biāo)用戶對U類商品最后瀏覽日期，PE值設(shè)置為：4 算法檢驗（Algorithm inspection）4.1

16、 去重有效性評價指標(biāo)主要從兩個指標(biāo)進(jìn)行評價：召回率和誤識別率8，9。召回率。召回率在本文中定義為正確去除的推薦商品占所有需要去除的推薦商品的百分比，召回率越高越好。其計算公式為：召回率=（正確識別的多余推薦商品數(shù)目/實際包含的多余推薦商品總數(shù)）100%誤識別率。誤識別率在本文中定義為被錯誤去除的推薦商品占所有被識別為待去除商品的百分比，誤識別率越低越好。其計算公式如下：誤識別率=（錯誤識別為待去除商品的數(shù)量/被識別為待去除商品的總數(shù)）100%4.2 評價指標(biāo)獲取方案步驟1：獲取算法所需表格。步驟2：任意取一個用戶P，統(tǒng)計其歷史購買記錄，獲取每個類別商品的總購買次數(shù)。步驟3：對每種購買次數(shù)2的商

17、品，忽略掉其最后一次購買記錄。將剩余相關(guān)記錄導(dǎo)入算法中計算，算法會輸出每一個商品的黃金回購周期。步驟4：將黃金回購周期與用戶最后一次購買該商品的日期進(jìn)行比對，若用戶最后一次購買該商品的日期在黃金回購周期內(nèi)，則判定為成功識別，否則為錯誤識別。步驟5：通過前四個步驟獲取的參數(shù)計算召回率和誤識別率。4.3 實驗結(jié)果實驗采用的數(shù)據(jù)集是包含有關(guān)網(wǎng)站部分用戶購物信息匯總的數(shù)據(jù)集，實驗結(jié)果如表1所示。5 結(jié)論（Conclusion）目前各大電商網(wǎng)站的推薦系統(tǒng)基本都存在重復(fù)推薦消費者當(dāng)前所不需要的商品的情況。本文在前人的基礎(chǔ)上提出了一種以重復(fù)購買周期為主，考慮多種情況的推薦商品去重方案，讓商家和消費者能得到雙

18、贏的結(jié)果。該去重方案還可以反向運用，即作為一種推薦方法，定期向用戶推薦其可能需要重復(fù)購買的商品。在后續(xù)的研究中，將著重處理以下問題：一是對于某些商品來說，消費者重復(fù)購買并不是因為周期消耗因素，例如目標(biāo)用戶間隔一段時間就幫不同的朋友購買一塊電腦硬盤，這時候計算消耗周期的意義不大，因為即使目標(biāo)用戶也不一定清楚自己會在什么時候需要硬盤；而直接將硬盤歸入非消耗類商品從而排除計算周期的方案也不可行，因為存在一些消費者需要大量的存儲空間而定期購買硬盤的情況，例如商店內(nèi)的監(jiān)控錄像存儲，因此需要研究一種全新的思路。另一個問題是分類計算周期，在本文的算法中，考慮到很多用戶在重復(fù)購買時并不局限于購買一個品牌的商品，因此在第一次人工分類時沒有細(xì)化分類，但部分同類產(chǎn)品高端與低端之分，消費者可能出現(xiàn)種種原因?qū)е赂叩投水a(chǎn)品都有購買，這時在計算周期前可能還需要考慮例如價格等因素來進(jìn)行更細(xì)致的分類，之后才計算回購周期。參考文獻(xiàn)（References）1 王國霞，劉賀平.個性化推薦系統(tǒng)綜述J.計算機(jī)工程與應(yīng)用，2012，48（07）：66-76.2 楊博，趙鵬飛.推薦算法綜述J.山西大學(xué)學(xué)報，2012（3）：337-350.3 張志清，李夢，胡竹青.考慮商品重復(fù)購買周期的協(xié)同過濾推薦