基于用戶興趣特征的數(shù)據(jù)預處理

基于用戶興趣特征的數(shù)據(jù)預處理

0代理端關系數(shù)據(jù)預處理web搜索的目的是在大量網(wǎng)絡數(shù)據(jù)（如網(wǎng)絡文檔、網(wǎng)絡日志）中找到有用的信息和知識。按照挖掘對象的不同,Web挖掘大致可以分為三類:Web內容挖掘、Web結構挖掘和Web使用挖掘(WebUsageMining,WUM)。WUM的研究內容是對用戶訪問網(wǎng)絡的行為日志進行分析,以發(fā)現(xiàn)有價值的潛在訪問模式,其分析結果可以應用于個性化推薦等諸多方面。目前已存在多個WUM的軟件工具。WUM主要包括數(shù)據(jù)預處理、模式發(fā)現(xiàn)和模式應用三個基本過程。其中數(shù)據(jù)預處理是整個過程的基礎和實施有效挖掘的前提,是WUM質量保證的關鍵。數(shù)據(jù)預處理是對存在不完整的、含噪聲的和不一致數(shù)據(jù)的原始日志文件進行的數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約的過程。數(shù)據(jù)預處理可以提高數(shù)據(jù)質量,從而提高挖掘結果的質量。目前在WUM領域對數(shù)據(jù)的預處理過程主要包括數(shù)據(jù)清洗、用戶識別、會話識別、頁面過濾、路徑補全、事務識別等一系列過程。其中數(shù)據(jù)清洗只是簡單地認為包含圖片文件(GIF、JPEG等)或其他非HTTP類文件的記錄是噪音數(shù)據(jù),并將其剔除,沒有對剩余的訪問記錄作其他的處理,更沒有對數(shù)據(jù)進行歸約。數(shù)據(jù)歸約在處理代理服務器日志時更加必要。這是因為代理服務器日志涉及站點眾多、數(shù)據(jù)規(guī)模巨大,數(shù)據(jù)預處理更加復雜和困難。因此研究代理端WUM數(shù)據(jù)預處理時考慮數(shù)據(jù)歸約甚為必要。而代理服務器反映多用戶/多站點的訪問模式,能夠獲得用戶更全面的瀏覽特征,發(fā)現(xiàn)用戶行為在站點間的轉移情況,從而實現(xiàn)不同站點之間的信息交互推薦。為了能夠在不丟失有價值信息的情況下降低代理服務器端WUM的數(shù)據(jù)規(guī)模,并從行為日志中發(fā)現(xiàn)更有推薦價值的訪問模式,提出了基于用戶興趣特征的數(shù)據(jù)預處理方法,過濾用戶因偶然發(fā)生的短期興趣而訪問網(wǎng)絡的行為記錄。因為這些雜亂無章的數(shù)據(jù)一方面不具有規(guī)律性,而且會淹沒用戶長期興趣中規(guī)律性的行為,難以發(fā)現(xiàn)有推薦價值的訪問模式。1基于興趣特征的wm數(shù)據(jù)預處理1.1將用戶作為行為的被害者,一般可確定用戶的興趣根據(jù)個性心理學研究,人的興趣在傾向性、廣度、穩(wěn)定性和效能方面都表現(xiàn)出不同的特點,稱為興趣的品質。用戶興趣是多方面的,具有多個興趣點(InterestPoint,IP),而且各個興趣點有強度上的變化和地位上的差別。興趣按其保持時間的長短可分為長期興趣和短期興趣。長期興趣是指用戶在一段相對長的時間里一直感興趣的事物,是用戶持久而穩(wěn)定、占主導地位的興趣傾向;短期興趣指的是用戶由于臨時需要或其他原因對某事物產生的突發(fā)興趣,是隨機發(fā)生的興趣傾向。短期興趣是用戶并不熟知的信息內容,這種對內容陌生的思想狀態(tài)反映在行為中必然是很強的偶然性和隨機性,而從這些具有很強偶然性和隨機性的短期興趣用戶訪問記錄中發(fā)現(xiàn)的訪問模式,其推薦價值是很小的。事實上,用戶通常更信任經驗值高的用戶,甚至希望推薦的內容來自專家,尤其在當前信息是其所不熟悉的內容時。只有當日志中的用戶行為規(guī)律具有推薦價值時,經過挖掘得到的規(guī)則或模式才是真正有用的。因此這些不具有推薦價值的短期興趣用戶的訪問記錄便成為模式發(fā)現(xiàn)時的噪音數(shù)據(jù),在數(shù)據(jù)預處理時應該被濾除。1.2用戶訪問的網(wǎng)站及頻次用戶的訪問行為受其興趣支配。因此從長期訪問歷史看,用戶在一段時間內所訪問的大部分網(wǎng)頁持續(xù)地落在少數(shù)幾個長期興趣內,而其余網(wǎng)頁則不規(guī)則地隨機分散在若干短期興趣內。即用戶的興趣主要集中在幾個站點和目錄,其他的則分散在訪問次數(shù)很少的網(wǎng)站和目錄。為了驗證用戶瀏覽行為的分布特征,分別對兩組日志進行了分析。第一組數(shù)據(jù)為serverlog(1995年8月的NASAserveraccesslog)。針對每個用戶,實驗對其訪問的所有目錄按訪問次數(shù)進行排序,統(tǒng)計了TOPN目錄的第n個目錄在該用戶所有訪問記錄中所占的比率,對所有用戶求均值,結果如圖1所示。第二組數(shù)據(jù)為Proxylog(國內某大學2005年1月proxyaccesslog),包括240個用戶。針對每個用戶,實驗對其訪問的所有網(wǎng)站按訪問次數(shù)進行排序,統(tǒng)計了當該用戶的訪問記錄達到某一百分比時,涉及的該用戶訪問的前TOPN網(wǎng)站數(shù),所有用戶的均值結果如圖2所示。從圖1和圖2可以看出,用戶訪問的網(wǎng)站和目錄情況具有明顯的重尾分布特征。在圖2中,所有用戶平均訪問的網(wǎng)站總數(shù)是82.3個,而訪問記錄的80%集中在11個網(wǎng)站上,50%集中在3個網(wǎng)站上,這說明用戶訪問的網(wǎng)站具有明顯的集中性,除幾個長期訪問外,其他的只是偶爾訪問一次或兩次。那些用戶偶爾訪問一次或兩次的網(wǎng)站或目錄是用戶短期興趣導致的訪問行為,不具有規(guī)律性,而且會使用戶長期興趣中規(guī)律性的東西淹沒在這些雜亂無章的數(shù)據(jù)中,難以發(fā)現(xiàn)有推薦價值的訪問模式。因此在數(shù)據(jù)的預處理中把所有歷史數(shù)據(jù)都同等的對待來進行分析和挖掘是不合適的,必須去除這些噪聲數(shù)據(jù)。1.3個人興趣特征轉化為長期興趣基于興趣特征的數(shù)據(jù)預處理是要過濾掉短期興趣用戶的訪問記錄,但是有些短期興趣的記錄是不可以濾除的。因為用戶的興趣會隨著時間轉移,一段時間之后用戶可能會對某一個興趣點不再感興趣,也可能另一興趣點在逐漸成為其長期興趣,從而使短期興趣轉化為長期興趣,這些可以轉化成長期興趣的興趣點是不可以過濾掉的。所以嚴格說來,基于興趣特征的數(shù)據(jù)預處理是要過濾掉那些過期的短期興趣記錄。為實現(xiàn)這一目的,定義了用戶的經驗值(ExperienceValue,ExpV)和最近訪問密度(RecentAccessDensity,RAD)來發(fā)現(xiàn)過期的短期興趣,實現(xiàn)數(shù)據(jù)的噪音過濾。1.3.1關注某一興趣點的分析如何測量用戶的在線經驗并使成功用戶的經驗讓更多的用戶復制是值得深入研究的問題。用戶的使用頻度和使用時間能夠在一定程度上反映用戶的在線經驗。如果用戶對一個興趣點訪問次數(shù)多、在線時間長,則用戶對這個興趣點的經驗值大。為簡化運算,這里將用戶對某一興趣點的在線經驗值ExpV定義為訪問次數(shù)Count(IP)。用戶的一個會話是一次訪問,所以訪問次數(shù)是用戶瀏覽歷史中包含IP的會話個數(shù)。因此通過會話識別和統(tǒng)計會話個數(shù)即可得到用戶的在線經驗值ExpV。W3C將會話定義為用戶從進入站點到離開時刻所進行的一組活動。會話識別就是將用戶的所有訪問序列分成多個單獨的用戶一次訪問序列,將用戶訪問記錄集劃分為會話。這里會話識別采用常用的固定時間間隔方法,即如果用戶請求的相鄰的任意兩個頁面之間的訪問時間間隔超過了某個固定時間閾值(如30m),則認為用戶開始了一個新的會話。1.3.2基于ip的興趣點行為分析最近訪問密度RAD用來發(fā)現(xiàn)用戶最近很少訪問的興趣點,突出其最近總是頻繁訪問的興趣點。定義1興趣點的最近訪問密度RAD:假設用戶A對一個興趣點IP第一次訪問為會話First(IP),最后一次訪問為會話Last(IP),當前會話為Sc,在First(IP)與Sc之間會話總數(shù)Ns,IP出現(xiàn)的會話次數(shù)為Count(IP),則用戶A對興趣點IP的訪問密度為:用戶可能在過去一段時間之后重新對某一興趣點開始感興趣,所以定義過期時間θ閾值來限制最后一次會話和當前會話的間隔,從而提升該興趣點的RAD。當間隔超過θ,將興趣點IP的RAD置為零,同時將First(IP)和Last(IP)置為當前會話。1.3.3興趣點ip是長期興趣給定最小最近訪問密度閾值minRAD為α和最小經驗值minExpV為β,可以根據(jù)用戶對其訪問歷史中的每個目錄的訪問情況進行數(shù)據(jù)過濾。對用戶A的一個興趣點IP,如果ExpV>β且RAD>α,則興趣點IP是A的長期興趣;否則如果ExpV<β并且RAD>α,則IP是A的短期興趣;如果ExpV>β并且RAD<α,則意味著用戶A曾經對興趣點IP很感興趣,但現(xiàn)在已經不感興趣了,即過期的長期興趣;若ExpV<β且RAD<α,則意味著興趣點IP曾經是用戶A的短期興趣,即過期短期興趣,則與此相關的訪問記錄數(shù)據(jù)應該濾除。2生成的關鍵信息訪問記錄,提升用戶的訪問能力和支持度實驗數(shù)據(jù)上文采用的Proxy日志。先采用通用的WUM數(shù)據(jù)預處理方法清洗掉包含圖片文件或其他非HTTP類文件的記錄得到數(shù)據(jù)1,然后利用本文提出的方法進一步進行數(shù)據(jù)過濾得到數(shù)據(jù)2。圖3給出了分別提取某一比例(如80%)的用戶訪問記錄,將會從用戶的訪問歷史中過濾掉的網(wǎng)站個數(shù)百分比,其中用戶訪問的網(wǎng)站是按其訪問次數(shù)多少降序排列的。如圖3所示,僅僅將訪問記錄從100%減少到90%,過濾掉的網(wǎng)站百分比即為74%,有效減少了每個用戶對應的網(wǎng)站數(shù),降低了代理服務器端WUM的復雜度。圖4給出了分別將最小經驗值minExpV設為1～10,減少的數(shù)據(jù)量百分比。另外,采用關聯(lián)規(guī)則算法Apriori算法分別在數(shù)據(jù)1和數(shù)據(jù)2上進行挖掘,發(fā)現(xiàn)頻繁模式。對發(fā)現(xiàn)的頻繁模式內容進行分析發(fā)現(xiàn),經過基于興趣特征的數(shù)據(jù)預處理后的數(shù)據(jù)2,能夠提升經驗用戶的訪問模式的支持度和置信度,突出顯著模式。將這些模式推薦給用戶更能體現(xiàn)推薦系統(tǒng)的推薦價值。3基于用戶興趣特征的數(shù)據(jù)預處理為了能夠在盡量不丟失有價值信息的情況下降低代理服務器端WUM的數(shù)據(jù)規(guī)模,并從