游戲推薦系統(tǒng)Report

Game-onlineRecommendation鄧鵬鵬:10648204郭文嘉:10648206蔡竹華:10648200劉強(qiáng):106482632006年12月24日網(wǎng)絡(luò)金融第2小組組項(xiàng)目背景對于廣大的游戲玩家來說，要準(zhǔn)確的獲取大量互聯(lián)網(wǎng)上的游戲信息是很難通過手工來做到，需要一種信息收集工具來獲取必要的信息。目前互聯(lián)網(wǎng)上游戲種類眾多，游戲玩家面對此現(xiàn)狀，往往難于選擇，故亟需一種這樣的系統(tǒng):能根據(jù)玩家的輸入，返回玩家可能感興趣的游戲列表。

2網(wǎng)絡(luò)金融第2小組組項(xiàng)目開發(fā)示意圖Crawling文本提取模塊IEURL列表游戲數(shù)據(jù)庫游戲推薦系統(tǒng)游戲相關(guān)屬性3網(wǎng)絡(luò)金融第2小組組項(xiàng)目開發(fā)主要模塊網(wǎng)頁抓取模塊Crawler:從url列表中取出項(xiàng)以string形式傳給Crawler，抓取網(wǎng)站的html文檔，存入文件系統(tǒng)中,該模塊采取多線程實(shí)現(xiàn)；文本提取模塊IE:將文件系統(tǒng)中的html文檔作為輸入，經(jīng)相應(yīng)的詞法語法分析，提取出需要的屬性存入數(shù)據(jù)庫；游戲推薦模塊；友好簡潔的查詢功能。4網(wǎng)絡(luò)金融第2小組組關(guān)鍵技術(shù)與算法(1)前臺(tái)顯示模塊的關(guān)鍵技術(shù):采用基于J2EE平臺(tái)的MVC框架;Crawling:將網(wǎng)絡(luò)爬蟲的搜索范圍限制在某幾個(gè)網(wǎng)站之內(nèi)，并且專門提取屬于游戲的超鏈接，并下載相應(yīng)得網(wǎng)頁;從html文件中提取興趣特性：根據(jù)html文件特點(diǎn)，設(shè)置正則文法，對html文件進(jìn)行語法分析，從而提取游戲相關(guān)內(nèi)容；技術(shù)難點(diǎn)：因?yàn)椴煌膆tml頁面有不同的組織結(jié)構(gòu)，不能用統(tǒng)一的規(guī)則去處理，并且對于游戲?qū)傩缘汝P(guān)鍵字的提取涉及到自然語言處理；5網(wǎng)絡(luò)金融第2小組組關(guān)鍵技術(shù)與算法(2)數(shù)據(jù)庫連接池;多線程抓取;6網(wǎng)絡(luò)金融第2小組組Crawler的實(shí)現(xiàn)基于課程第一次作業(yè)提供的底層模塊：CHTTP,CHTMLREF,CREF,CURL等

多線程技術(shù):調(diào)用C++中pthread_t類提供的pthread_create()和pthread_join()方法創(chuàng)建和銷毀線程，難點(diǎn)在于主線程和子線程間傳遞多個(gè)不同類型的參數(shù)以及線程間的互斥訪問。通常的解決辦法是設(shè)置同步和互斥變量進(jìn)行線程間的通信和訪問控制，考慮到本例中線程之間并沒有數(shù)據(jù)上的依賴關(guān)系，因此簡化了設(shè)計(jì)，通過為每一主線程設(shè)置全局?jǐn)?shù)組變量，為每一子線程劃分爬取任務(wù)及訪問區(qū)間，避免了線程間的訪問沖突，也減少了線程間的傳遞的參數(shù)類型。同時(shí)，采取了出錯(cuò)重爬機(jī)制，提高了爬取的成功率。

7網(wǎng)絡(luò)金融第2小組組信息提取模塊的實(shí)現(xiàn)使用SimpleTemplateExtraction技術(shù)，從固定格式的網(wǎng)頁中順序提取信息，對于每個(gè)信息槽(slot),判斷槽的起始位置以及結(jié)束位置，然后提取信息到數(shù)據(jù)庫。借鑒ExecHLRT(wrapper<h,t,l1

,

r1

,l2

,r2,…h(huán)…>,Pagep)算法的思想。

8網(wǎng)絡(luò)金融第2小組組RecommendationSystem（1）

RecommendValue=+Content-basedFilteringGroupLensCollaborativeFiltering(1-u)u9網(wǎng)絡(luò)金融第2小組組

RecommendationSystem（2）

--Content-basedFiltering

通過wrapper和正則表達(dá)式匹配，取出系列和類型等屬性。不同的屬性分配不同的權(quán)重值系列和類型的權(quán)重應(yīng)比較大參與推薦的屬性：系列，類型，時(shí)間，廠商，總評價(jià)時(shí)間:2005年2月28日總評分:75系列:模擬人生類型:模擬養(yǎng)成廠商:Maxis10網(wǎng)絡(luò)金融第2小組組

RecommendationSystem（3）

--Content-basedFiltering

在游戲名中通過正則表達(dá)式//[0-9]+$/來判斷游戲是否有系列名稱，但對于像名為“地球2160”的游戲，不能認(rèn)為它是“地球”系列游戲的第2160款作品處理時(shí)有歧義，對于結(jié)果沒有影響不能處理以羅馬數(shù)字表示的系列，如“忍者神龜III:變種格斗”增加對游戲名的分析，作更多的條件判斷仍然會(huì)遇到許多個(gè)別的不規(guī)范，不匹配的格式做一些人工的修正，盡量規(guī)范數(shù)據(jù)庫中信息的格式；或者有針對的增加特別的處理問題和解決辦法11網(wǎng)絡(luò)金融第2小組組

RecommendationSystem（4）

--GrouplensCollaborativeFiltering

Aij

表示用戶i對游戲j的評分（0~100）GameIdUserId聯(lián)合過濾矩陣12網(wǎng)絡(luò)金融第2小組組RecommendationSystem（5）

--GrouplensCollaborativeFiltering

Predictionforactiveuseraonitemq聯(lián)合過濾矩陣A13網(wǎng)絡(luò)金融第2小組組RecommendationSystem（6）

--GrouplensCollaborativeFilteringActiveUser是誰？虛擬了一個(gè)ActiveUser的數(shù)據(jù)的取值是多少?取值使得和最大的值相當(dāng)如何分配Content-basedValue和GrouplensCollaborativeValue的重要度？權(quán)重因子u對Content-basedValue和CollaborativeValue分別進(jìn)行歸一化RecommendValue=u*Content-basedValue+(1-u)*CollaborativeValue問題和解決辦法14網(wǎng)絡(luò)金融第2小組組查詢界面分類檢索根據(jù)用戶選擇的類別，例如廠商和游戲類別，列出屬于該類的所有游戲信息以及推薦的游戲列表。關(guān)鍵字檢索根據(jù)用戶輸入的關(guān)鍵字，返回與之匹配的游戲信息。15網(wǎng)絡(luò)金融第2小組組

16網(wǎng)絡(luò)金融第2小組組

17網(wǎng)絡(luò)金融第2小組組分類檢索詳細(xì)查詢頁提供了三個(gè)類別的檢索，如名稱、廠商、游戲類別。

18網(wǎng)絡(luò)金融第2小組組

19網(wǎng)絡(luò)金融第2小組組

20網(wǎng)絡(luò)金融第2小組組總結(jié)開發(fā)項(xiàng)目本身是個(gè)學(xué)習(xí)的過程，學(xué)習(xí)并利用到Crawler的一些算法，熟悉了J2EE架構(gòu)；在項(xiàng)目的進(jìn)行中，項(xiàng)目組成員積極主動(dòng)，互相協(xié)作，嚴(yán)格按照項(xiàng)目開發(fā)流程進(jìn)行，保證了項(xiàng)目的最終