WEB使用者查詢關鍵字分析研究課件

1、WEB使用者查詢關鍵字分析研究 指導教授：張志祥老師組長：N39307037高廷安組員：N39307010郭家榮N39307033高文中N39307038陳彥豪WEB使用者查詢關鍵字分析研究 指導教授：張志祥老師組長：大綱1. 研究動機 6.分類、關鍵字說明 2. 研究目的 3.研究方法 4.轉碼示意圖 5.使用工具 7.Google API 說明 8.統(tǒng)計資料(INput)9.研究結果 10.Conclusion 大綱1. 研究動機 6.分類、關鍵字說明 2. 研究目的 3研究動機 現(xiàn)今網際網路有如一超級資料庫，擁有包羅萬象的資訊。使用者以關鍵字在搜尋引擎中進行搜尋資料，其結果並非是理想的，

2、可能造成的原因如：1.關鍵字本身的語意造成差異。2.使用者輸入不當或意義不完整的關鍵字。 則如果使用者在執(zhí)行搜尋時，能根據特定的領域知識進行搜尋，提供與搜尋目標有關的關鍵字，使輸入的關鍵字資料更為完整和正確，以降低這方面的搜尋誤差。研究動機 現(xiàn)今網際網路有如一超級資料庫，擁研究目的 有鑑於網路使用行為的研究在國外已受到相當?shù)闹匾?，本研究目的為藉由學校網路對外連結的檢索紀錄挑出大量有用的檢索詞彙，發(fā)展一套系統(tǒng)來分析全校師生使用搜尋引擎的習慣、興趣，並進一步了解全校師生的資訊需求及提升對網路搜尋方法之參考。可即時觀察到全校師生使用網路搜尋引擎的時間、興趣的分佈與變化，所獲得的資訊對於了解師生資訊需

3、求，改善網路搜尋系統(tǒng)檢索效益，並為未來的研究：使用者查詢的精鍊(User Query Refinement) ，作前置的分析。研究目的 有鑑於網路使用行為的研究在國外已受到相研究方法1. 收集資料：從學校Proxy Server上，取出每天學生上網的URL Log檔。因為資料量與上網學生樣本數(shù)夠多，所以具有分析的價值。 2. 事前處理：因為URL Log檔為非WIN32平臺，所以在句 子結尾部分與WIN32平臺有所不同 。 為使程式可以分 句解析，所以 要進行事前的轉置工作，將其句子結尾 部分變成WIN32 平臺所能辨識。故使用UltraEdit工具進 行轉置。研究方法1. 收集資料：從學校P

4、roxy Server上，取研究方法3.資料處理： 1.使用Mircosoft .NET Framework SDK1.1內附URLDecode函 式 來分解經過事前處裡的資料。所得到的資料為UTF- 8編碼的資料。 2.然後把UTF-8的字串變數(shù)轉成byte陣列，再去宣告使用 Big5 字碼Encoder ， 把UTF-8 之byte陣列轉換成Big5之 byte陣列【雖然兩者都是以2位元為一個單位，但其編 碼值卻不一樣，所以結果也不相同?！?.資料分析：使用Google所提供的API進行網頁分群分析。研究方法3.資料處理：轉碼示意圖轉碼示意圖使用工具1.UltraEdit(平臺句子結尾轉置

5、)2.Mircosoft .NET Framework SDK1.1(URL解析) 3.Visual Basic6.0(編碼轉換、資料庫寫入) 4.Access2000(資料庫) 5.JDK1.4.2(資料分析呼叫Google API)使用工具1.UltraEdit(平臺句子結尾轉置)分類、關鍵字的說明 本研究把全校師生的搜尋分成16種主要項目，做為分析探討全校師生使用搜尋引擎的依據。此16個項目包刮: 健康、科學、購物、電腦、遊戲、運動、參考、考試類、商業(yè)、休閒、手機、藝術與娛樂、社會、新聞、圖書文件、情色。分類、關鍵字的說明 本研究把全校師生的搜尋分成16種Google API說明API

6、= Application Programming Interface 可翻譯為 : 編程介面，簡稱API(Application Programming Interface)，就是軟體系統(tǒng)不同組成部分銜接的約定。 您可以把它想成一座橋樑，一座連接您的程式與服務提供者的橋樑。您可以使用API存取使用該服務。 Google推出針對開發(fā)人員使用的Web APIs工具，該服務可讓開發(fā)人員在有限度範圍內檢索Google內超過20億的文件檔案，並依自己所需公布搜尋結果。 一旦註冊並下載工具組後，開發(fā)人員可執(zhí)行1000筆自動搜尋。而Google的API服務室使用WSDL與SOAP標準，因此不論開發(fā)人員使用

7、哪種語言(如Java或微軟的Visual Studio .Net工具)，都可連結到自己的應用程式。Google API說明API = Application Google API 示意圖Java GoogleAPIGoogleWeb ServiceHTTP/SOAPInternetGoogle API 示意圖Java GoogleGoogGoogle APIGoogle Search 類別doSearchsetKeysetQueryStringInvoke the Google searchSet the user key used for authorization byGoogle SOA

8、P server.Set the query string for this search.Construct a new instance of a GooaleSearch client.Google APIGoogle Search 類別doSeGoogle APIgetFullViewableNamegetSpecialEncodingtoStringGoogleSearchDirectoryCateory 類別Encapsulates the directory category portion ofReturn the ODP directory name for Current

9、ODP category Returns the encoding scheme of theDirectory informationReturns a formatted string representationof a Google search directory category. Google APIgetFullViewableNamegReturns an array of directory categories for this resultGoogleSearchResult 類別Encapsulates the complete results renturned b

10、y the Google Web APIS search call.getDirectoryCategoriesgetSearchQueryReturns the query string that generates this result.Google APIReturns an array of directory Sample DataTotal Record (include all URL)約8萬筆的可用資料Date Range94年4月至8月Sample DataTotal Record (inclu字數(shù)分析字數(shù)分析Query String 範例Query String 範例詞彙

11、分析詞彙分析Query String 範例Query String 範例搜尋分析搜尋分析Query String範例Query String範例翻頁統(tǒng)計翻頁統(tǒng)計個案個案研究結果 根據收集下來的資料，可做類別分析，詞彙分析，字數(shù)分析， 以及常用之搜尋分析，一方面可探討所使用之搜尋習慣，以及常使用的搜尋的方法有哪幾種。 我們可從中發(fā)現(xiàn)學生利用學校的網路資源大部分的利用在哪方面，學?？蓮倪@方面來監(jiān)督學生的網路使用情形，例如我們從log檔抓到取出的分類為情色類的網站，哪些不當?shù)木W址也可從中控管。 研究結果 根據收集下來的資料，可做類別分析，Conclusion根據所分析之結果,可知道常使用的搜尋方法,或者可提供給網管參考,禁止上色情網站或者其他線上遊戲網站.亦可了解透過學校網站去搜尋自己想知道的事物,會利