搜索引擎工作原理

搜索引擎工作原理課程目標認識搜索引擎的工作原理記憶搜索引擎的工作流程2021/7/28目錄網(wǎng)頁收集1預(yù)處理2檢索服務(wù)2021/7/283網(wǎng)頁收集搜索引擎是如何收集互聯(lián)網(wǎng)中的網(wǎng)頁？蜘蛛程序抓取2021/7/28認識蜘蛛什么是蜘蛛？網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人），是一種按照一定的規(guī)則，自動的抓取互聯(lián)網(wǎng)中

網(wǎng)頁的程序或者腳本蜘蛛的工作方式蜘蛛是通過鏈接進行爬行并抓取網(wǎng)頁的2021/7/28搜索引擎收集機制收集機制定期定量的收集三天打魚兩天曬網(wǎng)-不可取2021/7/28目錄網(wǎng)頁收集1預(yù)處理2檢索服務(wù)2021/7/283思考什么是預(yù)處理？蜘蛛抓取的原始頁面并不能直接用于查詢排名，需要對其進行一定的處理2021/7/28提取文字分析鏈接建立索引中文分詞去除重復(fù)頁面計算網(wǎng)頁重要度21預(yù)處理

3456預(yù)處理的工作流程提取文字提取文字搜索引擎是以文字內(nèi)容為基礎(chǔ)的，從網(wǎng)頁文件中去除標簽、程序，提取出可以用于排名的網(wǎng)頁文字內(nèi)容2021/7/28中文分詞中文分詞分詞分詞是搜索引擎特有的步驟，把網(wǎng)頁中提取的文字按照詞組進行劃分消噪對內(nèi)容沒有任何影響卻大量出現(xiàn)的詞，如：的、地、得、啊、哦、呀、不但、而且等2021/7/28去除重復(fù)頁面去除重復(fù)頁面鏡像網(wǎng)頁內(nèi)容完全相同，網(wǎng)址不同傾向原創(chuàng)2021/7/28計算網(wǎng)頁重要度計算網(wǎng)頁重要度積分制計算通過被指向鏈接計算網(wǎng)頁的原創(chuàng)性2021/7/28認識索引建立索引索引是建立關(guān)鍵詞與網(wǎng)頁之間的對應(yīng)表，建立索引的最大好處在于可快速獲取對應(yīng)的數(shù)據(jù)頁面關(guān)鍵詞2021/7/28關(guān)鍵詞頁面正排索引倒排索引認識索引索引示意圖網(wǎng)站A網(wǎng)站B關(guān)鍵詞C2021/7/28關(guān)鍵詞C關(guān)鍵詞C正排索引正排索引提取鏈接提取鏈接根據(jù)頁面中存在的鏈接繼續(xù)抓取預(yù)處理2021/7/28小結(jié)430545012021/7/28提問搜索引擎的預(yù)處理包含哪些工作？提取文字中文分詞去除重復(fù)網(wǎng)頁

計算網(wǎng)頁重要度建立索引分析頁面中的鏈接目錄網(wǎng)頁收集1預(yù)處理2檢索服務(wù)32021/7/28思考430545012021/7/28提問如何展現(xiàn)用戶所搜索的關(guān)鍵詞？查詢詞的處理獲取倒序索引檢索服務(wù)查詢詞的處理搜索詞進行分詞獲取排序獲取倒序索引2021/7/28總結(jié)網(wǎng)頁收集認識蜘蛛、收集機制、原始數(shù)據(jù)預(yù)處理提取文字、分詞、去除