第二章搜索引擎

1、第二章第二章 搜索引擎搜索引擎 授課人：黃晴晴 時(shí) 間：2015.03.10知識(shí)要點(diǎn)：知識(shí)要點(diǎn)：l 了解搜索引擎及其分類l 掌握搜索引擎的工作流程、原理及作用l 了解搜索引擎對(duì)網(wǎng)頁(yè)的收錄l 了解熟悉知名搜索引擎2.1 搜索引擎簡(jiǎn)介搜索引擎簡(jiǎn)介 概念：l 搜索引擎（搜索引擎（Search Engine）是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。l 搜索引擎分為兩個(gè)主體，一個(gè)是用來(lái)統(tǒng)計(jì)數(shù)據(jù)的搜索引擎搜索引擎效勞器效勞器，另一個(gè)則是收錄頁(yè)面信息的搜索引擎機(jī)器人搜索引擎機(jī)器人（也稱蜘蛛）。2.2 搜索

2、引擎的分類搜索引擎的分類l 搜索引擎按其工作主要可分為三種：（1）全文索引引擎）全文索引引擎（2）目錄索引引擎）目錄索引引擎（3）元搜索引擎）元搜索引擎2.21 全文索引全文索引 l 全文搜索引擎全文搜索引擎是名副其實(shí)的搜索引擎，國(guó)外代表有Google，國(guó)內(nèi)則有著名的百度搜索。它們從互聯(lián)網(wǎng)提取各個(gè)網(wǎng)站的信息(以網(wǎng)頁(yè)文字為主)，建立起數(shù)據(jù)庫(kù)，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結(jié)果。2.21 全文索引全文索引 按照搜索結(jié)果來(lái)源不同分為兩類：按照搜索結(jié)果來(lái)源不同分為兩類：（1）擁有自己的檢索程序，自建數(shù)據(jù)庫(kù)，搜索結(jié)果從自身數(shù)據(jù)庫(kù)中調(diào)用，如百度、谷歌（2）租用其他搜索引擎的數(shù)據(jù)庫(kù)

3、，按照自定的格式排列搜索結(jié)果，如Lycos搜索引擎主要利用FAST/AllTheWeb引擎搜索結(jié)果2.21 全文索引全文索引 l Lycos是搜索引擎中的元老，是最早提供信息搜索服務(wù)的網(wǎng)站之一，2000被西班牙網(wǎng)絡(luò)集團(tuán)Terra Lycos Network以125億美元收歸旗下。l Lycos整合了搜索數(shù)據(jù)庫(kù)、在線服務(wù)和其他互聯(lián)網(wǎng)工具，提供網(wǎng)站評(píng)論、圖象及包括MP3在內(nèi)的壓縮音頻文件下載鏈接等。2.2 2 目錄索引目錄索引l 目錄索引目錄索引雖然有搜索功能，但嚴(yán)格意義上不能稱為真正的搜索引擎，只是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以按照分類目錄分類目錄找到所需要的信息，不依靠關(guān)鍵詞(Ke

4、ywords)進(jìn)行查詢。l 目錄索引中最具代表性的莫過(guò)于大名鼎鼎的Yahoo！、新浪分類目錄搜索。2.2 2 目錄索引目錄索引中國(guó)雅虎搜索中國(guó)雅虎搜索2.2 3 元搜索引擎元搜索引擎l 元搜索引擎元搜索引擎(META Search Engine)接受用戶查詢請(qǐng)求后，同時(shí)在多個(gè)搜索引擎上搜索，并將結(jié)果返回給用戶。l 著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。l 在搜索結(jié)果排列方面，有的直接按來(lái)源排列搜索結(jié)果，如Dogpile；有的則按自定的規(guī)則將結(jié)果重新排列組合，如Vivisimo。2.2 3 元搜索引擎元搜索引擎Vivi

5、simo搜索引擎搜索引擎2.2 3 元搜索引擎元搜索引擎Dogpile搜索引擎搜索引擎2.2 4 其他引擎其他引擎l (1)集合式搜索引擎集合式搜索引擎:該搜索引擎類似元搜索引擎，區(qū)別在于它并非同時(shí)調(diào)用多個(gè)搜索引擎進(jìn)行搜索，而是由用戶從提供的若干搜索引擎中選擇，如HotBot在2002年底推出的搜索引擎。l (2)門戶搜索引擎門戶搜索引擎:AOL Search、MSN Search等雖然提供搜索服務(wù)，但自身既沒(méi)有分類目錄也沒(méi)有網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，其搜索結(jié)果完全來(lái)自其他搜索引擎。l (3)免費(fèi)鏈接列表免費(fèi)鏈接列表(Free For All Links，簡(jiǎn)稱FFA):一般只簡(jiǎn)單地滾動(dòng)鏈接條目，少部分有簡(jiǎn)單

6、的分類目錄，不過(guò)規(guī)模要比Yahoo！等目錄索引小很多。2.3 知名的搜索引擎知名的搜索引擎2.3 知名的搜索引擎知名的搜索引擎2.3 知名的搜索引擎知名的搜索引擎2.3 知名的搜索引擎知名的搜索引擎2.3 知名的搜索引擎知名的搜索引擎2.3 知名的搜索引擎知名的搜索引擎一、網(wǎng)絡(luò)營(yíng)銷的概念討論：談?wù)劥蠹矣盟岩娴恼務(wù)劥蠹矣盟岩娴母惺?！感受?.4 搜索引擎的工作流程、原理及作用搜索引擎的工作流程、原理及作用l （1）搜集信息形成快照l(shuí) （2）整理信息分析頁(yè)面l （3）接收查詢處理關(guān)鍵詞2.4 搜索引擎的工作流程、原理及作用搜索引擎的工作流程、原理及作用l 網(wǎng)頁(yè)快照中，搜索的關(guān)鍵詞用亮色顯示，用

7、戶可以點(diǎn)擊呈現(xiàn)亮色的關(guān)鍵詞直接找到關(guān)鍵詞出現(xiàn)位置，便于快速找到所需信息，提高搜索效率。l 當(dāng)搜索的網(wǎng)頁(yè)被刪除或鏈接失效時(shí)，可以使用網(wǎng)頁(yè)快照來(lái)查看這個(gè)網(wǎng)頁(yè)原始的內(nèi)容。2.5 搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄2.51頁(yè)面收錄的流程頁(yè)面收錄的流程 在互聯(lián)網(wǎng)中，URL是每個(gè)頁(yè)面的入口地址，”蜘蛛程序”通過(guò)這些URL列表抓取到頁(yè)面的，“蜘蛛”不斷的從這些頁(yè)面中獲取URL資源及存儲(chǔ)頁(yè)面，并加入U(xiǎn)RL列表，如此不斷的循環(huán)，搜索引擎就可以從互聯(lián)網(wǎng)中獲取到足夠的頁(yè)面。 2.5 搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄 對(duì)于SEO而言，想要被搜索引擎收錄，首要條件是加入搜索引擎列表。加入的方式有兩種：（1

8、）利用搜索引擎提供的網(wǎng)站登錄口）利用搜索引擎提供的網(wǎng)站登錄口（2）通過(guò)有質(zhì)量的連接）通過(guò)有質(zhì)量的連接2.5 搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄2.52 搜索引擎對(duì)頁(yè)面的收錄方式搜索引擎對(duì)頁(yè)面的收錄方式l（1）廣度優(yōu)化l（2）深度優(yōu)化l（3）用戶提交2.5 搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄2.53 搜索引擎頁(yè)面排名原理搜索引擎頁(yè)面排名原理l 傳統(tǒng)的頁(yè)面排名影響因素-關(guān)鍵詞缺點(diǎn)：易操作、容易產(chǎn)生垃圾信息、搜索總結(jié)質(zhì)量不高l 現(xiàn)在的頁(yè)面排名影響因素-鏈接因素優(yōu)點(diǎn)：有助于減少垃圾信息、提高結(jié)果相關(guān)性、使得傳統(tǒng)關(guān)鍵詞排名無(wú)法處理的文件能被處理2.5 搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄

9、l關(guān)于鏈接的專利關(guān)于鏈接的專利（1）李彥宏超鏈分析專利（2）HITS算法（3）TrustRanK算法（4）Google PR（5）Hilltop 算法2.5 搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄2.54 搜索引擎模塊組成搜索引擎模塊組成 一個(gè)典型的網(wǎng)絡(luò)信息檢索系統(tǒng)的架構(gòu)由信息收集信息收集、查詢服務(wù)查詢服務(wù)和信息處理信息處理三個(gè)模塊組成。2.5搜索引擎對(duì)頁(yè)面的收錄搜索引擎對(duì)頁(yè)面的收錄u 從具體運(yùn)行方式上說(shuō)，系統(tǒng)根據(jù)站點(diǎn)，網(wǎng)頁(yè)的URL信息和網(wǎng)頁(yè)之間的鏈接關(guān)系，利用網(wǎng)絡(luò)蜘蛛在互聯(lián)網(wǎng)上收集數(shù)據(jù)。u 收集的數(shù)據(jù)分別通過(guò)鏈接信息分析器和文本信息分析器處理，保存在鏈接數(shù)據(jù)庫(kù)和文本索引數(shù)據(jù)庫(kù)中，同時(shí)，網(wǎng)頁(yè)質(zhì)量評(píng)估器依據(jù)網(wǎng)頁(yè)的鏈接關(guān)系和頁(yè)面結(jié)構(gòu)特征對(duì)頁(yè)面質(zhì)量進(jìn)行評(píng)估，并將評(píng)估的結(jié)果保存在索引數(shù)據(jù)庫(kù)中。u 查詢服務(wù)器負(fù)責(zé)與用戶的交互，它根據(jù)用戶的檢索需求，