搜索引擎算法與工作原理的知識

1、搜索引擎的算法及工作原理搜索引擎算法及工作原理（Google）C1爬行和抓?。核阉饕嬷┲胪ㄟ^跟蹤鏈接訪問頁面，獲取頁面HTML代碼存入數(shù)據(jù)庫。2預(yù)處理：搜索引擎對抓取來的頁面數(shù)據(jù)文字進行文字提取、中文分詞、索引等處理，以備排名程序調(diào)用。3排名：用戶輸入關(guān)鍵字后，排名調(diào)用索引庫數(shù)據(jù)，計算相關(guān)性，然后按一定格式生成搜索結(jié)果頁面。 ONTENTS搜索引擎算法及工作原理（Google）C搜索引擎的工作的過程非常復(fù)雜，而簡單的講搜索引擎的工作過程大體可以分成三個階段。爬行和抓取爬行和抓取 完成數(shù)據(jù)收集任務(wù)。搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛(spider)，也稱為機器人(bot)。跟蹤鏈接為了

2、抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。最簡單的爬行遍歷策略分為兩種，一是深度優(yōu)先，二是廣度優(yōu)先。深度優(yōu)先搜索深度優(yōu)先搜索就是在搜索樹的每一層始終先只擴展一個子節(jié)點，不斷地向縱深前進直到不能再前進(到達(dá)葉子節(jié)點或受到深度限制)時，才從當(dāng)前節(jié)點返回到上一級節(jié)點，沿另一方向又繼續(xù)前進。這種方法的搜索樹是從樹根開始一枝一枝逐漸形成的。深度優(yōu)先搜索亦稱為縱向搜索。由于一個有解的問題樹可能含有無窮分枝，深度優(yōu)先搜索如果誤入無窮分枝(即深度無限)，則不可能找到目標(biāo)節(jié)點。所以，深度優(yōu)先搜索策略是不完備的

3、。另外，應(yīng)用此策略得到的解不一定是最佳解(最短路徑)。廣度優(yōu)先搜索在深度優(yōu)先搜索算法中，是深度越大的結(jié)點越先得到擴展。如果在搜索中把算法改為按結(jié)點的層次進行搜索， 本層的結(jié)點沒有搜索處理完時，不能對下層結(jié)點進行處理，即深度越小的結(jié)點越先得到擴展，也就是說先產(chǎn)生 的結(jié)點先得以擴展處理，這種搜索算法稱為廣度優(yōu)先搜索法。預(yù)處理 “預(yù)處理”也被簡稱為“索引”，因為索引是預(yù)處理最主要的步驟。 搜索引擎蜘蛛抓取的原始頁面，并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上，用戶輸入搜索詞后，靠排名程序?qū)崟r對這么多頁面分析相關(guān)性，計算量太大，不可能在一兩秒內(nèi)返回排名結(jié)果。因此抓取來的頁面

4、必須經(jīng)過預(yù)處理，為最后的查詢排名做好準(zhǔn)備。 和爬行抓取一樣，預(yù)處理也是在后臺提前完成的，用戶搜索時感覺不到這個過程。 1.提取文字：搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標(biāo)簽、程序，提取出可以用于排名處理的網(wǎng)頁面文字內(nèi)容。 2.中文分詞：搜索引擎存儲和處理頁面及用戶搜索都是以詞為基礎(chǔ)的。中文詞與詞之間沒有任何分隔符，搜索引擎必須首先分辨哪幾個字組成一個詞，哪些字本身就是一 個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。 3.去停止詞：無論是英文還是中文，頁面內(nèi)容中都會有一些出現(xiàn)頻率很 高，卻對內(nèi)容沒有任何影響的詞，助詞，感嘆詞，副詞或介詞。 這些詞被稱為停止詞，因為它們對

5、頁面的主要意思沒什么影響。英文中的常見停止詞有the，a，an，to，of等。 4.消除噪聲：絕 大部分頁面上還有一部分內(nèi)容對頁面主題也沒有什么貢獻，比如導(dǎo)航條、廣告等。這些區(qū)塊都屬于噪聲。搜索引擎需要識別并消除這些噪聲，排名時不使用噪聲內(nèi)容。 5.去重：在進行索引前還需要識別和刪除重復(fù)內(nèi)容，這個過程就稱為“去 重”。 6.正向索引 7.倒排索引 8.鏈接關(guān)系計算：Google PR值就是這種鏈接關(guān)系的最主要體現(xiàn)之一。 9.特殊文件處理：目前的搜索引擎還不能處理圖片、視頻、Flash這類非文字內(nèi)容，也不能執(zhí)行腳本和程序。對圖片、視頻內(nèi)容的排名還往往是依據(jù)與之相關(guān)的文字內(nèi)容。PR的兩個比喻模型P

6、R值全稱為PageRank(網(wǎng)頁級別)，PR值是Google用于標(biāo)識網(wǎng)頁的等級、重要性、網(wǎng)站的好壞的重要標(biāo)準(zhǔn)之一。級別從0到10級為滿分。PR值越高說明該網(wǎng)頁越受歡迎。關(guān)于PR有兩個著名的比喻。一個比喻是投票。鏈接就像民主投票一樣，A頁面鏈接到B頁面，就意味著A頁面對B頁面投了一票，使得B頁面的重要性提高。同時，A頁面本身的PR。值決定了A所能投出去的投票力，PR值越高的頁面，投出的票也更重要。在這個意義上，傳統(tǒng)基于關(guān)鍵詞匹配的算法是看頁面自己說頁面內(nèi)容是什么，基于鏈接的PR則是看別人怎么評價一個頁面。第二個比喻是隨機沖浪比喻。假設(shè)一個訪問者從一個頁面開始，不停地隨機點擊鏈接，訪問下一個頁面。有時候這個用戶感到無聊了，不再點擊鏈接，就隨機跳到了另外一個網(wǎng)址，再次開始不停地向下點擊。所謂PR。值也就是一個頁面在這種隨機沖浪訪問中被訪問到的概率。一個頁面導(dǎo)入鏈接越多，被訪問到的概率也越高，因此PR值也越高。 排名 經(jīng)過搜索