學(xué)習(xí)文件搜索引擎基礎(chǔ)原理課件

搜索引擎基礎(chǔ)目錄1搜索引擎的發(fā)展及現(xiàn)狀2搜索引擎未來(lái)的發(fā)展趨勢(shì)3搜索引擎工作原理1.0搜索引擎的發(fā)展及現(xiàn)狀1990年：ARCHIE出現(xiàn)，用于FTP檢索1993年：WordWideWebWanderer出現(xiàn)1994年：Infoseek創(chuàng)立，稍后即正式推出搜索服務(wù)，并允許站長(zhǎng)向Infoseek提交網(wǎng)址。1994年：美籍華人JerryYang（楊致遠(yuǎn)）和DavidFilo共同創(chuàng)辦了Yahoo（被認(rèn)為搜索引擎的鼻祖）1998年：google誕生。2000年：百度誕生。搜索引擎的產(chǎn)生2.0搜索引擎未來(lái)的發(fā)展趨勢(shì)1.社會(huì)化搜索。2.實(shí)時(shí)搜索。3.移動(dòng)搜索。4.個(gè)性化搜索。5.地理位置感知搜索。6.跨語(yǔ)言搜索。7.多媒體搜索。搜索引擎未來(lái)發(fā)展的七大趨勢(shì)搜索引擎未來(lái)的發(fā)展趨勢(shì)傳統(tǒng)搜索技術(shù)強(qiáng)調(diào)搜索結(jié)果和用戶需求的相關(guān)性，社會(huì)化搜索除了相關(guān)性外，還額外增加了一個(gè)維度，即搜索結(jié)果的可信賴(lài)性。對(duì)某個(gè)搜索結(jié)果，傳統(tǒng)的結(jié)果可能成千上萬(wàn)，但如果處于用戶社交網(wǎng)絡(luò)內(nèi)其他用戶發(fā)布的信息、點(diǎn)評(píng)或驗(yàn)證過(guò)的信息則更容易信賴(lài)，這是與用戶的心里密切相關(guān)的。社會(huì)化搜索為用戶提供更準(zhǔn)確、更值得信任的搜索結(jié)果。社會(huì)化搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)社會(huì)化搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)實(shí)時(shí)搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)隨著智能手機(jī)的快速發(fā)展，基于手機(jī)的移動(dòng)設(shè)備搜索日益流行，但移動(dòng)設(shè)備有很大的局限性，比如屏幕太小，可顯示的區(qū)域不多，計(jì)算資源能力有限，打開(kāi)網(wǎng)頁(yè)速度很慢，手機(jī)輸入繁瑣等問(wèn)題都需要解決。移動(dòng)搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)移動(dòng)搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)個(gè)性化搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)目前很多手機(jī)已經(jīng)有GPS的應(yīng)用了，這是基于地理位置感知的搜索，而且可以通過(guò)陀螺儀等設(shè)備感知用戶的朝向，基于這種信息，可以為用戶提供準(zhǔn)確的地理位置服務(wù)以及相關(guān)搜索服務(wù)。目前此類(lèi)應(yīng)用已經(jīng)大行其道，比如手機(jī)地圖app

地理位置感知搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)地理位置感知搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)跨語(yǔ)言搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)目前搜索引擎的查詢(xún)還是基于文字的，即使是圖片和視頻搜索也是基于文本方式。那么未來(lái)的多媒體搜索技術(shù)則會(huì)彌補(bǔ)查詢(xún)這一缺失。多媒體形式除了文字，主要包括圖片、音頻、視頻。

多媒體搜索比純文本搜索要復(fù)雜許多，一般多媒體搜索包含4個(gè)主要步驟：多媒體特征提取、多媒體數(shù)據(jù)流分割、多媒體數(shù)據(jù)分類(lèi)和多媒體數(shù)據(jù)搜索引擎。

多媒體搜索搜索引擎未來(lái)的發(fā)展趨勢(shì)多媒體搜索3.0搜索引擎的工作原理蜘蛛（spider）我們可以把它理解為千萬(wàn)只蟲(chóng)子（并可隨時(shí)產(chǎn)卵）。它從各個(gè)站點(diǎn)提取網(wǎng)頁(yè)內(nèi)容，然后將內(nèi)容傳回搜索引擎的數(shù)據(jù)中心以便以后分析。標(biāo)題描述鏈接快照3.0搜索引擎工作原理搜索引擎工作主要分為：頁(yè)面抓?。ㄐ畔⑹占╉?yè)面分析（預(yù)處理）建立索引（預(yù)處理）頁(yè)面排序（排名）3.1抓取頁(yè)面（信息收集）這個(gè)工作主要由叫做“機(jī)器人（robot）”、“爬蟲(chóng)（crawler）”或者“蜘蛛（spider）”的程序，根據(jù)一定規(guī)則掃描存在于互聯(lián)網(wǎng)上的網(wǎng)站，并沿著網(wǎng)頁(yè)上的鏈接從一個(gè)網(wǎng)頁(yè)到另一個(gè)網(wǎng)頁(yè)，從一個(gè)網(wǎng)站到另一個(gè)網(wǎng)站。為保證采集的資料最新，它還會(huì)回訪已抓取過(guò)的網(wǎng)頁(yè)。這個(gè)工作是搜索引擎所有工作的基礎(chǔ)吸引蜘蛛網(wǎng)站的權(quán)重和PR值網(wǎng)站的更新頻率頁(yè)面的質(zhì)量度頁(yè)面的連接數(shù)頁(yè)面存儲(chǔ)搜索引擎在存儲(chǔ)原始頁(yè)面時(shí)，不單只存儲(chǔ)原始頁(yè)面，還會(huì)存儲(chǔ)其他的附加信息，例如：文件類(lèi)型、文件大小、最后修改時(shí)間、URL、IP地址、抓取時(shí)間等3.2頁(yè)面分析（預(yù)處理）對(duì)頁(yè)面內(nèi)容進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)信息（包括網(wǎng)頁(yè)所在URL、編碼類(lèi)型、頁(yè)面內(nèi)容包含的所有關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其它網(wǎng)頁(yè)的鏈接關(guān)系等）。主要就是提取用于排名處理的網(wǎng)頁(yè)文字。對(duì)頁(yè)面正文內(nèi)容進(jìn)行“切詞”，為這些詞建立索引，得到頁(yè)面和關(guān)鍵字之間的對(duì)應(yīng)關(guān)系頁(yè)面分析（預(yù)處理）頁(yè)面分析主要包括：正文信息提?。褐饕菍?duì)標(biāo)簽和注釋等信息的過(guò)濾{pc}標(biāo)簽切詞/分詞：對(duì)頁(yè)面內(nèi)容進(jìn)行切分，形成與用戶查詢(xún)條件相匹配的關(guān)鍵字為單位的信息列表匹配分詞：和預(yù)設(shè)的海量詞匯的“辭典”中的詞比較，如果有匹配的詞，則為命中。統(tǒng)計(jì)分詞：根據(jù)相鄰的2個(gè)或者多個(gè)字（詞）出現(xiàn)的概率判斷這2個(gè)字（詞）是否會(huì)形成一個(gè)詞。3.2建立索引（預(yù)處理）關(guān)鍵字索引：在切詞處理后，形成了關(guān)鍵字列表。關(guān)鍵字列表的每條記錄包含：關(guān)鍵字、關(guān)鍵字編號(hào)、出現(xiàn)次數(shù)、在網(wǎng)頁(yè)中的位置信息等。根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算，得到每一個(gè)網(wǎng)頁(yè)針對(duì)頁(yè)面文字中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度（或重要性），然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)對(duì)抓取回來(lái)的網(wǎng)頁(yè)建立索引，以實(shí)現(xiàn)對(duì)頁(yè)面的快速定位；建立索引（預(yù)處理）3.3頁(yè)面排序（排名）結(jié)合頁(yè)面的內(nèi)外因素，計(jì)算出頁(yè)面與某個(gè)關(guān)鍵字的相關(guān)程度，從而得到與該關(guān)鍵字相關(guān)的頁(yè)面索引列表，從而確定搜索排名。3.3頁(yè)面排序（排名）用戶在搜索引擎中輸入查詢(xún)條件后，搜索引擎就在數(shù)據(jù)庫(kù)中檢索相關(guān)的信息，并將檢索結(jié)果返回給用戶。（對(duì)搜索詞進(jìn)行處理）搜索引擎在往用戶端返回?cái)?shù)據(jù)的時(shí)候，并不是隨機(jī)的，而是按照一定的計(jì)算方法進(jìn)行排序的（搜索匹配，相關(guān)性計(jì)算）涉及到排序的因素主要有：頁(yè)面相關(guān)性鏈接權(quán)重用戶行為3.3.1頁(yè)面相關(guān)性頁(yè)面相關(guān)性通過(guò)對(duì)檢索結(jié)果進(jìn)行相關(guān)性排序，搜索引擎的最終目的是將最相關(guān)的網(wǎng)絡(luò)信息盡可能地優(yōu)先顯示在搜索結(jié)果的前面部分，以改進(jìn)搜索結(jié)果的輸出。雖然各個(gè)搜索引擎中相關(guān)度排序的具體實(shí)現(xiàn)各不相同，但基本上都采用了基于網(wǎng)站內(nèi)容的分析方法，即考慮用戶所查詢(xún)的關(guān)鍵詞在文檔網(wǎng)頁(yè)中的出現(xiàn)情況，包括關(guān)鍵字匹配度、關(guān)鍵詞密度、關(guān)鍵詞位置、關(guān)鍵字的權(quán)重標(biāo)簽等因素。3.3.1頁(yè)面相關(guān)性關(guān)鍵字匹配度：是指網(wǎng)頁(yè)中的內(nèi)容與用戶所查詢(xún)的關(guān)鍵字之間的匹配程度，主要是2個(gè)因素：頁(yè)面中是否包含關(guān)鍵字關(guān)鍵字在頁(yè)面中出現(xiàn)的次數(shù)關(guān)鍵字密度：關(guān)鍵字出現(xiàn)的次數(shù)與該網(wǎng)頁(yè)總詞匯量的比例.一般是3%-8%3.3.1頁(yè)面相關(guān)性關(guān)鍵字分布：關(guān)鍵字在網(wǎng)頁(yè)中出現(xiàn)的位置關(guān)鍵字在網(wǎng)頁(yè)中出現(xiàn)的位置會(huì)影響到關(guān)鍵字的分布值關(guān)鍵字的權(quán)重標(biāo)簽關(guān)鍵字是否使用了HTML標(biāo)簽實(shí)現(xiàn)了不同的視覺(jué)效果（如加粗、顏色變換等）頁(yè)面相關(guān)性計(jì)算公式：R(relevance)=M(match)+D(density)+P(position)+T(htmlTag)3.3.2鏈接權(quán)重什么叫做鏈接？鏈接的原理作用？3.3.2鏈接權(quán)重頁(yè)面之間的超鏈接反映了頁(yè)面之間的引用關(guān)系（內(nèi)鏈）頁(yè)面的相關(guān)程度，頁(yè)面被其他站點(diǎn)或其他網(wǎng)頁(yè)引用的次數(shù)（外鏈）基本上也反映了該網(wǎng)頁(yè)的受歡迎程度或重要性。影響一個(gè)網(wǎng)站排名的三個(gè)要素。內(nèi)部?jī)?yōu)化外部?jī)?yōu)化（鏈接）對(duì)新網(wǎng)站和新網(wǎng)頁(yè)鏈接的權(quán)重補(bǔ)償（一個(gè)月以?xún)?nèi)）3.3.3用戶行為用戶行為主要包括：搜索：用戶獲得信息的過(guò)程，通過(guò)這個(gè)用戶行為，學(xué)習(xí)新詞匯，豐富辭典點(diǎn)擊：用戶對(duì)搜索結(jié)果的反應(yīng)，被點(diǎn)擊的次數(shù)越多，說(shuō)明越重要，權(quán)重越高為避免馬太效應(yīng)(好的越好壞的越壞)，對(duì)排在后面的鏈接的點(diǎn)擊的權(quán)重補(bǔ)償3.3用戶行為用戶的體驗(yàn)

1.頁(yè)面的質(zhì)量度，能否切實(shí)解決用戶的需求，滿足用戶的搜索目的。

2.用戶瀏覽的UI體驗(yàn)，包含視覺(jué)效果、頁(yè)面速度、目標(biāo)頁(yè)面的尋找。

3.用戶的瀏覽量以及跳出率。思考？總結(jié)用戶、搜索引擎、網(wǎng)站擁有者三者之間的關(guān)系？？？？？SEO是一種工具，一種歸屬營(yíng)銷(xiāo)范疇的工具，它可以幫助搜索引擎更好更多的索引和收錄網(wǎng)站；也可以幫助訪問(wèn)者更友好快捷的訪問(wèn)網(wǎng)站；在做到以上兩點(diǎn)的同時(shí)，最終幫助網(wǎng)站擁有者獲取更符合營(yíng)銷(xiāo)要求的高質(zhì)量的瀏覽人群。實(shí)踐 如果你沒(méi)有網(wǎng)站，從來(lái)沒(méi)有接觸過(guò)網(wǎng)站建設(shè)。我們可以通過(guò)以下方案來(lái)接觸和了解網(wǎng)站。

1、直接注冊(cè)一個(gè)很好用的博客，請(qǐng)了解這里：

這個(gè)博客相對(duì)其他的博客系統(tǒng)（如新浪等）相對(duì)復(fù)雜一些，復(fù)雜才有可理解和操作的東西。

2、到某個(gè)你熟悉了解的門(mén)戶網(wǎng)站注冊(cè)一個(gè)個(gè)人博客。注冊(cè)博客目的：注冊(cè)和操作，學(xué)習(xí)博客的基本操作技能，理解程序和模板的關(guān)系。模仿知名博客，設(shè)置欄目、發(fā)布文章、做錨文本、寫(xiě)標(biāo)題等。每個(gè)內(nèi)容頁(yè)面，都有隨機(jī)文章、相關(guān)文章這樣的功能。理解二級(jí)域名、目標(biāo)關(guān)鍵詞、長(zhǎng)尾關(guān)鍵詞的含義。絕大部分SEO的操作和思路，都可以在上面實(shí)現(xiàn)，你可以?xún)?yōu)化一些簡(jiǎn)單的關(guān)鍵詞，比如：男/女朋友的名字。這個(gè)博客，之后可以作為你的主站的外鏈資源。

實(shí)踐附件1：搜索引擎網(wǎng)站收錄地址以下是搜索引擎網(wǎng)站收錄地址百度搜索網(wǎng)站登錄口：網(wǎng)站登錄口：網(wǎng)絡(luò)奇兵登錄口：180度水平線搜索登錄口：蟻搜搜索網(wǎng)站登錄口：快搜搜索網(wǎng)站登錄口：零搜搜索網(wǎng)站登錄口：汕頭登錄口：獵商登錄口：企搜搜索登錄口：網(wǎng)頁(yè)大搜索登錄口：協(xié)通搜索登錄口：Gais搜索登錄口：法律網(wǎng)免費(fèi)登錄口：附件2：獨(dú)立博客收錄提交網(wǎng)址百度博客提交:博客大全提交：Souyo博客搜索:中文Blog目錄集:周博通博客提交:Google博客提交：雅虎中國(guó)博客提交：提交博客:搜狗(SoGou)博客提交：有道(YoDao)博客提交：