Internet搜索引擎概述摘要

Internet搜索引擎概述摘要：對基于Internet的搜索引擎的含義及分類、基本構(gòu)成、工作原理及性能評價標準進行了概述，并進一步分析了利用搜索引擎檢索網(wǎng)絡(luò)信息的局限，對其未來的發(fā)展趨勢作了相應的分析。關(guān)鍵詞：搜索引擎，網(wǎng)絡(luò)信息檢索，發(fā)展趨勢1搜索引擎的含義及其分類搜索引擎，即searchengine,這一詞在國內(nèi)外因特網(wǎng)領(lǐng)域中被廣泛的使用，然而。它的含義卻不盡相同。在美國。搜索引擎通常指的是基于因特網(wǎng)的搜索引擎，它們收集因特網(wǎng)上幾千萬到幾億個網(wǎng)頁，并且每一個網(wǎng)頁上的每一個詞都被搜索引擎所收錄，也就是我們所說的全文檢索，典型的如Goog|e,In[oseek,HotBot。在中國，搜索引擎通常指的是基于網(wǎng)站目錄的搜索服務(wù)或者是特定網(wǎng)站的搜索服務(wù)，前者如搜狐、新浪等公司開發(fā)的網(wǎng)站搜索服務(wù)，后者如Chinaren網(wǎng)站提供的全文檢索服務(wù)。而本文研究的搜索引擎是指一種基于Intemet的信息查詢工具，即一種基于Internet的信息查詢系統(tǒng)，包括信息采集、信息標引和信息檢索三個主要部分?，F(xiàn)有的搜索引擎基本上分為三類：singlesearchengine（獨立搜索引擎）它的特點是僅在搜索引擎自身的數(shù)據(jù)庫檢索信息，比如Yahoo。Metasearchengine（元搜索引擎）它在檢索信息時通過調(diào)用其它多個獨立的搜索引擎來完成檢索功能，并且能夠?qū)亩鄠€獨立搜索引擎查詢的結(jié)果進行不同程度的處理，比如刪除重復結(jié)果、校驗連接、結(jié)果按照相關(guān)度排序等。元搜索引擎本身可以有也可以沒有自己的數(shù)據(jù)庫。由于不同的元搜索引擎掛接的獨立搜索引擎各不相同，且各自獨立的搜索引擎在查詢語法上的差別較大，使得元搜索引擎本身僅支持AND、OR、NOT等簡單的語法操作，返回的結(jié)果只能滿足“最低常用分母”，即不能提高搜索結(jié)果的準確性。Netsearchengine（網(wǎng)絡(luò)搜索軟件）就是網(wǎng)絡(luò)用戶可以將相應的搜索軟件下載至本地的計算機上，安裝查詢，這是一種具有網(wǎng)絡(luò)查詢功能的離線瀏覽器。相對于元搜索引擎，它可以靈活地控制輸出結(jié)果，其最大特點是方便用戶使用和能快速地查詢網(wǎng)絡(luò)相關(guān)資源。2網(wǎng)絡(luò)搜索引擎的工作原理及其基本構(gòu)成用戶檢索信息時，搜索引擎是根據(jù)用戶的查詢要求，按照一定的算法從索引數(shù)據(jù)庫中查找對應的信息返回給用戶。為了保證用戶查找信息的精度和新鮮度。對于獨立的搜索引擎而言．還需要建立并維護一個龐大的數(shù)據(jù)庫。獨立搜索引擎中的索引數(shù)據(jù)庫中的信息是通過一種叫做網(wǎng)絡(luò)蜘蛛（spider）的程序軟件定期在網(wǎng)上爬行，通過訪問公共網(wǎng)絡(luò)中公開區(qū)域的每一個站點采集網(wǎng)頁，對網(wǎng)絡(luò)信息資源進行收集，然后利用索引軟件對收集的信息進行自動標引，創(chuàng)建一個可供用戶按照關(guān)鍵字等進行查詢的web頁索引數(shù)據(jù)庫，搜索軟件通過索引數(shù)據(jù)庫為用戶提供查詢服務(wù)。所以，一般的搜索引擎主要由網(wǎng)絡(luò)蜘蛛、索引和搜索軟件三部分組成.網(wǎng)絡(luò)蜘蛛。是一個功能很強的程序，它會定期根據(jù)預先設(shè)定的地址去查看對應的網(wǎng)頁，如網(wǎng)頁發(fā)生變化則重新獲取該網(wǎng)頁，否則根據(jù)該網(wǎng)頁中的鏈接繼續(xù)去訪問。網(wǎng)絡(luò)蜘蛛訪問頁面的過程是對互連網(wǎng)上信息遍歷的過程。為了保證網(wǎng)絡(luò)蜘蛛遍歷信息的廣度，一般事先設(shè)定_些重要的鏈接，然后進行遍歷。在遍歷的過程中不斷記錄網(wǎng)頁中的鏈接，不斷地遍歷下去，直到訪問完所有的鏈接。索引軟件。網(wǎng)絡(luò)蜘蛛將遍歷搜索集得到的網(wǎng)頁存放在數(shù)據(jù)庫中。為了提高檢索的效率，需要建立索引。索引一般為倒排檔索引。搜索軟件。該軟件用于篩選索引數(shù)據(jù)庫中無數(shù)的網(wǎng)頁信息，選擇出符合用戶檢索要求的網(wǎng)頁并對它們進行分級排序。然后將分級排序后的結(jié)果顯示給用戶。3搜索引擎的主要性能評價指標3．1搜索引擎建立索引的方法數(shù)據(jù)庫中的索引一般是按照倒排文檔的文件格式存放，在建立例排索引的時候，不同的搜索引擎有不同的選項。有些搜索引擎對于信息頁面建立全文索引；而有些只建立摘要部分，或者是段落前面部分的索引；還有些搜索引擎，比如Google建立索引的時候，同時還考慮超文本的不同標記所表示的不同含義。如粗體、大字體顯示的東西往往比較重要；放在錨鏈中的信息往往是它所指向頁面的信息的概括，所以用它來作為所指向的頁面的重要信息。Google、infoseek還在建立索引的過程中收集頁面中的超鏈接。這些超鏈接反映了收集到的信息之間的空間結(jié)構(gòu)，利用這些結(jié)果信息可以提高頁面相關(guān)度判別時的準確度。由于索引不同，在檢索信息時產(chǎn)生的結(jié)果會不同。3．2搜索引擎的檢索功能搜索引擎所支持的檢索功能的多少及其實現(xiàn)的優(yōu)劣，直接決定了檢索效果的好壞，所以網(wǎng)絡(luò)檢索工具除了要支持諸如布爾檢索、鄰近檢索、截詞檢索、字段檢索等基本的檢索功能之外，更應該根據(jù)網(wǎng)上信息資源的變化，及時地應用新技術(shù)、新方法，提高高級檢索功能。另外，由于中文信息特有的編碼不統(tǒng)一問題，所以如果搜索引擎能夠?qū)崿F(xiàn)不同內(nèi)碼之間的自動轉(zhuǎn)換，用戶就會全面檢索大陸、港臺乃至全世界的中文信息。這樣不但提高了搜索引擎的質(zhì)量，而且會得到用戶的支持。3．3搜索引擎的檢索效果檢索效果可以從響應時間、查全率、查準率和相關(guān)度方面來衡量。響應時間是用戶輸入檢索式開始查詢到檢出結(jié)果的時間。查全率是指一次搜索結(jié)果中符合用戶要求的數(shù)目與和用戶查詢相關(guān)的總數(shù)之比；查準率是指一次搜索結(jié)果集中符合用戶要求的數(shù)目與該次搜索結(jié)果總數(shù)之比；相似度是指用戶查詢與搜索結(jié)果之間相似度的一種度量。雖然由于無法估計網(wǎng)絡(luò)上與某個檢索提問相關(guān)的所有信息數(shù)量。所以目前尚沒有定量計算查全率的更好方法，但是它作為評價檢索效果的指標還是值得保留。查準率也是一個復雜的概念，一方面表示搜索引擎對搜索結(jié)果的排序，另一方面卻體現(xiàn)了搜索引擎對垃圾網(wǎng)頁的抗干擾能力?？傊?，一個好的搜索引輦應該具有較快的響應速度和高的查全率和查準率，或者有極大的相似度。3．4搜索引擎的受歡迎程度搜索引擎的受歡迎程度體現(xiàn)了用戶對于搜索引擎的偏愛程度，知名度高、性能穩(wěn)定和搜索質(zhì)量好的搜索引擎很受用戶的青睞。搜索引擎的受歡迎程度也會隨著它的知名度和服務(wù)水平的變化而動態(tài)的變化。搜索引擎的服務(wù)水平和它所收集的信息量、信息的新鮮度和查詢的精度相關(guān)。隨著各種新的搜索技術(shù)的出現(xiàn)，智能化的、支持多媒體檢索的搜索引擎將越來越受用戶的歡迎。另外，搜索引擎的信息占有量也可以作為評價搜索引擎性能的指標。綜上所述，評價搜索引擎的性能指標可以概括為：a.建立索引的方法（全文索引，部分索引，按重要程度索引等）；b.檢索功能（支持的檢索技術(shù)，多媒體檢索，內(nèi)碼處理等）；C.查詢效果（響應時間，查全率，查準率，相關(guān)度）；d.受歡迎程度；e.信息占有量。4搜索引擎檢索信息的局限2001年Roper的調(diào)查指出，36%的互連網(wǎng)用戶一個星期花超過2個小時的時間在網(wǎng)上搜索；71％的用戶在使用搜索引擎時遇到過麻煩；平均搜索12分鐘以后發(fā)現(xiàn)搜索受挫。另一項由Keen所做的調(diào)查顯示，31%的人使用搜索引擎尋找答案，網(wǎng)上查找答案的半數(shù)以上都不成功。從這些調(diào)查數(shù)據(jù)中不難看出。目前的搜索引擎仍然存在不少的局限性。概括起來大致有以下幾個方面。1搜索引擎對信息的標引深度不夠目前，搜索引擎檢索的結(jié)果往往只提供一些線形的網(wǎng)址和包括關(guān)鍵詞的網(wǎng)頁信息，與人們對它的預期存在較大的距離，或者返回過多的無用信息，或者信息丟失，特別是對特定的文獻數(shù)據(jù)庫的檢索顯得無能為力。2搜索引擎的信息量占有不足作為搜索引擎必須占有相當大的信息量才能具有一定的查全率和實用性。目前還沒有一種覆蓋整個因特網(wǎng)信息資源的搜索引擎。3搜索引擎的查準率不高分析起來，這是因為：一方面由于網(wǎng)上信息數(shù)量巨大、內(nèi)容龐大、良莠不齊，信息的質(zhì)量得不到保障；另一方面是由于大多數(shù)搜索引擎的索引工作由程序自動完成，根據(jù)網(wǎng)頁中詞頻及詞的位置等因素確定關(guān)鍵詞，有的網(wǎng)站為了提高點擊率，將一些與網(wǎng)頁主題并不相關(guān)的熱門詞匯以隱含方式放在頁面上，并重復多次，從而造成查準率低。4．4檢索功能單一，缺乏靈活性目前許多搜索引擎的查詢方法比較單一，一般只提供分類查詢方式和關(guān)鍵詞查詢方式。不能從文獻的多個方面對檢索提問進行限制，只能就某一關(guān)鍵詞或者概念進行籠統(tǒng)的檢索。4．5搜索引擎自身的技術(shù)局限像目前部分搜索引擎還不能支持對多媒體信息的檢索。造成上述信息檢索困難的原因?qū)嵸|(zhì)在于搜索引擎對要檢索的信息僅僅采用機械的詞語匹配來實現(xiàn)，缺乏知識處理能力和理解能力。也就是說搜索引擎無法處理用戶看來是非常普通的常識性知識，更不能處理隨用戶不同而變化的個性化知識、隨地域不同而變化的區(qū)域性知識以及隨領(lǐng)域不同而變化的專業(yè)性知識等等。5搜索引擎未來的發(fā)展趨勢新一代搜索引擎的發(fā)展目標就是采用新興的搜索技術(shù)為用戶提供更方便易用、更精確的搜索工具來滿足用戶的信息查詢需要。技術(shù)上，應該在自然語言理解技術(shù)上有所突破，以XML可擴展標記語言為主，并使用向?qū)Ъ夹g(shù)。下面就搜索引擎的發(fā)展趨勢談幾點看法。vstrong>答案補充</strong>5．1垂直化專業(yè)領(lǐng)域搜索由于社會分工的加大，用戶從事的職業(yè)有所不同，不同用戶對信息搜索也往往有自己的專業(yè)要求。由于綜合性的搜索引擎收錄各方面、各學科、各行業(yè)的信息，因而搜索不相關(guān)的信息太多，專業(yè)垂直引擎則可以解決這個問題，垂直類搜索引擎是只面向某一特定的領(lǐng)域，專注于自己的特長和核心技術(shù)，能夠保證對該領(lǐng)域信息的完全收錄與及時更新。因此，基于專業(yè)領(lǐng)域的“垂直搜索引擎”開始成為搜索引擎發(fā)展的一個新趨勢。5．2智能化搜索傳統(tǒng)的搜索引擎使用方法是被動搜索，而準確的搜索應建立在對收錄信息和搜索請求的理解之上。顯然，基于自然語言理解技術(shù)的搜索引擎由于可以同用戶使用自然語言交談，并深刻理解用戶的搜索請求，則查詢的結(jié)果更加準確。5．3關(guān)聯(lián)式的綜合搜索所謂關(guān)聯(lián)式綜合搜索，是這樣一種一站式的搜索服務(wù)，它使得用戶在搜索時只需要輸入一次查詢目標，即可以在同一界面得到各種有關(guān)聯(lián)的查詢結(jié)果，這種服務(wù)的關(guān)鍵在于有一架構(gòu)在XML基礎(chǔ)上的整合資訊平臺。vstrong>答案補充v/strong>5．4個性化搜索提高搜索精確度的另一個途徑是提供個性化的搜索，也就是將搜索建立在個性化的搜索環(huán)境之下，其核心是跟蹤用戶的搜索行為，通過對用戶的不斷了解、分析，積累用戶的搜索個性化數(shù)據(jù)來提高用戶的搜索效率。5結(jié)構(gòu)化搜索所謂結(jié)構(gòu)化搜索，是指充分利用XML等技術(shù)使信息結(jié)構(gòu)化，同時使用查詢結(jié)構(gòu)化，從而使搜索的準確度大大提高。6本土化的搜索世界上許多著名的搜索引擎都在美國，它們以英語為基礎(chǔ)，完全按他們的思維方式和觀點搜集和檢索資料，這對于全球不同國家的用戶來說是顯然不合適的。各國的文化傳統(tǒng)、思維方式和生活習慣不同，在對于網(wǎng)站的內(nèi)容的搜索要求上也就存在差異。搜索結(jié)果要符合當?shù)赜脩舻囊螅阉饕婢捅仨毐就粱?多媒體搜索。隨著寬帶技術(shù)的發(fā)展，未來的互聯(lián)網(wǎng)是多媒體數(shù)據(jù)的時代，開發(fā)出可查詢圖像、聲音、圖片和電影的搜索引擎是一個新的方向，這也將極大地滿足用戶的需求。未來的搜索引擎應該信息量更大、搜索速度更快、搜索精度更高和更能夠滿足用戶的信息查詢需求。vstrong>答案補充v/strong>參考文獻1張衛(wèi)豐.徐保文等.Web搜索引擎綜述.計算機科學，2001；(9)2王忠?周士渡.Internet英文搜索引擎評析.情報學報，1999；(5)張軍.搜索引擎的功能及其局限性探討.情報科學，2001；(5)張莉揚.網(wǎng)絡(luò)檢索工具性能評價標準淺議.情報科學，2001網(wǎng)絡(luò)搜索引擎21世紀是信息時代,隨著信息科學技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)已成為人們生活中的重要組成部分,網(wǎng)上信息呈幾何級數(shù)增長,面對眾多繁雜無序的信息,如何能快速、準確、經(jīng)濟地查找到所需要的信息,成為人們迫切需要解決的問題。搜索引擎是為滿足人們對網(wǎng)絡(luò)信息的搜索需求而新興的一種網(wǎng)絡(luò)工具,它利用網(wǎng)絡(luò)自動搜索功能,對各種信息資源分門別類地進行標引、建庫,并對信息進行理解、提取、組織和處理,從而起到信息導航的作用,幫助人們從不同形式的數(shù)字化信息中進行搜索。搜索引擎起源于傳統(tǒng)的信息全文檢索理論。狹義上的搜索引擎僅指基于因特網(wǎng)的搜索引擎;廣義上的搜索引擎除此之外還包括基于目錄的信息檢索服務(wù)。搜索引擎的研究極具綜合性和挑戰(zhàn)性,它涉及到信息檢索、人工智能、計算機網(wǎng)絡(luò)、分布式處理、數(shù)據(jù)庫、數(shù)據(jù)挖掘、數(shù)字圖書館、自然語言處理等多領(lǐng)域的關(guān)鍵理論和技術(shù),其核心問題是數(shù)據(jù)庫的規(guī)模、索引數(shù)據(jù)庫的質(zhì)量和標引質(zhì)量。搜索引擎的工作原理及分類搜索引擎由搜索器、索引器、檢索器和用戶接口四部分。它利用一個名為“蜘蛛”的機器人程序以一定的策略自動進行信息搜索,然后由索引器對信息進行理解、處理,從中抽取索引項,建立索引庫,再由檢索器根據(jù)用戶的查詢在索引庫中快速檢索文檔,進行相關(guān)度評價,將要輸出的結(jié)果排序,并按用戶的查詢需求合理反饋信息,由用戶接口來接納用戶查詢,顯示查詢結(jié)果,提供個性化查詢項。按照信息搜集的方法和服務(wù)提供方式的不同,搜索引擎可以分為:全文搜索引擎全文搜索引擎是從各個網(wǎng)站提取信息,建立數(shù)據(jù)庫,檢索與用戶查詢條件相匹配的記錄后,按照一定的排列順序返回結(jié)果,是名副其實的搜索引擎。全文搜索引擎的自動信息搜集功能分2種:一種是定期搜索,即每隔一段時間,搜索引擎主動派出“蜘蛛”程序,對一定IP地址范圍的互聯(lián)網(wǎng)站進行檢索,一旦發(fā)現(xiàn)新的網(wǎng)站,它會自動提取網(wǎng)站的信息和網(wǎng)址加入自己的數(shù)據(jù)庫;另一種是提交網(wǎng)站搜索,即網(wǎng)站擁有者主動向搜索引擎提交網(wǎng)址,它在一定時間內(nèi)（2天到數(shù)月不等）定向向你的網(wǎng)站派出“蜘蛛”程序。全文搜索引擎中最具代表性的有國外著名的Google及國內(nèi)的百度搜索。2.目錄索引目錄索引是一種人工方式或半自動方式的搜索引擎,由編輯人員查看信息之后,人工形成信息摘要,并將信息置于事先確定的分類框架中。由于目錄索引只是一個按目錄分類的網(wǎng)站鏈接列表,因此不能稱為嚴格意義上的搜索引擎。由于目錄索引中加入了人的智能,所以導航質(zhì)量高,信息更準確,但也正因為如此,使得維護費用偏大,信息更新不及時。目錄索引中最具代表性的為yahoo、新浪。3.元搜索引擎元搜索引擎沒有自己的數(shù)據(jù),而是將用戶的查詢請求同時向多個搜索引擎遞交,將返回的結(jié)果處理后,作為自己的結(jié)果返回給用戶。元搜索引擎返回結(jié)果的信息量更大、更全,但是不能夠充分使用所使用搜索引擎的功能,用戶需要做更多的篩選。元搜索引擎的代表是WebCrawler、infomarket等。搜索引擎的發(fā)展現(xiàn)狀及技術(shù)展望目前,搜索引擎一般提供的是關(guān)鍵詞的全文檢索和分類瀏覽的查詢方式,檢索方式單一。分類目錄瀏覽常常檢索到很多無關(guān)的信息,查全率、查準率不高;關(guān)鍵詞檢索僅僅是機械的詞語匹配,缺乏知識處理能力和理解能力,信息檢索質(zhì)量不高。此外,數(shù)據(jù)庫檢索功能和應用上的局限性、排序技術(shù)指標單一、分類目標體系缺乏規(guī)范、信息加工深度不夠,這些都嚴重影響著搜索引擎的發(fā)展。因此,必須增加檢索途徑,加強網(wǎng)絡(luò)信息資源的科學標引和組織,推動網(wǎng)絡(luò)資源標準化進程,積極推進搜索引擎的發(fā)展。1.精確搜索技術(shù)采用基于自然語言理解技術(shù)的智能化搜索引擎,加深理解用戶搜索請求;通過對用戶的不斷了解、分析,提供個性化搜索;利用XML等技術(shù)使信息結(jié)構(gòu)化,查詢結(jié)構(gòu)化,提高檢索的速度和性能;針對某一行業(yè),某一主題和某一地區(qū)的信息而建立專業(yè)化搜索