第二章信息檢索原理與方法

1、圖書(shū)館圖書(shū)館 英特爾國(guó)際科學(xué)與工程大獎(jiǎng)賽17歲席夫爾開(kāi)發(fā)了一個(gè)模型，用來(lái)提高互聯(lián)網(wǎng)搜索引擎的能力，能夠顯示微小的內(nèi)容變化15歲杰克.安德拉卡利用課余時(shí)間發(fā)明了一種一種濾紙，可能通過(guò)尿液和血液檢測(cè)胰腺癌、卵巢癌和肺癌18歲別克維斯基則研究了量子隱形傳態(tài)，利用這種手段，需要高數(shù)據(jù)安全性的團(tuán)體可以發(fā)送遠(yuǎn)距離加密信息，而不用擔(dān)心被攔截。http:/ ,即人工智能的始祖阿即人工智能的始祖阿倫倫圖靈，他在上世紀(jì)圖靈，他在上世紀(jì)5050年代曾經(jīng)提出了一個(gè)假想的實(shí)年代曾經(jīng)提出了一個(gè)假想的實(shí)驗(yàn)，驗(yàn)，認(rèn)為計(jì)算機(jī)可以具有人類(lèi)的思維能力認(rèn)為計(jì)算機(jī)可以具有人類(lèi)的思維能力，被稱為，被稱為“圖靈實(shí)驗(yàn)圖靈實(shí)驗(yàn)”。并且預(yù)言，在

2、。并且預(yù)言，在2020世紀(jì)末，具有人工智世紀(jì)末，具有人工智能的計(jì)算機(jī)將會(huì)出現(xiàn)。但時(shí)至今日，仍未有任何一臺(tái)能的計(jì)算機(jī)將會(huì)出現(xiàn)。但時(shí)至今日，仍未有任何一臺(tái)計(jì)算機(jī)能通過(guò)計(jì)算機(jī)能通過(guò)“圖靈實(shí)驗(yàn)圖靈實(shí)驗(yàn)”。計(jì)算機(jī)檢索的奧妙：關(guān)鍵詞匹配計(jì)算機(jī)實(shí)現(xiàn)檢索的奧妙，就在于它能把你輸入計(jì)算機(jī)實(shí)現(xiàn)檢索的奧妙，就在于它能把你輸入的檢索詞，與它后臺(tái)數(shù)據(jù)庫(kù)中存儲(chǔ)的文件的檢索詞，與它后臺(tái)數(shù)據(jù)庫(kù)中存儲(chǔ)的文件關(guān)鍵關(guān)鍵詞詞進(jìn)行比對(duì)，如果能夠進(jìn)行比對(duì)，如果能夠匹配匹配，就認(rèn)為這條信息，就認(rèn)為這條信息是你需要的，立刻輸出給你。是你需要的，立刻輸出給你。信息檢索的方法信息檢索的原理信息檢索的流程信息檢索的概念信息檢索的原理 信息檢索的概

3、念信息檢索的概念信息檢索（Information Retrieval）：1950年由美國(guó)信息科學(xué)先鋒穆?tīng)査鼓聽(tīng)査固岢龅腃alvin Mooers 將信息按一定的方式組織和存儲(chǔ)起來(lái)，并根據(jù)信息用戶的需要找出有關(guān)的信息的過(guò)程和技術(shù)。 狹義的信息檢索從信息集合中找出所需從信息集合中找出所需 要的信息的過(guò)程要的信息的過(guò)程，也就是我們常說(shuō)的信息查詢。 信息檢索的原理信息檢索的原理 將特定的將特定的信息需求與存儲(chǔ)在檢索系統(tǒng)中的與存儲(chǔ)在檢索系統(tǒng)中的信息集合進(jìn)進(jìn)行異同的行異同的比較與匹配，選取兩者相符或者部分相符的信息，選取兩者相符或者部分相符的信息予以輸出。予以輸出。信息需求比較與匹配信息集合表 達(dá)標(biāo) 識(shí)檢

4、索詞在數(shù)據(jù)庫(kù)紀(jì)錄中的匹配【題名】大數(shù)據(jù)時(shí)代下圖書(shū)館的挑戰(zhàn)及其應(yīng)對(duì)策略 【關(guān)鍵詞】大數(shù)據(jù)；數(shù)據(jù)處理；數(shù)據(jù)挖掘；數(shù)據(jù)服務(wù)； 圖書(shū)館；【文摘】文章首先闡述了大數(shù)據(jù)的特征與內(nèi)涵,指出了大數(shù)據(jù)在圖書(shū)館工作中的重要性及兩者之間的關(guān)系,分析了大數(shù)據(jù)所帶來(lái)的數(shù)據(jù)管理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘等方面的挑戰(zhàn)。然后研究了圖書(shū)館應(yīng)從數(shù)據(jù)管理、數(shù)據(jù)技術(shù)及數(shù)據(jù)隊(duì)伍建設(shè)上所采取的策略。最后探討。123關(guān)鍵詞檢索關(guān)鍵詞檢索布爾邏輯檢索布爾邏輯檢索截詞檢索截詞檢索 關(guān)鍵詞檢索關(guān)鍵詞檢索 關(guān)鍵詞 關(guān)鍵詞是那些出現(xiàn)在文獻(xiàn)的篇名、章節(jié)名、摘要、正文中，對(duì)描述文獻(xiàn)主題內(nèi)容具有實(shí)質(zhì)意義的語(yǔ)詞。 關(guān)鍵詞的確定（1）列出論文所屬學(xué)科領(lǐng)域（2）列出

5、研究課題名稱（3）列出研究方法或工具名稱（4）列出論文作為主要研究對(duì)象的事或物質(zhì)的名稱及其相關(guān)概念（5）有利于檢索和文獻(xiàn)利用的其他關(guān)鍵詞中國(guó)科協(xié)關(guān)于標(biāo)識(shí)關(guān)鍵詞的規(guī)定題名中包含多少語(yǔ)詞？那些是關(guān)鍵詞？那些是非關(guān)鍵詞？這些詞有什么特點(diǎn)？他們之間及其與全文有什么關(guān)系？ 例子：“基于項(xiàng)目治理的政府投資項(xiàng)目代建人激勵(lì)機(jī)制研基于項(xiàng)目治理的政府投資項(xiàng)目代建人激勵(lì)機(jī)制研究究”課題：基于項(xiàng)目治理的政府投資項(xiàng)目代建人激勵(lì)機(jī)基于項(xiàng)目治理的政府投資項(xiàng)目代建人激勵(lì)機(jī)制研究制研究關(guān)鍵詞： 政府投資項(xiàng)目；代建制；代建人；項(xiàng)目治理；激勵(lì)機(jī)制政府投資項(xiàng)目代建制代建人項(xiàng)目治理激勵(lì)機(jī)制研究目標(biāo)對(duì)象 研究成果的名稱 研究學(xué)科領(lǐng)域研究

6、內(nèi)容對(duì)象雪災(zāi)、冰雪天氣、雨雪天氣。 災(zāi)情、成因、供電、交通、物價(jià)、旅游、環(huán)境。 影響、中斷、關(guān)閉、斷線、上漲、污染。1.簡(jiǎn)練使用關(guān)鍵詞不濫選；2.正確揭示主題 不錯(cuò)選；3.全面反映主題 不漏選；總結(jié): 關(guān)鍵詞的三個(gè)原則百度指數(shù)Google Adwords 布爾邏輯檢索布爾邏輯檢索布爾邏輯運(yùn)算符是為了表達(dá)檢索詞布爾邏輯運(yùn)算符是為了表達(dá)檢索詞之間的邏輯關(guān)系的算符。由英國(guó)學(xué)之間的邏輯關(guān)系的算符。由英國(guó)學(xué)者喬治者喬治.布爾發(fā)明的布爾邏輯運(yùn)算符布爾發(fā)明的布爾邏輯運(yùn)算符包括邏輯包括邏輯“與與”、邏輯、邏輯“或或”和邏和邏輯輯“非非”三種類(lèi)型，分別用三種類(lèi)型，分別用and、or和和not表示。用布爾邏輯運(yùn)算

7、符連表示。用布爾邏輯運(yùn)算符連接檢索詞形成的檢索式稱為布爾邏接檢索詞形成的檢索式稱為布爾邏輯檢索式。輯檢索式。 邏輯邏輯“與與” 如：如：“計(jì)算機(jī)計(jì)算機(jī)”AND“文獻(xiàn)檢索文獻(xiàn)檢索”，表示查找文獻(xiàn)，表示查找文獻(xiàn)內(nèi)容中既含有內(nèi)容中既含有“計(jì)算機(jī)計(jì)算機(jī)”又含有又含有“文獻(xiàn)檢索文獻(xiàn)檢索”詞的文獻(xiàn)。詞的文獻(xiàn)。 如：如：“計(jì)算機(jī)計(jì)算機(jī)”O(jiān)R“文獻(xiàn)檢索文獻(xiàn)檢索”，表示查找文獻(xiàn)內(nèi)，表示查找文獻(xiàn)內(nèi)容中含有容中含有“計(jì)算機(jī)計(jì)算機(jī)”或含有或含有“文獻(xiàn)檢索文獻(xiàn)檢索”以及兩詞都包以及兩詞都包含的文獻(xiàn)。含的文獻(xiàn)。 邏輯邏輯“或或” 如：如： “計(jì)算機(jī)計(jì)算機(jī)”NOT“文獻(xiàn)檢索文獻(xiàn)檢索”，表示查找文獻(xiàn)內(nèi)，表示查找文獻(xiàn)內(nèi)容中含有

8、容中含有“計(jì)算機(jī)計(jì)算機(jī)”而不含有而不含有“文獻(xiàn)檢索文獻(xiàn)檢索”的那部分文的那部分文獻(xiàn)。獻(xiàn)。邏輯邏輯“非非”編寫(xiě)布爾邏輯檢索式應(yīng)注意以下技巧：編寫(xiě)布爾邏輯檢索式應(yīng)注意以下技巧：1、把出現(xiàn)、把出現(xiàn)頻率低頻率低的檢索詞放在邏輯的檢索詞放在邏輯“與與”（AND）的左邊，可縮短計(jì)算機(jī)處）的左邊，可縮短計(jì)算機(jī)處理時(shí)間。理時(shí)間。例如：檢索有關(guān)例如：檢索有關(guān)“計(jì)算機(jī)在機(jī)器人應(yīng)用方面計(jì)算機(jī)在機(jī)器人應(yīng)用方面”的文獻(xiàn)，檢索式為：機(jī)的文獻(xiàn)，檢索式為：機(jī)器人器人*計(jì)算機(jī)計(jì)算機(jī)2、把出現(xiàn)、把出現(xiàn)頻率高頻率高的檢索詞放在邏輯的檢索詞放在邏輯“或或”（OR）的左邊，有利于提高檢索速）的左邊，有利于提高檢索速度。度。例如：檢索有

9、關(guān)例如：檢索有關(guān)“計(jì)算機(jī)或者有關(guān)機(jī)器人計(jì)算機(jī)或者有關(guān)機(jī)器人”的文獻(xiàn)，構(gòu)造檢索式為：計(jì)算的文獻(xiàn)，構(gòu)造檢索式為：計(jì)算機(jī)機(jī)+機(jī)器人機(jī)器人3、同時(shí)使用邏輯同時(shí)使用邏輯“與與” （AND）和邏輯）和邏輯“或或”（OR）檢索時(shí)，應(yīng)把）檢索時(shí)，應(yīng)把“或或”運(yùn)算放運(yùn)算放在在“與與”運(yùn)算的左邊。運(yùn)算的左邊。例如：正確的檢索式：（醫(yī)學(xué)例如：正確的檢索式：（醫(yī)學(xué)+生物）生物）* 健康報(bào)健康報(bào)4、布爾運(yùn)算符布爾運(yùn)算符優(yōu)先級(jí)優(yōu)先級(jí)比較比較：有括號(hào)時(shí)：括號(hào)內(nèi)的先執(zhí)行；有括號(hào)時(shí)：括號(hào)內(nèi)的先執(zhí)行；無(wú)括號(hào)時(shí)：無(wú)括號(hào)時(shí)：NOT AND OR例：檢索例：檢索“唐宋詩(shī)歌唐宋詩(shī)歌”的有關(guān)信息。的有關(guān)信息。關(guān)鍵詞：唐、宋、詩(shī)歌；關(guān)鍵詞：

10、唐、宋、詩(shī)歌；檢索表達(dá)式：（唐檢索表達(dá)式：（唐 OR 宋）宋）AND 詩(shī)歌；唐詩(shī)歌；唐 AND 詩(shī)歌詩(shī)歌 OR 宋宋 AND 詩(shī)歌；詩(shī)歌； 截詞檢索截詞檢索 截詞檢索就是用截?cái)嗟脑~的一個(gè)局部進(jìn)行的檢索，并認(rèn)截詞檢索就是用截?cái)嗟脑~的一個(gè)局部進(jìn)行的檢索，并認(rèn)為凡滿足這個(gè)詞局部中的所有字符（串）的文獻(xiàn)，都為命為凡滿足這個(gè)詞局部中的所有字符（串）的文獻(xiàn)，都為命中的文獻(xiàn)。按截?cái)嗟奈恢脕?lái)分，截詞可有后截?cái)?、前截?cái)?、中的文獻(xiàn)。按截?cái)嗟奈恢脕?lái)分，截詞可有后截?cái)唷⑶敖財(cái)?、中截?cái)嗳N類(lèi)型。中截?cái)嗳N類(lèi)型。 不同的系統(tǒng)所用的截詞符也不同，常用的有不同的系統(tǒng)所用的截詞符也不同，常用的有?、$、*等。等。分為有限截詞（

11、即一個(gè)截詞符只代表一個(gè)字符）和無(wú)限截分為有限截詞（即一個(gè)截詞符只代表一個(gè)字符）和無(wú)限截詞（一個(gè)截詞符可代表多個(gè)字符）。詞（一個(gè)截詞符可代表多個(gè)字符）。 截詞原因：西文的結(jié)構(gòu)特性 (1)單復(fù)數(shù)形式不一單復(fù)數(shù)形式不一 (2)同一個(gè)意思的詞，英美拼法不一致；同一個(gè)意思的詞，英美拼法不一致； (3)詞干詞干+前綴前綴/后綴就后綴就=派生詞派生詞截詞檢索的方式（根據(jù)檢索系統(tǒng)而定，參見(jiàn)上海大學(xué)圖書(shū)館（根據(jù)檢索系統(tǒng)而定，參見(jiàn)上海大學(xué)圖書(shū)館OPACOPAC）p 前截詞，后方一致。如：？computer表示minicomputer,microcomputers等p 后截詞，前方一致。如：comput?表示com

12、puter,computers,computing等。p 前后截詞，中間一致。如？comput？表示minicomputer,microcomputers等。ACEFDB用戶需求分析主題概念分析確定檢索詞選擇檢索工具構(gòu)造檢索式并檢索反饋與調(diào)整獲取結(jié)果信息檢索流程l 用戶信息需求分析 信息檢索需求類(lèi)型 查找某概念的確切含義，如：什么是“blog” 查找某概念的背景知識(shí)，如：誰(shuí)最先發(fā)現(xiàn)青霉素 查找某些事物的數(shù)值及量化指標(biāo)，如KPI 查找某一學(xué)科的一般知識(shí)，如：關(guān)于分子生物學(xué)有 哪些專(zhuān)著 查找學(xué)科專(zhuān)業(yè)領(lǐng)域的新進(jìn)展，如：有關(guān)納米技術(shù)的 研究綜述 查找課題相關(guān)的專(zhuān)業(yè)文獻(xiàn) 最常見(jiàn)的！ 用戶信息需求 檢索目

13、的（開(kāi)題報(bào)告、學(xué)術(shù)論文、課程論文） 學(xué)科范圍（新聞學(xué)、會(huì)計(jì)學(xué)） 文獻(xiàn)類(lèi)型（期刊論文、會(huì)議論文、科技報(bào)告、圖 書(shū)、專(zhuān)利、標(biāo)準(zhǔn)、網(wǎng)站等） 結(jié)果形式（全文、文摘、題錄、數(shù)值、事實(shí)等） 檢索年限（如2000年以來(lái)的文獻(xiàn)） 語(yǔ)種（中文、外文；英文、日文） 檢索結(jié)果數(shù)量（100?50?）l 主題概念分析從熟悉的已知文獻(xiàn)信息入手從熟悉的已知文獻(xiàn)信息入手 分析檢索課題的內(nèi)容實(shí)質(zhì) 表示的概念過(guò)大, 必然造成大量誤檢; 表達(dá)的概念過(guò)小,則會(huì)發(fā)生大量漏檢例子：青少年性格形成分析主要是考察青少年的性格以及影響其性格形成的因素分析，實(shí)質(zhì)上是青少年心理變化的分析 隱性主題具體化分析課題時(shí)不能僅從題目中的詞找出概念就認(rèn)為是

14、滿足檢索課題要求的概念, 而要從專(zhuān)業(yè)方面及檢索目標(biāo)與規(guī)則方面分析, 找出反映課題本質(zhì)的概念。如：“垃圾的處理”中的“處理”一詞就隱含著“回收”和“再生”等概念 主題概念具體化如：中國(guó)特大城市空氣污染 ( 中國(guó)特大城市+北京+ 上海+廣州+ 重慶+武漢+ 天津+ ,) * ( 空氣污染+大氣污染+ 空氣質(zhì)量+工業(yè)廢氣+ 一氧化硫+ 二氧化硫+一氧化碳+ 二氧化碳+灰霾+ ,) 找出核心概念，排除無(wú)關(guān)概念和重復(fù)概念，簡(jiǎn)化邏 輯關(guān)系并不是概念越多越好！并不是概念越多越好！抓住主題的核心：最能表達(dá)檢索課題內(nèi)容，而且具有抓住主題的核心：最能表達(dá)檢索課題內(nèi)容，而且具有實(shí)際檢索意義的關(guān)鍵詞。實(shí)際檢索意義的關(guān)

15、鍵詞。如如“大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考” -大數(shù)據(jù)大數(shù)據(jù) 下下 的的 空間空間 數(shù)據(jù)挖掘數(shù)據(jù)挖掘 思考思考 -大數(shù)據(jù)大數(shù)據(jù) 空間數(shù)據(jù)挖掘空間數(shù)據(jù)挖掘排除檢索意義不大而且比較泛指的概念排除檢索意義不大而且比較泛指的概念，如：展望、如：展望、發(fā)展趨勢(shì)、現(xiàn)狀、近況、生產(chǎn)工藝、應(yīng)用、利用、作發(fā)展趨勢(shì)、現(xiàn)狀、近況、生產(chǎn)工藝、應(yīng)用、利用、作用、方法、影響、制備、結(jié)果用、方法、影響、制備、結(jié)果 明確概念間的邏輯關(guān)系同義詞、近義詞是同義詞、近義詞是或或的關(guān)系的關(guān)系上位詞，概念上外延更廣的主題詞上位詞，概念上外延更廣的主題詞，1 1個(gè)主題詞所表達(dá)個(gè)主題詞所表達(dá) 概念的的任何一種屬性、任

16、何一種歸類(lèi)方式，都可概念的的任何一種屬性、任何一種歸類(lèi)方式，都可以以 是它的上位詞是它的上位詞下位詞，指概念上內(nèi)涵更窄的主題詞下位詞，指概念上內(nèi)涵更窄的主題詞例子分析例子分析 “鮮花快遞鮮花快遞” 、”鮮花鮮花”、”快遞快遞”、”網(wǎng)上購(gòu)網(wǎng)上購(gòu)物物”、“上海鮮花速遞上海鮮花速遞” ” 、”深圳鮮花速遞深圳鮮花速遞”、 ” ”網(wǎng)上鮮花速遞網(wǎng)上鮮花速遞”P(pán)PT背景圖片： l 確定檢索詞 表示具體事物名稱的名詞術(shù)語(yǔ)表示具體事物名稱的名詞術(shù)語(yǔ) 表示事物的狀態(tài)或現(xiàn)象的名詞術(shù)語(yǔ)表示事物的狀態(tài)或現(xiàn)象的名詞術(shù)語(yǔ) 表示科學(xué)分類(lèi)的名詞術(shù)語(yǔ)表示科學(xué)分類(lèi)的名詞術(shù)語(yǔ) 表示研究方法、技術(shù)方法的名詞術(shù)語(yǔ)表示研究方法、技術(shù)方法

17、的名詞術(shù)語(yǔ) 表示工藝方法、加工技術(shù)的名詞術(shù)語(yǔ)表示工藝方法、加工技術(shù)的名詞術(shù)語(yǔ) 表示化學(xué)元素、化合物、金屬材料與合金的名詞術(shù)語(yǔ)表示化學(xué)元素、化合物、金屬材料與合金的名詞術(shù)語(yǔ) 表示國(guó)家名稱、地名、組織機(jī)構(gòu)名稱及人名的專(zhuān)有名表示國(guó)家名稱、地名、組織機(jī)構(gòu)名稱及人名的專(zhuān)有名 詞詞 文獻(xiàn)類(lèi)型、文獻(xiàn)載體的名詞術(shù)語(yǔ)文獻(xiàn)類(lèi)型、文獻(xiàn)載體的名詞術(shù)語(yǔ) 不要將整個(gè)題目輸入檢索框，要從概念入手，而不是從字面意思入手。 當(dāng)課題比較生疏時(shí)，應(yīng)當(dāng)首先利用百科全書(shū)、圖書(shū)等弄清楚概念，了解課題的有關(guān)專(zhuān)業(yè)知識(shí)，弄清楚課題的內(nèi)容和要解決的問(wèn)題以及解決該問(wèn)題的初步設(shè)想等，進(jìn)而確定檢索的主題范圍。 立足規(guī)范詞，兼顧自由詞 詞的全稱、簡(jiǎn)稱及

18、縮寫(xiě)字母 勿忘下位類(lèi)詞 注意外來(lái)詞的譯寫(xiě)變化l 檢索工具的選擇（設(shè)置鏈接，第三章 圖書(shū)館電子資源檢索）l 構(gòu)建檢索提問(wèn)式 使用邏輯使用邏輯“與與”算符算符 使用邏輯使用邏輯“或或”算符算符 使用使用“非非”算符算符課課 題：汽車(chē)導(dǎo)航系統(tǒng)的研究題：汽車(chē)導(dǎo)航系統(tǒng)的研究關(guān)鍵詞：汽車(chē)關(guān)鍵詞：汽車(chē) 機(jī)動(dòng)車(chē)機(jī)動(dòng)車(chē) 導(dǎo)航系統(tǒng)導(dǎo)航系統(tǒng) 全球定位系統(tǒng)全球定位系統(tǒng) GPS GPS 研究研究 設(shè)計(jì)設(shè)計(jì) 調(diào)查調(diào)查檢索式：檢索式：（汽車(chē)（汽車(chē)+ +機(jī)動(dòng)車(chē)）機(jī)動(dòng)車(chē)）* *( (導(dǎo)航系統(tǒng)導(dǎo)航系統(tǒng)+ +全球定位系統(tǒng)全球定位系統(tǒng)+GPS)+GPS)* *( (研究研究+ +設(shè)設(shè)計(jì)計(jì)+ +調(diào)查調(diào)查) )l 檢索并調(diào)整檢索策略p 評(píng)價(jià)標(biāo)準(zhǔn)l 查全率： R=被檢出相關(guān)文獻(xiàn)量/