文獻數(shù)據(jù)融合的自動與半干法融合軟件的設計與實現(xiàn)

文獻數(shù)據(jù)融合的自動與半干法融合軟件的設計與實現(xiàn)

1控制steam、ei數(shù)據(jù)源正確建立數(shù)據(jù)集是分析學科信息的關(guān)鍵基礎。一直以來,基于期刊論文的學科情報分析數(shù)據(jù)集往往采用來自單一文獻數(shù)據(jù)庫的數(shù)據(jù)源,尤其是文獻數(shù)據(jù)格式較為規(guī)范的SCI或EI數(shù)據(jù)源。近年來,隨著交叉學科的日益興起和微觀學科情報分析的深入發(fā)展,僅僅依靠單一數(shù)據(jù)源容易造成分析數(shù)據(jù)集不夠全面或文獻數(shù)據(jù)量過少的問題,分析需求往往無法滿足,特別是在進行偏工程類學科或交叉學科的情報分析時,越來越多的分析人員都希望整合SCI/EI(或本學科其他常用數(shù)據(jù)庫)的文獻數(shù)據(jù)進行分析,因此準確查重和融合不同數(shù)據(jù)庫的文獻數(shù)據(jù)顯得尤為必要,這需要依賴有效的軟件技術(shù)實現(xiàn)。2高準確性文獻查重和融合的需求國內(nèi)外已有許多關(guān)于不同數(shù)據(jù)庫文獻數(shù)據(jù)查重和融合方法的研究,這些研究的應用對象集中在文獻跨庫檢索系統(tǒng)和近年來日益興起的資源發(fā)現(xiàn)系統(tǒng)的檢索結(jié)果查重和合并展示方面,而不斷提高查重準確性一直以來都是這兩類系統(tǒng)所面臨的挑戰(zhàn)。文獻跨庫檢索系統(tǒng)通常使用的數(shù)據(jù)整合方式有三種:元數(shù)據(jù)、中間件和基于代理的跨庫檢索。文獻跨庫檢索系統(tǒng)的查重方法往往采用全自動匹配查重算法,主要分為兩類:一類是采用固定文獻數(shù)據(jù)字段(題名或題名作者等)進行查重匹配,該類查重算法的優(yōu)點在于運行效率較高,但是準確性存在很大不足;另一類是采用多維匹配的自動查重方法,如郝丹等在進行不同數(shù)據(jù)庫文獻數(shù)據(jù)查重時,在借鑒網(wǎng)頁查重算法的基礎上設計了跨庫ID多維匹配的自動查重算法,其中對英文數(shù)據(jù)庫的跨庫ID設計為“第一作者姓的拼音+其他作者姓的首字母+出版年+起始頁碼”,該方法應用于多數(shù)據(jù)庫的專家/單位發(fā)文檢索時得到了較好的準確性和運行效率。不過,這些針對跨庫檢索系統(tǒng)對象所設計的查重和融合方法仍然無法滿足微觀學科情報分析對高準確性文獻數(shù)據(jù)查重和融合的需求,其原因如下:(1)與專業(yè)文摘數(shù)據(jù)庫相比,跨庫檢索系統(tǒng)往往不具有復雜檢索功能,在準確構(gòu)建分析數(shù)據(jù)集方面有一定局限性,學科情報分析人員對分析數(shù)據(jù)集的準確性要求較高的情況下,通常并不希望使用跨庫檢索,更愿意自行進入專業(yè)文摘或全文數(shù)據(jù)庫中進行檢索。(2)跨庫檢索系統(tǒng)平臺均采用全自動查重算法,無法保證查重和融合的高準確率。由于不同數(shù)據(jù)庫的文獻數(shù)據(jù)字段標引規(guī)則不同(如文獻題名字段中化學式和粒子符號的寫法不同等)以及數(shù)據(jù)庫中可能存在標引字段缺失等人為標引錯誤,任何全自動查重算法都不可能做到真正的查重。(3)跨庫檢索系統(tǒng)平臺為了保證從多數(shù)據(jù)庫返回格式統(tǒng)一的檢索結(jié)果,往往只合并展示少量文獻數(shù)據(jù)字段,這種少量字段的簡單數(shù)據(jù)集不適合學科情報多維度分析的需求。自2008年OCLC發(fā)布首個資源發(fā)現(xiàn)系統(tǒng)WorldCatLocal以來,其使用率不斷提高,這類系統(tǒng)還包括ProQuestSummon、ExLibrisPrimo、PrimoCentral和EBSCODiscoveryService等。在這類發(fā)現(xiàn)系統(tǒng)中,采用元數(shù)據(jù)集中索引方式整合不同數(shù)據(jù)庫資源成為主流趨勢,其查重方法相較跨庫檢索系統(tǒng)也有了很大程度的改進,如Primo采用基于作者和題名字段的書目記錄功能需求(FRBR)查重算法,OCLCWorldCatLocal采用重復記錄檢測與解析(DDR)查重算法,同時使用FRBR和全球圖書館載體表現(xiàn)標識符(GLIMIR)來聚類合并展示檢索結(jié)果。由于資源發(fā)現(xiàn)系統(tǒng)建立了統(tǒng)一的元數(shù)據(jù)索引庫,因此其元數(shù)據(jù)查重類似于傳統(tǒng)圖書館編目系統(tǒng)的元數(shù)據(jù)查重,可以利用長期以來編目人員針對文獻編目系統(tǒng)元數(shù)據(jù)查重方法上的研究成果,資源發(fā)現(xiàn)系統(tǒng)中元數(shù)據(jù)查重準確性的提高也強烈依賴于元數(shù)據(jù)質(zhì)量的規(guī)范控制和查重算法的改進,這類查重算法的準確性改進可以歸納為元數(shù)據(jù)字段多種寫法的規(guī)范化、標準化和針對不同類型對象建立合適實體模型兩個層面。雖然以OCLCWorldCatLocal為代表的資源發(fā)現(xiàn)系統(tǒng)的文獻數(shù)據(jù)查重方法有了長足發(fā)展,但是目前仍然有很大的改進空間,而且它們均無法直接應用于不同文獻數(shù)據(jù)庫的文獻數(shù)據(jù)查重和融合,也不能滿足微觀學科情報分析數(shù)據(jù)集的構(gòu)建需求。不過,從這類元數(shù)據(jù)查重方法的發(fā)展可以看出,提高文獻數(shù)據(jù)查重準確率的關(guān)鍵在于有針對性地深入分析具體查重對象存在重復文獻數(shù)據(jù)的原因,盡可能多地挖掘出具體查重對象的字段和字段寫法差異,同時還要綜合利用多種查重方法和技術(shù)途徑。3難以明確匹配字段選擇目前,一些工具類軟件具備期刊論文查重或數(shù)據(jù)融合的功能,如文獻管理工具EndNote和文獻分析工具TDA,不過這些工具的查重功能也是基于固定文獻數(shù)據(jù)字段的直接匹配,如作者、題名、期刊等,用戶在使用時往往會面臨難以確定合適查重匹配字段的問題:如果匹配字段選擇過多會造成查重標準過于嚴格,從而漏掉重復文獻,而匹配字段選擇太少則會導致查重錯誤,并且它們沒有標記相互重復文獻的功能,無法確保查重和融合的準確率。本文設計的軟件是針對微觀學科情報分析發(fā)展過程中所呈現(xiàn)出的高準確性文獻數(shù)據(jù)查重和融合的技術(shù)瓶頸問題,充分挖掘期刊論文數(shù)據(jù)字段重復特征,構(gòu)建多種查重算法,并采用人工交互的半自動查重方式確保查重和融合效果,以幫助分析人員準確構(gòu)建來自不同期刊論文數(shù)據(jù)庫的分析數(shù)據(jù)集。4軟件功能模塊的設計和實現(xiàn)本軟件主體架構(gòu)由“文獻數(shù)據(jù)查重”和“文獻數(shù)據(jù)融合”兩個模塊構(gòu)成,如圖1所示:4.1文獻查重質(zhì)量查重本模塊需要解決的第一個關(guān)鍵問題是如何針對特定對象SCI/EI數(shù)據(jù)庫中的文獻數(shù)據(jù),充分挖掘兩者文獻數(shù)據(jù)的字段對應關(guān)系以及各字段微觀文本特征,以構(gòu)建高準確率的查重算法,這也是本軟件設計和實現(xiàn)的核心問題。為了實現(xiàn)該目標,筆者結(jié)合工作實踐,總結(jié)SCI/EI文獻數(shù)據(jù)庫中存在重復文獻數(shù)據(jù)的原因并構(gòu)建相應的查重算法,包括:(1)SCI和EI作為文摘數(shù)據(jù)庫收錄了部分相同出版源,這是SCI/EI數(shù)據(jù)庫中存在重復文獻數(shù)據(jù)的主要原因。(2)SCI/EI文獻數(shù)據(jù)標引規(guī)則存在差異,如表1所示。(3)SCI/EI文獻數(shù)據(jù)存在人為標引錯誤,如拼寫錯誤或字段缺失等。由重復因素(1)所產(chǎn)生的SCI/EI同一出版源重復文獻的查重,可以依靠確定SCI/EI文獻數(shù)據(jù)唯一性的單文獻數(shù)據(jù)字段或字段組合匹配自動實現(xiàn),即文獻唯一標識符字段DOI以及出版源、年、卷、期和頁的字段組合匹配,相應構(gòu)建DOI查重算法和出版源年卷期頁查重算法。在構(gòu)建出版源年卷期頁查重算法時,基于SCI和EI文獻數(shù)據(jù)字段特征,采用出版源全稱、簡稱、ISSN、ISBN和會議名稱5種出版源匹配方式,其中任意一種方式匹配成功都表示文獻數(shù)據(jù)的出版源相同,以提高查重準確性。表2為SCI/EI文獻數(shù)據(jù)查重所需字段。由重復因素(2)SCI/EI文獻數(shù)據(jù)標引差異所產(chǎn)生的重復文獻有兩種查重方法:(1)對于字段出版源全稱、ISSN和ISBN的標引差異,這些字段進行數(shù)據(jù)格式標準化預處理后仍然很有可能通過出版源期刊年卷期頁自動查重算法實現(xiàn)查重。(2)對于字段題名和作者的標引差異,則可以通過構(gòu)建題名作者查重算法實現(xiàn)查重。題名作者查重不具有唯一性,該算法是一種半自動查重算法,是對前兩種算法的補充,即在由于DOI字段為空或SCI/EI文獻數(shù)據(jù)寫法差異而造成前兩種查重算法無效的情況下,根據(jù)題名和作者相似性自動查找相似文獻數(shù)據(jù),所得查找結(jié)果還需要進一步通過人機交互確認是否是重復文獻。該算法不僅可以查出因數(shù)據(jù)庫標引加工錯誤而造成前兩種算法查重失敗的重復文獻,還可以查出一稿多刊的文獻,分析人員可以根據(jù)實際情況判定它們的重復性。而對于由因素(3)即文獻數(shù)據(jù)人為拼寫錯誤或字段缺失所產(chǎn)生的假象重復文獻,采取對自動查重算法執(zhí)行嚴格精確匹配的措施,即在執(zhí)行不需人工交互確認的自動精確匹配算法查重時,必須所有字段不為空且匹配文獻數(shù)據(jù)的全部所需字段才能被確定為重復文獻,同時將上述三種查重算法設計為遞進關(guān)系依序執(zhí)行,即首先執(zhí)行嚴格精確匹配自動查重算法,待模糊匹配查重時通過人機交互確認假象重復文獻數(shù)據(jù)的重復性。本模塊中三種遞進查重算法實現(xiàn)偽代碼如下:本模塊需要解決的另一個關(guān)鍵問題在于如何將SCI/EI文獻數(shù)據(jù)中題名和作者相似的文獻提取出來供人工確認,即設計和實現(xiàn)兩篇文獻的題名作者模糊查重算法。題名相似性判定是通過構(gòu)建余弦相似性函數(shù)實現(xiàn)的,計算公式為:其中,x和y分別代表待查重的SCI,EI文獻題名文本的詞頻向量。題名相似性判定過程為將待判定文獻題名以空格進行切詞,然后利用余弦相似性函數(shù)計算相似度。作者相似性的判定公式為:其中,xynau表示兩篇文獻相同作者數(shù),xnau表示SCI文獻全部作者數(shù),ynau表示EI文獻全部作者數(shù),該公式可避免因數(shù)據(jù)庫文獻數(shù)據(jù)標引錯誤即遺漏個別作者時查重失敗的情況出現(xiàn)。SCI文獻數(shù)據(jù)含兩個作者字段AU和AF(見表2),其中AU是作者簡寫,AF與原文中作者寫法一致,而EI文獻數(shù)據(jù)作者字段與原文中作者寫法相同,因此本模塊分別采用SCI的AF字段和EI的Authors字段來進行作者相似性判定。為了實現(xiàn)本模塊的題名作者模糊查重算法,在軟件界面上使用兩個Slide滑塊控件,如圖2所示,其最小值和最大值均分別設為0和1,允許用戶根據(jù)分析文獻特征靈活調(diào)節(jié)題名和作者判定的相似性閾值。人工交互確認重復文獻的界面使用ListView控件,呈現(xiàn)通過半自動查重算法查找到的相似文獻數(shù)據(jù)。該控件共含4列,包括SCI文獻行號和該文獻詳細信息(包括出版物名稱、出版年、作者和題名)以及EI文獻行號和該文獻詳細信息。在軟件界面上同時使用富文本控件顯示文獻的詳細題錄信息,允許用戶放大查看詳細信息并確認選擇重復文獻數(shù)據(jù)。還允許用戶自行輸入與某SCI文獻相重復的EI行號,此處允許多篇重復。此外,軟件界面上還設計“精確匹配”和“模糊匹配”兩個單選按鈕控件實現(xiàn)精確匹配和模糊匹配兩種查重方式,選擇精確匹配方式表示軟件僅使用DOI和出版源年卷期頁的兩種全自動精確查重算法進行查重,適合在查重準確性要求不高的情況下使用,而模糊匹配方式表示軟件除了使用兩種精確匹配方式以外,還將使用題名作者半自動查重算法對文獻數(shù)據(jù)進行查重,這種匹配方式可以獲得更高的準確性。4.2加黑的格式轉(zhuǎn)換該模塊需要解決的關(guān)鍵問題是如何將兩種文獻數(shù)據(jù)的格式統(tǒng)一。考慮到大多數(shù)文獻分析軟件均支持SCI文獻數(shù)據(jù)格式,本模塊設計為將EI文獻數(shù)據(jù)中與SCI不重復的數(shù)據(jù)轉(zhuǎn)換為SCI文獻數(shù)據(jù)格式并生成查重和融合后的總數(shù)據(jù)表。目前SCI/EI文獻數(shù)據(jù)所共有的全記錄字段如表3所示。由表3可知,SCI、EI文獻數(shù)據(jù)融合所用的共有字段中,EI文獻數(shù)據(jù)大多數(shù)字段與SCI字段格式相同,可直接賦值完成轉(zhuǎn)換。有以下字段(斜體加黑)的格式存在不同程度差異,需要在特定處理后再進行賦值轉(zhuǎn)換。具體如下:(1)附加關(guān)鍵詞和學科類別字段,需要進行簡單的格式轉(zhuǎn)換,將EI中的分隔符“–”轉(zhuǎn)換為SCI中的“;”。(2)作者關(guān)鍵詞字段,合并EI文獻數(shù)據(jù)字段Mainheading和字段Controlledterms并進行類似附加關(guān)鍵詞的格式轉(zhuǎn)換。(3)開始頁和結(jié)束頁字段,需要將EI中的Pages字段進行拆分。(4)國際標準期刊號(ISSN)字段,合并EI文獻數(shù)據(jù)字段ISSN和字段E-ISSN。合并原則為若字段ISSN為空,則補充賦值字段E-ISSN并進行格式轉(zhuǎn)換,即該字段若不足8位則補足8位并在前4位后添加分隔符“–”。(5)國際標準書號(ISBN),需要將EI文獻數(shù)據(jù)字段ISBN-10和字段ISBN-13進行合并,合并原則為若字段ISBN-13為空,則補充賦值字段ISBN-10并轉(zhuǎn)換為ISBN-13。(6)作者地址字段,需要合并EI文獻數(shù)據(jù)字段Authors和字段Authoraffiliation,將同一地址的作者進行同類歸并,如表4所示:(7)通訊作者地址字段,由于目前EI文獻數(shù)據(jù)的通訊作者地址字段不全,因此需要從字段Authoraffiliation中提取通訊作者地址并進行格式轉(zhuǎn)換。(8)通訊作者郵箱字段,需要從Authoraffiliation字段中進行拆分。4.3文件對象的檢查本軟件是在VB6.0環(huán)境下開發(fā)的,完整流程從調(diào)用含SCI/EI文獻數(shù)據(jù)表的Excel文件對象開始,到寫入包含與EI重復行號的SCI文獻數(shù)據(jù)表、與SCI重復行號的EI文獻數(shù)據(jù)表以及融合數(shù)據(jù)表的Excel文件對象結(jié)束,如圖3所示:5鎘汞全球數(shù)據(jù)集的構(gòu)建筆者使用該軟件測試查重和融合“碲鎘汞高性能紅外焦平面技術(shù)”2000-2012年間的1987篇SCI文獻數(shù)據(jù)和2668篇EI文獻數(shù)據(jù),以構(gòu)建碲鎘汞高性能紅外焦平面技術(shù)分析數(shù)據(jù)集。5.1保存文件格式首先,制作融合數(shù)據(jù)所需Excel文件(含SCI/EI兩個原始數(shù)據(jù)表)。在SCI數(shù)據(jù)庫中保存文件格式為Tab-delimited(win)并導入Excel文件的第一個數(shù)據(jù)表中。在EI數(shù)據(jù)庫中保存文件格式為Excel并導入Excel文件第二個數(shù)據(jù)表中。若已保存文件格式為PlainText,則需要使用筆者制作的SCI文獻數(shù)據(jù)格式轉(zhuǎn)換工具或EI文獻數(shù)據(jù)格式轉(zhuǎn)換工具轉(zhuǎn)換為本軟件所需的Excel文件格式。5.2查重匹配方式優(yōu)化在圖1所示的軟件界面中選擇準備好的Excel文件,默認打開文件路徑為軟件所在文件夾,然后點擊選擇查重匹配方式,默認為精確匹配方式,即軟件將采用DOI和出版源年卷期頁兩種全自動查重算法進行查重,不需要人工審核。若點擊模糊匹配方式,則除了使用全自動查重算法外,還會使用題名和作者半自動查重算法進行查重,半自動查重算法所查到的相似文獻數(shù)據(jù)需要通過人工審核確認重復性。5.3sda測試文獻的融合圖4和圖5分別顯示了精確匹配方式查重標記結(jié)果和數(shù)據(jù)融合結(jié)果。從圖4中可以看出,軟件在SCI數(shù)據(jù)表的第一列已填寫了與EI重復的文獻數(shù)據(jù)行號,在EI數(shù)據(jù)表的第一列已填寫了與SCI重復的文獻數(shù)據(jù)行號。圖5為新生成的融合數(shù)據(jù)表,共含3271篇文獻數(shù)據(jù),其中包含1987篇SCI文獻和經(jīng)格式轉(zhuǎn)換后的1283篇非重EI文獻數(shù)據(jù)。將融合數(shù)據(jù)表使用SCI文獻數(shù)據(jù)格式轉(zhuǎn)換工具轉(zhuǎn)換為PlainText格式后,可以導入TDA或CiteSpace等軟件進行進一步分析。表5展示了1987篇SCI和2668篇EI測試文獻數(shù)據(jù)查重和融合效果。本軟件為滿足多次查重需求設計了重新查重和補充查重兩種模式,重新查重模式即覆蓋之前查重結(jié)果從頭開始查重和融合,補充查重即在之