語(yǔ)料庫(kù)的制作和應(yīng)用PPT課件

1、2014.7.14 語(yǔ)料庫(kù)的基本特征 語(yǔ)料抽樣：理論與抽樣操作 語(yǔ)料文本的基本處理：主要處理方式和實(shí)現(xiàn)方式 雙語(yǔ)語(yǔ)料的對(duì)齊：方式和方法 語(yǔ)料檢索：基本檢索和高級(jí)檢索(普通、正則和term list) 雙語(yǔ)語(yǔ)料檢索：基本檢索和高級(jí)檢索 語(yǔ)料數(shù)據(jù)后續(xù)處理：z-score; log-likelihood; factor analysis; correlation; keyness 微型教學(xué)語(yǔ)料庫(kù)的創(chuàng)建和使用 翻譯課堂教學(xué)用雙語(yǔ)語(yǔ)料的制作和應(yīng)用Computer-readable: txt, xml, html, doc, pdfConsistency: ohis mother; his mother;

2、 hisnmotherAnnotation: o我們_r; 我們/r; 我們; 我們Header: o有關(guān)文本的元信息，涉及文本的作者、文體、出版時(shí)間等oChineseEnglishMeiGuoShiWeiYeChou13GShangwuyinshuguan1929B23052相對(duì)完整的語(yǔ)料文件范本 語(yǔ)料庫(kù)可以視為結(jié)構(gòu)合理的語(yǔ)料文件的集合。往往以數(shù)據(jù)庫(kù)形式存在（如文件夾）。這是語(yǔ)料庫(kù)建庫(kù)工作中最重要的部分，也是最耗時(shí)費(fèi)力的部分。 語(yǔ)料數(shù)據(jù)庫(kù)建成之后，就可以從庫(kù)中提取信息，稱(chēng)為檢索。檢索效果高低要看能否充分運(yùn)用檢索手段，但最終依賴(lài)語(yǔ)料庫(kù)本身能提供多少可能性。 檢索結(jié)果的處理需要技巧，事關(guān)處理的質(zhì)

3、量和效率。 有代表性、結(jié)構(gòu)合理的語(yǔ)料文本集合，但不是任意搜集的文本數(shù)據(jù)庫(kù)，也不是越大越好，而是“finite-sized body of machine-readable text”，語(yǔ)料庫(kù)通常有抽樣框架。一般說(shuō)來(lái)，處于研究的需要，語(yǔ)料宜盡量平衡，這樣就不能照單全收，需要考慮從中抽取一部分。抽取多少，如何抽取，這個(gè)問(wèn)題可以說(shuō)眾說(shuō)紛紜。oBrown/LOB：分層抽樣，大小一致；分層抽樣如文學(xué)中小說(shuō)占35%，散文占8%，戲劇占2%。2nd generation corpora: The Corpus di Italiano Scritto oBNC：大小不一（max：40，000 words）；2

4、5%/75%（lit./inf.）oENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 19751995 抽樣字?jǐn)?shù)及分配 語(yǔ)料取樣計(jì)算 語(yǔ)料的最常用存儲(chǔ)方式是純文本，純文本顧名思義就是只有文字，不支持任何其他字符格式，如粗體、斜體、下劃線、表格框，等等。語(yǔ)料以這種方式存儲(chǔ)占用空間極小，且?guī)缀跛袡z索軟件都支持。 將語(yǔ)料以這種方式存儲(chǔ)只是檢索的操作，更

5、重要的是讓存儲(chǔ)的文本內(nèi)容規(guī)范，格式盡量一致，而且沒(méi)有亂碼，不必要的空格和軟回車(chē)、硬回車(chē)，等等文本噪音。要做到這些，就需要對(duì)語(yǔ)料進(jìn)行按部就班的處理。使用Microsoft Word可以對(duì)文本進(jìn)行處理。 Word中的替換、Macro的使用 其他語(yǔ)料文本處理工具的使用（Editplus） 規(guī)范語(yǔ)料文件的生成：無(wú)噪音、符合預(yù)期的加工規(guī)范（標(biāo)記充分）。 Header | POS 存儲(chǔ)格式（txt|xml） 輔助軟件的使用：通常會(huì)包含包含文本除噪程序的headadder，txtmarker。其實(shí)除噪是執(zhí)行一些替換性的操作（see next slide）$line=s/sn/n/g; #matching a

6、nd replacing all$line=s/(.)n/$1 /g; #matching and replacing all$line=s/rn/#/g; #matching and replacing all$line=s/*/g; #matching and replacing all$line=s/s*$/g; #matching and replacing all$line=s/s0,/s/g; #matching and replacing all$line=s/sn/n/g; #matching and replacing all$line=s/Zn/#/g; #matching

7、 and replacing all$line=s/ +/ /g; #replace more whitespaces with just one$line=s/s+(#2,)/$1/g; #matching and replacing all 添加metadata后的語(yǔ)料樣態(tài) 對(duì)齊就是源文和譯文對(duì)應(yīng)。翻譯語(yǔ)料的主要特征是對(duì)齊。 對(duì)齊的語(yǔ)言層級(jí)：o 段對(duì)齊o 句對(duì)齊o 段對(duì)齊中的句對(duì)齊 對(duì)齊方式不同，與創(chuàng)建語(yǔ)料庫(kù)的目的有關(guān)。比如，如果僅僅用于輔助翻譯，就可以采用句對(duì)齊。而要用于翻譯研究，就需要考慮段落層面的語(yǔ)言使用信息，如銜接、話語(yǔ)標(biāo)記等。對(duì)齊軟件有很多，CAT類(lèi)軟件、Paraconc、專(zhuān)門(mén)軟

8、件。 初始對(duì)應(yīng)：源語(yǔ)、目標(biāo)語(yǔ)文本段對(duì)齊，word下完成校對(duì)。這一步最重要。 Paraconc可以考慮添加s標(biāo)記。 對(duì)齊：軟件對(duì)齊。如aligner，paraconc；Trados，dejavu，bitext2tmx。前兩者提供段對(duì)齊和句對(duì)齊；后三個(gè)軟件一般只提供句對(duì)齊。Annotation, 就是加標(biāo)簽（tagging）.標(biāo)注的分類(lèi)：自動(dòng)標(biāo)注、人工標(biāo)注；詞性-句法標(biāo)注、功能標(biāo)注；標(biāo)注標(biāo)記_、/、。人工標(biāo)注主要是指功能性標(biāo)注，如語(yǔ)義標(biāo)注、翻譯手段的標(biāo)注，以及為滿足特定研究目的進(jìn)行的附碼如話輪、間接、直接言語(yǔ)行為，等等。從一定意義上說(shuō)，人工標(biāo)注涉及更深語(yǔ)言層面，標(biāo)注充分對(duì)于研究自然更有意義。自動(dòng)標(biāo)

9、注主要包含詞性標(biāo)注和句法標(biāo)注，可以通過(guò)軟件來(lái)實(shí)現(xiàn)。使用text文本時(shí)，缺省編碼為ANSI。用于WordSmith用的語(yǔ)料文本一般應(yīng)為unicode。許多軟件如Antconc等支持utf-8編碼，這種編碼各種語(yǔ)言通用，最不易出現(xiàn)亂碼。實(shí)現(xiàn)方式：txt文本，另存為，“編碼”對(duì)話框中選擇utf-8即可。 存儲(chǔ)方式o 語(yǔ)料數(shù)據(jù)文件最好能在不同的檢索程序上通用，甚至可以在一些現(xiàn)成的管理程序如excel上執(zhí)行數(shù)據(jù)信息的計(jì)算，分析和管理。要實(shí)現(xiàn)這樣的功能，簡(jiǎn)單存儲(chǔ)為txt文本顯然不能滿足以上要求。這時(shí)就需要一種比較完整地?cái)?shù)據(jù)存儲(chǔ)方式xml。o 可擴(kuò)展標(biāo)記語(yǔ)言 (Extensible Markup Langu

10、age) 可以用來(lái)標(biāo)記電子文件，標(biāo)記后的文件有結(jié)構(gòu)性的標(biāo)記語(yǔ)言。既然標(biāo)記數(shù)據(jù)就可以通過(guò)標(biāo)記定義數(shù)據(jù)的類(lèi)型，而且標(biāo)記可以根據(jù)我們自己的需要自行定義，合乎語(yǔ)法就行。Xml生成 檢索與語(yǔ)言使用的范疇、特征 曲折變化：move, moves, moving, moved 派生：move, movement 詞性：move(v.), wove(n.)； in, at, on, over, upon, from 人稱(chēng)：I, me, we, us 短語(yǔ)、組合能產(chǎn)：a lot of, a part of, a cup of, a piece of 結(jié)構(gòu)能產(chǎn)：give me a book; send his f

11、ather a message V NP NP ; V NP NP 語(yǔ)言使用的特征決定了檢索不太可能是token，許多情況下要檢索到type，或者需要詞性線索。 檢索語(yǔ)種數(shù)量o 主要的單語(yǔ)檢索軟件：Wordsmith， Monoconc，Antconco 雙語(yǔ)檢索：Paraconc， CAT，自行設(shè)計(jì)的檢索軟件（歷時(shí)語(yǔ)料檢索） 基本檢索o 以Antconc為例實(shí)施檢索?；緳z索包含token檢索和wild card檢索，檢索前先要熟悉語(yǔ)料的存儲(chǔ)方式。 高級(jí)檢索 Antconc中的單語(yǔ)高級(jí)檢索：正則表達(dá)式檢索，使用正則表達(dá)式的term list檢索。 Paraconc中的雙語(yǔ)高級(jí)檢索：正則表達(dá)式

12、檢索 滿足某些研究需要的正則表達(dá)式檢索：歷時(shí)語(yǔ)料庫(kù)檢索平臺(tái) omegaT檢索 正則表達(dá)式的檢索功能有些使用通配符也能做到，但有些則是通配符檢索無(wú)法實(shí)現(xiàn)的。實(shí)際檢索時(shí)發(fā)現(xiàn)，在詞匯層面，漢語(yǔ)的疊詞以及隔詞重復(fù)的精確檢索只能使用正則表達(dá)式，使用通配符也能勉強(qiáng)檢索，但無(wú)法精確檢索；在句子層面，正則表達(dá)式能使準(zhǔn)確的句段長(zhǎng)度檢索和嚴(yán)格的句段內(nèi)部結(jié)構(gòu)檢索成為可能。 正則表達(dá)式的使用看上去有些繁瑣，但只要肯花點(diǎn)時(shí)間熟悉元字符的意義，使用起來(lái)也比較方便，它還有助于提高檢索的準(zhǔn)確性和效率，進(jìn)而提高語(yǔ)言研究的質(zhì)量。 語(yǔ)料檢索的目的是發(fā)現(xiàn)問(wèn)題，而語(yǔ)料庫(kù)檢索發(fā)現(xiàn)的問(wèn)題主要表現(xiàn)在頻次、頻率上。語(yǔ)料庫(kù)的這一長(zhǎng)處必須充分發(fā)揮

13、，才稱(chēng)之為語(yǔ)料庫(kù)語(yǔ)言研究。 頻次、頻率典型表達(dá)為數(shù)字，處理數(shù)字問(wèn)題關(guān)系到研究結(jié)論的可信度，需要使用一些處理方法，常用的處理方法有：o 頻率對(duì)比：特定的詞、詞叢、詞性賦碼串；使用WS或Antconc中keyness工具對(duì)比詞表、詞叢表o 搭配強(qiáng)度計(jì)算：Z-scoreo 頻率差異顯著性計(jì)算：log-likelihood計(jì)算 一般說(shuō)來(lái)，詞表對(duì)比的結(jié)果可以重新標(biāo)注用于分類(lèi)處理 重復(fù)詞項(xiàng)計(jì)算 Facotor analysis (SPSS) Correlation analysis (SPSS) 基本思路：已有翻譯為參照，為當(dāng)下翻譯提供參考；建立術(shù)語(yǔ)庫(kù)，使術(shù)語(yǔ)統(tǒng)一成為可能。 CAT的主體部分是TM和Term Database CAT軟件：Trados，Deja vu，雅信，（免費(fèi)）OmegaT T