漢字作為詞匯語義基元 探略Chinese Character

漢字作為詞匯語義基元:探略

ChineseCharactersasPrimitivesinLexicalSemantics揭春雨ChunyuKITDept.ofChinese,Translation&LingusiticsCityUniversityofHongKongctckit@.hkSoochowUniversityCLSW20108:30-9:10am,22/05/2010

OutlineChinesecharactervs.letterCharactersinChinesemorphologyMorpheme：boundvs.freeCompoundingvs.Derivation：Stem,prifix&suffixSpecialcase:們

Charactertypeinmorphology:a,n,v,adj,adv,…Exceptions:adv+n,licensedbymeaningNegationinChinese:morphology&syntaxTextmeaningincharactersWhatdidLiBaiandDuFusayintheirpoetry?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Selfintroduction:ourresearchgroupCWS:Supervised&unsupervisedwordidentificationAchievementsinrecentinternationalevaluations:ZhaoHai:No.1inallclosedtestsoifCWSinBakeoff-4HaiZhao:No.2&1inCoNLLdependencyparsingsharedtasksBillyWong:No.7-8,inNISTMTEvel.Metrics:ATECXiaoChen:No.1inlastChineseparsingevaluationXu

Ruifeng:No.1&2in2ndCOAT&lastNTCIR(Chinesetracks)SongYan:No.1inallChineserelatedtransliterationsharedtasksNewdirection:Computationalpoetics/poetryChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Charactervs.letterWhichsequenceofchar/letterismeaningful?abcd…ab

norm

al

mean,mean

ing,mean

ing

ful,un

mean

ing,un

mean

ing

ful

一二三四五…正工木火水土金…水土木工四正五金五土

五一五四火水…

ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010ObservationsMeaningsareassignedtoindividualsymbol

sequencesThen,thismeaning-symbolassociation

stableFixedsetofsymbolsunlimitedlymanymeanings

MeaningcombinationthroughsymbolcombinationMostly,tree,inalmostallmorpho-syntacticallevelsConcatenation=small/flattree

Moreandmoresymbolcombinationsarecreatedfornewmeanings.ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Whatlicenseacombination?Syntax!E.g.,Adj+NAdv+AdjAdv+V…But,exceptions:Adv+N(inChinese)SyntaxMorphologySNPVPVNPSyllableOnsetRhymeNucleusCodaChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010CharactersinChinesemorphologyAlmostevery字

canbeaword(ormorpheme)Exceptions:連綿詞(bindingword)：蚯蚓，蜉蝣，枇杷，琵琶，…半連綿：蝴蝶，蟾蜍，…Words=freemorphemesBoundmorphemesAsmallclosesetinChinese:們，兒，…ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010ChinesemorphologyAfewmostpopularwaystocreatewordsCompounding:N+N：煤油，草藥，火水，禮拜一Derivation：Prifix+stem/root+suffix：我們，抗藥性，非機(jī)動(dòng)性Abbreviation：中國，蘇大，Combinationabove：中草藥，中小學(xué)，大中小學(xué)，…大中小學(xué)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Probleminwordsegmentation這個(gè)星期我們星期四五六都休息。Wordidentificationvs.segmentationAcallforproperrepresentationforwords(ortokens)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Anotherproblem:們

Examples我們，你們，他們，它們老師們，同學(xué)們，先生們，孩子們…

[人]+們動(dòng)物：?鳥兒們?蝴蝶們?恐龍們?兔子們豬們狗們物體：星星們?桌子們?椅子們?nèi)嗣?張三們北島們克魯曉夫們托洛斯基們Primitives：[人]+[復(fù)數(shù)]。用法在進(jìn)化中+人+動(dòng)物+生命[泛化?]越來越側(cè)重：[復(fù)數(shù)]ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Derivation

前綴

+ 詞根 + 后綴

非 N 性 反 兒 老 們 阿 字

第 能哪個(gè)漢字不是“綴”？草根，樹根，木根，詞根，銀根，扎根，氣根，起根，…ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010CharacterasprimitivesRadicals(偏旁部首)indicatecategories水：淋，澆，濕，潤，江，河，湖，海，泊，油，…沒，法，活，治，激，測，木：森，林，材，樹，樺，李，梨，榛，…橋，權(quán)，機(jī)，樣，校鳥：雞，鴨，鵝，鸕鶿，鴛鴦，鷂，鷹，…Characterascategories:e.g.,人Charactersasprimitivesinknowledgerepresentation-?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Structurevs.relationMorphology&syntax:StructureMeaningcombinationsunderthesamestructure直接：大人，老人，小孩，…間接：花生油，菜油，煤油，火水，…Combinations/relationsofmeaningsvs.structures:Morearbitrary?Morecomplicated?PatternsConventional(allowable):adv+v,adv+adjUnconventional(orevendisallowable):adv+nChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Andoddpattern:adv+nExamples*很桌子，*不學(xué)校，*太鼻子，*極其腦袋……很狗，很木頭，?很石頭，極其榆木腦袋，太王八蛋啦，非常文藝腔，特別奶油小生，*很揭春雨，太徐志摩，很鄧麗君，一點(diǎn)也不希特勒，?很北島，*太鄧小平，很陽光，*很閃電/風(fēng)雨，很香港，很新加坡，很農(nóng)村，很城市，很鄉(xiāng)郊，很貧民窟，?很別墅，很中產(chǎn)，….馬上何處不秋風(fēng)，星空很希臘，…最？Whatprimitivesinthemallow(orlicense)suchcombinations?Internalvs.external(e.g.,context)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010WhysomanynegatorsinChinese?Whywe(needto)havesomanynegatorsinChinese？不，無，沒(有)，莫，未，非，勿，甭，別，否，弗，罔，毋，休，…Adv+n:*不有，*無有，*非有，Negator(s)inEnglish:basically,onlyone

!“not”advpredicate“no”–proposition,“thereisnot”Polarity:seldom,hardly,never,scarcely,…Also,manydoublenegationsinChinese不無，無不，莫非，*非莫，莫不，*不莫，無非，?非無，…ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010NegationinmorphologyPatternsneg+v:莫測，無視，不羈，不惜，不虞，

neg+aux.:不可，不要，不宜，

neg+adj/adv:沒錯(cuò)，無愧，不安，不再，不周neg+p/conj:未經(jīng)，不但，無比，不然，不外，不只neg+part:沒完沒了，不已，….ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010NegationinmorphologyPatternsneg+n:

沒譜兒，沒趣，沒關(guān)系，無償，無恥，不齒，不力，不才，不暇，不果，不一，不二，不三不四，不人不鬼，不倫不類，不蔓不枝，不湯不水，不東不西不白之冤，不毛之地，不時(shí)之需，不情之請，不經(jīng)之談，不世之才，不脛而走，不翼而飛，不期而遇，不夜天，不夜城，不夜情，男不男，女不女，神不神，鬼不鬼，……ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Questions,orconjecturesWhatlicensessuch“ungrammatical”negation?MorphologicalpatternsagainstsyntacticrulesBymeaningmorethanbysyntax.Whatprimitivesallowsuchvalence?Meaning(orpattern)overridesrules?

Manyexceptionsapattern?Manypatternsarule?Patternstosyntax?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Meaningofthematiccorpus=?CharacterMorphemeWordPhraseSentenceParagraphTextE.g.,anarticle,prose,essay,poemCorpus?ThecollectionsofLiBai’sorDuFu’spoemsMeaningsarbitrarilyassignedCompositionalsemantics+pragmaticsChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010Computationalpoetry/poeticsTwodirectionsAutomaticgenerationofpoem(=poetictexts)Analysis/appreciation/translationofpoetryChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010微軟：對聯(lián)生成系統(tǒng)輸入上聯(lián)生成下聯(lián)若干候選基本技術(shù)：統(tǒng)計(jì)機(jī)器翻譯揭春雨:

門以天地闊，窗由日月明機(jī)器生成的下聯(lián)候選中有：路從云水閑！ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010PoetryGeneration:BasicideaMeaningfulness，grammaticality,poeticnessGenerationofpoeticform(text)insteadofcontentCategoryWordSaladTemplate-based:Rubaudetal.(2000),Gervas(2002))Generateandtest:WASP(Gerv′as,2000),Manurung(1999)Evolutionaryapproach:POEVOLVE(Levy,2001),MCGONAGALL,Manurung(2000,2003)Case-based:ASPERA(Gervas,2001),COLIBRI(Diaz-Agudoetal.,2002)ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010漢語詩歌生成？對聯(lián)絕句？律詩？建議：仿詩聯(lián)句專題ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010詩歌文本識(shí)別那一篇文本是詩文本？譬如，網(wǎng)上詩特征HamidR.Tizhooshetal.2008.

PoeticFeaturesforPoemRecognition:AComparativeStudy.

JOURNALOFPATTERNRECOGNITIONRESEARCH(2008)24-39.RhymeMeterShapeMeaningWordfrequencyPoemornot?Textclassificationproblem自由體詩呢？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010詩歌文本識(shí)別哪個(gè)文本是一首詩？誰的詩？…網(wǎng)上詩歌文本挖掘詩歌文本收集雙語詩歌：誰是誰的翻譯？詩歌機(jī)器翻譯ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010但是，詩(意)在哪里？

詩從哪里來？而且，能簡單一點(diǎn)嗎？“我們簡單，所以深刻”(舒婷)詩人的“靈魂”算得出來嗎？靈魂=潛意識(shí)詩人的潛意識(shí)：什么驅(qū)使一個(gè)詩人去寫作寫什么？內(nèi)容怎么寫？風(fēng)格從其詩歌文本，能推算一二嗎？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010

語料統(tǒng)計(jì)分析李杜

在詩歌藝術(shù)風(fēng)格和世界觀上的差異統(tǒng)計(jì)跟語言學(xué)研究有什么關(guān)系？語言學(xué)研究形式功能語料統(tǒng)計(jì)詩歌藝術(shù)風(fēng)格世界觀互相之間有什么關(guān)系？跟語言學(xué)研究有什么關(guān)系？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010語料統(tǒng)計(jì)與語言學(xué)語言學(xué)研究必須基于語言事實(shí)某種形式(主義)形式規(guī)律數(shù)學(xué)屬性邏輯語料實(shí)在的事實(shí)內(nèi)省的外在的統(tǒng)計(jì)=\=羅列語言事實(shí)！統(tǒng)計(jì)，也是一種形式(主義)例如，概率分布模型向量模型最小描述長度模型隱馬爾科夫模型以及其它種種機(jī)器學(xué)習(xí)模型等等形式化程度可以非常高ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010形，形式，形式主義語言中有很多形(式)。

例如最小的語音形式最小的文字形式最小的有意義的形式最小的有意義的自由形式……結(jié)構(gòu)串，樹，圖，……關(guān)系，等等語言的每個(gè)(種)形體(式)都有其特定的意義(以及功能)詞素，詞，短語，句，段，篇章，……那么，文本的集合：文本庫呢？譬如，一首詩=？

李白詩全集=?用什么形式來表達(dá)用什么形式(主義)來研究需要一種適于宏觀表達(dá)的形式?ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010一種最簡單的宏觀表達(dá)：頻度統(tǒng)計(jì)每一個(gè)文本(字串)都可以轉(zhuǎn)換成一個(gè)“詞袋”(word-bag)詞袋模型沒有詞序的詞集合但有詞頻(率)以單詞為特征的向量(vector)更簡單的模型：字袋模型字頻統(tǒng)計(jì)字向量＝？F1V1F2V2F3V3.........FnVnVectorChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010李杜詩歌比較研究李白、杜甫：中國歷史上最偉大的兩位詩人。盛唐詩歌兩座巔峰。“雙子星座”。老幼皆知，有口皆碑。他們在詩歌藝術(shù)風(fēng)格上的巨大差異，也舉世公認(rèn)。比較研究來由已久，文獻(xiàn)汗牛充棟。兩大取向：揚(yáng)李抑杜揚(yáng)杜抑李ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010以前的研究嚴(yán)羽《滄浪詩話》：

“子美不能為太白之飄逸，太白不能為子美之沉郁”。李白在浪漫主義上登峰造極，風(fēng)格飄逸豪放，率性自然，明快爽朗，還有明顯的求仙出世和及時(shí)行樂的思想傾向，世稱“詩仙”。杜甫是現(xiàn)實(shí)主義的集大成者，風(fēng)格沉郁頓挫,含蓄曲折,

憂傷悲憫，在貧病交加的身世中不忘懷國憂世，

史稱“詩圣”。浪漫主義=？“仙”=？現(xiàn)實(shí)主義=？“圣”=？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010存在的問題李杜詩歌研究的由來已久，歷史很長，比較他們藝術(shù)風(fēng)格差異的述著堪稱汗牛充棟，但絕大多數(shù)都是以個(gè)人閱讀的主觀感受作為基點(diǎn)進(jìn)行闡發(fā)，佐以例證。流弊以主觀喜好爭拗誰比誰更好，公說公理，婆說婆理。例證：孤點(diǎn)證據(jù)，缺乏去全面性，系統(tǒng)性，可靠性。這位詩人具有的特質(zhì)，另一位也有，也可以找到例證。嚴(yán)羽之后，似乎沒有什么更加發(fā)人深省的洞見，或發(fā)現(xiàn)，基本上都是一些粉刷性的工作。ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010比較的目的：求同存異哪些方面、部分是相同的，相似的有多相似？需要一種相似度計(jì)量？哪些方面、部分是相異的，相反的差別有多大？也需要一種相異度計(jì)量？相同的部分是比較的基礎(chǔ)不同的部分是比較的結(jié)果不同=\=相反反義詞的語義是最相似的：只有一個(gè)特征相反ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010李、杜詩全集的字頻比較求同=？“不”否定，疑問(+“何”)“人”關(guān)懷，核心主題“天山云風(fēng)日月水江海...”自然環(huán)境：生存空間“日月年時(shí)春秋今老...”

時(shí)間，季節(jié)，年紀(jì)“來去歸行客...”......存異＝？ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010李、杜字頻差別情緒(Sentiment)比較杜：“老病雨野舊衰峽故亂馬暮細(xì)小村深蕭寒...”李：“月天海云山明水綠笑流空白飛清歌陽上龍風(fēng)酒松紫閑...”性格決定命運(yùn)？宿命？杜：老病江舟而死李：投江抱月而逝何以如此差別？李白杜甫ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010分類分析(一)1.自然景物......花陵松酒風(fēng)玉水山云金海天月江雨野峽馬暮詩頭村書舟城林蜀晚......2.人文景物、關(guān)系......璧繡宮樽鞭弦瑤丹杯琴窗舞妾女劍樓臺(tái)陵仙酒歌人我君

亂詩村書官城州尊兒臣軍府兵賊童盜堂家縣路儒漁廟主鄉(xiāng)......杜甫杜甫李白李白3.封閉類單字詞.....四誰且爾以六萬九兩兮下而還上三如與一五可何千若此不之我君

自未已更無猶須常尚終汝亦豈才者吾應(yīng)兼正仍甚百非況......杜甫李白ChunyuKit揭春雨,CityUofHKCLSW2010

SoochowUniv.,22/05/2010分類分析(二)4.光、顏色、溫度等......雪碧霜黃青光紫白綠明金寒黑翠冷暗熱涼冰......5.動(dòng)物、植物......樹苔桐桑桂雞鴻蓬蘿李鳳鶴猿虎楊草桃女花仙松龍馬杖茅荊竹根柴烏蛟鳥藜楫菊杜鷗蹄籬楓藥蛇刺......杜甫杜甫李白李白6.心理、生理、感受、動(dòng)作......愛揮搖歡嘆望投贈(zèng)嘯顧飲欲吹愿吟舞情思手夢醉樂游弄拂歌笑心老病衰頭看寒喜眼身問憂哀甘恐慘聞求憐面哭血走冷口骨涕饑憶汗愧飽痛......杜甫李白ChunyuKit揭春雨,CityUof