大數(shù)據(jù)時(shí)代的古典文學(xué)研究

1、 | HYPERLINK / 百度首頁(yè) HYPERLINK /v2/?login 登錄 HYPERLINK /cashier/browse/vipcashier?dqStatCode=topnav_joinvip&cashier_code=topnav_joinvip VIP意見(jiàn)反饋 HYPERLINK /apps?fr=1011 下載客戶(hù)端4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù) HYPERLINK /?fr=nav 首頁(yè) HYPERLINK javascript:void(0); 分類(lèi) HYPERLINK javascript:void(0); 精品內(nèi)容 HYPERLINK

2、/wenkuverify?from=1 申請(qǐng)認(rèn)證 HYPERLINK javascript:void(0); 機(jī)構(gòu)合作 HYPERLINK javascript:void(0); 頻道專(zhuān)區(qū) HYPERLINK /xtopic/wkback 百度智慧課堂 HYPERLINK /user/browse/vip/ 百度教育VIP大數(shù)據(jù)時(shí)代的古典文學(xué)研究 HYPERLINK /?fr=crumbs 百度文庫(kù) HYPERLINK /?fr=crumbs HYPERLINK /edu/index 教育專(zhuān)區(qū) HYPERLINK /edu/index HYPERLINK /list/10 高等教育 HYPER

3、LINK /list/10 HYPERLINK /list/112 文學(xué)數(shù)據(jù)檢索向數(shù)據(jù)分析、數(shù)據(jù)挖掘轉(zhuǎn)型。在圖像處理領(lǐng)域，針對(duì)疑難文字的 OCR 技術(shù)與利于版本?？钡膱D像檢索，是值得期待的方向。 關(guān) 鍵 詞：數(shù)據(jù)分析/數(shù)據(jù)挖掘/OCR/圖像檢索 基金項(xiàng)目：本文為國(guó)家社會(huì)科學(xué)基金青年項(xiàng)目“宋代文學(xué)地圖數(shù)字分析平臺(tái)研究”(項(xiàng)目編號(hào) 12CZW032)階段性成果。 作者簡(jiǎn)介：劉京臣，中國(guó)社會(huì)科學(xué)院文學(xué)研究所副研究員。出版過(guò)專(zhuān)著盛唐中唐詩(shī)對(duì)宋詞影響研究：以六大詩(shī)人為中心等 信息技術(shù)極大地推動(dòng)了古典文學(xué)研究，這已成為學(xué)界共識(shí)。具體來(lái)說(shuō)，這一推動(dòng)主要表現(xiàn)在數(shù)據(jù)采集、數(shù)據(jù)檢索等方面，如文淵閣四庫(kù)全書(shū)電子版、

4、四部叢刊電子版、中國(guó)基本古籍庫(kù)等都是數(shù)據(jù)檢索領(lǐng)域的杰出成果。檢索之后的數(shù)據(jù)分析，也已經(jīng)取得了一定的發(fā)展，全宋詩(shī)分析系統(tǒng)堪稱(chēng)數(shù)據(jù)分析的典范之作。這些成就，時(shí)彥多有論及，茲不為贅。2005 年，李鐸先生即敏銳指出信息技術(shù)在人文學(xué)科的應(yīng)用方面已經(jīng)進(jìn)入了“分析時(shí)代”，此說(shuō)確然。十年后的今天，社會(huì)已然進(jìn)入了以大數(shù)據(jù)、云計(jì)算為代表的“挖掘時(shí)代”。對(duì)結(jié)構(gòu)化文本的數(shù)據(jù)分析、對(duì)非結(jié)構(gòu)化文本的數(shù)據(jù)挖掘，是文本研究領(lǐng)域的發(fā)展方向。隨著多媒體檢索技術(shù)的發(fā)展，對(duì)圖像、聲音、視頻等進(jìn)行檢索成為 IT 界的熱點(diǎn)。圖像檢索隨之被廣泛應(yīng)用于醫(yī)療、/view/17096b885122aaea998fcc22bcd126fff60

5、55d5c.html1/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)遙感、測(cè)繪等領(lǐng)域，并取得了相當(dāng)成就。這些對(duì)傳統(tǒng)的古典文學(xué)學(xué)科而言，是機(jī)遇，也是挑戰(zhàn)。本文中為了論述方便，我們將文獻(xiàn)分為兩大類(lèi)：一類(lèi)是已經(jīng)被機(jī)器識(shí)別(如 txt、doc、rtf 等文檔)或可以直接被機(jī)器識(shí)別的(如光明日?qǐng)?bào)、文學(xué)評(píng)論等報(bào)刊，蘇軾全集、萬(wàn)歷十五年等現(xiàn)代出版物等)文本文獻(xiàn)；另一類(lèi)是尚不能被機(jī)器直接識(shí)別的(如稿抄本中的疑難文字等)圖像文獻(xiàn)。一 結(jié)構(gòu)化文本的數(shù)據(jù)分析 “結(jié)構(gòu)化文本的數(shù)據(jù)分析”包含這樣三個(gè)概念。其一，“結(jié)構(gòu)化文本”主要是指詩(shī)、詞等體式較為固定的文體，在利用技術(shù)手段處理時(shí)，因其體式上的便利，易于

6、尋覓到聲調(diào)、用韻、格律、小序等方面的結(jié)構(gòu)特征，故而對(duì)這類(lèi)文體較易實(shí)現(xiàn)技術(shù)干預(yù)。其二，“結(jié)構(gòu)化文本”還指排除掉文字識(shí)別、大字符集、分詞、斷句等因素干擾，完全滿足用戶(hù)需求的、已進(jìn)行過(guò)標(biāo)注與分類(lèi)的數(shù)據(jù)。同時(shí)，還要盡可能多地加載滿足分析所需要的第三方文獻(xiàn)庫(kù)文獻(xiàn)庫(kù)主要由兩大類(lèi)組成，一類(lèi)是諸如人名、職官、地名、系年、典故等具有詞典性質(zhì)的基礎(chǔ)文獻(xiàn)庫(kù)；另外一類(lèi)是已經(jīng)數(shù)字化的歷代研究者的研究專(zhuān)著，便于分析時(shí)與文本相參?！皵?shù)據(jù)分析”，是“數(shù)據(jù)檢索”基礎(chǔ)上的自動(dòng)化分析，在一定程度上具備了初級(jí)智能，諸如以下三類(lèi)結(jié)構(gòu)化文本基本可以借助數(shù)據(jù)分析來(lái)實(shí)現(xiàn)預(yù)期設(shè)想。1.詩(shī)詞韻、律等外部體式分析前人在詩(shī)話、詞話中留下無(wú)數(shù)精妙的見(jiàn)

7、解，利用技術(shù)手段，我/view/17096b885122aaea998fcc22bcd126fff6055d5c.html2/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)們可以對(duì)一些論斷進(jìn)行驗(yàn)證。如陳僅竹林答問(wèn)稱(chēng)“作古詩(shī)聲調(diào)，須堅(jiān)守杜、韓、蘇三家法律”，1997 年蔣寅先生以韓愈七古的聲調(diào)分析(第三屆中國(guó)唐代文化學(xué)術(shù)研討會(huì)論文集，臺(tái)灣政治大學(xué)中文系 1997 年)為例進(jìn)行詳盡研究，指出清人所論，雖看似出自主觀論斷，然用實(shí)證之法相驗(yàn)卻大抵不謬。現(xiàn)在利用技術(shù)手段可以對(duì)任意時(shí)段、任意作家的相關(guān)詩(shī)歌進(jìn)行聲調(diào)分析，其效率較之人工判斷更顯優(yōu)勢(shì)。再如詩(shī)歌中賦得詩(shī)、分題詩(shī)、分韻詩(shī)、次韻詩(shī)等，皆

8、因有較為鮮明的標(biāo)識(shí)而易于技術(shù)干預(yù)。我們只需提取“賦得”、“賦得”等題名格式，則賦得詩(shī)可得大略。若對(duì)某一時(shí)段的上述體式詩(shī)歌作品批量提取，將詩(shī)歌創(chuàng)作者、題材、體裁、用韻、留存等歸納總結(jié)，形成更為準(zhǔn)確的數(shù)據(jù)，能較為直觀地勾勒出詩(shī)歌交流情況，對(duì)詩(shī)人唱和、詩(shī)歌雅集等研究是有益補(bǔ)充。如沈遘有應(yīng)制依韻和御制后苑賞花釣魚(yú)詩(shī)，“依韻”說(shuō)明“御制”詩(shī)亦押十灰韻，“和御制后苑賞花釣魚(yú)”點(diǎn)明了詩(shī)歌唱和的內(nèi)容；我們分別對(duì)北宋段押十灰韻的七律和以“賞花釣魚(yú)”為題的詩(shī)歌進(jìn)行分析， 繹出胡舍、宋庠、歐陽(yáng)修、韓琦、司馬光等人的依韻和宋仁宗賞花釣魚(yú)詩(shī)。再與續(xù)資治通鑒長(zhǎng)編等史料相結(jié)合，可將沈遘此詩(shī)編年為嘉祐六年(1061)三月。2

9、.詩(shī)歌用語(yǔ)與題材研究如果說(shuō)上述研究關(guān)注的多是集中時(shí)段的群體交流，那么集句詩(shī)、集句詞則可能存在著同時(shí)、異代等情形，利用比對(duì)這些作品中的重出比率，/view/17096b885122aaea998fcc22bcd126fff6055d5c.html3/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)能輕松判斷集句作品的淵源。從這個(gè)角度看，詩(shī)詞箋注、詩(shī)詞鑒賞的部分工作判斷作品用語(yǔ)，借助技術(shù)也可在一定程度上實(shí)現(xiàn)。學(xué)界對(duì)諸如邊塞詩(shī)、詠史詩(shī)、田園詩(shī)等具體的詩(shī)歌類(lèi)型已有較為充分的研究。可以說(shuō)，研究得越充分，利用技術(shù)進(jìn)行自動(dòng)化研究的條件就越成熟。思路如下：首先，我們將類(lèi)書(shū)、典故辭典等外在輔助文獻(xiàn)納

10、入機(jī)器的學(xué)習(xí)范圍，使其具有初步的題材判斷能力，面對(duì)大量文本，能提取出某類(lèi)具體題材的作品；其次，讓機(jī)器學(xué)習(xí)學(xué)界現(xiàn)有的關(guān)于這類(lèi)題材的研究成果，機(jī)器在輔助文獻(xiàn)的基礎(chǔ)上，學(xué)到不同學(xué)者的分類(lèi)、判斷與研究理路，從而形成機(jī)器的判斷體系，在面對(duì)還未深耕的朝代時(shí)，機(jī)器有望實(shí)現(xiàn)自行研判。3.文體互動(dòng)、言說(shuō)模式的提取 自尚書(shū)的典、謨、詔令諸體開(kāi)始，古人形成初步的文體觀。朝代更替，不同文體之間互相影響。筆者曾于 2007-2010 年間利用技術(shù)手段從字句、用典、意象、意境等角度，以王維、李白等六大詩(shī)人為中心，考察盛唐中唐詩(shī)歌對(duì)于宋詞的影響。例如指出貞元二十一年(805)至元和二年(807)、元和十年(815)至元和十

11、二年(817)兩個(gè)“三年”間創(chuàng)作的詩(shī)歌對(duì)宋詞的影響最為顯著等，這些結(jié)論是建立在數(shù)據(jù)分析挖掘基礎(chǔ)之上的，較之前人的判斷更有學(xué)理依據(jù)?，F(xiàn)在，不同文體間的影響接受研究有了新的思路。利用數(shù)據(jù)挖掘，結(jié)合互文性理論，挖掘文本細(xì)節(jié)，提煉總結(jié)言說(shuō)規(guī)律并設(shè)計(jì)模型，或可將此研究推向更前。例/view/17096b885122aaea998fcc22bcd126fff6055d5c.html4/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)如以下幾聯(lián)的言說(shuō)模式：河陽(yáng)飛鳥(niǎo)外，雪嶺大荒西。(郎卷經(jīng)歸鳥(niǎo)外，轉(zhuǎn)雪過(guò)山椒。(無(wú)士元送楊中丞和番)可送僧歸中條)夕陽(yáng)鳥(niǎo)外落，新月樹(shù)端生。(梅堯臣中秋新霽，壕水初滿，自

12、城東偶泛舟回)新月已生飛鳥(niǎo)外，落霞更在夕陽(yáng)西。(張耒和周廉彥)這四聯(lián)有異曲同工之處，現(xiàn)有技術(shù)基本可以判斷出它們之間確有關(guān)系。但卻難像錢(qián)鍾書(shū)先生一樣見(jiàn)解深邃，錢(qián)先生稱(chēng)朗士元與無(wú)可句：“都是想象地方的遙遠(yuǎn)，不是描寫(xiě)眼前的景物；梅、張的寫(xiě)法正像岑參宿東溪王屋李隱者天壇飛鳥(niǎo)過(guò)，杜甫船下夔州別王十二判官柔櫓輕鷗外，姚鵠送友人出塞入河殘日雕西盡，以至文徵明題子畏所畫(huà)黃茆小景遙天一線鷗飛剩等，把一件小事物作為一件大事物的坐標(biāo)，一反通常以大者為主而小者為賓的說(shuō)法?！毕乱徊郊夹g(shù)的目標(biāo)，即通過(guò)深度學(xué)習(xí)，使用機(jī)器逐漸生成提煉言說(shuō)模型的能力，并能總結(jié)這些模型之間的細(xì)微差距。通過(guò)“結(jié)構(gòu)化文本”的數(shù)據(jù)分析，機(jī)器可以初步掌

13、握文本的規(guī)律性，“非結(jié)構(gòu)化文本”則重在鍛煉機(jī)器的認(rèn)知能力。其實(shí)，從這個(gè)意義上講，我們已經(jīng)涉及到了機(jī)器學(xué)習(xí)，它的核心是特征、模型與訓(xùn)練數(shù)據(jù)(已標(biāo)注數(shù)據(jù)或未標(biāo)注數(shù)據(jù))。首先建模，抽取特征，在訓(xùn)練數(shù)據(jù)中學(xué)習(xí)模型參數(shù)。當(dāng)然，訓(xùn)練數(shù)據(jù)是越多越好。傳統(tǒng)的機(jī)器學(xué)習(xí)需要提取特征，然后建立模型學(xué)習(xí)，“結(jié)構(gòu)化文本”的自身特征恰好具有較為明顯的“特征”，所以面對(duì)這類(lèi)文本，/view/17096b885122aaea998fcc22bcd126fff6055d5c.html5/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)數(shù)據(jù)分析基本可以滿足我們的需求。但大數(shù)據(jù)往往是“非結(jié)構(gòu)化文本”，提取特征比較困難，

14、加之?dāng)?shù)據(jù)是海量的，人工干預(yù)不現(xiàn)實(shí)、也不可能，這時(shí)就要用到“深度學(xué)習(xí)”(DeepLearning)。深度學(xué)習(xí)的動(dòng)機(jī)是模擬人腦進(jìn)行分析學(xué)習(xí)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像、聲音和文本。它能在海量數(shù)據(jù)中采用貪婪式的逐層學(xué)習(xí)法：首先是無(wú)監(jiān)督訓(xùn)練，單獨(dú)訓(xùn)練一層，然后將該層的輸出作為下一層的輸入，繼續(xù)無(wú)監(jiān)督訓(xùn)練，重復(fù)使用此方法一直向上訓(xùn)練至最上層，再用監(jiān)督學(xué)習(xí)去調(diào)整所有層。理論上講，我們給定的學(xué)習(xí)文本越多，其學(xué)習(xí)機(jī)能就會(huì)越強(qiáng)大，所得出的結(jié)論就越具有可信性、可靠性。二 非結(jié)構(gòu)化文本的數(shù)據(jù)挖掘數(shù)據(jù)挖掘面對(duì)的數(shù)據(jù)是海量的、雜亂的、無(wú)序的、非結(jié)構(gòu)性的，通過(guò)挖掘，尋繹出數(shù)據(jù)中間隱含的、先前未知的并有潛在價(jià)值的

15、信息這正是數(shù)據(jù)檢索、數(shù)據(jù)分析所難于應(yīng)對(duì)的?！敖Y(jié)構(gòu)化文本”的數(shù)據(jù)分析，有時(shí)帶有先驗(yàn)色彩，通過(guò)數(shù)據(jù)分析，或證實(shí)，或證偽，當(dāng)然也有可能證明不了任何事情?！胺墙Y(jié)構(gòu)化文本”的數(shù)據(jù)挖掘，更多地體現(xiàn)出不可預(yù)知性，這也正是技術(shù)賦予古典文學(xué)信息化的魅力所在數(shù)據(jù)挖掘之前，我們無(wú)從預(yù)知結(jié)論。1.文獻(xiàn)輯佚文獻(xiàn)輯佚也可以借助數(shù)據(jù)挖掘來(lái)實(shí)現(xiàn)。例如我們想對(duì)魏野詩(shī)歌進(jìn)行梳理，只需選取東觀集與其他文獻(xiàn)進(jìn)行挖掘即可。思路如下：首先對(duì)東觀集進(jìn)行數(shù)據(jù)挖掘，將其篇目、作品、類(lèi)型等進(jìn)行標(biāo)注；其/view/17096b885122aaea998fcc22bcd126fff6055d5c.html6/11 4/14/2019大數(shù)據(jù)時(shí)代的古典

16、文學(xué)研究- 百度文庫(kù)次，挖掘意欲爬梳的文獻(xiàn)，需要注意如下幾點(diǎn)：凡是文獻(xiàn)中涉及魏野、仲先、魏仲先、草堂居士、東觀集、巨鹿東觀集、草堂集等處，皆進(jìn)行標(biāo)注；凡是文獻(xiàn)中直襲或化用魏野作品處，皆進(jìn)行標(biāo)注；文獻(xiàn)中雖未標(biāo)明卻暗和魏野某詩(shī)詩(shī)韻、并且兩者題材相似的，也進(jìn)行標(biāo)注。通過(guò)挖掘，輯出分見(jiàn)于以下四種文獻(xiàn)的魏野佚詩(shī)一首：人間宰相惟三載，君在中書(shū)四十年。西祀東封俱已了，好來(lái)平地作神仙。(巖下放言卷下)(鶴林玉露卷九)太平宰相年年出，君在中書(shū)十二秋。太平宰相年年出，君在中書(shū)十四秋。西祀東封俱已畢，可能來(lái)伴赤松游。(類(lèi)說(shuō)卷四)平宰相年年出，君在中書(shū)十四秋。西祀東封俱已畢，可能來(lái)伴赤松游。(青箱雜記卷一) 輯出佚詩(shī)

17、，這是依靠技太術(shù)實(shí)現(xiàn)的第一步；第二，要判斷該詩(shī)到底是不是魏野寫(xiě)給王旦的作品，即對(duì)其真?zhèn)芜M(jìn)行判斷；第三，如果該詩(shī)不偽，那么上舉的三個(gè)時(shí)間段(四十年、十二秋、十四秋)，哪個(gè)較佳，或皆可接受?這已是較為純粹的文獻(xiàn)考辨問(wèn)題，但亦可借助信息技術(shù)予以回答，本文暫且不論。這種非結(jié)構(gòu)化文本中間或有規(guī)律，卻是為我們所無(wú)法預(yù)知的，只有通過(guò)機(jī)器深度學(xué)習(xí)，對(duì)數(shù)據(jù)進(jìn)行挖掘，才有可能尋繹出可能存在的規(guī)則，從而為古典文學(xué)信息化更好地服務(wù)。結(jié)合 我們從事某項(xiàng)研究時(shí)，常會(huì)考慮事件的前因后果，當(dāng)時(shí)的社會(huì)背景、時(shí)代風(fēng)尚，對(duì)周邊同仁和后人產(chǎn)生何種影2.數(shù)據(jù)挖掘與 GIS 相/view/17096b885122aaea998fcc22

18、bcd126fff6055d5c.html7/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)響等等。比如利用 GIS，并結(jié)合數(shù)據(jù)挖掘，再在時(shí)間緯度的基礎(chǔ)上一并考慮空間維度，所得出的結(jié)論往往更有學(xué)理性因?yàn)橛写罅康臄?shù)據(jù)可以依賴(lài)。例如我們想對(duì)宋代文學(xué)的發(fā)展演變有所了解，對(duì)宋代文人的分布情況有所掌握，利用數(shù)據(jù)挖掘，便可從海量的宋代文獻(xiàn)中尋繹出許多以前我們未曾料想到的信息。正因?yàn)橛辛撕Ａ繑?shù)據(jù)和數(shù)據(jù)挖掘，再與 GIS 結(jié)合起來(lái)，那么便能輕松做到在中心地緣的基礎(chǔ)上兼顧邊緣、邊疆及民族區(qū)域。宋代與遼、西夏、黑汗、西州回鶻、黃頭回紇、吐蕃諸部、大理以及蒙古、金、西遼等多個(gè)政權(quán)并存過(guò)，民族交往融合也

19、帶來(lái)了文學(xué)交流，甚至是文學(xué)風(fēng)尚的轉(zhuǎn)變蘇學(xué)北上便是典型案例。利用數(shù)據(jù)挖掘，可以將當(dāng)時(shí)的所有區(qū)域納入考察范圍，對(duì)于研究多民族的文學(xué)、文化交融，具有重要的作用與意義。既可以設(shè)定某個(gè)具體地域，也可以檢索某片區(qū)域，給定地點(diǎn)之后，再與時(shí)間相參，系統(tǒng)便可將某區(qū)域某時(shí)段內(nèi)的所有事件、參與人物、事件的前因后果等生成表格或圖表，并在數(shù)字地圖上相應(yīng)呈現(xiàn)。例如我們可以以宋代晁氏家族為例，該家族派分三支，歷兩宋綿延而下。利用數(shù)據(jù)挖掘便可以實(shí)現(xiàn)對(duì)家族所有人物的生平、仕宦、貶謫、升遷、交游等情況進(jìn)行詳盡考察。同時(shí)，家族東、中、西三眷的遷徙，也可在數(shù)字地圖上直觀呈現(xiàn)?；谶@個(gè)意義上的數(shù)據(jù)挖掘，一是拓寬了視野，許多隱含信息被挖

20、掘、抽取出來(lái)；二是許多原來(lái)靠人力很難關(guān)聯(lián)起來(lái)的信/view/17096b885122aaea998fcc22bcd126fff6055d5c.html8/11 4/14/2019大數(shù)據(jù)時(shí)代的古典文學(xué)研究- 百度文庫(kù)息之間有了關(guān)聯(lián)，從而能建構(gòu)起強(qiáng)大、豐富、可感的人物社交網(wǎng)絡(luò)體系。我們面對(duì)的研究對(duì)象，已經(jīng)不再是單獨(dú)的個(gè)體，而是以之為中心的群體。不同的群體之間又有交集，從一定程度上講，我們甚至能將文獻(xiàn)中出現(xiàn)的每一位宋人定位在某個(gè)特定的關(guān)系網(wǎng)中。這只有依賴(lài)數(shù)據(jù)挖掘才可能實(shí)現(xiàn)。大數(shù)據(jù)視野下的文史哲融通觀 傳統(tǒng)學(xué)術(shù)要求從業(yè)者有3.較為融通的文史哲理念，換言之即是力爭(zhēng)打通文史哲學(xué)科。對(duì)信息化而言更是這樣，特別是大數(shù)據(jù)時(shí)代，多