文本建模的基本概念

文本建模的基本概念文本建模概念文本建模的深入理解文本建模概念/01文本建模概念文本挖掘的主要方法與數(shù)據(jù)挖掘的方法是一致的，其區(qū)別在于文本挖掘的過程中，需要預(yù)先將文本類型數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)類型數(shù)據(jù)。

對(duì)文本內(nèi)容進(jìn)行分析是一件非常困難的事情，其主要原因是文本數(shù)據(jù)本質(zhì)上是非結(jié)構(gòu)化的數(shù)據(jù)，所有的數(shù)據(jù)分析技術(shù)只是對(duì)結(jié)構(gòu)化的數(shù)據(jù)才能實(shí)踐操作。

因此，若對(duì)文本內(nèi)容進(jìn)行分析必須將文本信息轉(zhuǎn)化為數(shù)值信息，這個(gè)過程就叫作文本建模。文本建模的深入理解/02

文本建模的本質(zhì)

文本建模和對(duì)現(xiàn)實(shí)世界中其他事物進(jìn)行建模的原理在本質(zhì)上是一樣的，即用模型來代表關(guān)心的事物對(duì)象。

文本建模操作

在進(jìn)行文本建模時(shí)，采用任何統(tǒng)計(jì)模型都不可能涵蓋文本內(nèi)容全部的含義。因此，文本建模的工作必須有所側(cè)重。

構(gòu)建的模型應(yīng)當(dāng)反映數(shù)據(jù)分析者真正關(guān)心的信息。在進(jìn)行文本建模之前首先要理解文本分析的需求，理解任務(wù)需求就是要確定用戶感興趣的內(nèi)容，從而找到能夠準(zhǔn)確描述相關(guān)信息的建模方法。

文本建模操作

在文本中通常需要分析兩類信息：一類是語義信息，一類是語法信息。語義信息通常對(duì)應(yīng)文本表述的概念實(shí)體，而語法對(duì)應(yīng)語言組織結(jié)構(gòu)方面的內(nèi)容。對(duì)文本進(jìn)行分析的根本目的是研究語義信息。

右圖：文本分析的信息原理

文本建模操作

文本對(duì)象具有層次關(guān)系的，因此文本建模也是有層次關(guān)系的，即在字、詞匯、句子、文檔、語料庫層次都可以構(gòu)建語言模型。底層結(jié)構(gòu)的文本要素可以構(gòu)成更高層次的要素，在文本要素的組織過程中，底層文本要素之間構(gòu)成位置關(guān)系，這些元素的位置關(guān)系可以被觀察到，并有效應(yīng)用于文本建模過程。文本建模方法文本建?？蛇x擇的方法很多，為了便于解釋說明，這里將其分為語言學(xué)建模方法和統(tǒng)計(jì)學(xué)建模方法。文本建模方法語言學(xué)建模方法統(tǒng)計(jì)學(xué)建模方法文本建模方法語言學(xué)建模方法更加依賴語言學(xué)領(lǐng)域的專業(yè)知識(shí)經(jīng)驗(yàn)，而統(tǒng)計(jì)學(xué)建模方法更加依賴統(tǒng)計(jì)模型和