Python自然語言處理 課件 06-2-句法分析的數(shù)據(jù)集和評測方法

句法分析Python自然語言處理第六章CONTENT目錄

01句法分析概述02句法分析的數(shù)據(jù)集與評測方法03句法分析的常用方法04使用StandfordParser的PCFG算法進(jìn)行句法分析課前回顧基本概念基本方法02句法分析的數(shù)據(jù)集與評測方法句法分析的數(shù)據(jù)集句法分析的評測方法句法分析的數(shù)據(jù)集統(tǒng)計(jì)句法分析方法自20世紀(jì)80年代提出以來，受到了眾多學(xué)者的關(guān)注。由于這種方法既有規(guī)則方法的特點(diǎn)，又運(yùn)用了概率信息，因此，可以認(rèn)為是規(guī)則方法與統(tǒng)計(jì)方法的緊密結(jié)合。統(tǒng)計(jì)句法分析方法一般都離不開語料數(shù)據(jù)集和相應(yīng)的評價(jià)體系的支撐。句法分析的數(shù)據(jù)集相較于分詞或詞性標(biāo)注，句法分析的數(shù)據(jù)集要復(fù)雜的多，其是一種樹形的標(biāo)注結(jié)構(gòu)，因此也稱為樹庫，如圖是一個(gè)典型的語料標(biāo)注。句法分析的數(shù)據(jù)集根據(jù)所描述句子結(jié)構(gòu)的不同,樹庫大體上可以分為兩類:短語結(jié)構(gòu)樹庫一般采用句子的結(jié)構(gòu)成分描述句子的結(jié)構(gòu)，短語結(jié)構(gòu)樹庫顧名思義，可以同來提取短語，其目的是分析句子的產(chǎn)生過程。依存結(jié)構(gòu)樹庫根據(jù)句子的依存結(jié)構(gòu)而建立，依存結(jié)構(gòu)描述的是句子中詞與詞之間直接的句法關(guān)系，相應(yīng)的樹結(jié)構(gòu)也稱為依存樹。句法分析的數(shù)據(jù)集目前使用最多的英文樹庫來自美國賓夕法尼亞大學(xué)加工的英文賓州樹庫（PTB）。PTB的前身為ATIS（AirTravelInformationSystem）和WSJ（WallStreetJourna）樹庫，具有較高的一致性和標(biāo)注準(zhǔn)確率。句法分析的數(shù)據(jù)集近幾年來，中文信息處理技術(shù)發(fā)展很快，進(jìn)行中文樹庫句法自動(dòng)標(biāo)注研究的條件已基本成熟了，經(jīng)過發(fā)展相繼有了中文賓州樹庫（CTB）、清華樹庫（TCT）、臺(tái)灣中研院樹庫等。中文信息處理技術(shù)發(fā)展快的原因如下：經(jīng)過十幾年的研究，漢語自動(dòng)切分和詞性標(biāo)注的處理技術(shù)已達(dá)到成熟，為進(jìn)一步進(jìn)行句法分析研究打下了基礎(chǔ)。近幾年來對漢語句法分析方法、依存關(guān)系標(biāo)注、基本句型分析等方面的探索，為進(jìn)行比較系統(tǒng)全面的短語分析積累了豐富的經(jīng)驗(yàn)。句法分析的數(shù)據(jù)集中文賓州樹庫（CTB）、清華樹庫（TCT）、臺(tái)灣中研院樹庫等是比較著名的中文樹庫。中文賓州樹庫：是賓夕法尼亞大學(xué)標(biāo)注的漢語句法樹庫，也是目前絕大多數(shù)的中文句法分析研究的基準(zhǔn)語料庫。清華樹庫：經(jīng)過自動(dòng)句法分析和人工校對，形成的高質(zhì)量的有完整句法結(jié)構(gòu)的中文句法語料庫。臺(tái)灣中研院樹庫：中國臺(tái)灣中研院詞庫小組從中研院平衡語料庫中抽取句子，經(jīng)過電腦自動(dòng)分析成句法樹，并加以人工修改、檢驗(yàn)后所得的成果。句法分析的數(shù)據(jù)集漢語樹庫的構(gòu)建漢語樹庫構(gòu)建的基礎(chǔ)性工作是確定合適的句法標(biāo)記集，不同的樹庫有著不同的標(biāo)記體系。句法分析的數(shù)據(jù)集02句法分析的數(shù)據(jù)集與評測方法句法分析的數(shù)據(jù)集句法分析的評測方法句法分析的評測方法句法分析評測的主要任務(wù)：評測句法分析器生成的樹結(jié)構(gòu)與手工標(biāo)注的樹結(jié)構(gòu)之間的相似程度。其主要考慮兩方面的性能：滿意度：句法分析器是否適合或勝任某個(gè)特定的自然語言處理任務(wù)；效率：主要用于對比句法分析器的運(yùn)行時(shí)間。目前主流的句法分析評測方法是PARSEVAL評測體系，它是一種粒度比較適中、較為理想的評價(jià)方法，評價(jià)主要指標(biāo)有標(biāo)記準(zhǔn)確率、標(biāo)記召回率、交叉括號(hào)數(shù)。句法分析的評測方法--PARSEVAL評測體系標(biāo)記準(zhǔn)確率（labeledprecision,LP）表示分析正確的短語個(gè)數(shù)在句法分析結(jié)果中所占的比例，即分析結(jié)果中與標(biāo)準(zhǔn)句法樹中相匹配的短語個(gè)數(shù)占分析結(jié)果中所有短語個(gè)數(shù)的比例。標(biāo)記召回率標(biāo)記召回率表示分析得到的正確短語個(gè)數(shù)占標(biāo)準(zhǔn)分析樹全部短語個(gè)數(shù)的比例。句法分析的評測方法--PARSEVAL評測體系交叉括號(hào)交叉括號(hào)表示分析得到的某一個(gè)短語的覆蓋范圍與標(biāo)準(zhǔn)句法分析結(jié)果的某個(gè)短語的覆蓋范圍存在重疊又不存在包含關(guān)系，即構(gòu)成了一個(gè)交叉括號(hào)，交叉括號(hào)數(shù)（CBs）表示一棵短語結(jié)構(gòu)樹中所包含的與