自然語(yǔ)言處理的現(xiàn)狀與未來(lái)教學(xué)課件

自然語(yǔ)言處理的現(xiàn)狀與未來(lái)李生哈爾濱工業(yè)大學(xué)2019.5.21信息與自然語(yǔ)言處理自然語(yǔ)言處理的主要研究方向下一代信息檢索研究四.自然語(yǔ)言處理的未來(lái)思考信息與自然語(yǔ)言處理是信息的載體二)自然語(yǔ)言處理的概念及其研究方法三)中文信息處理的特殊問(wèn)題及所做工作(四)當(dāng)前研究的特點(diǎn)信息與自然語(yǔ)言處理(一)語(yǔ)言是信息的載體信息同能源、材料一起構(gòu)成經(jīng)濟(jì)發(fā)展與社會(huì)進(jìn)步的三大戰(zhàn)略資源。信息技術(shù)正在推動(dòng)和改變?nèi)祟?lèi)的生產(chǎn)、生活甚至是思維方式信息是無(wú)形的,但它可以用語(yǔ)言來(lái)表達(dá)。語(yǔ)言是信息的載體,語(yǔ)言是文化的支柱,語(yǔ)言是人類(lèi)思維、溝通與交流的工具。語(yǔ)言技能是一種人力資本。語(yǔ)言與經(jīng)濟(jì)、文化、教育,與社會(huì)發(fā)展和人類(lèi)進(jìn)步有著緊密的關(guān)系信息與自然語(yǔ)言處理中國(guó)中文信息學(xué)會(huì)是一個(gè)學(xué)術(shù)性的群眾組織學(xué)會(huì)的學(xué)術(shù)研究?jī)?nèi)容是利用計(jì)算機(jī)對(duì)中文的音、形、義等語(yǔ)言文字信息進(jìn)行加工和操作,包括對(duì)字、詞、短語(yǔ)、伺子、篇章進(jìn)行輸入、輸岀、識(shí)別、轉(zhuǎn)換、壓縮、存儲(chǔ)、檢索、分析、理解和生成等。它是語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)、數(shù)學(xué)等多學(xué)科交叉的邊緣學(xué)科。自然語(yǔ)言處理是計(jì)算機(jī)應(yīng)用的一個(gè)分支,是人工智能的一部分,但計(jì)算機(jī)技術(shù)和人工智能技術(shù)又都從屬于信息技術(shù)。信息與自然語(yǔ)言處理)自然語(yǔ)言處理的概念及其研究方法概念自然語(yǔ)言處理通常是指用計(jì)算機(jī)對(duì)人類(lèi)自然語(yǔ)進(jìn)行的有意義的分析與操作編碼(機(jī)內(nèi)碼、輸入碼)詞—分詞、詞性標(biāo)注、詞義消岐自然語(yǔ)言句法分析處理句子語(yǔ)義分析語(yǔ)用分析段落與篇章—話(huà)語(yǔ)結(jié)構(gòu)分析信息與自然語(yǔ)言處理2研究方法(1)基于規(guī)人工獲取語(yǔ)言規(guī)則(2)基于統(tǒng)計(jì)通過(guò)對(duì)大規(guī)模語(yǔ)料庫(kù)的統(tǒng)計(jì)分析,實(shí)現(xiàn)對(duì)自然語(yǔ)言的處理3.處理過(guò)程語(yǔ)言問(wèn)題→形式化表示(模型)→算法轉(zhuǎn)換→程序編制→機(jī)器運(yùn)行→結(jié)果輸出→系統(tǒng)評(píng)沨信息與自然語(yǔ)言處理三)中文信息處理的特殊問(wèn)題及所做工作1.特殊問(wèn)題(1)句子中單詞的切分;(2)時(shí)態(tài)、語(yǔ)態(tài)、語(yǔ)氣等沒(méi)有嚴(yán)格的形式標(biāo)記(3)句子成分的省缺及指示代詞的頻繁出現(xiàn)(4)語(yǔ)言資源的缺乏及其規(guī)范化問(wèn)題信息與自然語(yǔ)言處理2所做工作(1)理論、方法與技術(shù)研究結(jié)合漢語(yǔ)特點(diǎn),引進(jìn)國(guó)外技術(shù)(2)實(shí)驗(yàn)和應(yīng)用系統(tǒng)的研制開(kāi)發(fā)包括漢字處理、中文文本處理、中文語(yǔ)音處理、少數(shù)民族語(yǔ)言處理等(3資源建設(shè)詞典和語(yǔ)料庫(kù)等4)評(píng)測(cè)國(guó)內(nèi):863國(guó)際:SIGHAN(分詞)、NIST(機(jī)器翻譯)、TREC(信息檢索)信息與自然語(yǔ)言處理四)當(dāng)前研究的特點(diǎn)1.使用語(yǔ)料庫(kù)處理大規(guī)模真實(shí)文本使用