神經(jīng)機(jī)器翻譯前沿進(jìn)展課件

神經(jīng)機(jī)器翻譯前沿進(jìn)展神經(jīng)機(jī)器翻譯前沿進(jìn)展機(jī)器翻譯目標(biāo)：利用計(jì)算機(jī)實(shí)現(xiàn)自然語(yǔ)言的自動(dòng)翻譯2布什與沙龍舉行了會(huì)談BushheldatalkwithSharon機(jī)器翻譯目標(biāo)：利用計(jì)算機(jī)實(shí)現(xiàn)自然語(yǔ)言的自動(dòng)翻譯2布什與沙龍舉發(fā)展歷史趨勢(shì)：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯3規(guī)則機(jī)器翻譯統(tǒng)計(jì)機(jī)器翻譯神經(jīng)機(jī)器翻譯198019902013數(shù)據(jù)驅(qū)動(dòng)機(jī)器翻譯1990發(fā)展歷史趨勢(shì)：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯3規(guī)則統(tǒng)計(jì)神經(jīng)1數(shù)據(jù)驅(qū)動(dòng)的機(jī)器翻譯核心問(wèn)題：如何為翻譯過(guò)程建立概率模型？4布什與沙龍舉行了會(huì)談BushheldatalkwithSharon數(shù)據(jù)驅(qū)動(dòng)的機(jī)器翻譯核心問(wèn)題：如何為翻譯過(guò)程建立概率模型？4布統(tǒng)計(jì)機(jī)器翻譯隱變量對(duì)數(shù)線性模型：在隱式語(yǔ)言結(jié)構(gòu)上設(shè)計(jì)特征5布什與沙龍舉行了會(huì)談BushheldatalkwithSharon(OchandNey,2002)統(tǒng)計(jì)機(jī)器翻譯隱變量對(duì)數(shù)線性模型：在隱式語(yǔ)言結(jié)構(gòu)上設(shè)計(jì)特征5布基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯短語(yǔ)翻譯模型：以隱結(jié)構(gòu)短語(yǔ)為基本翻譯單元6布什與沙龍舉行了會(huì)談布什與沙龍舉行了會(huì)談BushwithSharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯短語(yǔ)翻譯模型：以隱結(jié)構(gòu)短語(yǔ)為基本翻譯單統(tǒng)計(jì)機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)隱結(jié)構(gòu)可解釋性高利用局部特征和動(dòng)態(tài)規(guī)劃處理指數(shù)級(jí)結(jié)構(gòu)空間缺點(diǎn)線性模型難以處理高維空間中線性不可分的情況需要人類專家設(shè)計(jì)隱式結(jié)構(gòu)及相應(yīng)的翻譯過(guò)程需要人類專家設(shè)計(jì)特征離散表示帶來(lái)嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題難以處理長(zhǎng)距離依賴7統(tǒng)計(jì)機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)7難點(diǎn)：長(zhǎng)距離調(diào)序8BushPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述詞語(yǔ)拼成合理的譯文？難點(diǎn)：長(zhǎng)距離調(diào)序8BushPresidentheldatal統(tǒng)計(jì)機(jī)器翻譯示例9統(tǒng)計(jì)機(jī)器翻譯示例9深度學(xué)習(xí)帶來(lái)新思路10YannLeCunYoshuaBengioGeoffreyHinton(LeCunetal,2015)深度學(xué)習(xí)帶來(lái)新思路10YannLeCunYoshuaBe機(jī)器翻譯方法對(duì)比11英國(guó)愛丁堡大學(xué)在WMT英德評(píng)測(cè)數(shù)據(jù)上的BLEU值。NMT2015年結(jié)果來(lái)自蒙特利爾大學(xué)。來(lái)源：RicoSennrich報(bào)告和斯坦福ACL2016Tutorial。機(jī)器翻譯方法對(duì)比11英國(guó)愛丁堡大學(xué)在WMT英德評(píng)測(cè)數(shù)據(jù)上的B神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語(yǔ)言的映射12布什與沙龍舉行了會(huì)談BushheldatalkwithSharon(Sutskeveretal,2014)神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語(yǔ)言的映射12布什與沙龍舉行編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語(yǔ)言的編碼和目標(biāo)語(yǔ)言的解碼13布什與沙龍舉行了會(huì)談</s>BushheldatalkwithSharon</s>(Sutskeveretal.,2014)編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語(yǔ)言的編碼和目標(biāo)語(yǔ)言遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)適合處理變長(zhǎng)線性序列理論上能夠利用無(wú)限長(zhǎng)的歷史信息缺點(diǎn)“梯度消失”或“梯度爆炸”14(Pascanuetal.,2013)遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)14(Pascanuetal.,長(zhǎng)短時(shí)記憶通過(guò)門閥技術(shù)緩解“梯度消失”和“梯度爆炸”15(Hochreiter

andSchmidhuber,1997)長(zhǎng)短時(shí)記憶通過(guò)門閥技術(shù)緩解“梯度消失”和“梯度爆炸”15(H神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？16(Sutskeveretal.,2014)神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？16(Sutskeveretal.,編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長(zhǎng)短時(shí)記憶處理長(zhǎng)距離依賴缺點(diǎn)：任意長(zhǎng)度的句子都編碼為固定維度的向量17(Sutskeveretal.,2014)編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長(zhǎng)短時(shí)記憶處理長(zhǎng)距離依賴基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動(dòng)態(tài)計(jì)算源語(yǔ)言端相關(guān)上下文18(Bahdanauetal.,2015)布什與沙龍舉行了會(huì)談</s>BushheldatalkwithSharon</s>基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動(dòng)態(tài)計(jì)算源語(yǔ)言端相關(guān)上注意力思想：集中關(guān)注影響當(dāng)前詞的上下文19(Chengetal.,2016a)注意力思想：集中關(guān)注影響當(dāng)前詞的上下文19(Chenget神經(jīng)機(jī)器翻譯中的注意力源語(yǔ)言詞語(yǔ)目標(biāo)語(yǔ)言詞的關(guān)聯(lián)強(qiáng)度20(Bahdanauetal.,2015;Chengetal.,2016b)神經(jīng)機(jī)器翻譯中的注意力源語(yǔ)言詞語(yǔ)目標(biāo)語(yǔ)言詞的關(guān)聯(lián)強(qiáng)度20(B注意力機(jī)制提升長(zhǎng)句翻譯效果21(Bahdanauetal.,2015)RNNenc:固定源語(yǔ)言上下文，RNNsearch:動(dòng)態(tài)源語(yǔ)言上下文注意力機(jī)制提升長(zhǎng)句翻譯效果21(Bahdanauetal注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)22(Xuetal.,2015)“看圖說(shuō)話”：為圖片自動(dòng)生成文本描述注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)22(近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展受限詞匯量(Luongetal.,2015a;Jeanetal.,2015)細(xì)粒度意義單元(Chungetal.,2016;Sennrichetal.,2016a)先驗(yàn)約束(Tuetal.,2016;Cohnetal.,2016)記憶機(jī)制(Wangetal.,2016;Tangetal.,2016)訓(xùn)練準(zhǔn)則(Shenetal.,2016;Ranzatoetal.,2016)單語(yǔ)數(shù)據(jù)利用(Chengetal.,2016c;Sennrichetal.,2016b)多語(yǔ)言(Dongetal.,2015;ZophandKnight,2016)多模態(tài)(Duongetal.,2016;Hitschleretal.,2016)23近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展23進(jìn)展1：受限詞匯量受計(jì)算復(fù)雜度限制，僅能使用有限的詞匯量24(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后處理階段單獨(dú)翻譯未登錄詞進(jìn)展1：受限詞匯量受計(jì)算復(fù)雜度限制，僅能使用有限的詞匯量24進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量25(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母與詞語(yǔ)的混合模型，詞語(yǔ)模型解決常用詞翻譯，字母模型解決生僻詞翻譯進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量25進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識(shí)約束神經(jīng)機(jī)器翻譯26(Tu

etal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多

機(jī)場(chǎng)都被迫

關(guān)閉了Many

airports

wereclosedtocloseMany

airportswereforcedtoclosedown輸入不考慮覆蓋度考慮覆蓋度先驗(yàn)：不應(yīng)重復(fù)翻譯，也不應(yīng)漏翻進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識(shí)約束神經(jīng)機(jī)器翻譯26(Tuet進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯27(Wangetal.,2016;Tangetal.,2016)將“外存”引入神經(jīng)機(jī)器翻譯進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯27(Wang進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評(píng)價(jià)的相關(guān)性28(Shen

etal.,2016;Rezantoetal.,2016)訓(xùn)練數(shù)據(jù)訓(xùn)練目標(biāo)優(yōu)化最小風(fēng)險(xiǎn)訓(xùn)練：針對(duì)評(píng)價(jià)指標(biāo)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評(píng)價(jià)的相關(guān)性28(Sh進(jìn)展6：?jiǎn)握Z(yǔ)數(shù)據(jù)利用利用海量的單語(yǔ)語(yǔ)料庫(kù)提高神經(jīng)機(jī)器翻譯29(Chengetal.,2016c;Sennrichetal.,2016b)利用自動(dòng)編碼器實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)進(jìn)展6：?jiǎn)握Z(yǔ)數(shù)據(jù)利用利用海量的單語(yǔ)語(yǔ)料庫(kù)提高神經(jīng)機(jī)器翻譯29進(jìn)展7：多語(yǔ)言利用向量空間貫通多種自然語(yǔ)言30(Dongetal.,2015;ZophandKnight,2016;Firatetal.,2016)多種語(yǔ)言共享源語(yǔ)言編碼器進(jìn)展7：多語(yǔ)言利用向量空間貫通多種自然語(yǔ)言30(Donge進(jìn)展8：多模態(tài)利用向量空間貫通文本、語(yǔ)音和圖像31(Duongetal.,2016;Hitschleretal.,2016)不經(jīng)過(guò)語(yǔ)音識(shí)別，直接將源語(yǔ)言語(yǔ)音翻譯成目標(biāo)語(yǔ)言文本進(jìn)展8：多模態(tài)利用向量空間貫通文本、語(yǔ)音和圖像31(Duon神經(jīng)機(jī)器翻譯教程和開源工具教程N(yùn)euralMachineTranslation,ACL2016TutorialsIntroductiontoNMTwithGPUs,KyunghyunCho開源工具GroundHog：加拿大蒙特利爾大學(xué)Blocks：加拿大蒙特利爾大學(xué)TensorFlow：GoogleEUREKA-MangoNMT：中國(guó)科學(xué)院自動(dòng)化研究所32神經(jīng)機(jī)器翻譯教程和開源工具教程32統(tǒng)計(jì)機(jī)器翻譯Vs

神經(jīng)機(jī)器翻譯33統(tǒng)計(jì)機(jī)器翻譯神經(jīng)機(jī)器翻譯表示離散連續(xù)模型線性非線性訓(xùn)練MERTMLE/MRT可解釋性高低訓(xùn)練復(fù)雜度低高處理全局調(diào)序句法門閥、注意力內(nèi)存需求高低統(tǒng)計(jì)機(jī)器翻譯Vs神經(jīng)機(jī)器翻譯33統(tǒng)計(jì)機(jī)器翻譯神經(jīng)機(jī)器翻譯神經(jīng)機(jī)器翻譯面臨的挑戰(zhàn)34如何設(shè)計(jì)表達(dá)能力更強(qiáng)的模型？如何提高語(yǔ)言學(xué)方面的可解釋性？如何降低訓(xùn)練復(fù)雜度？如何與先驗(yàn)知識(shí)相結(jié)合？如何實(shí)現(xiàn)多模態(tài)翻譯？神經(jīng)機(jī)器翻譯面臨的挑戰(zhàn)34如何設(shè)計(jì)表達(dá)能力更強(qiáng)的模型？總結(jié)神經(jīng)機(jī)器翻譯：通過(guò)神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)自然語(yǔ)言的相互映射。神經(jīng)機(jī)器翻譯近年來(lái)取得迅速發(fā)展，有望取代統(tǒng)計(jì)機(jī)器翻譯成為新的主流技術(shù)。神經(jīng)機(jī)器翻譯在架構(gòu)、可解釋性、訓(xùn)練算法等方面仍面臨挑戰(zhàn)，需要進(jìn)一步深入探索。35總結(jié)神經(jīng)機(jī)器翻譯：通過(guò)神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)自然語(yǔ)言的相互映射。3謝謝！36謝謝！36神經(jīng)機(jī)器翻譯前沿進(jìn)展神經(jīng)機(jī)器翻譯前沿進(jìn)展機(jī)器翻譯目標(biāo)：利用計(jì)算機(jī)實(shí)現(xiàn)自然語(yǔ)言的自動(dòng)翻譯38布什與沙龍舉行了會(huì)談BushheldatalkwithSharon機(jī)器翻譯目標(biāo)：利用計(jì)算機(jī)實(shí)現(xiàn)自然語(yǔ)言的自動(dòng)翻譯2布什與沙龍舉發(fā)展歷史趨勢(shì)：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯39規(guī)則機(jī)器翻譯統(tǒng)計(jì)機(jī)器翻譯神經(jīng)機(jī)器翻譯198019902013數(shù)據(jù)驅(qū)動(dòng)機(jī)器翻譯1990發(fā)展歷史趨勢(shì)：讓機(jī)器更“自主”地學(xué)習(xí)如何翻譯3規(guī)則統(tǒng)計(jì)神經(jīng)1數(shù)據(jù)驅(qū)動(dòng)的機(jī)器翻譯核心問(wèn)題：如何為翻譯過(guò)程建立概率模型？40布什與沙龍舉行了會(huì)談BushheldatalkwithSharon數(shù)據(jù)驅(qū)動(dòng)的機(jī)器翻譯核心問(wèn)題：如何為翻譯過(guò)程建立概率模型？4布統(tǒng)計(jì)機(jī)器翻譯隱變量對(duì)數(shù)線性模型：在隱式語(yǔ)言結(jié)構(gòu)上設(shè)計(jì)特征41布什與沙龍舉行了會(huì)談BushheldatalkwithSharon(OchandNey,2002)統(tǒng)計(jì)機(jī)器翻譯隱變量對(duì)數(shù)線性模型：在隱式語(yǔ)言結(jié)構(gòu)上設(shè)計(jì)特征5布基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯短語(yǔ)翻譯模型：以隱結(jié)構(gòu)短語(yǔ)為基本翻譯單元42布什與沙龍舉行了會(huì)談布什與沙龍舉行了會(huì)談BushwithSharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯短語(yǔ)翻譯模型：以隱結(jié)構(gòu)短語(yǔ)為基本翻譯單統(tǒng)計(jì)機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)隱結(jié)構(gòu)可解釋性高利用局部特征和動(dòng)態(tài)規(guī)劃處理指數(shù)級(jí)結(jié)構(gòu)空間缺點(diǎn)線性模型難以處理高維空間中線性不可分的情況需要人類專家設(shè)計(jì)隱式結(jié)構(gòu)及相應(yīng)的翻譯過(guò)程需要人類專家設(shè)計(jì)特征離散表示帶來(lái)嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題難以處理長(zhǎng)距離依賴43統(tǒng)計(jì)機(jī)器翻譯的優(yōu)缺點(diǎn)優(yōu)點(diǎn)7難點(diǎn)：長(zhǎng)距離調(diào)序44BushPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述詞語(yǔ)拼成合理的譯文？難點(diǎn)：長(zhǎng)距離調(diào)序8BushPresidentheldatal統(tǒng)計(jì)機(jī)器翻譯示例45統(tǒng)計(jì)機(jī)器翻譯示例9深度學(xué)習(xí)帶來(lái)新思路46YannLeCunYoshuaBengioGeoffreyHinton(LeCunetal,2015)深度學(xué)習(xí)帶來(lái)新思路10YannLeCunYoshuaBe機(jī)器翻譯方法對(duì)比47英國(guó)愛丁堡大學(xué)在WMT英德評(píng)測(cè)數(shù)據(jù)上的BLEU值。NMT2015年結(jié)果來(lái)自蒙特利爾大學(xué)。來(lái)源：RicoSennrich報(bào)告和斯坦福ACL2016Tutorial。機(jī)器翻譯方法對(duì)比11英國(guó)愛丁堡大學(xué)在WMT英德評(píng)測(cè)數(shù)據(jù)上的B神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語(yǔ)言的映射48布什與沙龍舉行了會(huì)談BushheldatalkwithSharon(Sutskeveretal,2014)神經(jīng)機(jī)器翻譯利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語(yǔ)言的映射12布什與沙龍舉行編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語(yǔ)言的編碼和目標(biāo)語(yǔ)言的解碼49布什與沙龍舉行了會(huì)談</s>BushheldatalkwithSharon</s>(Sutskeveretal.,2014)編碼器-解碼器框架利用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)源語(yǔ)言的編碼和目標(biāo)語(yǔ)言遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)適合處理變長(zhǎng)線性序列理論上能夠利用無(wú)限長(zhǎng)的歷史信息缺點(diǎn)“梯度消失”或“梯度爆炸”50(Pascanuetal.,2013)遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)14(Pascanuetal.,長(zhǎng)短時(shí)記憶通過(guò)門閥技術(shù)緩解“梯度消失”和“梯度爆炸”51(Hochreiter

andSchmidhuber,1997)長(zhǎng)短時(shí)記憶通過(guò)門閥技術(shù)緩解“梯度消失”和“梯度爆炸”15(H神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？52(Sutskeveretal.,2014)神經(jīng)網(wǎng)絡(luò)學(xué)到了什么？16(Sutskeveretal.,編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長(zhǎng)短時(shí)記憶處理長(zhǎng)距離依賴缺點(diǎn)：任意長(zhǎng)度的句子都編碼為固定維度的向量53(Sutskeveretal.,2014)編碼器-解碼器架構(gòu)的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：利用長(zhǎng)短時(shí)記憶處理長(zhǎng)距離依賴基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動(dòng)態(tài)計(jì)算源語(yǔ)言端相關(guān)上下文54(Bahdanauetal.,2015)布什與沙龍舉行了會(huì)談</s>BushheldatalkwithSharon</s>基于注意力的神經(jīng)機(jī)器翻譯利用注意力機(jī)制動(dòng)態(tài)計(jì)算源語(yǔ)言端相關(guān)上注意力思想：集中關(guān)注影響當(dāng)前詞的上下文55(Chengetal.,2016a)注意力思想：集中關(guān)注影響當(dāng)前詞的上下文19(Chenget神經(jīng)機(jī)器翻譯中的注意力源語(yǔ)言詞語(yǔ)目標(biāo)語(yǔ)言詞的關(guān)聯(lián)強(qiáng)度56(Bahdanauetal.,2015;Chengetal.,2016b)神經(jīng)機(jī)器翻譯中的注意力源語(yǔ)言詞語(yǔ)目標(biāo)語(yǔ)言詞的關(guān)聯(lián)強(qiáng)度20(B注意力機(jī)制提升長(zhǎng)句翻譯效果57(Bahdanauetal.,2015)RNNenc:固定源語(yǔ)言上下文，RNNsearch:動(dòng)態(tài)源語(yǔ)言上下文注意力機(jī)制提升長(zhǎng)句翻譯效果21(Bahdanauetal注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)58(Xuetal.,2015)“看圖說(shuō)話”：為圖片自動(dòng)生成文本描述注意力機(jī)制的其他應(yīng)用注意力機(jī)制已成為深度學(xué)習(xí)的主流技術(shù)22(近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展受限詞匯量(Luongetal.,2015a;Jeanetal.,2015)細(xì)粒度意義單元(Chungetal.,2016;Sennrichetal.,2016a)先驗(yàn)約束(Tuetal.,2016;Cohnetal.,2016)記憶機(jī)制(Wangetal.,2016;Tangetal.,2016)訓(xùn)練準(zhǔn)則(Shenetal.,2016;Ranzatoetal.,2016)單語(yǔ)數(shù)據(jù)利用(Chengetal.,2016c;Sennrichetal.,2016b)多語(yǔ)言(Dongetal.,2015;ZophandKnight,2016)多模態(tài)(Duongetal.,2016;Hitschleretal.,2016)59近期研究進(jìn)展神經(jīng)機(jī)器翻譯在近兩年取得飛速發(fā)展23進(jìn)展1：受限詞匯量受計(jì)算復(fù)雜度限制，僅能使用有限的詞匯量60(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后處理階段單獨(dú)翻譯未登錄詞進(jìn)展1：受限詞匯量受計(jì)算復(fù)雜度限制，僅能使用有限的詞匯量24進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量61(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母與詞語(yǔ)的混合模型，詞語(yǔ)模型解決常用詞翻譯，字母模型解決生僻詞翻譯進(jìn)展2：細(xì)粒度意義單元以細(xì)粒度意義單元取代詞，降低詞匯量25進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識(shí)約束神經(jīng)機(jī)器翻譯62(Tu

etal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多

機(jī)場(chǎng)都被迫

關(guān)閉了Many

airports

wereclosedtocloseMany

airportswereforcedtoclosedown輸入不考慮覆蓋度考慮覆蓋度先驗(yàn)：不應(yīng)重復(fù)翻譯，也不應(yīng)漏翻進(jìn)展3：先驗(yàn)約束利用先驗(yàn)知識(shí)約束神經(jīng)機(jī)器翻譯26(Tuet進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯63(Wangetal.,2016;Tangetal.,2016)將“外存”引入神經(jīng)機(jī)器翻譯進(jìn)展4：記憶機(jī)制利用記憶機(jī)制提高神經(jīng)機(jī)器翻譯27(Wang進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評(píng)價(jià)的相關(guān)性64(Shen

etal.,2016;Rezantoetal.,2016)訓(xùn)練數(shù)據(jù)訓(xùn)練目標(biāo)優(yōu)化最小風(fēng)險(xiǎn)訓(xùn)練：針對(duì)評(píng)價(jià)指標(biāo)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)展5：訓(xùn)練準(zhǔn)則提出更好的準(zhǔn)則，提高與評(píng)價(jià)的相關(guān)性28(Sh進(jìn)展6：?jiǎn)握Z(yǔ)數(shù)據(jù)利用利用海量的單語(yǔ)語(yǔ)料庫(kù)提高神經(jīng)機(jī)器翻譯65(Chengetal.,2016c;Sennrichetal.