二課基于語(yǔ)言模型

第二節(jié)課：RNN語(yǔ)言模第二節(jié)課：RNN語(yǔ)言模RNN語(yǔ)言模型理論基礎(chǔ)從RNN到LSTM兩句話解釋參考文RNN語(yǔ)言模型理論基礎(chǔ)Recurrentneuralnetworkbasedlanguage參考文RNN語(yǔ)言模型理論基礎(chǔ)Recurrentneuralnetworkbasedlanguagemodel.(Interspeech2010,TomasMikolovetal.)UnreasonableEffectivenessofRecurrentNeuralRNN語(yǔ)言模型/sherjilozair/char-rnn-tensorflow,教科書級(jí)別代從RNN到UnderstandingLSTMNetworks–colah’sDeepLearning,IanGoodfellow,YoshuaBengio,AaronRNN語(yǔ)言模RNN語(yǔ)言模CBOW/skip-gram的局CBOW/skip-gramCBOW/skip-gram的局CBOW/skip-gram更長(zhǎng)范圍內(nèi)的詞語(yǔ)的關(guān)聯(lián)我們引入記我們引入記RNN語(yǔ)言模型一個(gè)RNNRNN語(yǔ)言模型一個(gè)RNNRNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模型RNN語(yǔ)言模代RNN語(yǔ)言模代碼實(shí)踐RNN語(yǔ)言模型RNNRNN語(yǔ)言模型RNN使用實(shí)踐cross-validation交叉驗(yàn)RNN語(yǔ)言模RNN語(yǔ)言模相互關(guān)聯(lián)的一些詞距相互關(guān)聯(lián)的一些詞距離很近“thecloudsareinthe相互關(guān)聯(lián)的一些詞距相互關(guān)聯(lián)的一些詞距離很遠(yuǎn)“IgrewupinFrance…Iatealogofcheese….IspeakfluentBPTTGradient:爆BPTTGradient:爆炸或者BPTTGradient:爆炸或者BPTTGradient:爆炸或者問(wèn)題來(lái)了，CNN的depth和RNN的depth有什么區(qū)別嗎？BPTTGradient:爆炸或者BPTTGradient:爆炸或者BPTTGradient:爆炸或者BPTTGradient:爆炸或者DeepLearningIanBPTTGradient:爆炸或者BPTTGradient:爆炸或者在較長(zhǎng)的時(shí)間跨度下，不穩(wěn)定的gradient是學(xué)LSTMs被設(shè)計(jì)用來(lái)描述長(zhǎng)距離關(guān)聯(lián)（long-termdependency）.ShortTermLSTM是一種特殊的RNNLSTM是一種特殊的RNNLSTM:Output中國(guó)踢得LSTM:Output中國(guó)踢得真爛氣得LSTM:Output中國(guó)LSTM:Output中國(guó)踢得真爛氣得LSTM:Output中國(guó)男足踢得真爛。氣得我想大吃一頓。最LSTM:Output中國(guó)男足踢得真爛。氣得我想大吃一頓。最手機(jī)好慢，你幫我去xxapp256個(gè)維度都用來(lái)既記錄第一句，又記，還256個(gè)維度有100個(gè)記錄第一句，78個(gè)記錄第句，78個(gè)記錄第三句（betterLSTM:Output我們要求只有一部分LSTM:Output我們要求只有一部分維度用真爛氣得LSTM:Output真爛氣LSTM:Output真爛氣得LSTM:Output真氣得LSTM:Output真氣得想大吃一LSTM:InputForget中國(guó)LSTM:InputForget中國(guó)踢得真爛氣得讓我們切換到下一個(gè)詞語(yǔ)（氣得我…）的視LSTM:InputForget中國(guó)LSTM:InputForget中國(guó)踢得真爛氣得讓我們切換到下一個(gè)詞語(yǔ)（氣得我…）的視LSTM:InputForget中國(guó)踢得LSTM:InputForget中國(guó)踢得真爛氣得真爛”這進(jìn)一步，我們假設(shè)其中25個(gè)維度側(cè)重表示“真爛”這個(gè)LSTM:InputForget中國(guó)踢LSTM:InputForget中國(guó)踢得真爛氣得??“真爛”這個(gè)詞關(guān)系最LSTM:InputForget中國(guó)踢得LSTM:InputForget中國(guó)踢得真爛氣得?考慮到當(dāng)前的詞語(yǔ)是“氣得我“真爛”這個(gè)詞關(guān)系最?LSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM:InputForgetLSTM小LSTM有兩套stateLSTM小LSTM有兩套stateC&兩句話解釋兩句話解釋上述理解是否合理上述理解是否合理256個(gè)維度有078句，78個(gè)記錄第三句256個(gè)維度有100個(gè)記錄“中國(guó)男足踢得真mLSTM有4,096個(gè)維發(fā)現(xiàn)4096個(gè)維度里面有一個(gè)neuronnode，可相當(dāng)準(zhǔn)確地預(yù)測(cè)評(píng)論的褒一個(gè)支持上述理解的工一個(gè)支持上述理解的工在