人工智能應(yīng)用基礎(chǔ) 課件 任務(wù)7 RNN實(shí)現(xiàn)謠言監(jiān)測

任務(wù)7RNN實(shí)現(xiàn)謠言監(jiān)測任務(wù)7RNN實(shí)現(xiàn)謠言監(jiān)測0102循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM模型一、循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)，簡稱RNN，是一種對時(shí)間序列顯示建模的神經(jīng)網(wǎng)絡(luò)，主要對文本語義和時(shí)序信息進(jìn)行處理和預(yù)測，通常情況下與自然語言處理相互結(jié)合使用，循環(huán)神經(jīng)網(wǎng)絡(luò)包含輸入層、隱藏層和輸出層。一、循環(huán)神經(jīng)網(wǎng)絡(luò)以語言翻譯為例，若需要翻譯語句ABCD，此時(shí)循環(huán)神經(jīng)網(wǎng)絡(luò)的第一段每一個(gè)時(shí)刻的輸入就分別是A、B、C和D，用“_”作為待翻譯語句的結(jié)束符，在第一段中循環(huán)神經(jīng)網(wǎng)絡(luò)只有輸入沒有輸出，從結(jié)束符“_”開始，循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)入翻譯階段，此時(shí)每一個(gè)時(shí)刻的輸入是上一個(gè)時(shí)刻的輸出，最終得到的輸出XYZ就是語句ABCD翻譯的結(jié)果，翻譯輸出結(jié)束符“_”時(shí)表示翻譯結(jié)束。二、LSTM模型長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)簡稱LSTM，是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變體，能夠有效地解決長期依賴問題/梯度消失問題。LSTM模型的關(guān)鍵是引入了一組記憶單元（MemoryUnits），允許網(wǎng)絡(luò)可以學(xué)習(xí)何時(shí)遺忘歷史信息，何時(shí)用新信息更新記憶單元。在時(shí)刻t時(shí)，記憶單元ct記錄了到當(dāng)前時(shí)刻為止的所有歷史信息，并受三個(gè)“門”控制：輸入門it,遺忘門ft和輸出門ot。三個(gè)門的元素的值在[0,1]之間。其核心為記憶（細(xì)胞狀態(tài)）和門機(jī)制。二、LSTM模型門(Gate)是一種可選地讓信息通過的方式。它由一個(gè)Sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)點(diǎn)乘法運(yùn)算組成。Sigmoid神經(jīng)網(wǎng)絡(luò)層輸出0和1之間的數(shù)字，這個(gè)數(shù)字描述每個(gè)組件有多少信息可以通過，0表示不通過任何信息，1表示全部通過。遺忘門是決定從細(xì)胞狀態(tài)中丟棄什么信息，同時(shí)查看ht-1（前一個(gè)隱藏狀態(tài)）和xt(當(dāng)前輸入)并為狀態(tài)Ct-1(上一個(gè)狀態(tài))中的每個(gè)數(shù)字輸出0-1之間的數(shù)字，其中1表示完全保留，0表示徹底刪除。輸入門決定要在細(xì)胞狀態(tài)中存儲(chǔ)的信息，在輸入過程中首先經(jīng)過Sigmoid層，該層決定了將更新的值，之后tanh層創(chuàng)建候選向量，該向量會(huì)被加到細(xì)胞的狀態(tài)中，最終結(jié)合這兩個(gè)向量來創(chuàng)建更新值，輸出門決定要輸出的內(nèi)容，通過Sigmoid層決定輸出細(xì)胞狀態(tài)中的內(nèi)容，之后將細(xì)胞狀態(tài)通過tanh并乘以Sigmoid門的輸出。三、任務(wù)實(shí)施傳統(tǒng)的謠言檢測模型一般根據(jù)謠言的內(nèi)容、用戶屬性、傳播方式人工地構(gòu)造特征，而人工構(gòu)建特征存在考慮片面、浪費(fèi)人力等現(xiàn)象。本次實(shí)踐使用基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的謠言檢測模型，將文本中的謠言事件向量化，通過循環(huán)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練來挖掘表示文本深層的特征，避免了特征構(gòu)建的問題，并能