大數(shù)據(jù)分析方法與應(yīng)用 課件 第9章 神經(jīng)網(wǎng)絡(luò)

大數(shù)據(jù)分析方法與應(yīng)用上海理工大學(xué)主講人：耿秀麗

教授第九章神經(jīng)網(wǎng)絡(luò)目錄CONTENTS第九章神經(jīng)網(wǎng)絡(luò)9.1發(fā)展歷程9.2基礎(chǔ)模型9.3典型神經(jīng)網(wǎng)絡(luò)9.4人工智能的中立性9.5信息不公9.6應(yīng)用案例9.7數(shù)字技術(shù)倫理規(guī)范9.1發(fā)展歷程人工神經(jīng)網(wǎng)絡(luò)從1943誕生以來，經(jīng)歷過若干次的熱潮與低谷：9.1發(fā)展歷程第一次熱潮：誕生（1943～1969年）

提出了許多神經(jīng)元模型和學(xué)習(xí)規(guī)則第一次低谷：冰河期（1969年～1983年）

感知器只能解決簡單的線性問題，針對求解非線性問題無法得到有效解釋第二次熱潮：反向傳播算法（1983年～1995年）引入反向傳播算法，使得求解非線性問題變得可解釋第二次低谷：冷門（1995～2006年）

支持向量機(jī)等方法在機(jī)器學(xué)習(xí)領(lǐng)域的流行度逐漸超過了神經(jīng)網(wǎng)絡(luò)第三次熱潮：深度學(xué)習(xí)（2006年-至今）

深度網(wǎng)絡(luò)模型能有效作用于實(shí)際需求，如人臉支付、自動(dòng)門禁、自動(dòng)駕駛等各類應(yīng)用9.2基礎(chǔ)模型神經(jīng)元-基本結(jié)構(gòu)人工神經(jīng)元（ArtificialNeuron），簡稱神經(jīng)元（Neuron），是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元。一個(gè)生物神經(jīng)元通常具有多個(gè)樹突和一條軸突。樹突用來接收信息，軸突用來發(fā)送信息。當(dāng)神經(jīng)元積累的輸入信號超過某個(gè)閾值時(shí)，它就處于興奮狀態(tài)，產(chǎn)生電脈沖。軸突尾端有許多末梢可以給其他神經(jīng)元的樹突產(chǎn)生連接（突觸），并將電脈沖信號傳遞給其他神經(jīng)元。9.2基礎(chǔ)模型神經(jīng)元-基本結(jié)構(gòu)

9.2：基礎(chǔ)模型神經(jīng)元-激活函數(shù)為了增強(qiáng)網(wǎng)絡(luò)的表示能力和學(xué)習(xí)能力，激活函數(shù)需要具備以下幾點(diǎn)性質(zhì)：1）激活函數(shù)應(yīng)是連續(xù)并可導(dǎo)（允許少數(shù)點(diǎn)上不可導(dǎo)）的非線性函數(shù)。可導(dǎo)的激活函數(shù)可以直接利用數(shù)值優(yōu)化的方法來學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。2）激活函數(shù)及其導(dǎo)函數(shù)要盡可能的簡單，有利于提高網(wǎng)絡(luò)計(jì)算效率。3）激活函數(shù)的導(dǎo)函數(shù)的值域要在一個(gè)合適的區(qū)間內(nèi)，不能太大也不能太小，否則會(huì)影響訓(xùn)練的效率和穩(wěn)定性。常用激活函數(shù)：Sigmoid、tanh、ReLU等9.2前饋網(wǎng)絡(luò)：整個(gè)網(wǎng)絡(luò)中的信息是朝一個(gè)方向傳播，沒有反向的信息傳播，可以用一個(gè)有向無環(huán)路來表示。前饋網(wǎng)絡(luò)包括全連接前饋網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)等。記憶網(wǎng)絡(luò)：也稱為反饋網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元不但可以接收其他神經(jīng)元的信息，也可以接收自己的歷史信息，具有記憶功能。記憶神經(jīng)網(wǎng)絡(luò)中的信息傳播可以是單向或雙向傳遞，因此可用一個(gè)有向循環(huán)圖或無向圖來表示。記憶網(wǎng)絡(luò)包括循環(huán)神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)等圖網(wǎng)絡(luò)：是一種定義在圖結(jié)構(gòu)數(shù)據(jù)上的神經(jīng)網(wǎng)絡(luò)。圖中每個(gè)節(jié)點(diǎn)都由一個(gè)或一組神經(jīng)元構(gòu)成。節(jié)點(diǎn)之間的連接可以是有向的，也可以是無向的。前饋神經(jīng)網(wǎng)絡(luò)記憶神經(jīng)網(wǎng)絡(luò)圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型網(wǎng)絡(luò)結(jié)構(gòu)9.3典型神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。反向傳播網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無須事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用梯度下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。反向傳播神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層、隱含層和輸出層。反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）前向傳播計(jì)算損失反向傳播參數(shù)更新迭代優(yōu)化9.3典型神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）-反向算法原理第l層的誤差項(xiàng)可以通過第l+1層的誤差項(xiàng)計(jì)算得到，這就是誤差的反向傳播。反向傳播算法的含義是：第l層的一個(gè)神經(jīng)元的誤差項(xiàng)（或敏感性）是所有與該神經(jīng)元相連的第l+1層的神經(jīng)元的誤差項(xiàng)的權(quán)重和。然后，再乘上該神經(jīng)元激活函數(shù)的梯度。9.3典型神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）-反向算法原理基于誤差反向傳播算法的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程可以分為以下三步：1）前饋計(jì)算每一層的凈輸入z(l)和激活值a(l)，直到最后一層；2）反向傳播計(jì)算每一層的誤差項(xiàng)δ(l)；3）計(jì)算每一層參數(shù)的偏導(dǎo)數(shù)，并更新參數(shù)。9.3典型神經(jīng)網(wǎng)絡(luò)這里*表示卷積操作，g(x-τ)表示函數(shù)g(x)向右平移τ個(gè)單位，然后與函數(shù)f(τ)進(jìn)行乘積。積分的上下限是負(fù)無窮到正無窮，表示對所有可能的值進(jìn)行積分。換句話說，卷積操作的結(jié)果是將函數(shù)f(x)和函數(shù)g(x)在一定范圍內(nèi)進(jìn)行“重疊”，并將它們的乘積在該范圍內(nèi)積分，得到一個(gè)新的函數(shù)h(x)。h(x)描述f(x)和g(x)的某種關(guān)系，通常是它們之間的相似程度或相關(guān)程度。卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積神經(jīng)網(wǎng)絡(luò)一般由卷積層、匯聚層和全連接層構(gòu)成。卷積的原理可以用以下的方式描述：假設(shè)有兩個(gè)函數(shù)f(x)和g(x)，它們在定義域內(nèi)的乘積積分表示為：9.3典型神經(jīng)網(wǎng)絡(luò)在圖像處理和神經(jīng)網(wǎng)絡(luò)中，卷積操作通常是指將一個(gè)卷積核（也稱為過濾器）與輸入數(shù)據(jù)的局部區(qū)域進(jìn)行卷積，得到一個(gè)輸出值。卷積核通常是一個(gè)小的矩陣或張量，可以從輸入數(shù)據(jù)中提取出一些特征。通過改變卷積核的大小和形狀，我們可以改變從輸入數(shù)據(jù)中提取的特征的類型和數(shù)量。卷積操作的優(yōu)點(diǎn)在于它可以減少數(shù)據(jù)的維度，并提取數(shù)據(jù)中的有用信息，這對于處理大量數(shù)據(jù)或高維數(shù)據(jù)非常有用。此外，卷積操作還可以減少計(jì)算量，因?yàn)樗梢栽谝淮尾僮髦刑幚矶鄠€(gè)數(shù)據(jù)點(diǎn)，而不是逐個(gè)處理。因此其主要作用是特征提取和信號處理。在圖像處理中，卷積操作可以用來提取圖像的邊緣、紋理和其他特征。在神經(jīng)網(wǎng)絡(luò)中，卷積層可以用來提取圖像、音頻、文本等數(shù)據(jù)的特征。卷積神經(jīng)網(wǎng)絡(luò)（CNN）-卷積層9.3典型神經(jīng)網(wǎng)絡(luò)匯聚層也叫子采樣層，其作用是進(jìn)行特征選擇。卷積層雖然可以顯著減少網(wǎng)絡(luò)中連接的數(shù)量，但特征映射組中的神經(jīng)元個(gè)數(shù)并沒有顯著減少。如果后面接一個(gè)分類器，且其輸入維數(shù)很高，易出現(xiàn)過擬合。在卷積層之后加上一個(gè)匯聚層，可以有效降低特征維數(shù)，避免過擬合。常用的匯聚函數(shù)有兩種：1）最大匯聚：一般是取一個(gè)區(qū)域內(nèi)所有神經(jīng)元的最大值：2）平均匯聚：一般是取區(qū)域內(nèi)所有神經(jīng)元的平均值。卷積神經(jīng)網(wǎng)絡(luò)（CNN）-匯聚層9.3典型神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）-整體結(jié)構(gòu)目前常用的卷積網(wǎng)絡(luò)結(jié)構(gòu)如下：一個(gè)卷積塊為連續(xù)M個(gè)卷積層和b個(gè)匯聚層（M通常設(shè)置為2～5，b為0或1）。一個(gè)卷積網(wǎng)絡(luò)中可以堆疊N個(gè)連續(xù)的卷積塊，然后再接著K個(gè)全連接層（N的取值區(qū)間比較大，比如1～100或者更大；K一般為0～2）。9.3典型神經(jīng)網(wǎng)絡(luò)長短期記憶網(wǎng)絡(luò)（LongShort-TermMemoryNetwork,LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變體，在原先循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，LSTM網(wǎng)絡(luò)引入一個(gè)新的內(nèi)部狀態(tài)（Internalstate），????∈R??專門進(jìn)行線性的循環(huán)信息傳遞，同時(shí)（非線性地）輸出信息給隱藏層的外部狀態(tài)????∈R??。內(nèi)部狀態(tài)????通過下面公式計(jì)算：長短期記憶網(wǎng)絡(luò)（LSTM）9.3典型神經(jīng)網(wǎng)絡(luò)LSTM網(wǎng)絡(luò)引入門控機(jī)制（GatingMechanism）來控制信息傳遞的路徑從而解決存在的梯度爆炸問題。三個(gè)“門”分別為輸入門????、遺忘門????和輸出門????。這三個(gè)門的作用為：1）遺忘門????控制上一個(gè)時(shí)刻的內(nèi)部狀態(tài)?????1需要遺忘多少信息。2）輸入門????控制當(dāng)前時(shí)刻的候選狀態(tài)?????有多少信息需要保存。3）輸出門????控制當(dāng)前時(shí)刻的內(nèi)部狀態(tài)????有多少信息需要輸出給外部狀態(tài)????。LSTM網(wǎng)絡(luò)循環(huán)結(jié)構(gòu)長短期記憶網(wǎng)絡(luò)（LSTM）9.4人工智能的中立性引發(fā)的倫理困境與社會(huì)問題價(jià)值判斷、責(zé)任歸屬、算法公平與透明大數(shù)據(jù)殺熟侵犯個(gè)人隱私人工智能侵權(quán)9.4數(shù)據(jù)：人類社會(huì)的一面鏡子人工智能的中立性2016年微軟公司曾在推特（Twitter）發(fā)布了一款聊天機(jī)器人Tay，它可以通過和人類聊天來不斷學(xué)習(xí)，并且追蹤用戶的個(gè)人信息了解他們的偏好。Tay最初被設(shè)定為一位19歲的清純少女，然而上線僅一天就“被教壞了”。僅在不到24個(gè)小時(shí)，Tay便轉(zhuǎn)變成了一個(gè)集反猶太人、性別歧視、種族歧視等諸多問題于一身的“不良少女”。最終因?yàn)閲?yán)重的種族歧視問題而被迫下線。9.5信息不公：指不同信息主體對信息資源的配置和占有的不對等以及使用的不均衡，導(dǎo)致信息霸權(quán)、信息壟斷等更多的不平等。在信息活動(dòng)中，保證人們公平、平等的享用信息資源，反對信息資源壟斷與排他性是信息倫理的必然要求。然而，大數(shù)據(jù)技術(shù)的迅猛發(fā)展，人工智能設(shè)備的廣泛應(yīng)用，導(dǎo)致信息不公持續(xù)擴(kuò)大，與公正與平等的倫理準(zhǔn)則相悖。信息不公9.6應(yīng)用案例卷積神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用

文本情感分類是自然語言處理中的一個(gè)基本問題，研究方法可分為機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。TextCNN是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在文本分析任務(wù)中的深度學(xué)習(xí)模型，該模型能夠結(jié)合CNN參數(shù)共享機(jī)制，自動(dòng)選擇文本特征，通過增加網(wǎng)絡(luò)結(jié)構(gòu)挖掘豐富文本語義信息，已經(jīng)被證明在自然語言處理任務(wù)中是有效的。

其具體步驟如下所示：1）獲取相關(guān)領(lǐng)域的機(jī)械產(chǎn)品參數(shù)數(shù)據(jù)和評論數(shù)據(jù)，根據(jù)歷史經(jīng)驗(yàn)和顧客關(guān)注程度選取產(chǎn)品屬性特征構(gòu)建產(chǎn)品屬性空間，同時(shí)利用產(chǎn)品評論數(shù)據(jù)訓(xùn)練TextCNN情感分類模型；2）然后，通過該情感分類模型并結(jié)合程度副詞計(jì)算產(chǎn)品感性詞對評價(jià)值，構(gòu)建產(chǎn)品感性評價(jià)空間。3）最后，基于BP神經(jīng)網(wǎng)絡(luò)構(gòu)建產(chǎn)品屬性和產(chǎn)品感性評價(jià)值之間的關(guān)系模型。9.6應(yīng)用案例卷積神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用-模型結(jié)構(gòu)1）獲取產(chǎn)品在線評論和產(chǎn)品屬性數(shù)據(jù)，劃分產(chǎn)品屬性集合；預(yù)處理產(chǎn)品評論數(shù)據(jù)，提取評論中的形容詞，基于TF-EPA方法選取感性詞對。2）設(shè)置TextCNN模型結(jié)構(gòu)和參數(shù)，根據(jù)評論數(shù)據(jù)劃分訓(xùn)練集和測試集，訓(xùn)練模型并分析模型情感分類性能。3）根據(jù)TextCNN模型判斷評論情感極性，然后對評論中的感性詞賦予相應(yīng)極性值，結(jié)合程度副詞強(qiáng)度得感性詞對的感性評價(jià)值。4）最后以產(chǎn)品屬性作為輸入，產(chǎn)品感性評價(jià)值作為輸出，構(gòu)建非線性映射模型，并驗(yàn)證模型的預(yù)測性能。9.6應(yīng)用案例研究框架卷積神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用-模型結(jié)構(gòu)9.6應(yīng)用案例卷積神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用-感性評價(jià)值模型構(gòu)建（1）計(jì)算產(chǎn)品感性評價(jià)值由于用戶的評論意見不只是單一正向或負(fù)向，在計(jì)算感性評價(jià)時(shí)，需考慮感性詞的情感強(qiáng)度。依據(jù)知網(wǎng)（HowNet）程度詞表將程度副詞設(shè)置七個(gè)等級，分別用A1~A7表示，由高到低依次賦予不同分值，例如：“非常”的強(qiáng)度分值為5，“比較”的強(qiáng)度分值為3。面向產(chǎn)品在線評論數(shù)據(jù)，利用TextCNN判斷客戶情感極性，并結(jié)合程度副詞計(jì)算感性詞對評價(jià)值的方法流程如右圖所示：9.6應(yīng)用案例卷積神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用-感性評價(jià)值模型構(gòu)建（2）構(gòu)建產(chǎn)品屬性參數(shù)與產(chǎn)品感性評價(jià)的映射模型

產(chǎn)品樣本的收集和感性詞評價(jià)值計(jì)算對于構(gòu)建映射模型是非常重要的部分。本節(jié)利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建產(chǎn)品屬性與產(chǎn)品感性評價(jià)之間的關(guān)系模型，將產(chǎn)品屬性參數(shù)作為輸入，將產(chǎn)品感性詞評價(jià)值作為輸出構(gòu)建模型。每種產(chǎn)品的屬性參數(shù)由En={PAi}(i=1,2,…,n)表示，每種產(chǎn)品屬性參數(shù)PAi都有t個(gè)可選等級；產(chǎn)品感性評價(jià)值由TextCNN情感分析模型與程度副詞相結(jié)合的方法求出，分別構(gòu)建不同感性詞的映射模型。

該模型利用在線評論數(shù)據(jù)收集感性詞并結(jié)合TextCNN情感分析模型計(jì)算感性評價(jià)值，根據(jù)用戶關(guān)注歷史經(jīng)驗(yàn)選擇產(chǎn)品參數(shù)，可用來預(yù)測不同參數(shù)屬性產(chǎn)品的感性評價(jià)。設(shè)計(jì)新產(chǎn)品時(shí)，可將產(chǎn)品相關(guān)屬性參數(shù)作為映射模型的輸入，輸出不同感性詞的感性評價(jià)值，以此來為產(chǎn)品參數(shù)屬性設(shè)計(jì)提供指導(dǎo)和建議，為新產(chǎn)品研發(fā)提供客觀的參考建議。9.6應(yīng)用案例案例與實(shí)現(xiàn)

以汽車產(chǎn)品為研究對象，從汽車之家平臺收集數(shù)據(jù)進(jìn)行研究分析。在保證產(chǎn)品多樣性和評論數(shù)據(jù)量的前提下選取50種車型，分別收集產(chǎn)品參數(shù)屬性和產(chǎn)品評論數(shù)據(jù)。編號參數(shù)級別1級別2級別3PA1價(jià)格(萬)x<150000150000≤x≤250000x>250000PA2最大功率(kw)x<110110≤x≤150x>150PA3最大扭矩(N-m)x<150150≤x≤250x>250PA4長寬高(mm)x<47004700≤x≤5000x>5000PA5油耗(L/100km)x<4.54.5≤x≤6.8x>6.8PA6軸距(mm)x<28002800≤x≤3000x>3000PA7整車質(zhì)量(kg)x<16001600≤x≤1650x>1650PA8排量(mL)x<1.51.5≤x≤2.5x>2.5PA9安全性(氣囊)x<55≤x≤6x>6汽車屬性參數(shù)形容詞詞頻形容詞詞頻形容詞詞頻形容詞詞頻形容詞詞頻好14448舒服3018明顯1965長1196穩(wěn)定763高13589漂亮2946快1732便宜989較大752不錯(cuò)7761很大2700少1721慢977難727小6728差2729容易1657不足967重717低5440方便2625強(qiáng)1562粗糙887扎實(shí)716硬3184舒適2602寬敞1219強(qiáng)勁861輕649形容詞詞頻統(tǒng)計(jì)9.6應(yīng)用案例由圖可知，神經(jīng)網(wǎng)絡(luò)預(yù)測模型的效果較好，預(yù)測值與實(shí)際值的誤差較小，趨勢一致性較高。感性詞的預(yù)測效果與相關(guān)性強(qiáng)的產(chǎn)品屬性參數(shù)個(gè)數(shù)正相關(guān)。感性評價(jià)值是在一定范圍內(nèi)上下波動(dòng)的，因此，結(jié)果總體上滿足預(yù)測評價(jià)值的要求。

9.6應(yīng)用案例LSTM用于預(yù)測：滑坡位移預(yù)測

隨著機(jī)器學(xué)習(xí)的快速發(fā)展，一些具有代表性的回歸方法已經(jīng)在滑坡位移預(yù)測領(lǐng)域中展現(xiàn)了較好的效果，但是其使用仍然存在一些局限性。

基于這一現(xiàn)狀，將集合經(jīng)驗(yàn)?zāi)B(tài)分解（Ensembleempiricalmodedecomposition,EEMD）與Prophet辦法結(jié)合長短記憶網(wǎng)絡(luò)組成的預(yù)測模型。根據(jù)EEMD將實(shí)驗(yàn)樣本滑坡的位移序列分解，重構(gòu)為趨勢項(xiàng)和包含周期因素、隨機(jī)因素的波動(dòng)項(xiàng)。使用Prophet結(jié)合季節(jié)影響對趨勢項(xiàng)進(jìn)行擬合；建立LSTM模型預(yù)測波動(dòng)項(xiàng)；之后兩項(xiàng)預(yù)測值加和得到總位移預(yù)測值。9.6應(yīng)用案例LSTM用于預(yù)測：滑坡位移預(yù)測預(yù)測方法流程圖

滑坡位移過程中，位移值不僅僅是數(shù)據(jù)的疊加，前后期位移數(shù)據(jù)在自然因素上也存在潛在的關(guān)系，比如導(dǎo)致歷史位移數(shù)據(jù)大幅變化的某場暴雨以及庫水位變化也會(huì)部分作用在后期的位移上，由此LSTM的記憶特性在預(yù)測中有更好的發(fā)揮。其預(yù)測流程如右圖所示：9.6應(yīng)用案例案例與實(shí)現(xiàn)以某地3個(gè)監(jiān)測點(diǎn)（ZG93、ZG118、XD01）的數(shù)據(jù)（來源：國家冰川凍土沙漠科學(xué)數(shù)據(jù)中心/國家特殊環(huán)境、特殊功能觀測研究臺站共享服務(wù)平臺，http:∥）進(jìn)行收集與分析。其中ZG93、ZG118和XD01監(jiān)測點(diǎn)2006年12月至2012年11月的監(jiān)測數(shù)據(jù)進(jìn)行研究，其歷史位移、歷年雨量以及庫水位數(shù)據(jù)見右圖：9.6應(yīng)用案例案例與實(shí)