泛朦第三系神經(jīng)系

泛朦第三系神經(jīng)系第一頁，共四十七頁，編輯于2023年，星期日類神經(jīng)網(wǎng)路導(dǎo)論類神經(jīng)網(wǎng)路（artificialneuralnetwork）或譯為人工神經(jīng)網(wǎng)路：模仿生物神經(jīng)網(wǎng)路的資訊處理系統(tǒng)。第二頁，共四十七頁，編輯于2023年，星期日精確定義一種計算系統(tǒng)：硬體、軟體。大量簡單的相連人工神經(jīng)元：模仿生物神經(jīng)網(wǎng)路的能力。取得資訊：外界環(huán)境、人工神經(jīng)元。輸出結(jié)果：外界環(huán)境其他人工神經(jīng)元。第三頁，共四十七頁，編輯于2023年，星期日背景（1）1957年（電腦發(fā)展的初期）：第一種類神經(jīng)網(wǎng)路模式—

感知機（Perceptron）提出。1960年代中期沒落。第四頁，共四十七頁，編輯于2023年，星期日沒落因素1.本身理論無法突破（EX：XOR問題）。2.數(shù)位電腦、人工智慧的吸引。3.當(dāng)時相關(guān)技術(shù)無法實現(xiàn)「神經(jīng)電腦」。第五頁，共四十七頁，編輯于2023年，星期日背景（2）80年代中期：類神經(jīng)網(wǎng)路的研究復(fù)興，而在短短數(shù)年之內(nèi)蔚為風(fēng)潮。原因：如下4點。第六頁，共四十七頁，編輯于2023年，星期日復(fù)興原因（1）類神經(jīng)網(wǎng)路在理論的建立與模式的開發(fā)上有了突破，最明顯的突破包括：霍普菲爾網(wǎng)路（Hopfieldneuralnetwork，HNN）倒傳遞網(wǎng)路（Back-propagationnetwork）。第七頁，共四十七頁，編輯于2023年，星期日復(fù)興原因（2）解決電腦科學(xué)與人工智慧的難題，（EX：樣本識別、機器學(xué)習(xí)）。電子、光學(xué)等技術(shù)進展：提供實現(xiàn)「神經(jīng)電腦」可能性（EX：基於VLSI的神經(jīng)電腦與光神經(jīng)電腦的誕生）。第八頁，共四十七頁，編輯于2023年，星期日復(fù)興原因（3）從現(xiàn)代生物學(xué)、認知學(xué)、心裡學(xué)對生物神經(jīng)網(wǎng)路的瞭解，提供了發(fā)展新的類神經(jīng)網(wǎng)路模式的啟示。

第九頁，共四十七頁，編輯于2023年，星期日生物神經(jīng)元模型生物神經(jīng)網(wǎng)路：由巨量的神經(jīng)細胞，或稱神經(jīng)元所組成，神經(jīng)細胞的形狀和一般的細胞有很大的不同。第十頁，共四十七頁，編輯于2023年，星期日神經(jīng)細胞神經(jīng)核：神經(jīng)細胞呈核狀的處理機構(gòu)。軸索（神經(jīng)軸）：神經(jīng)細胞成軸索狀的輸送機構(gòu)。樹突（神經(jīng)樹）：神經(jīng)細胞成樹枝狀的輸出入機構(gòu)。突觸（神經(jīng)節(jié)）：神經(jīng)細胞神經(jīng)樹上乘點狀的連結(jié)機構(gòu)。第十一頁，共四十七頁，編輯于2023年，星期日神經(jīng)核（soma）神經(jīng)軸突（axon）神經(jīng)突觸（synapses）（synapses）神經(jīng)樹突（dendrites）(dendrites）第十二頁，共四十七頁，編輯于2023年，星期日人工神經(jīng)元模型（1）類神經(jīng)網(wǎng)路：由許多的人工神經(jīng)細胞（artificialneuron）所組成。又稱類神經(jīng)元、人工神經(jīng)元、處理單元（processingelement）。每一個處理單元的輸出以扇形送出，成為其它許多處理單元的輸入。第十三頁，共四十七頁，編輯于2023年，星期日

人工神經(jīng)元模型（2）其中Yj=模仿生物神經(jīng)元模型的輸出訊號。處理單元輸出值與輸入值的關(guān)係式：一般用輸入

值的加權(quán)乘積和之函數(shù)來表示第十四頁，共四十七頁，編輯于2023年，星期日人工神經(jīng)元模型（3）f＝模仿生物神經(jīng)元模型的轉(zhuǎn)移函數(shù)（transferfunction）。Wij＝模仿生物神經(jīng)元模型的神經(jīng)鏈結(jié)強度，又稱鏈結(jié)加權(quán)值。第十五頁，共四十七頁，編輯于2023年，星期日人工神經(jīng)元模型（4）Xi＝模仿生物神經(jīng)元模型的輸入訊號（inputsignal）。θ＝模仿生物神經(jīng)元模型的閥值（thresholdvalue）。第十六頁，共四十七頁，編輯于2023年，星期日第十七頁，共四十七頁，編輯于2023年，星期日人工神經(jīng)元模型（5）鏈結(jié)（connection）：介於處理單元間的訊號傳遞路徑。每一個鏈結(jié)上有一個數(shù)值的加權(quán)值Wij，用以表示第i處理單元對第j處理單元之影響程度。第十八頁，共四十七頁，編輯于2023年，星期日人工神經(jīng)元模型（6）一個類神經(jīng)網(wǎng)路:由許多個人工神經(jīng)元所組成，並且可以組成不同的網(wǎng)路模式（networkmodel）或網(wǎng)路典範(fàn)（networkparadigm）。第十九頁，共四十七頁，編輯于2023年，星期日類神經(jīng)網(wǎng)路模型(1)倒傳遞網(wǎng)路（back-propagationnetwork，BPN）:應(yīng)用最普遍。BPN:包含許多層(含若干個處單元)第二十頁，共四十七頁，編輯于2023年，星期日類神經(jīng)網(wǎng)路模型(2)輸入層單元:輸入訊息。輸出層單元：輸出訊息。隱藏層單元：提供類神經(jīng)網(wǎng)路表現(xiàn)處理單元間的交互作用與問題的內(nèi)在結(jié)構(gòu)的能力。第二十一頁，共四十七頁，編輯于2023年，星期日第二十二頁，共四十七頁，編輯于2023年，星期日網(wǎng)路分類（1）目前著名類神經(jīng)網(wǎng)路不下數(shù)十種，主要分為四類1.監(jiān)督式學(xué)習(xí)網(wǎng)路：從問題領(lǐng)域中取得訓(xùn)練範(fàn)例（有輸入變數(shù)值，也有輸出變數(shù)），並從中學(xué)習(xí)輸入變數(shù)與輸出變數(shù)內(nèi)在對映規(guī)則，以應(yīng)用於新的案例（只有輸入變數(shù)值，而需推論輸出變數(shù)值的應(yīng)用）如BP。第二十三頁，共四十七頁，編輯于2023年，星期日網(wǎng)路分類（2）2.無監(jiān)督式學(xué)習(xí)網(wǎng)路：從問題領(lǐng)域中取得訓(xùn)練範(fàn)例（只有輸入變數(shù)值），並從中學(xué)習(xí)範(fàn)例的內(nèi)在聚類規(guī)則，以應(yīng)用於新的案例。3.聯(lián)想式學(xué)習(xí)網(wǎng)路：從問題領(lǐng)域中取得訓(xùn)練範(fàn)例（狀態(tài)變數(shù)值），並從中學(xué)習(xí)範(fàn)例的內(nèi)在記憶規(guī)則，以應(yīng)用於新的案例，如霍普菲爾網(wǎng)路。第二十四頁，共四十七頁，編輯于2023年，星期日網(wǎng)路分類（2）4.最適化應(yīng)用網(wǎng)路：對一問題決定其設(shè)計變數(shù)值，使其在滿足設(shè)計變數(shù)下，使設(shè)計目標(biāo)達最佳狀態(tài)的應(yīng)用，如退火神經(jīng)網(wǎng)路。第二十五頁，共四十七頁，編輯于2023年，星期日類神經(jīng)網(wǎng)路運作（1）類神經(jīng)網(wǎng)路的運作過程分成兩個階段：學(xué)習(xí)過程：從範(fàn)例學(xué)習(xí)，以調(diào)整網(wǎng)路連節(jié)加權(quán)值的過程?；叵脒^程：網(wǎng)路依回想演算法，以輸入資料決定網(wǎng)路輸出資料的過程。第二十六頁，共四十七頁，編輯于2023年，星期日類神經(jīng)網(wǎng)路運作（2）1.訓(xùn)練範(fàn)例：藉此調(diào)整網(wǎng)路連結(jié)加權(quán)值。訓(xùn)練範(fàn)例型式依所使用的網(wǎng)路模式之不同而異。2.測試範(fàn)例：用以評估網(wǎng)路學(xué)習(xí)成果所使用的範(fàn)例。（1.2）差異：前者只用回想演算法得到推論輸出值，並與目標(biāo)輸出值比較，以評估網(wǎng)路學(xué)習(xí)精度。第二十七頁，共四十七頁，編輯于2023年，星期日類神經(jīng)網(wǎng)路運作（3）3.待推案例：網(wǎng)路學(xué)習(xí)過程完後，可用網(wǎng)路推論待推案例的結(jié)果。（2.3）差異：前者沒有目標(biāo)輸出變數(shù)向量第二十八頁，共四十七頁，編輯于2023年，星期日優(yōu)點高速計算能力高容記憶能力學(xué)習(xí)能力容錯能力第二十九頁，共四十七頁，編輯于2023年，星期日應(yīng)用監(jiān)督式學(xué)習(xí)應(yīng)用：分類、預(yù)測。非監(jiān)督式學(xué)習(xí)應(yīng)用：聚類。聯(lián)想式學(xué)習(xí)應(yīng)用：雜訊過濾、資料擷取。最佳化問題應(yīng)用：設(shè)計、排程。第三十頁，共四十七頁，編輯于2023年，星期日基本架構(gòu)（1）處理單元：類神經(jīng)網(wǎng)路基本單位作用可用三個函數(shù)來說明：

1）集成函數(shù)

2）作用函數(shù)

3）轉(zhuǎn)換函數(shù)第三十一頁，共四十七頁，編輯于2023年，星期日基本架構(gòu)（2）層：若干個具相同作用的處理單元集合成。層的三種作用：

1）正規(guī)化輸出

2）競爭化輸出

3）競爭化學(xué)習(xí)

第三十二頁，共四十七頁，編輯于2023年，星期日基本架構(gòu)（3）網(wǎng)路：若干個具不同作用的層集合成網(wǎng)路網(wǎng)路兩種作用：

1）學(xué)習(xí)過程

2）回想過程第三十三頁，共四十七頁，編輯于2023年，星期日第三十四頁，共四十七頁，編輯于2023年，星期日C：實數(shù)型常數(shù)。單調(diào)(monotonic)遞增、平滑且可微分的函數(shù)。採用：倒傳遞類神經(jīng)網(wǎng)路、連續(xù)型霍普菲爾網(wǎng)路，都是此種活化函數(shù)。第三十五頁，共四十七頁，編輯于2023年，星期日倒傳遞網(wǎng)路倒傳遞類神網(wǎng)路模式是目前類神網(wǎng)路學(xué)習(xí)模式中最具代表性，應(yīng)用最普遍的模式。倒傳遞類神經(jīng)網(wǎng)路屬於監(jiān)督式學(xué)習(xí)網(wǎng)路，因而適合診斷、預(yù)測等應(yīng)用。第三十六頁，共四十七頁，編輯于2023年，星期日???????????????輸出向量輸入向量輸出層：表示輸出變數(shù)隱藏層：表示輸入處理單元間的交互影響輸出層：表示輸入變數(shù)第三十七頁，共四十七頁，編輯于2023年，星期日範(fàn)例文章：

IntegrationofGrayPredictionandFuzzyModelforImprovingBack-propagationLearningAlgorithmR.J.Kuo,C.Y.Chiu,andC.C.HsiehFuzzy2000第三十八頁，共四十七頁，編輯于2023年，星期日題目簡述基本觀念：利用灰預(yù)測和模糊理論來改善BP的訓(xùn)練速度。模擬：XOR範(fàn)例設(shè)定：初始學(xué)習(xí)率：0.3，學(xué)習(xí)次數(shù)1000次。由MSE（meansquareerror）來判定收斂效。第三十九頁，共四十七頁，編輯于2023年，星期日解法（灰色）建立GM（1,1）模型的灰微分方程式目的：預(yù)測error（PE）andchangeoferror(PCE)。用PE和PCE根據(jù)FUZZY規(guī)則，調(diào)整訓(xùn)練參數(shù)。第四十頁，共四十七頁，編輯于2023年，星期日解法（類神經(jīng)）各層間初始權(quán)重：亂數(shù)。開始時訓(xùn)練誤差大：給大學(xué)習(xí)率使系統(tǒng)收斂快。當(dāng)訓(xùn)練接近最佳化：給小學(xué)習(xí)率以免震盪。訓(xùn)練速度調(diào)整是根據(jù)PE和PCE。第四十一頁，共四十七頁，編輯于2023年，星期日解法（模糊）PE大時或非常大，訓(xùn)練速率大，反之亦然。PCE負時訓(xùn)練速率應(yīng)增加，PCE正時訓(xùn)練速率應(yīng)減小。第四十二頁，共四十七頁，編輯于2023年，星期日模糊規(guī)則