神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中應(yīng)用

1、畢 業(yè) 論 文神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用劉軍2指導(dǎo)教師 曾慶茂講師學(xué)院名稱理學(xué)院 專業(yè)名稱信息與計(jì)算科學(xué)論文提交日期2009年5 月23 日 論文答辯日期年 月 日答辯委員會(huì)主席 _評(píng) 閱 人 _39 / 43文檔可自由編輯打印摘 要神經(jīng)網(wǎng)絡(luò)（Neural NetworkNN）是當(dāng)今最具魅力的一個(gè)新興學(xué)科生長點(diǎn),已發(fā)展成為現(xiàn)代科學(xué)技術(shù)的新熱點(diǎn),其迅猛發(fā)展將對(duì)整個(gè)信息科學(xué)產(chǎn)生巨大的影響。神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用也非常的廣泛。本文首先概述了人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)理論，接著闡述了神經(jīng)網(wǎng)絡(luò)的模型、結(jié)構(gòu)、分類、特性。然后針對(duì)應(yīng)用的目的，介紹了數(shù)學(xué)建模中常用兩種的神經(jīng)網(wǎng)絡(luò)。常用的神經(jīng)網(wǎng)絡(luò)主要有兩種：一種是基

2、于誤差反傳算法的前饋神經(jīng)網(wǎng)絡(luò)，即BP神經(jīng)網(wǎng)絡(luò)，主要用來實(shí)現(xiàn)非線性映射；另一種是自組織神經(jīng)網(wǎng)絡(luò)，即SOM網(wǎng)，主要用來聚類和模式識(shí)別。神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中比較擅長的是聯(lián)想記憶，作分類器，作預(yù)測(cè)，作參數(shù)選擇，作控制器等等，這些問題都可以通過神經(jīng)網(wǎng)絡(luò)進(jìn)行解決。應(yīng)用實(shí)例為2005年數(shù)學(xué)建模競(jìng)賽原題，使用“BP神經(jīng)網(wǎng)絡(luò)逼近法”預(yù)測(cè)算法模型，計(jì)算了觀測(cè)站各時(shí)間段的預(yù)測(cè)值?！癇P神經(jīng)網(wǎng)絡(luò)逼近法”為通用算法，優(yōu)點(diǎn)是計(jì)算靈活，尤其對(duì)穩(wěn)態(tài)隨機(jī)過程的逼近效果較好，對(duì)精度要求比較高的問題，可以很好的解決，而且可以作整體預(yù)測(cè)，因此是目前最流行的算法。它解決了兩個(gè)實(shí)際問題，其一為函數(shù)逼近問題，其二為預(yù)測(cè)問題，重點(diǎn)論述了如何

3、結(jié)合實(shí)際應(yīng)用問題來進(jìn)行數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)建立、網(wǎng)絡(luò)訓(xùn)練及結(jié)果分析，展示BP神經(jīng)網(wǎng)絡(luò)在應(yīng)用上的能力。最后，本文簡要展望神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的發(fā)展前景，我們有理由相信，只要我們堅(jiān)持不懈地努力，來自神經(jīng)網(wǎng)絡(luò)理論研究的一些新理論和新方法必將給2l世紀(jì)科學(xué)研究帶來源源不斷的動(dòng)力。關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò) 數(shù)學(xué)建模 BP神經(jīng)網(wǎng)絡(luò) 自組織神經(jīng)網(wǎng)絡(luò)目 錄1 前言12 神經(jīng)網(wǎng)絡(luò)基本理論12.1 什么是神經(jīng)網(wǎng)絡(luò)12.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)12.2.1 生物神經(jīng)元模型12.2.2 人工神經(jīng)元模型22.2.3 處理單元的激活轉(zhuǎn)移函數(shù)32.2.4 M-P模型52.3 神經(jīng)網(wǎng)絡(luò)模型52.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練52.4.1 無導(dǎo)師學(xué)習(xí)62.

4、4.2 有導(dǎo)師學(xué)習(xí)72.5 神經(jīng)網(wǎng)絡(luò)特性83 BP神經(jīng)網(wǎng)絡(luò)93.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)93.2 BP網(wǎng)絡(luò)的Matlab編程實(shí)現(xiàn)及討論113.3 學(xué)習(xí)算法討論124 自組織特征映射神經(jīng)網(wǎng)絡(luò)（Self-Organizing feature Map）134.1 SOM網(wǎng)簡介134.2 SOM網(wǎng)的生物學(xué)基礎(chǔ)134.3 SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)144.4 SOM網(wǎng)的權(quán)值調(diào)整域144.5 SOM網(wǎng)的學(xué)習(xí)算法155 神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用舉例165.1 神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中解決哪類問題165.1.1 聯(lián)想記憶165.1.2 分類和聚類175.1.3 優(yōu)化計(jì)算175.1.4 預(yù)測(cè)175.2 應(yīng)用舉例：雨量預(yù)報(bào)方法

5、的評(píng)價(jià)（2005數(shù)學(xué)建模競(jìng)賽題目C題，見附錄B）185.2.1 問題重述：185.2.2問題的條件和假設(shè)：185.2.4 模型分析與求解195.2.5 問題一的分析205.2.6 預(yù)測(cè)算法設(shè)計(jì)：205.2.7 兩種算法對(duì)六小時(shí)降雨量預(yù)報(bào)方法準(zhǔn)確性分析245.2.8 問題二的求解算法255.2.9問題的結(jié)論265.2.10 模型的評(píng)價(jià)286 神經(jīng)網(wǎng)絡(luò)的發(fā)展展望29致 謝31參 考 文 獻(xiàn)32Abstract33附 錄34本科生畢業(yè)論文成績?cè)u(píng)定表371 前言人工神經(jīng)網(wǎng)絡(luò)的研究始于20世紀(jì)40年代。人工神經(jīng)網(wǎng)絡(luò)是從微觀結(jié)構(gòu)與功能上對(duì)人腦神經(jīng)系統(tǒng)的模擬而建立起來的一類模型，具有模擬人的部分形象思維的能

6、力，其特點(diǎn)主要是具有非線性特性、學(xué)習(xí)能力和自適應(yīng)性，是模擬人的智能的一條重要途徑。它是由簡單信息處理單元(人工神經(jīng)元，簡稱神經(jīng)元)互聯(lián)組成的網(wǎng)絡(luò)，能接受并處理信息。網(wǎng)絡(luò)的信息處理由單元之間的相互作用來實(shí)現(xiàn)，它是通過把問題表達(dá)成處理單元之間的連接權(quán)來處理的。20世紀(jì)80年代以來。神經(jīng)網(wǎng)絡(luò)的理論和應(yīng)用研究都取得了很大的成績?cè)谀Ｊ阶R(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、智能控制等領(lǐng)域得到了廣泛的應(yīng)用2 神經(jīng)網(wǎng)絡(luò)基本理論2.1 什么是神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)簡稱神經(jīng)網(wǎng)絡(luò)，是人腦及其活動(dòng)的一個(gè)理論化的數(shù)學(xué)模型，它由大量的處理單元通過適當(dāng)?shù)姆绞交ヂ?lián)構(gòu)成，是一個(gè)大規(guī)模的非線性自適應(yīng)系統(tǒng)。1988年，Hec

7、ht-Nielsen曾給人工神經(jīng)網(wǎng)絡(luò)下了如下定義：人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及稱為聯(lián)接的無向信號(hào)通道互聯(lián)而成。這些處理單元（PE-Processing Element）具有局部內(nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分支成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。人工神經(jīng)網(wǎng)絡(luò)除了可以叫做并性分布處理系統(tǒng)（PDP）外，還可以叫做人工神經(jīng)系統(tǒng)（ANS）、神經(jīng)網(wǎng)絡(luò)（NN）、自適應(yīng)系統(tǒng)

8、（Adaptive Systems）、自適應(yīng)網(wǎng)（Adaptive Networks）、聯(lián)接模型（Connectionism）、神經(jīng)計(jì)算機(jī)（Neurocomputer）等。2.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2.1 生物神經(jīng)元模型神經(jīng)元（即神經(jīng)細(xì)胞）是腦的基本組成單位，從人腦的結(jié)構(gòu)來看，它由大量的神經(jīng)細(xì)胞組合而成。這些細(xì)胞相互連接，每個(gè)細(xì)胞完成某種基本功能，如興奮和抑制，它們并行工作，整體上完成復(fù)雜思維活動(dòng)和信息處理。大多數(shù)神經(jīng)元具有某些結(jié)構(gòu)上的共同特征，通?？梢詫⑵浞譃榧?xì)胞體、樹突和軸突三個(gè)區(qū)，如圖1所示。圖1 生物神經(jīng)元結(jié)構(gòu)細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成；樹突是精致的管狀延伸物，是細(xì)胞體向外伸

9、出的許多較短的分支，圍繞細(xì)胞體形成灌木叢狀，它們的作用是接受來自四面八方傳入的神經(jīng)沖擊信息，相當(dāng)于細(xì)胞的“輸入端”，信息流從樹突出發(fā)，經(jīng)過細(xì)胞體，然后由軸突傳出。軸突是由細(xì)胞體向外伸出的最長的一條分支，形成一條通路，信號(hào)能經(jīng)過此通路從細(xì)胞體長距離地傳送到腦神經(jīng)系統(tǒng)的其他部分，其相當(dāng)于細(xì)胞的“輸出端”。人腦功能是依靠信息流經(jīng)由神經(jīng)元組成的復(fù)雜網(wǎng)絡(luò)來完成的，信息是通過神經(jīng)元系統(tǒng)中的接合部（即突觸）由一個(gè)細(xì)胞傳遞至另一個(gè)細(xì)胞。突觸有兩種類型：即興奮型和抑制型。當(dāng)輸入脈沖使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)，產(chǎn)生正的電位的稱為興奮型突觸；當(dāng)輸入脈沖使細(xì)胞膜電位下降至動(dòng)作電位的閾值時(shí)，產(chǎn)生負(fù)的電位的稱

10、為抑制型突觸。由于軸突的末端分出許多末梢，它們與其他神經(jīng)元的樹突（和細(xì)胞體、軸突）構(gòu)成一種稱為突觸的結(jié)合部，樹突在突觸接收信號(hào)后，將它傳遞給細(xì)胞體，信號(hào)在那里積累，激起神經(jīng)元興奮或抑制，從而決定神經(jīng)元的狀態(tài)。2.2.2 人工神經(jīng)元模型神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元，一般表現(xiàn)為一個(gè)多輸入、單輸出的非線性器件通用的結(jié)構(gòu)模型如圖2所示。圖2 神經(jīng)元結(jié)構(gòu)模型其中，為神經(jīng)元的內(nèi)部狀態(tài)，為閾值，為輸入信號(hào)，表示與神經(jīng)元連接的權(quán)值，表示某一外部輸入的控制信號(hào)。 （1.1）神經(jīng)元模型常用一階微分方程來描述，它可以模擬生物神經(jīng)網(wǎng)絡(luò)突觸膜電位隨時(shí)間變化的規(guī)律。2.2.3 處理單元的激活轉(zhuǎn)移函數(shù)激活轉(zhuǎn)移函數(shù)是一個(gè)神

11、經(jīng)元的重要組成部分，轉(zhuǎn)移函數(shù)也稱為激勵(lì)函數(shù)，它描述了生物神經(jīng)元的轉(zhuǎn)移特性，激活函數(shù)的基本作用是： 控制輸入對(duì)輸出的激活作用。 對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換。 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。常用的激活函數(shù)有以下幾種： 閾值型函數(shù)這種激活函數(shù)將任意輸入轉(zhuǎn)化為或兩種狀態(tài)輸出，有時(shí)稱為硬限幅函數(shù)，如圖3（a）所示，其表達(dá)式為（1.2）或 （1.3）其主要特征是不可微、階躍型，常應(yīng)用于M-P模型、感知器模型及Hopfield模型。 線性型函數(shù)線性型函數(shù)可將輸入轉(zhuǎn)化為任意值輸出，即將輸入原封不動(dòng)地輸出，而不像閾值型函數(shù)的輸出只是兩種狀態(tài)，其輸入輸出關(guān)系如圖3（b）所示，線性函數(shù)表達(dá)式為（1.

12、4） 分段線性型（飽和型）函數(shù)實(shí)質(zhì)上，飽和型函數(shù)是閾值型函數(shù)和線性型函數(shù)的綜合，如圖3（c）所示，其表達(dá)式為（1.5）其主要特征是不可微、階躍型，常用于細(xì)胞神經(jīng)網(wǎng)絡(luò)，如模式識(shí)別、文字識(shí)別或噪聲控制等。 S（Sigmoid）型函數(shù)S型激活函數(shù)將任意輸入值壓縮到或的范圍內(nèi)，常用的S型函數(shù)有對(duì)數(shù)函數(shù)，即（1.6）或雙曲正切函數(shù)，即（1.7）如圖3（d）、（e）所示，其主要特征是可微、階躍型，常用于BP（Back Proragation）模型或Fukushina（認(rèn)識(shí)機(jī)/神經(jīng)認(rèn)識(shí)機(jī)）模型。圖3 激活轉(zhuǎn)移函數(shù)2.2.4 M-P模型將人工神經(jīng)元的基本模型和激活函數(shù)合在一起構(gòu)成人工神經(jīng)元，這就是著名的McC

13、ulloch-Pitts模型，簡稱M-P模型，也可以稱之為處理單元（PE-Processing Element）2.3 神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元廣泛互聯(lián)而成的網(wǎng)絡(luò)。根據(jù)連接的方式不同，神經(jīng)網(wǎng)絡(luò)可以分成兩大類：沒有反饋的前向網(wǎng)絡(luò)和相互結(jié)合性網(wǎng)絡(luò)。前向網(wǎng)絡(luò)由輸入層、中間層（或叫隱層）和輸出層組成，中間層可有若干層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸出。而相互連接型網(wǎng)絡(luò)中任意兩個(gè)神經(jīng)元間都有可能連接，因此輸入信號(hào)要在神經(jīng)元之間反復(fù)往返傳遞，從某一初態(tài)開始，經(jīng)過若干次的變化，漸漸趨于某一穩(wěn)定狀態(tài)或進(jìn)入周期振蕩狀態(tài)。目前雖然已有數(shù)十種的神經(jīng)網(wǎng)絡(luò)模型，但已有的神經(jīng)網(wǎng)絡(luò)可分成三大類，即前向網(wǎng)絡(luò)

14、（Feedforward NNs）、反饋網(wǎng)絡(luò)(Feedback NNs)和自組織網(wǎng)絡(luò)（Self-organizing NNs）。2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblat給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。但是，人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力有限，這就大大限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程。所謂訓(xùn)練，就是在將來由樣本向量構(gòu)成的樣本集合（被簡稱為樣本集、訓(xùn)練集）輸入到人工神經(jīng)網(wǎng)絡(luò)的過程中，按照一定的方式去調(diào)整神經(jīng)元之間的聯(lián)接權(quán)，使得網(wǎng)絡(luò)能將樣本集的內(nèi)涵以聯(lián)接權(quán)矩陣的方式存儲(chǔ)起來，

15、從而使得在網(wǎng)絡(luò)接受輸入時(shí)，可以給出適當(dāng)?shù)妮敵?。從學(xué)習(xí)的高級(jí)形式來看，一種是有導(dǎo)師學(xué)習(xí)，另一種是無導(dǎo)師學(xué)習(xí)，而前者看起來更為普遍些。無論是學(xué)生到學(xué)校接受老師的教育，還是自己讀書學(xué)習(xí)，都屬于有導(dǎo)師學(xué)習(xí)。還有不少時(shí)候，人們是經(jīng)過一些實(shí)際經(jīng)驗(yàn)不斷總結(jié)學(xué)習(xí)的。也許這些應(yīng)該算做無導(dǎo)師學(xué)習(xí)。從學(xué)習(xí)的低級(jí)形式來看，恐怕只有無導(dǎo)師學(xué)習(xí)的學(xué)習(xí)形式。目前為止，我們還沒能發(fā)現(xiàn)在生物神經(jīng)系統(tǒng)中有導(dǎo)師學(xué)習(xí)是如何發(fā)生的。在那里還找不到“導(dǎo)師”的存在并發(fā)揮作用的跡象，所有的只是自組織、自適應(yīng)的運(yùn)行過程。2.4.1 無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)（Unsupervised Learning）與無導(dǎo)師訓(xùn)練（Unsupersived Tra

16、ining）相對(duì)印。該方法最早由Kohonen等人提出。雖然從學(xué)習(xí)的高級(jí)形式來看，人們熟悉和習(xí)慣的是有導(dǎo)師學(xué)習(xí)，但是，人工神經(jīng)網(wǎng)絡(luò)模擬的是人腦思維的生物過程。而按照上訴說法，這個(gè)過程應(yīng)該是無導(dǎo)師學(xué)習(xí)的過程。所以無導(dǎo)師訓(xùn)練方式是人工神經(jīng)網(wǎng)絡(luò)的較具說服力的訓(xùn)練方法。無導(dǎo)師訓(xùn)練方法不需要目標(biāo)，其訓(xùn)練集中只含一些輸入向量，訓(xùn)練算法致力于修改權(quán)矩陣，以致網(wǎng)絡(luò)對(duì)一個(gè)輸入能夠給出相容的輸出，即相似的輸入向量可以得到相似的輸出向量。在訓(xùn)練過程中，相應(yīng)的無導(dǎo)師訓(xùn)練算法用來訓(xùn)練的樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性抽取出來，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中，以致網(wǎng)絡(luò)可以按照向量的相似性進(jìn)行分類。雖然用一定的方法對(duì)網(wǎng)絡(luò)進(jìn)

17、行訓(xùn)練后，可收到較好的效果。但是，對(duì)給定的輸入向量來說，它們應(yīng)該被分成多少類，某一個(gè)向量應(yīng)該屬于哪一類，這一類的輸出向量的形式是什么樣的，等等，都是難以事先給出的。從而在實(shí)際應(yīng)用中，還要求進(jìn)行將其輸出變換成一個(gè)可以理解的形式的工作。另外，其運(yùn)行結(jié)果的難以預(yù)測(cè)性也給此方法的使用帶來一定的障礙。主要的無導(dǎo)師訓(xùn)練方法有Hebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同（Competitive and Cooperative）學(xué)習(xí)、隨機(jī)聯(lián)接學(xué)習(xí)（Randomly Connected Learning）等。其中Hebb學(xué)習(xí)律是最早被提出的學(xué)習(xí)算法，目前的大多數(shù)算法都來源于此算法。Hebb算法是D.O.Hebb在1961年提出的

18、，該算法認(rèn)為，聯(lián)接兩個(gè)神經(jīng)元的突觸的強(qiáng)度安下列規(guī)則變化：當(dāng)兩個(gè)神經(jīng)元同時(shí)處于相同狀態(tài)時(shí)被加強(qiáng)，否則被減弱?？捎萌缦聰?shù)學(xué)表達(dá)式表示： （1.8）其中，、分別表示神經(jīng)元到的聯(lián)接在時(shí)刻t+1和時(shí)刻t的強(qiáng)度，、為這兩個(gè)神經(jīng)元在時(shí)刻t的輸出，為給定的學(xué)習(xí)率。2.4.2 有導(dǎo)師學(xué)習(xí)在人工神經(jīng)網(wǎng)絡(luò)中，除了上面的介紹的無導(dǎo)師訓(xùn)練外，還有導(dǎo)師訓(xùn)練。有導(dǎo)師學(xué)習(xí)（Supervised Learning）與有導(dǎo)師訓(xùn)練（Supervised Training）相對(duì)應(yīng)。雖然有導(dǎo)師訓(xùn)練從生物神經(jīng)系統(tǒng)的工作原理來說，因難以解釋而受到一定的非議，但是，目前看來，有導(dǎo)師學(xué)習(xí)卻是非常成功的。因此，需要對(duì)有導(dǎo)師學(xué)習(xí)方法進(jìn)行研究。在這

19、種訓(xùn)練中，要求用戶在給出輸入向量的同時(shí)，還必須同時(shí)給出對(duì)應(yīng)的理想輸出向量。所以采用這種訓(xùn)練方式的網(wǎng)絡(luò)實(shí)現(xiàn)的是異相聯(lián)的映射。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟是：（1）從樣本集合中取一個(gè)樣本；（2）計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；（3）求；（4）根據(jù)D調(diào)整權(quán)矩陣W；（5）對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。有導(dǎo)師訓(xùn)練算法中，最為重要、應(yīng)用最普遍的是Delta規(guī)則。1960年，Widrow和Hoff就給出了如下形式的Delta規(guī)則： （1.9）也可以寫成 （1.10） （1.11）Grossberg的寫法為 （1.12）更一般的Del

20、ta規(guī)則為 （1.13）上述式子中，、分別表示到的聯(lián)接在時(shí)刻t+1和時(shí)刻t的強(qiáng)度，、為這兩個(gè)神經(jīng)元在時(shí)刻t的輸出，為神經(jīng)元的理想輸出，、分別為神經(jīng)元和的激活狀態(tài)。2.5 神經(jīng)網(wǎng)絡(luò)特性自適應(yīng)學(xué)習(xí)的能力神經(jīng)網(wǎng)絡(luò)的信息處理和存儲(chǔ)是在節(jié)點(diǎn)間連接權(quán)上進(jìn)行的, 在其自適應(yīng)自學(xué)習(xí)過程中不斷完善自己, 具有創(chuàng)新的特點(diǎn)。神經(jīng)網(wǎng)絡(luò)的自適應(yīng)自學(xué)習(xí)過程, 屬于一個(gè)遞歸調(diào)用過程, 每學(xué)習(xí)一遍, 檢查輸出信號(hào)是否達(dá)到了要求, 若尚未達(dá)到規(guī)定值, 則自動(dòng)地調(diào)整內(nèi)部各參數(shù), 繼續(xù)進(jìn)行學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)自適應(yīng)自學(xué)習(xí)的目的旨在驗(yàn)證其輸出層的實(shí)際輸出值與所需輸出值的誤差, 使其減至最小。在自適應(yīng)自學(xué)習(xí)過程中誤差值逐漸減小, 直至達(dá)到允

21、許值為止。它不僅可處理各種變化的信息, 而且在處理信息的同時(shí)其自身亦在不斷地變化, 即通過其某種自學(xué)習(xí)機(jī)制, 自身總結(jié)經(jīng)驗(yàn), 可對(duì)一些無規(guī)律的問題, 作出及時(shí)的反應(yīng)與對(duì)策。整體性和系統(tǒng)性單個(gè)神經(jīng)元僅作簡單運(yùn)算, 而大量神經(jīng)元通過互連成網(wǎng)絡(luò)之后具有自適應(yīng)自學(xué)習(xí)的功能, 善于聯(lián)想、概括、類比和推廣的整體運(yùn)算能力, 會(huì)產(chǎn)生出某種向一致的整體效應(yīng)。神經(jīng)網(wǎng)絡(luò)具有理智而敏捷的判斷思維, 可處理一些環(huán)境信息頗為復(fù)雜、知識(shí)背景不清晰、推理規(guī)律模糊、信息模式多變、甚至相互矛盾的問題, 可從典型實(shí)例中正確處理具體事例, 給出最終會(huì)令人滿意的結(jié)果。大規(guī)模并行處理信息的能力神經(jīng)網(wǎng)絡(luò)處理信息快速、準(zhǔn)確, 其信息處理是在

22、大量單元中并行而有層次地進(jìn)行, 它不易出差錯(cuò), 且處理速度較之?dāng)?shù)字式卜算機(jī)快得多。極強(qiáng)的容錯(cuò)和抗噪能力任何局部的損壞不會(huì)影響整體的結(jié)果, 它會(huì)自動(dòng)進(jìn)行修正。神經(jīng)網(wǎng)絡(luò)具有高度分散的信息存儲(chǔ)方式, 在神經(jīng)網(wǎng)絡(luò)中, 一個(gè)信息并不是存放于一個(gè)地方, 而是分布于整個(gè)網(wǎng)絡(luò)內(nèi),網(wǎng)絡(luò)中每一處又能存人多個(gè)信息, 即使網(wǎng)絡(luò)局部系統(tǒng)受損, 亦不致降低整個(gè)網(wǎng)絡(luò)的整體效能僅在某種程度上減慢處理速度, 但其處理速度仍遠(yuǎn)高于普通計(jì)算機(jī), 查詢?nèi)我徊糠中畔? 有關(guān)的信息皆可回憶出來, 恢復(fù)其原始信息。3 BP神經(jīng)網(wǎng)絡(luò)3.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)由多個(gè)網(wǎng)絡(luò)層構(gòu)成，通常包括一個(gè)輸入層、若干個(gè)中間層和一個(gè)輸出層。BP網(wǎng)絡(luò)的

23、特點(diǎn)是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間有連接；各層內(nèi)神經(jīng)元之間沒有任何連接；各層神經(jīng)元之間也沒有反饋連接。BP網(wǎng)絡(luò)具有很強(qiáng)的非線性映射能力，根據(jù)Kolrnogorov定理，一個(gè)3層BP神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對(duì)任意非線性函數(shù)進(jìn)行逼近。一個(gè)典型的3層BP神經(jīng)網(wǎng)絡(luò)模型如圖4所示。圖4 典型的三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)BP網(wǎng)絡(luò)的輸入層、中間層和輸出層分別有NI、NJ和NK個(gè)神經(jīng)元。中間層第j個(gè)神經(jīng)元的輸入為： （3.1）式中，為輸入層中第個(gè)神經(jīng)元到中間層第個(gè)神經(jīng)元的權(quán)值；為輸入層中第i個(gè)神經(jīng)元的輸出。輸出層第k個(gè)神經(jīng)元的輸入為： （3.2）式中，為中間層中第個(gè)神經(jīng)元到輸出層第個(gè)神經(jīng)元的權(quán)值；為中間層中第k個(gè)神經(jīng)

24、元的輸出。輸入層、中間層和輸出層的輸出分別為： （3.3） （3.4） （3.5）式中和分別為中間層第個(gè)神經(jīng)元和輸出層第個(gè)神經(jīng)元的閾值。BP網(wǎng)絡(luò)的訓(xùn)練采用基于梯度法的學(xué)習(xí)律，其目標(biāo)是使網(wǎng)絡(luò)輸出與訓(xùn)練樣本的均方誤差最小。設(shè)訓(xùn)練樣本為P個(gè)，其中輸入向量為；輸出向量為；相應(yīng)的教師值(樣本)向量為。則第P個(gè)樣本的均方誤差為： （3.6）式中， 和分別為第k個(gè)輸出神經(jīng)元第p個(gè)樣本的教師值和實(shí)際輸出值。輸出層的權(quán)值調(diào)整為： （3.7） （3.8） 式中，為學(xué)習(xí)率；為動(dòng)量因子。中間層的權(quán)值調(diào)整為： （3.9） （3.10）閾值的調(diào)整與權(quán)值相類似，不再贅述。3.2 BP網(wǎng)絡(luò)的Matlab編程實(shí)現(xiàn)及討論設(shè)要求逼

25、近的函數(shù)為，其中訓(xùn)練結(jié)束設(shè)置樣本權(quán)值閾值初始化誤差足夠小？計(jì)算各層誤差計(jì)算各層輸出修正權(quán)值和閾值。網(wǎng)絡(luò)采用2-5-1結(jié)構(gòu)，即輸入層2個(gè)節(jié)點(diǎn)，隱層5個(gè)節(jié)點(diǎn)，輸出層1個(gè)節(jié)點(diǎn)。輸出層的和中間層采用標(biāo)準(zhǔn)Sigmoid函數(shù)。實(shí)現(xiàn)流程如圖5所示，具體步驟如下。 初始化。權(quán)值和閾值取隨機(jī)數(shù)；確定學(xué)習(xí)率 和動(dòng)量因子；設(shè)定學(xué)習(xí)誤差準(zhǔn)則。 N 設(shè)置樣本。將、在給定范圍內(nèi)均勻lO等 分，產(chǎn)生121個(gè)訓(xùn)練樣本。 Y 前向傳播：根據(jù)式(3.1)(3.5)計(jì)算各層輸出。 N 后向傳播：根據(jù)式(3.8)和式(3.10)計(jì)算各層誤差。 Y 根據(jù)式(3.7)和式(3.9)調(diào)整權(quán)值和閾值。 全部樣本是否都已訓(xùn)練?若否，則返回步驟

26、 進(jìn)行下一樣本訓(xùn)練。 圖5 BP網(wǎng)絡(luò)實(shí)現(xiàn)流程計(jì)算總性能指標(biāo)。全部樣本的誤差函數(shù)為判斷性能指標(biāo)是否滿足要求：？若已滿足，則訓(xùn)練結(jié)束；否則返回步驟。 經(jīng)過3845次學(xué)習(xí)(=O03，無動(dòng)量項(xiàng))后達(dá)到設(shè)定誤差=01，誤差曲線如圖6所示。用訓(xùn)練好的BP網(wǎng)絡(luò)對(duì)測(cè)試樣本進(jìn)行測(cè)試，測(cè)試樣本為、在給定范圍內(nèi)均勻20等分產(chǎn)生441個(gè)數(shù)據(jù)。測(cè)試誤差均值為-0.0027，方差為0.0012，測(cè)試數(shù)據(jù)用Matlab中的Mesh()三維畫圖函數(shù)得到如圖7所示結(jié)果，程序見附錄A。 圖6 BP學(xué)習(xí)誤差曲線 圖7 仿真結(jié)果 3.3 學(xué)習(xí)算法討論在實(shí)際應(yīng)用中，BP算法存在著訓(xùn)練時(shí)間長、收斂速度慢的缺點(diǎn)。在BP基本算法中增加動(dòng)量項(xiàng)

27、是一種常用且有效的方法，通過實(shí)驗(yàn)對(duì)改進(jìn)學(xué)習(xí)算法中學(xué)習(xí)率和動(dòng)量因子對(duì)收斂速度的影響進(jìn)行仿真研究。不同學(xué)習(xí)率和動(dòng)量因子時(shí)所需的學(xué)習(xí)次數(shù)如表1所示。表1 不同學(xué)習(xí)率和動(dòng)量因子下所需的學(xué)習(xí)次數(shù)0.010.020.030.040.050.30.40.50.60.70.8795068175683454931422266404134442875230717421181270223201941156511958432045175814751196927678165014211195975769568從表1結(jié)果中可以看出：當(dāng)學(xué)習(xí)率不變時(shí)，增大動(dòng)量因子，所需學(xué)習(xí)次數(shù)隨之減少。當(dāng)動(dòng)量因子不變時(shí)，增大學(xué)習(xí)率，所需學(xué)習(xí)

28、次數(shù)隨之減少，但學(xué)習(xí)率不能過大，否則將可能導(dǎo)致學(xué)習(xí)算法不收斂。增加動(dòng)量項(xiàng)后對(duì)學(xué)習(xí)速度有明顯改善。如，當(dāng)=O.5時(shí)，學(xué)習(xí)次數(shù)通常只需無動(dòng)量項(xiàng)時(shí)的50，當(dāng)=0.8時(shí)，學(xué)習(xí)次數(shù)通常只需無動(dòng)量項(xiàng)時(shí)的25。BP網(wǎng)絡(luò)是一種無反饋的多層前向神經(jīng)網(wǎng)絡(luò)，有很強(qiáng)的函數(shù)逼近能力，應(yīng)用非常廣泛。通過一個(gè)二元函數(shù)逼近的實(shí)例，對(duì)BP網(wǎng)絡(luò)的構(gòu)造和程序?qū)崿F(xiàn)進(jìn)行了研究。針對(duì)BP網(wǎng)絡(luò)存在訓(xùn)練時(shí)間長、收斂速度慢的缺點(diǎn)，采用動(dòng)量項(xiàng)的學(xué)習(xí)算法能有效提高學(xué)習(xí)速度，不同參數(shù)對(duì)BP網(wǎng)絡(luò)的收斂速度有很大影響，仿真結(jié)果表明，較大的學(xué)習(xí)率和動(dòng)量因子能提高學(xué)習(xí)速度，但過大的取值則可能導(dǎo)致學(xué)習(xí)算法不收斂。4 自組織特征映射神經(jīng)網(wǎng)絡(luò)（Self-Orga

29、nizing feature Map）4.1 SOM網(wǎng)簡介1981年芬蘭Helsink大學(xué)的T.Kohonen教授提出一種自組織特征映射網(wǎng)，簡稱SOM網(wǎng)，又稱Kohonen網(wǎng)。Kohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來的，其特點(diǎn)與人腦的自組織特性相類似。4.2 SOM網(wǎng)的生物學(xué)基礎(chǔ)生物學(xué)研究的事實(shí)表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的。對(duì)于某

30、一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。4.3 SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層，如圖8。 (a)一維線陣 (b)二維平面線陣圖8 SOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)4.4 SOM網(wǎng)的權(quán)值調(diào)整域SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。如圖9，這種調(diào)整可用三種函數(shù)表示：圖9 權(quán)向量調(diào)整函數(shù)表示以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范

31、圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。優(yōu)勝鄰域開始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。4.5 SOM網(wǎng)的學(xué)習(xí)算法Kohonen 學(xué)習(xí)算法(1)初始化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到，；建立初始優(yōu)勝鄰域；學(xué)習(xí)率賦初始值。(2)接受輸入從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到，。(3)尋找獲勝節(jié)點(diǎn) 計(jì)算與的點(diǎn)積，從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)。(4)定義優(yōu)勝鄰域以為中心確定t 時(shí)刻的權(quán)值調(diào)整域，一般初始鄰域較大，訓(xùn)練過程中隨訓(xùn)練時(shí)間逐漸收縮。(5)調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域Nj*

32、(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值： （4.1）式中，是訓(xùn)練時(shí)間t 和鄰域內(nèi)第j 個(gè)神經(jīng)元與獲勝神經(jīng)元 j* 之間的拓?fù)渚嚯xN 的函數(shù)。流程圖如圖10。初始化、歸一化權(quán)向量W： j=1,2,m建立初始優(yōu)勝鄰域Nj*(0)學(xué)習(xí)率h(t)賦初始值輸入歸一化樣本，pÎ1,2,P計(jì)算點(diǎn)積，j=1,2,m選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*定義優(yōu)勝鄰域Nj*(t)對(duì)優(yōu)勝鄰域Nj*(t)內(nèi)節(jié)點(diǎn)調(diào)整權(quán)值：i=1,2,n jÎNj*(t)<N Y結(jié)束 圖10 Kohonen學(xué)習(xí)算法程序流程5 神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用舉例5.1 神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中解決哪類問題5.1.1 聯(lián)想記憶所謂聯(lián)想記憶是指：設(shè)

33、給定m個(gè)樣本。當(dāng)輸入時(shí)，要求輸出（可以等于，這就是記憶的功能）。現(xiàn)在，當(dāng)輸入為時(shí)，其中為噪聲，希望其輸出仍為，這就是聯(lián)想的功能，即當(dāng)輸入與有一些誤差時(shí)網(wǎng)絡(luò)仍然“認(rèn)得”出是，故稱之為聯(lián)想。網(wǎng)絡(luò)既能記憶，又能聯(lián)想，故稱之為有聯(lián)想記憶能力。 聯(lián)想有兩種類型，一種是由聯(lián)想到，另一種是由聯(lián)想到（一般）5.1.2 分類和聚類設(shè)有一樣本集k，它分成m個(gè)互不相交的類：。若當(dāng)約定當(dāng)屬于時(shí)令其輸出y的第i個(gè)分量為1，其余分量為0，用式子表示為 （5.1）若給定的網(wǎng)絡(luò)能完成上訴功能，則稱對(duì)應(yīng)的網(wǎng)絡(luò)有分類功能力。聚類：設(shè)給定一樣本集k，再給定一分類的要求；希望網(wǎng)絡(luò)能將集中的樣本按要求自動(dòng)分成若干個(gè)類。具有這種能力的網(wǎng)

34、絡(luò)就稱為具有聚類能力。分類與聚類略有不同，分類指每個(gè)樣本對(duì)應(yīng)哪一類，預(yù)先是知道的；而聚類則指每個(gè)樣本對(duì)應(yīng)哪一類預(yù)先是不知道的（它是由分類的要求所決定的）。5.1.3 優(yōu)化計(jì)算求在某種約束條件下，達(dá)到最優(yōu)解的計(jì)算，同常稱之為優(yōu)化計(jì)算。一般，我們將優(yōu)化條件存貯在神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)和閾值中，網(wǎng)絡(luò)的工作狀態(tài)以動(dòng)態(tài)方程式描述。然后，取一初始值，當(dāng)系統(tǒng)的狀態(tài)趨于穩(wěn)定時(shí)，網(wǎng)絡(luò)的解（輸出）就是我們所求的最優(yōu)化的解。5.1.4 預(yù)測(cè)用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，首先要采集訓(xùn)練樣本，然后選擇神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)才有預(yù)測(cè)能力。用神經(jīng)網(wǎng)絡(luò)來進(jìn)行預(yù)測(cè)的過程如圖11所示網(wǎng)絡(luò)模型選擇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)擬合預(yù)測(cè)

35、結(jié)果預(yù)測(cè)模型校驗(yàn)預(yù)測(cè)模型校驗(yàn)網(wǎng)絡(luò)模型選擇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)擬合預(yù)測(cè)結(jié)果理論、數(shù)據(jù)等圖11 神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)的過程其中網(wǎng)絡(luò)模型的選擇就是根據(jù)具體對(duì)象選擇合適的神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，主要包括模型類型(連接方式、學(xué)習(xí)算法等)、網(wǎng)絡(luò)規(guī)模(神經(jīng)網(wǎng)絡(luò)層數(shù)、隱含節(jié)點(diǎn)個(gè)數(shù)、輸入輸出個(gè)數(shù)等)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是根據(jù)歷史數(shù)據(jù)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和閾值，使得神經(jīng)網(wǎng)絡(luò)模仿歷史數(shù)據(jù)中的因果關(guān)系。神經(jīng)網(wǎng)絡(luò)擬合是用調(diào)整好了的連接權(quán)值和閾值的神經(jīng)網(wǎng)絡(luò)來擬合歷史數(shù)據(jù)，這反映了神經(jīng)網(wǎng)絡(luò)對(duì)歷史數(shù)據(jù)中的因果關(guān)系的模擬情況。預(yù)測(cè)模型校驗(yàn)是用檢驗(yàn)樣本輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，得到預(yù)測(cè)輸出，再與實(shí)際數(shù)據(jù)進(jìn)行對(duì)比測(cè)試誤差，這反映了神經(jīng)網(wǎng)絡(luò)的泛化能力

36、。待神經(jīng)網(wǎng)絡(luò)擬合和預(yù)測(cè)模型校驗(yàn)都達(dá)到要求，就可以進(jìn)行預(yù)測(cè)。5.2 應(yīng)用舉例：雨量預(yù)報(bào)方法的評(píng)價(jià)（2005數(shù)學(xué)建模競(jìng)賽題目C題，見附錄B）5.2.1 問題重述：雨量預(yù)報(bào)對(duì)農(nóng)業(yè)生產(chǎn)和城市工作和生活有重要作用。我國某地氣象臺(tái)和氣象研究所正在研究6小時(shí)雨量預(yù)報(bào)方法，即每天晚上20點(diǎn)預(yù)報(bào)從21點(diǎn)開始的4個(gè)時(shí)段（21點(diǎn)至次日3點(diǎn)，次日3點(diǎn)至9點(diǎn)，9點(diǎn)至15點(diǎn)，15點(diǎn)至21點(diǎn)）在某些位置的雨量，這些位置位于東經(jīng)120度、北緯32度附近的53×47的等距網(wǎng)格點(diǎn)上。同時(shí)設(shè)立91個(gè)觀測(cè)站點(diǎn)實(shí)測(cè)這些時(shí)段的實(shí)際雨量，由于各種條件的限制，站點(diǎn)的設(shè)置是不均勻的。預(yù)測(cè)點(diǎn)的經(jīng)緯度、41天的預(yù)測(cè)數(shù)據(jù)、及實(shí)測(cè)點(diǎn)的經(jīng)緯度

37、、41天的實(shí)測(cè)數(shù)據(jù)分別給出。本文要求建立數(shù)學(xué)模型對(duì)下述預(yù)測(cè)效果進(jìn)行評(píng)價(jià)：建立數(shù)學(xué)模型，來評(píng)價(jià)兩種6小時(shí)雨量預(yù)報(bào)方法的準(zhǔn)確性。氣象部門將6小時(shí)降雨量分為6等：0.1-2.5毫米為小雨，2.6-6毫米為中雨，6.1-12毫米為大雨，12.1-25毫米為暴雨，25.1-60毫米為大暴雨，大于60.1毫米為特大暴雨。若按此分級(jí)向公眾預(yù)報(bào)，如何在評(píng)價(jià)方法中考慮公眾的感受？5.2.2問題的條件和假設(shè)：1在本題中，假設(shè)所有預(yù)測(cè)數(shù)據(jù)和觀測(cè)數(shù)據(jù)及預(yù)測(cè)點(diǎn)和觀測(cè)站的經(jīng)緯度坐標(biāo)值均有效，即不考慮人為因素造成的無效數(shù)據(jù)或誤差。2在同一時(shí)間段降雨量呈連續(xù)分布，即同一時(shí)間段內(nèi)預(yù)測(cè)點(diǎn)及其所圍成的區(qū)域內(nèi)每一點(diǎn)降雨量函數(shù)值形成一

38、個(gè)連續(xù)曲面。3當(dāng)兩地距離大于某個(gè)確定時(shí)，假設(shè)兩地降雨量沒有必然聯(lián)系。4在問題二中，假設(shè)當(dāng)預(yù)測(cè)值在等區(qū)間而預(yù)報(bào)為相鄰降雨等級(jí)時(shí)，認(rèn)為觀眾可以接受。5.2.3 符號(hào)說明：表示個(gè)等距網(wǎng)格點(diǎn)上第行、第列的經(jīng)緯度坐標(biāo)(; )。：表示91個(gè)觀測(cè)站的經(jīng)緯度坐標(biāo)()。：分別表示第一、二種預(yù)測(cè)方法對(duì)預(yù)測(cè)點(diǎn)第天第時(shí)間段的預(yù)測(cè)值 (;)。：表示觀測(cè)站第天第時(shí)間段的觀測(cè)值(; ; )。：分別表示第一、二種預(yù)測(cè)方法對(duì)觀測(cè)站第天第時(shí)間段的預(yù)測(cè)值(; )。：表示觀測(cè)站到預(yù)測(cè)點(diǎn)的距離。：表示觀測(cè)站預(yù)測(cè)值和觀測(cè)值差的絕對(duì)值。：預(yù)測(cè)值與觀測(cè)值誤差的絕對(duì)值的數(shù)學(xué)期望。：表示預(yù)測(cè)值和觀測(cè)值誤差絕對(duì)值的方差。：分按時(shí)間段進(jìn)行降雨量等級(jí)

39、預(yù)報(bào)時(shí)公眾滿意度函數(shù)。：公眾對(duì)預(yù)測(cè)方法的平均滿意度。5.2.4 模型分析與求解根據(jù)題目提供的預(yù)報(bào)點(diǎn)的經(jīng)緯度、及觀測(cè)站的經(jīng)緯度，通過描點(diǎn)，可以得到如下預(yù)報(bào)點(diǎn)及觀測(cè)站位置如圖12：圖12 預(yù)測(cè)點(diǎn)及觀測(cè)站分布圖其中“·”表示預(yù)測(cè)點(diǎn)的位置，“*”表示觀測(cè)站的位置。從圖中可以看出，預(yù)報(bào)點(diǎn)分布較均勻，而觀測(cè)站分布不規(guī)則，它主要集中在北緯2934度、東經(jīng)118123度之間。5.2.5 問題一的分析本題已經(jīng)給出了一段時(shí)間內(nèi)若干預(yù)報(bào)點(diǎn)及觀測(cè)站的降雨量預(yù)報(bào)值及實(shí)際觀測(cè)值，要求評(píng)價(jià)兩種6小時(shí)預(yù)報(bào)降雨量方法的準(zhǔn)確性。要檢驗(yàn)準(zhǔn)確性，只能通過對(duì)預(yù)報(bào)點(diǎn)的預(yù)報(bào)數(shù)據(jù)進(jìn)行分析，建立起一個(gè)預(yù)測(cè)模型，通過預(yù)測(cè)模型預(yù)測(cè)觀測(cè)站

40、的預(yù)測(cè)值，然后將預(yù)測(cè)值與觀測(cè)值進(jìn)行比較，得到預(yù)測(cè)準(zhǔn)確性的評(píng)價(jià)方法。首先將利用插值算法，建立相關(guān)數(shù)學(xué)模型，對(duì)觀測(cè)站的降雨量進(jìn)行預(yù)測(cè)。由于插值算法比較多，我將用三種具有代表性的算法計(jì)算所有觀測(cè)站的降雨量預(yù)測(cè)值，然后再利用相關(guān)的評(píng)價(jià)算法，對(duì)前兩種預(yù)測(cè)算法進(jìn)行相應(yīng)的評(píng)價(jià)。5.2.6 預(yù)測(cè)算法設(shè)計(jì)：由于此問題數(shù)據(jù)量大，選擇算法非常關(guān)鍵。模型結(jié)構(gòu)簡單，計(jì)算量小，預(yù)測(cè)準(zhǔn)確性好，是我的目標(biāo)。但是，熊掌魚翅不可兼得，我將給出三種預(yù)測(cè)模型，它們各有所長。預(yù)測(cè)算法1 (最鄰近點(diǎn)插值法)人們最容易想到的、最簡單的一種算法是最鄰近點(diǎn)插值法。這種算法的思想，就是將與最鄰近的點(diǎn)的預(yù)測(cè)值作為觀測(cè)站的觀測(cè)值所對(duì)應(yīng)的預(yù)測(cè)值，即,

41、 （5.2）這是一種最簡單的插值算法，這種算法簡單直觀，計(jì)算量小，對(duì)于數(shù)據(jù)量大，對(duì)預(yù)測(cè)精度要求不是太嚴(yán)格，預(yù)測(cè)值隨時(shí)間變化比較快時(shí)，用這種快速算法不失為一種有意義的算法。我利用此算法對(duì)觀測(cè)站的降雨量進(jìn)行了觀測(cè)，得到如圖13，圖14所示的預(yù)測(cè)值。 圖13 最鄰近插值算法預(yù)測(cè)6月23日四個(gè)時(shí)間段各觀測(cè)站方法2下的預(yù)測(cè)值圖14 最鄰近點(diǎn)插值算法對(duì)所有觀測(cè)站41天每天4個(gè)時(shí)段兩種方法的預(yù)測(cè)值預(yù)測(cè)算法2 (反距離加權(quán)平均法) 由于觀測(cè)站處的降雨量不僅與它最鄰近點(diǎn)的降雨量有關(guān)，而且與它周圍的降雨量存在著密切的關(guān)系，對(duì)處降雨量的預(yù)測(cè)，應(yīng)考慮鄰近網(wǎng)格點(diǎn)預(yù)測(cè)值對(duì)它的影響。將尋找的一個(gè)方形鄰域，只考慮這個(gè)方形鄰域

42、內(nèi)的點(diǎn)對(duì)預(yù)測(cè)的影響。對(duì)于，給出如下算法：定義到的距離如下： （5.3）則兩種預(yù)測(cè)方法對(duì)點(diǎn)在第天、第時(shí)間段的預(yù)測(cè)值定義為： （5.4）其中。這個(gè)算法叫“反距離加權(quán)平均”法，又稱Shepard方法。其基本思想是對(duì)于，對(duì)處的預(yù)測(cè)值的影響隨它們之間距離的增大而減小。這種算法與最鄰近點(diǎn)插值法相比，具有如下優(yōu)點(diǎn)：(1) 此算法充分考慮了觀測(cè)站鄰近點(diǎn)對(duì)觀測(cè)站預(yù)測(cè)值的影響。同時(shí)，認(rèn)為預(yù)測(cè)點(diǎn)對(duì)觀測(cè)站預(yù)測(cè)值的影響隨距離增大而減小的假設(shè)也較合理。(2) 由于數(shù)據(jù)量大，如果在對(duì)每一個(gè)觀測(cè)站進(jìn)行預(yù)測(cè)時(shí)，都考慮所有預(yù)測(cè)網(wǎng)點(diǎn)對(duì)它的影響，就會(huì)因?yàn)橛?jì)算量大而很難實(shí)現(xiàn)，同時(shí)，也會(huì)因?yàn)橛?jì)算過程產(chǎn)生的計(jì)算誤差而導(dǎo)致計(jì)算效果降低。從而

43、在這里尋找的一個(gè)方形鄰域，只考慮方形鄰域內(nèi)的預(yù)測(cè)網(wǎng)點(diǎn)的預(yù)測(cè)值對(duì)它的影響，這樣得到的預(yù)測(cè)值不僅比算法1更合理，而且計(jì)算量不會(huì)有太大增加。取，通過計(jì)算，得到兩種預(yù)測(cè)方法在91個(gè)站點(diǎn)41天每天4個(gè)時(shí)段的全部預(yù)測(cè)值，;(如圖15所示)。 圖15 反距離加權(quán)平均法預(yù)測(cè)所有站點(diǎn)所有時(shí)間段降雨量預(yù)測(cè)值3預(yù)測(cè)算法3 (BP神經(jīng)網(wǎng)絡(luò)算法)上面兩種算法都只是利用某觀測(cè)站鄰近預(yù)測(cè)點(diǎn)的信息對(duì)其進(jìn)行獨(dú)立預(yù)測(cè)，也就是說只考慮觀測(cè)站周圍一個(gè)點(diǎn)或若干個(gè)點(diǎn)對(duì)它的影響，而沒有將所有預(yù)測(cè)點(diǎn)的信息進(jìn)行整體考慮，這些算法具有較大局限性。為此，給出另一種算法，這種算法和前面兩種算法不同，它是基于逼近理論，充分考慮一個(gè)緊集上的點(diǎn)對(duì)全部觀測(cè)

44、站預(yù)測(cè)值的影響的基礎(chǔ)上建立起來的一種整體預(yù)測(cè)算法。這就是現(xiàn)在最流行的算法之一“三層BP神經(jīng)網(wǎng)絡(luò)算法”。BP網(wǎng)絡(luò)可看作是一個(gè)從輸入到輸出的高度非線性映射，網(wǎng)絡(luò)學(xué)習(xí)公式的推導(dǎo)思想是，對(duì)網(wǎng)絡(luò)權(quán)值的修正與閾值的修正，使誤差函數(shù)沿負(fù)梯度方向下降，BP網(wǎng)絡(luò)三層節(jié)點(diǎn)表示為：輸入節(jié)點(diǎn)：；隱節(jié)點(diǎn)：；輸出節(jié)點(diǎn)：BP模型的計(jì)算公式：（1）隱節(jié)點(diǎn)的計(jì)算輸出： （5.5）（2）輸出節(jié)點(diǎn)的計(jì)算輸出： （5.6）其中。（3）輸出節(jié)點(diǎn)的誤差為： （5.7）其中為期望輸出，為實(shí)際輸出，通過對(duì)誤差求導(dǎo)，使誤差沿負(fù)梯度方向下降。經(jīng)過反復(fù)訓(xùn)練，得到一組常數(shù)網(wǎng)絡(luò)權(quán)值，使神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近緊集內(nèi)的點(diǎn)所對(duì)應(yīng)的函數(shù)值，這個(gè)理論已經(jīng)得

45、到證明，證明過程從略。這種算法與前面兩種算法相比，有如下的優(yōu)點(diǎn)：(1) 對(duì)于一個(gè)給定緊集上的未知函數(shù)，如果知道集合中足夠數(shù)量的特征點(diǎn)及其對(duì)應(yīng)的函數(shù)值，就可以建立一個(gè)神經(jīng)網(wǎng)絡(luò)，通過對(duì)這些點(diǎn)進(jìn)行訓(xùn)練，得到一組常數(shù)權(quán)值，在這組權(quán)值下，只要給定緊集上的任意一點(diǎn)，就可以通過公式(5.5)、(5.6)計(jì)算這點(diǎn)所對(duì)應(yīng)的函數(shù)值，而且逼近誤差可以達(dá)到任意精度。(2) 這種算法是一種整體算法，避免了只考慮少數(shù)點(diǎn)對(duì)觀測(cè)值影響而造成的誤差。(3) BP網(wǎng)絡(luò)已經(jīng)比較成熟，在Matlab中有相應(yīng)工具箱，只要輸入誤差限、特征點(diǎn)的坐標(biāo)及其函數(shù)值，調(diào)用相關(guān)函數(shù)，就可以對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，減小了編程的難度。當(dāng)然，也要一分為二看待，由

46、于神經(jīng)網(wǎng)絡(luò)在進(jìn)行訓(xùn)練時(shí)，進(jìn)行了大量的梯度運(yùn)算，計(jì)算速度比較慢。占用較多的機(jī)時(shí)。在這里只用BP神經(jīng)網(wǎng)絡(luò)對(duì)觀測(cè)站的值進(jìn)行預(yù)測(cè)，不對(duì)它的預(yù)測(cè)效果進(jìn)行分析和評(píng)價(jià)。取緊集為，在其內(nèi)對(duì)每一個(gè)時(shí)段的預(yù)測(cè)值分別進(jìn)行訓(xùn)練，然后對(duì)觀測(cè)站每個(gè)時(shí)間段的降雨量進(jìn)行預(yù)測(cè)，得到如下圖所示的預(yù)測(cè)值函數(shù)圖像：圖16 BP算法對(duì)所有觀測(cè)站全部時(shí)間段預(yù)測(cè)值5.2.7 兩種算法對(duì)六小時(shí)降雨量預(yù)報(bào)方法準(zhǔn)確性分析第個(gè)觀測(cè)站第天時(shí)段預(yù)測(cè)值與觀測(cè)值的誤差絕對(duì)值為： （5.8）91個(gè)觀測(cè)站第天時(shí)段的預(yù)測(cè)值與觀測(cè)值誤差絕對(duì)值的均值為： , . （5.9）91個(gè)觀測(cè)站41天時(shí)段的預(yù)測(cè)值與觀測(cè)值誤差的均值為： , . （5.10）對(duì)第天時(shí)段預(yù)測(cè)值與

47、觀測(cè)值誤差的方差為：， （5.11）若按時(shí)段分析，第時(shí)段預(yù)測(cè)值與觀測(cè)值誤差的方差為： 說明：為觀測(cè)站降雨量的測(cè)量值和預(yù)測(cè)值之間的偏差，反映了預(yù)測(cè)值偏離觀測(cè)值的程度，越小越好。本題關(guān)心的是預(yù)測(cè)值和觀測(cè)值之間的差距是多少，至于是偏大還是偏小都不影響用此方法對(duì)兩種預(yù)測(cè)方法的評(píng)價(jià)，而且運(yùn)用統(tǒng)計(jì)規(guī)律對(duì)誤差進(jìn)行處理時(shí)，不能產(chǎn)生誤差相互抵消的情況，所以誤差只有定義為預(yù)測(cè)值偏離觀測(cè)值的絕對(duì)值，才有意義。用來評(píng)價(jià)第種方法在第天時(shí)段對(duì)91個(gè)觀測(cè)站預(yù)測(cè)好壞，而用來評(píng)價(jià)第種方法通過41天對(duì)91個(gè)觀測(cè)站第時(shí)段預(yù)測(cè)效果的好壞。5.2.8 問題二的求解算法問題2中，氣象部門將降雨量分成6個(gè)等級(jí)，用0，1，2，3，4，5，6

48、等7個(gè)數(shù)字分別表示無雨、小雨、中雨、大雨、暴雨、大暴雨及特大暴雨等，從這個(gè)分段中可以看出，降雨量在等區(qū)間處無定義，將定義域補(bǔ)充完整后定義如下分段函數(shù)： （5.12）為了考慮公眾的感受，定義如下公眾滿意度函數(shù)： （5.13）其中表示取不大于的整數(shù)，即取“地板函數(shù)”?？梢姶朔ㄓ泻芎玫摹叭萑绦浴保串?dāng)預(yù)測(cè)值在等區(qū)間而實(shí)測(cè)值在各自的相鄰區(qū)間時(shí)，則公眾滿意度為1，如當(dāng)而時(shí)，公眾滿意度為1，反之亦然。這個(gè)算法具有較好的科學(xué)性，由假設(shè)，當(dāng)誤差小于0.1mm，可以認(rèn)為是公眾對(duì)預(yù)報(bào)滿意。另外，對(duì)公眾的滿意度進(jìn)行了量化，取誤差為零（=0）時(shí)滿意度為1，誤差的等級(jí)差距最大（=6）時(shí)滿意度為0。其它的情況滿意度介于0

49、和1之間，且與級(jí)差成反比。利用此算法，容易得到公眾對(duì)預(yù)報(bào)的滿意程度。定義如下公眾對(duì)兩種預(yù)報(bào)方法的平均滿意程度函數(shù)： （5.14） （5.15）表示第天時(shí)段公眾對(duì)第種預(yù)測(cè)方法的滿意度。表示41天內(nèi)第時(shí)段公眾對(duì)第種預(yù)測(cè)方法的滿意度。用上述算法，對(duì)題中給出的兩種預(yù)報(bào)數(shù)據(jù)進(jìn)行分析、計(jì)算，得到了相關(guān)滿意度結(jié)果(見模型的結(jié)論與評(píng)價(jià))。5.2.9問題的結(jié)論這里利用“最鄰近點(diǎn)插值法”及“反距離加權(quán)平均法”建立兩種模型，在兩種預(yù)測(cè)方法中，對(duì)問題一中預(yù)報(bào)降雨量的準(zhǔn)確性進(jìn)行了相關(guān)分析，得到如下結(jié)果：最鄰近點(diǎn)插值法：預(yù)測(cè)值與測(cè)量值的誤差平方和的平方根：(2) 兩種預(yù)測(cè)方法誤差的均值分別為：(3) 兩種方法在41天中同

50、一時(shí)間段的方差分別為： 通過上述三組數(shù)據(jù)的比較，我認(rèn)為在“最鄰近點(diǎn)插值法”建立起的算法模型下，預(yù)測(cè)方法一的預(yù)報(bào)降雨量效果比預(yù)測(cè)方法二的準(zhǔn)確度要好一些。從這些數(shù)據(jù)還可看出，兩種預(yù)測(cè)方法的誤差的均值都非常小，說明兩種方法都比較可靠，但是方法一的誤差均值更小，說明它的預(yù)測(cè)值更接近于觀測(cè)值，另外，方法一的方差比方法二小，說明它的預(yù)測(cè)更“穩(wěn)定”，誤差的波動(dòng)范圍要小，不會(huì)出現(xiàn)大的錯(cuò)誤。兩種預(yù)測(cè)方法在41天中四個(gè)時(shí)段的公眾滿意度及整體滿意度分別為： ，從這組數(shù)據(jù)可以看出，公眾對(duì)兩種預(yù)測(cè)方法的滿意度都在以上，滿意度都比較高，而第一種預(yù)測(cè)方法比第二種方法的滿意度略高，和問題一的結(jié)論一致。反距離加權(quán)平均法：(1) 預(yù)測(cè)值與測(cè)量值的誤差平方和的平方根：(2) 兩種預(yù)測(cè)方法誤差的均值分別為：(3) 兩種方法在41天中同一時(shí)間段的方差分別為： 和“最鄰近點(diǎn)插值法”相似，在“反距離加權(quán)平均法”算法建立起的算法模型下，得到預(yù)測(cè)方法一的預(yù)報(bào)降雨量效果比預(yù)測(cè)方法二的準(zhǔn)確度略好一些。兩種預(yù)測(cè)方法在41天中四個(gè)時(shí)段的公眾滿意度及整體滿意度分別為： ，從這組數(shù)據(jù)也可以得到，公眾對(duì)兩種預(yù)測(cè)方