基于BP神經(jīng)網(wǎng)絡(luò)的時(shí)序預(yù)測及其應(yīng)用

西華大學(xué)畢業(yè)論文西華大學(xué)畢業(yè)論文PAGEPAGE12目錄摘要 1前言 2第一章時(shí)間序列的預(yù)測函數(shù)及其評價(jià)指標(biāo) 4第一節(jié)預(yù)測函數(shù) 5第二節(jié)評價(jià)預(yù)測的數(shù)量指標(biāo) 5第二章BP神經(jīng)網(wǎng)絡(luò) 6第一節(jié)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 6第二節(jié)BP神經(jīng)網(wǎng)絡(luò)算法及公式推導(dǎo) 7第三節(jié)BP神經(jīng)網(wǎng)絡(luò)算法的步驟 9第三章基于BP神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測及其應(yīng)用 11第四章結(jié)論 14總結(jié)與體會 15致謝詞 15參考文獻(xiàn) 15附錄 16摘要首先，本文介紹了時(shí)間序列的含義和時(shí)間序列預(yù)測在國內(nèi)外的研究情況，列舉了兩個(gè)時(shí)間序列預(yù)測的實(shí)際例子。文中闡述了時(shí)間序列預(yù)測及其評價(jià)指標(biāo)，比較了各評價(jià)指標(biāo)之間的長處和短處。其次,本文闡述了BP神經(jīng)網(wǎng)絡(luò)算法及其公式推導(dǎo)。給出了BP神經(jīng)網(wǎng)絡(luò)算法的流程圖。最后,本文從實(shí)用出發(fā)，列出了1993年至GDP的數(shù)據(jù),此組數(shù)據(jù)呈現(xiàn)出增長趨勢,這種增長趨勢反映了近十幾年我國經(jīng)濟(jì)的快速增長。用BP神經(jīng)網(wǎng)絡(luò)預(yù)測出我國2007年的GDP是200790億元,這表明今后我國經(jīng)濟(jì)有減緩的跡象,這也說明我國近幾年宏觀經(jīng)濟(jì)調(diào)控獲得了一定的成果?！娟P(guān)鍵詞】時(shí)間序列神經(jīng)網(wǎng)絡(luò)預(yù)測GDPAbstractThisgradepaper,timesseries,andthedevelopmentoftimesseriesforecastareintroducedatfirst,andthenthepracticalexamplesoftimesseriesforecastareenumerated.Thefunctionoftimesseriesforecastanditsevaluativeindexaregiven.Wecomparetheadvantageanddisadvantageoftheseevaluativeindexes.Secondly,TheprinciplesofBPneuralnetworkandBPneuralnetwork’salgorithmarepresented.Finally,weparticularizeourcountryGDPstatistics,whichitincreases,whichitindicateseconomy’sfastincreasing,yearbyyear,from1993to2006.WealsostudyBPneuralnetwork’sforecastalgorithm.OurcountryGDPin2007,wicheitisabout200790hundredmillionsisforecastedbyBPneuralnetwork,anditshowsthattheChinesemacro-economypolicyintenyearsaresucceed.KeywordstimeseriesneuralnetworkpredictionGDP前言1970年G.M.Jenkins的《TimeSeriesAnalysis:ForecastingandControl》一書問世以來，時(shí)間序列的預(yù)測發(fā)展迅速，并在社會經(jīng)濟(jì)、自然科學(xué)及工程各個(gè)領(lǐng)域中獲得了廣泛應(yīng)用。在科學(xué)研究中，用數(shù)學(xué)模型去描述一種物理現(xiàn)象的特征，這一思想是確信無疑的。具體地，如果可以根據(jù)物理定律建立一個(gè)模型，再根據(jù)這個(gè)模型能對依賴于時(shí)間的量在任何瞬間都幾乎準(zhǔn)確地計(jì)算其值，則這種現(xiàn)象就是完全確定的。然而，如果不簡化，沒有一種現(xiàn)象是完全確定的。許多依賴于時(shí)間的現(xiàn)象有很多未知影響因素，不能寫出一個(gè)確定性的模型去計(jì)算該現(xiàn)象的未來特性。但是，用所建立的模型來計(jì)算某個(gè)未來變量落在兩個(gè)特定界限之間的概率，這卻是可能的，這樣的模型稱為概率模型或隨機(jī)模型。時(shí)間序列（TimeSeries）模型就是隨機(jī)模型。由個(gè)順序觀測值的時(shí)間序列，被看作是隨機(jī)過程生成的時(shí)間序列無窮總體中的一個(gè)樣本實(shí)現(xiàn)。隨機(jī)過程中的隨機(jī)數(shù)據(jù)，如按時(shí)間順序、或按空間順序、或按某種物理量順序排成一串?dāng)?shù)據(jù)序列，就是時(shí)間序列（簡稱時(shí)序）。這種觀察數(shù)據(jù)依順序先后排列，并各有其大小，正是數(shù)據(jù)的這種順序和大小包含了對象運(yùn)動(dòng)的有關(guān)信息，表現(xiàn)著對象變化的動(dòng)態(tài)過程，因此時(shí)間序列也往往稱為動(dòng)態(tài)數(shù)據(jù)。時(shí)間序列中相鄰觀測值的依賴關(guān)系需要采用參數(shù)模型來刻畫。參數(shù)模型中應(yīng)用最廣泛的是自回歸模型，即AR模型。傳統(tǒng)的時(shí)間序列預(yù)測就是利用這些數(shù)學(xué)模型和系統(tǒng)的過去值及現(xiàn)在值來預(yù)測其未來值。下面列舉兩個(gè)來自于實(shí)際問題的時(shí)序預(yù)測的例子。例1我國財(cái)政收入增長速度的年度時(shí)序(見附錄1)。圖1給出了1952年～2000年我國財(cái)政收入增長速度的時(shí)序曲線。時(shí)序預(yù)測的任務(wù)就是對原始數(shù)據(jù)進(jìn)行細(xì)致的考察，對數(shù)據(jù)建立適當(dāng)?shù)臅r(shí)序模型，找出我國財(cái)政收入增長速度變動(dòng)的內(nèi)在規(guī)律性，依其規(guī)律對2000年以后的年份的財(cái)政收入增長速度進(jìn)行預(yù)測。圖11952年～2000年我國財(cái)政收入增長速度的時(shí)序曲線例2武漢市日平均氣溫記錄（見附錄2）。圖2給出了從1987年12月1日開始至1988年11月30日的366個(gè)日平均氣溫的時(shí)序曲線。這366個(gè)觀測數(shù)據(jù)蘊(yùn)涵了武漢市日平均氣溫變化的內(nèi)在規(guī)律性。依其規(guī)律可預(yù)測未來某時(shí)刻的氣溫。圖2武漢市日平均氣溫時(shí)序(1987/12/1～1988/11/30)這兩個(gè)圖中的曲線都有一個(gè)共同特點(diǎn)，即它們似乎都沒有一個(gè)明確的趨勢，例如一條直線或一個(gè)正弦波等。圖1中曲線似乎圍繞著一個(gè)固定的水平起伏，這個(gè)特性使我們可以假定這組數(shù)據(jù)是“平穩(wěn)的”；圖2不具有這個(gè)特性，我們可以假定這組數(shù)據(jù)是“非平穩(wěn)的”。根據(jù)時(shí)序不同的特性，時(shí)序預(yù)測需要建立不同的預(yù)測模型進(jìn)行預(yù)測和分析。1927年，Yule首先提出AR模型，根據(jù)沃爾夫爾（Wolfer）太陽黑子數(shù)的統(tǒng)計(jì)分析更逼真地描述太陽黑子現(xiàn)象，從而做到能夠預(yù)測太陽的活動(dòng)。在我國，雖然時(shí)間序列理論和其應(yīng)用研究起步較晚，但在工程界和數(shù)學(xué)界的共同努力下發(fā)展很快。工程界于1983年12月在武漢華中理工大學(xué)舉行“全國第一界時(shí)間序列分析在機(jī)械工程中應(yīng)用學(xué)術(shù)討論會”，數(shù)學(xué)界于1984年4月在北京舉行“全國第一次時(shí)間序列會議”。雖然時(shí)間序列分析的應(yīng)用不限于預(yù)測，但它源于預(yù)測（特別是市場預(yù)測），而且目前應(yīng)用最多的還是預(yù)測。在過去的幾十年里，人們建立大量的時(shí)序模型對各類隨機(jī)過程進(jìn)行擬合，但所有的建模方法明顯地基于兩個(gè)假設(shè)——平穩(wěn)性和線性。對復(fù)雜非線性系統(tǒng)或過程的研究，我們所得到的時(shí)間序列一般都不滿足平穩(wěn)性和線性。1987年Lapedes和Farber首先應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)間序列預(yù)測以來，神經(jīng)網(wǎng)絡(luò)預(yù)測越來越受到重視，目前已有多種不同形式的神經(jīng)網(wǎng)絡(luò)被用于工業(yè)、經(jīng)濟(jì)、社會等領(lǐng)域的近期或短期預(yù)測，其中最常用的是BP和RBF這兩種前饋網(wǎng)絡(luò)。本文用BP神經(jīng)網(wǎng)絡(luò)對我國的2007年GDP進(jìn)行預(yù)測.第一章時(shí)間序列的預(yù)測函數(shù)及其評價(jià)指標(biāo)在自然科學(xué)、工程技術(shù)、社會經(jīng)濟(jì)等問題中，經(jīng)常需要“根據(jù)以往的歷史數(shù)據(jù)觀測”希望對“將來的某一時(shí)刻的觀測”作出預(yù)報(bào)的問題，并且希望預(yù)報(bào)越精確越好。對不同系統(tǒng)和不同物理過程應(yīng)選用不同的預(yù)測模型，而模型的選取及其正確的建模主要與系統(tǒng)特征或其時(shí)間序列分布規(guī)律有關(guān)，既可以是動(dòng)態(tài)離散數(shù)據(jù)，也可以是連續(xù)隨機(jī)變量的采樣值，如何評價(jià)一個(gè)預(yù)測模型，需要理解預(yù)測函數(shù)及其評價(jià)指標(biāo)。第一節(jié)預(yù)測函數(shù)根據(jù)時(shí)間序列的歷史觀測值，對未來時(shí)刻的取值進(jìn)行估計(jì)，稱為對時(shí)間序列進(jìn)行步預(yù)測，所得估計(jì)值記為，稱為的預(yù)測值或的步預(yù)測值。既然是根據(jù)樣本提供的信息來確定的，自然想到應(yīng)將表示為的某個(gè)函數(shù)稱為預(yù)測函數(shù)。這樣，求預(yù)測公式的問題就變成確定預(yù)測函數(shù)的具體表達(dá)式的問題。怎樣選取預(yù)測函數(shù)呢？直觀的想法是所選取的預(yù)測函數(shù)應(yīng)能使預(yù)測誤差盡可能的小，這就需要確定一種準(zhǔn)則，比如Z準(zhǔn)則，使得依據(jù)Z準(zhǔn)則能衡量采用某種預(yù)測函數(shù)所得的預(yù)測誤差比采用別的預(yù)測函數(shù)所得的預(yù)測誤差小。于是，根據(jù)不同的實(shí)際問題和不同的背景，可以討論在不同的函數(shù)和Z準(zhǔn)則之下的時(shí)間序列預(yù)測問題，比如函數(shù)可以是的線性函數(shù)，也可以是非線性函數(shù)。準(zhǔn)則Z一般取為均方誤差標(biāo)準(zhǔn)。第二節(jié)評價(jià)預(yù)測的數(shù)量指標(biāo)表示真值的預(yù)測值,預(yù)測誤差主要有以下幾種:絕對誤差:相對誤差:平均誤差:平均相對誤差:均方誤差:標(biāo)準(zhǔn)誤差:對于同一個(gè)預(yù)測結(jié)果,上述各指標(biāo)不一定具有一致性。前兩個(gè)指標(biāo)，均對各個(gè)數(shù)據(jù)點(diǎn)的預(yù)測結(jié)果進(jìn)行評價(jià)，沒有集中這對真值與預(yù)測值之間的關(guān)系。后四個(gè)指標(biāo)集中了這對預(yù)測結(jié)果，能作為預(yù)測方法的評價(jià)指標(biāo)，但各自又有自身的不足。由于絕對誤差有正有負(fù)，求平均誤差時(shí)可能出現(xiàn)正負(fù)抵消的情況；平均相對誤差、均方誤差和標(biāo)準(zhǔn)誤差均具有量綱，故只能在同一量綱下才能對預(yù)測方法做出客觀、準(zhǔn)確地評價(jià)。第二章BP神經(jīng)網(wǎng)絡(luò)1943年心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts所提出的M-P模型以來，人工神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了一條由興起到蕭條、又由蕭條到興盛的曲折發(fā)展道路。最近20年的發(fā)展，BP神經(jīng)網(wǎng)絡(luò)的算法已經(jīng)相對成熟。下面首先介紹BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和算法。第一節(jié)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)簡稱BP網(wǎng)絡(luò)，它有輸入層、輸出層和中間隱層。最簡單的BP網(wǎng)絡(luò)就是僅有一個(gè)中間隱層的情形，即3層BP網(wǎng)絡(luò)，如圖3所示。每層具有神經(jīng)元的個(gè)數(shù)可以不一樣，前一層的神經(jīng)元與后一層的神經(jīng)元之間有權(quán)值連接，且每一個(gè)神經(jīng)元的非線性傳遞函數(shù)最簡單的就是S型函數(shù)。最常用的S函數(shù)形式為，其中參數(shù)。...…圖3BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)第二節(jié)BP神經(jīng)網(wǎng)絡(luò)算法及公式推導(dǎo)首先介紹BP網(wǎng)絡(luò)的學(xué)習(xí)算法，它有兩個(gè)階段，一方面從網(wǎng)絡(luò)的輸入層向前計(jì)算，如果網(wǎng)絡(luò)各層間的權(quán)值和每層閾值已經(jīng)設(shè)定，輸入已知的樣本，則可以計(jì)算每一層的神經(jīng)元輸出。另一方面從最后輸出層向后計(jì)算，并逐步修改各層間的權(quán)值和每層閾值。將這一過程的兩個(gè)階段反復(fù)交替，直到達(dá)到誤差小于設(shè)定的值為止。其次，介紹BP網(wǎng)絡(luò)算法及其計(jì)算公式推導(dǎo)。設(shè)輸入向量為，網(wǎng)絡(luò)最后輸出端的期望輸出向量為，實(shí)際輸出向量為，中間共有個(gè)隱層，第層隱層的輸出向量為，連接第層隱層中第個(gè)神經(jīng)元與第層隱層中第個(gè)神經(jīng)元的權(quán)值為閾值，記，則各層神經(jīng)元的輸出滿足其中是加到第層隱層中第個(gè)神經(jīng)元前輸入的個(gè)數(shù)，即第層隱層中神經(jīng)元的個(gè)數(shù)。令，則有若令定義網(wǎng)絡(luò)輸出層的第個(gè)神經(jīng)元的誤差和平方誤差為則輸出層（個(gè)神經(jīng)元）總的平方誤差為輸出層神經(jīng)元的公式推導(dǎo)：定義局部剃度為，且取則故權(quán)值的修正量為其中負(fù)號表示修正值按剃度下降方向，為學(xué)習(xí)效率。第層隱層神經(jīng)元的公式推導(dǎo)：同樣定義局部剃度為，則又有從而權(quán)值的修正量為其中負(fù)號表示修正值按剃度下降方向，為學(xué)習(xí)效率。同理可得：對任意第隱層神經(jīng)元有第三節(jié)BP神經(jīng)網(wǎng)絡(luò)算法的步驟A.初始化，選定一個(gè)結(jié)構(gòu)合理的網(wǎng)絡(luò)，通常給出可以調(diào)節(jié)的參數(shù)（權(quán)值和閾值）為均勻分布的較小的隨機(jī)數(shù)。B.第個(gè)樣本的計(jì)算：1）向前計(jì)算對第層隱層中第個(gè)神經(jīng)元若，則，若，則2）向后計(jì)算對輸出層中第個(gè)神經(jīng)元對第層隱層中第個(gè)神經(jīng)元3）修改權(quán)值和閾值，,其中是學(xué)習(xí)率。C.輸入新的樣本，直到達(dá)到預(yù)期要求。用BP算法訓(xùn)練網(wǎng)絡(luò)通常是每輸入一個(gè)樣本修改一次權(quán)值，其算法流程圖如圖4：E<EE<Emax是初始化權(quán)值和閾值計(jì)算輸出層誤差輸入樣本，計(jì)算各層輸出計(jì)算局部梯度修正隱層權(quán)值和閾值修正輸出層權(quán)值和閾值停機(jī)E=0否圖4BP算法的流程圖有關(guān)BP算法的詳細(xì)討論可參考文獻(xiàn)[7-11]。第三章基于BP神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測及其應(yīng)用自從1987年Lapedes和Farber首先應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)間序列預(yù)測以來，神經(jīng)網(wǎng)絡(luò)作為一種新的時(shí)間序列預(yù)測方法，表現(xiàn)了良好的逼近非線性品質(zhì)，有很高的預(yù)測精度。但神經(jīng)網(wǎng)絡(luò)尚處少年期，理論尚不完善，還不足以提供一套可賴以遵循的設(shè)計(jì)準(zhǔn)則和實(shí)用方法。目前，網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)的確定多采用基于實(shí)驗(yàn)的試探法，通過實(shí)驗(yàn)不斷對多種方案進(jìn)行比較和改進(jìn)，直到選取一個(gè)滿意方案為止。BP網(wǎng)絡(luò)是應(yīng)用最廣泛的預(yù)測模型。一般來說，一次觀測中過去值與未來值之間存在聯(lián)系，當(dāng)過去觀測值作為BP網(wǎng)絡(luò)的輸入，給出未來值作為BP網(wǎng)絡(luò)的輸出，從數(shù)學(xué)角度看，BP網(wǎng)絡(luò)成為輸入輸出的非線性函數(shù)。記一個(gè)時(shí)間序列，進(jìn)行其預(yù)測可用下式描述:。基于BP網(wǎng)絡(luò)的時(shí)間序列預(yù)測方法就是用BP網(wǎng)絡(luò)來擬合預(yù)測函數(shù)，然后預(yù)測未來值。我國第一次經(jīng)濟(jì)普查圓滿完成了各項(xiàng)任務(wù)后，國家統(tǒng)計(jì)局利用普查數(shù)據(jù)對2004年GDP進(jìn)行了核算，并于2005年12月20日發(fā)布了核算結(jié)果。為保持GDP數(shù)據(jù)的歷史可比性，按照國際慣例，國家統(tǒng)計(jì)局對2004年以前一定年度GDP歷史數(shù)據(jù)進(jìn)行了修訂。GDP表明GDP有上升的趨勢,這種上升的趨勢反映了經(jīng)濟(jì)快速增長年份1993199419951996199719981999GDP（億元）35333.948197.960750.571176.678973.084402.389677.1年份2000200120022003200420052006GDP（億元）99214.6109655.2120332.7135822.8159878.3182320.6209407.0表1GDP本文采用MATLAB語言編寫帶有動(dòng)量項(xiàng)和自適應(yīng)學(xué)習(xí)率的BP網(wǎng)絡(luò)程序網(wǎng)絡(luò)訓(xùn)練動(dòng)量項(xiàng)系數(shù)我們選擇輸出層有2個(gè)神經(jīng)元，用搜索輸入層有6個(gè)神經(jīng)元、隱層有4個(gè)神經(jīng)元，這樣的三層BP網(wǎng)絡(luò)是我國國內(nèi)生產(chǎn)總值（GDP）適合的預(yù)測模型第143樣本的總平方誤差最小，見圖5。此時(shí)得到的權(quán)值和閾值如表2和表3。按此時(shí)的權(quán)值和閾值進(jìn)行預(yù)測，得到2005年和2006年我國GDP預(yù)測值,見表4。表4可見2005和2006年我國GDP預(yù)測的相對誤差絕對值平均值4.1我們所得BP網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)比較好的優(yōu)化過程然后用此BP網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測出2007年我國GDP為200790億元。表明今后我國經(jīng)濟(jì)有放慢的征兆,這也說明我國近幾年宏觀經(jīng)濟(jì)調(diào)控收到了一定的效果。由于GDP是衡量經(jīng)濟(jì)發(fā)展的一個(gè)重要指標(biāo)，也是衡量一個(gè)國家當(dāng)前生產(chǎn)力的發(fā)展水平。那么通過預(yù)測我國的GDP，其預(yù)測結(jié)果對未來經(jīng)濟(jì)政策的制定具有一定的參考價(jià)值。圖56—4—2結(jié)構(gòu)的BP網(wǎng)絡(luò)訓(xùn)練的誤差平方和曲線W1234561-0.5200-0.0383-0.0133-0.5331-0.57850.12440.435720.1860-0.1066-0.05580.19830.21330.10890.301630.38360.3766-0.1492-0.1499-0.07390.04430.30384-0.25900.2216-0.8730.26860.58830.62780.1776表2輸入層與隱層間權(quán)值和隱層閾值W12341-0.9788-0.4884-0.17930.0488-1.32602-0.05390.72250.36000.81031.2641表3隱層與輸出層權(quán)值和輸出層閾值年份真值（1.0e+005*）預(yù)測值（1.0e+005*）相對誤差的絕對值20051.82321.81800.29%20062.09411.92787.94%20072.0079表4我國2005、2006和2007年的GDP預(yù)測值第四章結(jié)論本文首先介紹了時(shí)間序列含義，根據(jù)相鄰觀測值的依賴關(guān)系可以對時(shí)間序列進(jìn)行預(yù)測,并給出了兩個(gè)來自實(shí)際問題的時(shí)間序列預(yù)測的例子。接著闡述了時(shí)間序列預(yù)測函數(shù)，即，并且給出了六個(gè)評價(jià)預(yù)測結(jié)果的數(shù)量指標(biāo)：絕對誤差、相對誤差、平均誤差、平均相對誤差、均方誤差、標(biāo)準(zhǔn)誤差,這6個(gè)指標(biāo)只有相對誤差不需要量綱,其它5個(gè)都必須在同一量綱下。然后詳細(xì)討論了BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和算法，并進(jìn)行了公式推導(dǎo),給出了BP神經(jīng)網(wǎng)絡(luò)的流程圖。最后用BP神經(jīng)網(wǎng)絡(luò)對我國2007年的GDP進(jìn)行了預(yù)測，得到以下主要結(jié)果：1.采用MATLAB語言編寫B(tài)P網(wǎng)絡(luò)程序，利用1993年至2006年我國GDP的數(shù)據(jù)，得到了比較理想的BP網(wǎng)絡(luò)結(jié)構(gòu)，即6-4-2結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)，也得到了比較理想的BP網(wǎng)絡(luò)參數(shù)，見表2和表3。2.表明GDP有上升的趨勢,這種上升的趨勢反映了我國最近十幾年經(jīng)濟(jì)的快速增長。通過BP神經(jīng)網(wǎng)絡(luò)預(yù)測出2007的GDP為200790億元。這個(gè)預(yù)測值比2006年我國GDP的實(shí)際值209407億元小,這表明我國經(jīng)濟(jì)有放慢的征兆,這也