版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
非線性回歸中參數(shù)估計(jì)的優(yōu)化算法現(xiàn)代數(shù)學(xué)新進(jìn)展結(jié)課論文(南京理工大學(xué)理學(xué)院 信息與計(jì)算科學(xué)?。┲笇?dǎo)教師:馮教授 南京理工大學(xué)理學(xué)院評(píng)語:時(shí)間:2010年12月8日摘要:選擇現(xiàn)代非線性回歸問題中的參數(shù)估計(jì)問題作為近代數(shù)學(xué)新進(jìn)展的結(jié)課論文探討主題。首先在第一部分概述參數(shù)估計(jì)、回歸分析的用途等知識(shí);第二部分主要回顧線性回歸模型的基本知識(shí);第三部分介紹非線性回歸模型基本構(gòu)造知識(shí)以及非線性回歸中參數(shù)估計(jì)的幾個(gè)問題,并著重介紹若干優(yōu)化算法,若傳統(tǒng)優(yōu)化算法、現(xiàn)代智能算法等。關(guān)鍵詞:非線性回歸參數(shù)估計(jì)優(yōu)化算法第一章回歸分析參數(shù)估計(jì)一、回歸分析(一)、回歸分析含義:回歸分析是指,為了擬合所需要的統(tǒng)計(jì)模型,進(jìn)而通過優(yōu)化目標(biāo)函數(shù)來估計(jì)模型中的參數(shù),并對(duì)適當(dāng)?shù)哪P图僭O(shè)作檢驗(yàn),以及用擬合好的模型作出統(tǒng)計(jì)預(yù)測(cè)的一種方法?;貧w分析就是將所關(guān)心的特性(稱為“相應(yīng)變量”)的性能與潛在的原因(稱為“解釋變量”)聯(lián)系起來。這樣的關(guān)系可以通過科學(xué)、經(jīng)濟(jì)、工程等學(xué)科的模型作出規(guī)定,目的是幫助人們理解響應(yīng)變差的潛在原因,并解釋每個(gè)因素對(duì)該變差所起的作用大小。數(shù)學(xué)處理時(shí),通過統(tǒng)計(jì)將響應(yīng)變量的變差與解釋變量的變差聯(lián)系起來,并通過將預(yù)期和實(shí)際響應(yīng)變差之間的偏差減小至最低從而達(dá)到所謂的最佳擬合。(二)、回歸分析用途:1、檢驗(yàn)有關(guān)潛在解釋變量對(duì)響應(yīng)變量影響的假設(shè),并針對(duì)解釋變量的已知變化,使用這些信息描述估計(jì)的響應(yīng)變化。2、 針對(duì)解釋變量的具體值,通過構(gòu)造的模型預(yù)測(cè)響應(yīng)變量值。3、 針對(duì)給出的解釋變量的特性值,在規(guī)定的置信水平內(nèi)預(yù)測(cè)響應(yīng)變量值的預(yù)期范圍。4、 估計(jì)響應(yīng)變量和解釋變量相關(guān)的方向和程度,這主要是研究變量之間的協(xié)方差,方向則用正負(fù)表示,程度是用絕對(duì)值大小衡量。但需要注意的是,這樣的關(guān)聯(lián)并不意味著因果關(guān)系,因果關(guān)系需要其他工具繼續(xù)分析,如Grander因果分析等。(三)回歸分析分類:線性回歸和非線性回歸若丫是一個(gè)隨機(jī)變量,X是K維隨機(jī)變量,則給定X=(咅公2,……,Xk)時(shí),丫的條件期望f(Xl,X2,……,Xk)作為Xl,X2,……,xk的函數(shù),稱為丫對(duì)X的回歸函數(shù)。此時(shí),丫二壯心卷,……,Xk)稱為回歸方程,回歸函數(shù)的圖形成為回歸曲面。當(dāng)y關(guān)于函數(shù)中每一個(gè)變量都是線性時(shí),也即回歸曲面是一個(gè)超平面的時(shí)候,回歸函數(shù)形式為:y二iX<2X2……-AXk-z(其中z可看成是一個(gè)隨機(jī)干擾項(xiàng)的值),此時(shí)稱模型為線性回歸模型,或者表示為Y=忙人+爲(wèi)乂2+……+0kXk+ZY=(X1fX2……Xk)B+Z其中X=(Xl,X2……Xk),一(F:2……J,另外一般假設(shè)Z服從正態(tài)分布,且期望為0。線性回歸模型在數(shù)理統(tǒng)計(jì)中發(fā)展迅速,進(jìn)而在社會(huì)經(jīng)濟(jì)生活各方面得到了廣泛的應(yīng)用,其中最小二乘估計(jì)等方法已經(jīng)甚為成熟。然而現(xiàn)實(shí)世界中嚴(yán)格的線性模型并不多,因此非線性回歸模型更加符合實(shí)際。當(dāng)丫關(guān)于函數(shù)中的變量不全都是線性關(guān)聯(lián)時(shí),模型成為非線性模型,其可以表示為:丫二f(X,日)+z,其中x=(Xi,X2xj,日=佝,日2,日k),也就是說,非線性模型的期望響應(yīng)是關(guān)于參數(shù)的非線性函數(shù),除此之外的均與線性模型相同。二、參數(shù)估計(jì)參數(shù)估計(jì)是根據(jù)從總體中抽取的樣本估計(jì)總體分布中包含的未知參數(shù)的方法。它是統(tǒng)計(jì)推斷的一種基本形式(另一種形式即是假設(shè)檢驗(yàn)問題) ,是數(shù)理統(tǒng)計(jì)學(xué)的一個(gè)重要分支,分為點(diǎn)估計(jì)和區(qū)間估計(jì)兩部分。
點(diǎn)估計(jì)問題的提法是:設(shè)總體的分布函數(shù)F(XJ)的形式已知,二是待估計(jì)參數(shù),Xi,X2,……Xk是.的一個(gè)樣本,Xi,X2,……Xk是相應(yīng)的一個(gè)樣本值。點(diǎn)估計(jì)的問題就是要構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量T(Xi,X2,……Xk),用其觀察值t二T(x>,x2,……Xk)來估計(jì)未知參數(shù)二,稱T=T(Xi,X2,……Xk)為二的估計(jì)量,稱4t二T(Xi,X2, Xk)為二的估計(jì)值,籠統(tǒng)的稱為估計(jì),記為二。區(qū)間估計(jì)是指對(duì)于參數(shù)不僅要求出其點(diǎn)估計(jì),還要得到估計(jì)的誤差,即估計(jì)出一個(gè)范圍,并求出這個(gè)范圍包含參數(shù)真值的可信程度。此時(shí)的估計(jì)稱為區(qū)間估計(jì),相應(yīng)的區(qū)間稱為置信區(qū)間。下面給出具體定義:設(shè)總體?的分布函數(shù)F(X,R中含有未知參數(shù)二,其是待估計(jì)參數(shù)。對(duì)于給定值:(1,若由樣本X1,X2,Xk確定的兩個(gè)統(tǒng)計(jì)量—g(Xi,X2,……Xk),百=9(Xi,X2,……Xk)滿足P{?"^}=1—a,則稱隨即區(qū)間[二習(xí)為置信度為1-:的置信區(qū)間。第二章線性回歸方法知識(shí)回顧對(duì)于統(tǒng)計(jì)回歸模型,無論是線性的或非線性的,模型中未知參數(shù)的估計(jì)有一個(gè)最通用的準(zhǔn)則:最小二乘準(zhǔn)則。(雖然有其它的準(zhǔn)則如極大似然準(zhǔn)則可用,但最小二乘準(zhǔn)則有某些最優(yōu)的性質(zhì)也許就夠了,最小二乘準(zhǔn)則提供了實(shí)踐中最佳可用的估計(jì)。)即,XZ中:的LS(最小二乘)估計(jì)是由觀察到的Yt與假nS(P)=:Z(Yt-0XJ2定的真實(shí)模型的偏差平方和取極小值而得到,即極小化 ,,(2.1)。使上式最小的卩可以記為目,當(dāng)假設(shè)似然函數(shù)P(Y|0)是正態(tài)分布函數(shù)極大似然估計(jì)與最小二乘估計(jì)相同,所以 也可稱為極大似然估計(jì)
S的極小值可以由(1.1。式對(duì):求微分得到,令導(dǎo)數(shù)等于0,解出‘,則有誤差并且它不是隨機(jī)變量時(shí),'是隨機(jī)變量Yt的線性組合。若假定Yt是圍繞其均值Xt波動(dòng)且具有有限方差匚2的正太分布(這個(gè)方差也即是Z的方差),則由此得出[也是服從正態(tài)分布的。此外,1的期望是需要的真實(shí)參數(shù)-,意味著1是————(Y-Xt)Xt=0,得到:(2.2。。當(dāng)假定Xt沒有輸入_2Var(甘)= _2:的無偏估計(jì),且‘的方差為: "Xt,它是'的任何線性無偏估計(jì)量中具有最小的可能方差。第三章非線性回歸模型及參數(shù)估計(jì)優(yōu)化算法根據(jù)前文所述,非線性模型表示為:丫=f(X-)Z,其中X=(Xi,X2……XQ廠十佔(zhàn)2,……如,再次假定z服從正態(tài)分布,且E[Z]=0,Var(Z)=;「2。一、可轉(zhuǎn)化為線性的非線性模型有部分非線性模型經(jīng)過適當(dāng)變換后可以變成線性模型,從而簡化回歸分析,這類模型也稱固有線性模型。下面僅列舉幾個(gè)具體模型事例,且僅對(duì)其數(shù)學(xué)變換方法介紹,不介紹其實(shí)際含義,且由于知識(shí)有限不進(jìn)行進(jìn)一步的分析。1、1、f(x,?無:我們可以將其做倒數(shù)變換,則有2、C-D生產(chǎn)函數(shù)模型:丫二AK:Le1,其中'■服從正態(tài)分布,此模型可以通過兩邊取對(duì)數(shù)將其化為標(biāo)注的線性模型:"丫"nA*InK「InL」然而認(rèn)為的數(shù)據(jù)變換引起了隨即擾動(dòng)項(xiàng)的變化,這將影響到隨機(jī)擾動(dòng)的假設(shè)條件。如果前文所述模型中隨機(jī)干擾項(xiàng)是服從正態(tài)分布的, 多維時(shí)可以是球形正態(tài)分布,這樣是合理的。但對(duì)于變換后的數(shù)據(jù)來說,這樣的假設(shè)就不一定合適。因此要么對(duì)數(shù)據(jù)采用非線性回歸,要么對(duì)變換的數(shù)據(jù)使用加權(quán)最小二乘。除非有時(shí)數(shù)據(jù)集的變換產(chǎn)生了常數(shù)方差,此時(shí)就導(dǎo)出了線性的期望函數(shù),因此也可以用線性回歸。二、非線性模型參數(shù)估計(jì)問題(一)、非線性回歸及其最小二乘估計(jì)模型我們將前文的非線性模型的基礎(chǔ)上,其最小二乘估計(jì)問題為:丫=f(X,RZ,其中Z??N(0,;「),設(shè)已知觀測(cè)值{(X,yi);i"2……k},則模型最小二乘估計(jì)問題就是如何求出二,使得對(duì)于任何二都有:S(R乞S(",其中k2SL)八W-f(x「)]7 ,可定義g/T)=yj-f(x月)為第i組數(shù)據(jù)的殘差,G(R(gi(R,g2(R……gk(R)T為全部數(shù)據(jù)的殘差向量,此時(shí)有ks(旳—[g")]2引g("||2。這樣,非線性回歸模型的參數(shù)估計(jì)問題就轉(zhuǎn)化i日為無約束的最優(yōu)化問題。(二)、參數(shù)估計(jì)的優(yōu)化算法淺析在非線性回歸分析的參數(shù)估計(jì)問題轉(zhuǎn)化為最優(yōu)化問題之后就轉(zhuǎn)化為了無約束極值問題,進(jìn)入了另一門學(xué)科一一算法理論的研究范疇, 這些模型的參數(shù)不可能直接推導(dǎo)算得,只能通過計(jì)算機(jī)進(jìn)行數(shù)值模擬 (即通過迭代計(jì)算)從而進(jìn)行一定誤差范圍的近似。得益于數(shù)學(xué)規(guī)劃理論數(shù)十年的發(fā)展,求解參數(shù)問題涌現(xiàn)出了大量的計(jì)算方法,除了傳統(tǒng)方法、在傳統(tǒng)方法基礎(chǔ)上的改進(jìn)方法外,現(xiàn)代智能算法的應(yīng)用使得參數(shù)估計(jì)算法工具更加豐富。下面對(duì)其中部分算法作簡單介紹。1、傳統(tǒng)搜索算法(下降法):在算法理論正式發(fā)展之前,對(duì)于無約束極小值問題分析使用所謂最原始的古典分析方法,但在實(shí)踐當(dāng)中求解幾乎行不通,因?yàn)閷?shí)際當(dāng)中相當(dāng)多的函數(shù)不具有解析性(在區(qū)域上的可微性等),即使有解析性,有些方程求解也非常困難。而搜索算法就是一種下降、迭代思想,其根據(jù)目標(biāo)函數(shù)解析性的好壞分為兩類:一是解析方法,即在構(gòu)造算法時(shí)用到了目標(biāo)函數(shù)的導(dǎo)數(shù)值; 另一類算法是直接算法,構(gòu)造算法時(shí)僅用到了目標(biāo)函數(shù)值。搜索解析方法方法包括一維搜索、Newton方法及其改進(jìn)算法、共軛方向法、擬牛頓方法等;常用的直接搜索方法包括:適用于低維問題的坐標(biāo)輪換法和步長加速法(Hooke-Jeeves法)、單純形替換法、轉(zhuǎn)軸法和D.S.C方法、方向加速法(Powell法)。以上這算算法龐雜,因此不做展開,下面僅對(duì)其中一種算法簡單敘述。2、 Gauss-Newton算法及其改進(jìn)算法、12對(duì)于極小冋題minSe)=311G(^)h,, (3.1),注意此處將前文的k維轉(zhuǎn)寫成N維,目的是為了防止與下文迭代中符號(hào)沖突。G-N方法按如下公式進(jìn)行迭代:給定初始近似值X0,令k=0,1, ,計(jì)算Xk1=Xk,Pk,其中Pk= AfNS(“(3.2)人二DGQk)珂21^]七”(i-1,2 ,m;j=1,2,…n),S6)=A:gk。:■■在(3.2)中,G-N方向pk可以看作是Newton方向上的近似。G-N算法是一個(gè)局部極值算法,它對(duì)初始點(diǎn)x的依賴性很大,即僅僅當(dāng)X0充分接近極小值點(diǎn)x*時(shí)才有可能收斂,因此一些改進(jìn)算法就是對(duì)其修正。例如Hartly方法、L-M算法等等。3、 現(xiàn)代優(yōu)化算法使用非線性回歸模型的參數(shù)估計(jì)是較為困難的尋優(yōu)問題, 前面所述的幾種經(jīng)典方法常會(huì)陷入局部極值,因而急需更加優(yōu)質(zhì)的算法去尋找全局最優(yōu)解。同時(shí),隨著回歸分析在國民經(jīng)濟(jì)各領(lǐng)域應(yīng)用范圍的進(jìn)一步擴(kuò)大,各領(lǐng)域所涉及的多因素、大規(guī)模、高難度、影響廣的優(yōu)化問題對(duì)求解算法的計(jì)算速度、收斂性、初值敏感性等提出了更高的要求。從算法思想上看,主要有群智能優(yōu)化算法和基于純粹數(shù)學(xué)優(yōu)化算法兩個(gè)發(fā)展思路。智能算法:進(jìn)入上世紀(jì)90年代以來,以不確定性、非線性、時(shí)間不可逆性為內(nèi)涵,以復(fù)雜問題為對(duì)象的新科學(xué)范式得到了學(xué)術(shù)界的普遍認(rèn)同, 而建立在解析基礎(chǔ)上的常規(guī)方法已經(jīng)顯得無能為力,因此智能算法開始興起。作為計(jì)算智能的一個(gè)分支,群智能優(yōu)化算法使人們從生物進(jìn)化機(jī)理和一些物理現(xiàn)象中受到啟發(fā),提出的許多用以解決復(fù)雜優(yōu)化問題的新方法。 這些方法主要有:遺傳算法(GA、粒子群優(yōu)化算法、蟻群算法、免疫算法、細(xì)菌覓食算法、Memetic算法、混合智能算法等?;诩兇鈹?shù)學(xué)理論優(yōu)化:部分學(xué)者根據(jù)純粹數(shù)學(xué)的理論思想,開拓出了新的算法改進(jìn)思想,因而同樣促進(jìn)了算法的改進(jìn),例如基于區(qū)間分析的全局優(yōu)化算法、序貫優(yōu)化數(shù)論方法(均勻設(shè)計(jì))等。(1)、遺傳算法基本原理(GA):遺傳算法是一類借鑒生物界的進(jìn)化規(guī)律(適者生存,優(yōu)勝劣汰遺傳機(jī)制)演化而來的隨機(jī)化搜索方法。它是由美國的J.Holland教授1975年首先提出,其主要特點(diǎn)是直接對(duì)結(jié)構(gòu)對(duì)象進(jìn)行操作,不存在求導(dǎo)和函數(shù)連續(xù)性的限定;具有內(nèi)在的隱并行性和更好的全局尋優(yōu)能力;采用概率化的尋優(yōu)方法,能自動(dòng)獲取和指導(dǎo)優(yōu)化的搜索空間,自適應(yīng)地調(diào)整搜索方向,不需要確定的規(guī)則。遺傳算法的基本運(yùn)算過程如下:a) 初始化:設(shè)置進(jìn)化代數(shù)計(jì)數(shù)器t=0,設(shè)置最大進(jìn)化代數(shù)T,隨機(jī)生成M個(gè)個(gè)體作為初始群體P(0)。b) 個(gè)體評(píng)價(jià):計(jì)算群體P(t)中各個(gè)個(gè)體的適應(yīng)度。c) 選擇運(yùn)算:將選擇算子作用于群體。選擇的目的是把優(yōu)化的個(gè)體直接遺傳到下一代或通過配對(duì)交叉產(chǎn)生新的個(gè)體再遺傳到下一代。選擇操作是建立在群體中個(gè)體的適應(yīng)度評(píng)估基礎(chǔ)上的。d) 交叉運(yùn)算:將交叉算子作用于群體。所謂交叉是指把兩個(gè)父代個(gè)體的部分結(jié)構(gòu)加以替換重組而生成新個(gè)體的操作。遺傳算法中起核心作用的就是交叉算子。e) 變異運(yùn)算:將變異算子作用于群體。即是對(duì)群體中的個(gè)體串的某些基因座上的基因值作變動(dòng)。群體P(t)經(jīng)過選擇、交叉、變異運(yùn)算之后得到下一代群體 P(ti)。f) 終止條件判斷:若t=T,則以進(jìn)化過程中所得到的具有最大適應(yīng)度個(gè)體作為最優(yōu)解輸出,終止計(jì)算。(2)、粒子群算法基本原理(PSO):這一方法的基本思想是通過群體中個(gè)體之間的協(xié)作和信息共享來尋找最優(yōu)解,包含的簡單道理是:群體中的每個(gè)個(gè)體都可以從臨近個(gè)體的以往經(jīng)驗(yàn)中受益。粒子群優(yōu)化算法同遺傳算法一樣也是一種進(jìn)化計(jì)算技術(shù),1995年由Eberhart博士和kennedy博士提出,源于對(duì)鳥群捕食的行為研究。PSO同遺傳算法類似,是一種基于迭代的優(yōu)化算法。系統(tǒng)初始化為一組隨機(jī)解,通過迭代搜尋最優(yōu)值。但是它沒有遺傳算法用的交叉以及變異,而是粒子在解空間追隨最優(yōu)的粒子進(jìn)行搜索。同遺傳算法比較,PSO勺優(yōu)勢(shì)在于簡單容易實(shí)現(xiàn)并且沒有許多參數(shù)需要調(diào)整。其標(biāo)準(zhǔn)的算法流程簡述如下:初始化粒子群體,群體規(guī)模為m包括隨即位置和速度;評(píng)價(jià)每個(gè);粒子的適應(yīng)度;對(duì)于每個(gè)粒子,將其當(dāng)前適應(yīng)值與其個(gè)體歷史最佳位置對(duì)應(yīng)的適應(yīng)值做對(duì)比,若當(dāng)前的適應(yīng)值更高,則用當(dāng)前位置更新歷史最佳位置;對(duì)于每個(gè)粒子,將其當(dāng)前適應(yīng)值與全局最佳位置對(duì)應(yīng)的適應(yīng)值作比較,若當(dāng)前的適應(yīng)值更高,則將用當(dāng)前粒子的位置更新全局最佳位置;根據(jù)一定的運(yùn)算式更新粒子的速度和位置;如果沒有滿足結(jié)束條件,則返回步驟b)。通常算法達(dá)到最大迭代次數(shù)或者最佳適應(yīng)度值的增量小于某個(gè)給定的閾值時(shí)算法停止。、蟻群算法概述(ACA):蟻群算法最早是由意大利學(xué)者M(jìn).Dorigo等于20世紀(jì)90年代初提出的一種基于種群的啟發(fā)式仿生進(jìn)化系統(tǒng)。螞蟻這類群居動(dòng)物,雖然個(gè)體的行為極其簡單,但由這些簡單的個(gè)體所組成的蟻群卻表現(xiàn)出極其復(fù)雜的行為特征,能夠完成復(fù)雜的任務(wù);另外螞蟻還能夠適應(yīng)環(huán)境的變化,如在蟻群運(yùn)動(dòng)路線上突然出現(xiàn)障礙物時(shí),螞蟻能夠很快地重新找到最優(yōu)路徑。人們經(jīng)過大量研究發(fā)現(xiàn),螞蟻個(gè)體之間是通過一種稱之為外激素(pheromone)的物質(zhì)進(jìn)行信息傳遞,從而能相互協(xié)作,完成復(fù)雜的任務(wù)。蟻群之所以表現(xiàn)出復(fù)雜有序的行為,個(gè)體之間的信息交流與相互協(xié)作起著重要的作用。螞蟻在運(yùn)動(dòng)過程中,能夠在它所經(jīng)過的路徑上留下該種物質(zhì),而且能夠感知這種物質(zhì)的存在及其強(qiáng)度,并以此指導(dǎo)自己的運(yùn)動(dòng)方向。螞蟻傾向于朝著該物質(zhì)強(qiáng)度高的方向移動(dòng)。因此,由大量螞蟻組成的蟻群的集體行為便表現(xiàn)出一種信息正反饋現(xiàn)象:某一路徑上走過的螞蟻越多,則后來者選擇該路徑的概率就越大。螞蟻個(gè)體之間就是通過這種信息交流達(dá)到搜索食物的目的。蟻群發(fā)現(xiàn)最短路徑的原理和機(jī)制:設(shè)A是蟻巢,E是食物源,HC是障礙物。由于障礙物存在,螞蟻要想由A到達(dá)E或者由E返回A,只能由H或C繞過障礙物。設(shè)每個(gè)時(shí)間單位有3O只螞蟻由A到B,有30只螞蟻由E到D,螞蟻過后留下的信息索為1。設(shè)信息素停留時(shí)間為1。在初始時(shí)刻,由于路徑BHBe、DHDe上均無信息存在,位于B和E的螞蟻可以隨機(jī)選擇路徑。從統(tǒng)計(jì)的角度可認(rèn)為它們以相同的概率選擇BHBCDHDG經(jīng)過一個(gè)時(shí)間單位后,在路徑BCD上的信息量是路徑BHD上信息量的二倍。t=l時(shí)刻,將有20只螞蟻由B和D到達(dá)C,有10只螞蟻由B和D到達(dá)H。隨著時(shí)間的推移,螞蟻將會(huì)以越來越大的概率選擇路徑BCD最終完全選擇路徑BCD從而找到由蟻巢到食物源的最短路徑。上述過程可以看出,蟻群算法優(yōu)化過程的本質(zhì)體現(xiàn)在:① 選擇機(jī)制:②更新機(jī)制:③協(xié)調(diào)機(jī)制。這樣的機(jī)制使蟻群算法具有很強(qiáng)的發(fā)現(xiàn)較好解的能力。(4)、免疫算法基本原理AIS:免疫算法主要模擬生物免疫系統(tǒng)中的有關(guān)抗原處理的核心思想, 包括抗體的產(chǎn)生、自體耐受、克隆擴(kuò)增、免疫記憶等。免疫算法的基本架構(gòu)如下圖所示。在使用免疫算法解決具體問題時(shí),首先要定義免疫元素的數(shù)學(xué)表達(dá)式,即確立目標(biāo)函數(shù)和約束;然后將需要解決的問題抽象成抗原形式(即問題的解);再產(chǎn)生初始抗體(即問題的一個(gè)隨機(jī)解)群體;接著計(jì)算抗體與抗原之問的親和力,也就是對(duì)問題解的評(píng)估;根據(jù)評(píng)估結(jié)果,形成對(duì)優(yōu)化解的促進(jìn)與非優(yōu)化解的刪除;對(duì)新的抗體群體進(jìn)行評(píng)估,若終止條件滿足,則其為該問題的最佳解,否則重新計(jì)算親和力,進(jìn)行下一輪的克隆選擇。以上是集中最基本的智能算法,然而還有多種正在發(fā)展的新型算法未能全部作介紹。下面本文介紹從數(shù)學(xué)理論思想出發(fā)產(chǎn)生的優(yōu)化算法理論——序貫優(yōu)化算法,而具體算法設(shè)計(jì)因?yàn)檩^為艱深略去。(5)、序貫優(yōu)化數(shù)論方法(均勻設(shè)計(jì)思想):數(shù)論優(yōu)化與其說是一種優(yōu)化算法,不如說是在回歸分析中模型分析時(shí)一種設(shè)計(jì)新思路。它由方開泰教授和數(shù)學(xué)家王元在1978年共同提出,是數(shù)論方法中的“偽蒙特卡羅方法”的一個(gè)應(yīng)用。在《數(shù)論方法在統(tǒng)計(jì)中的應(yīng)用》一書中,作者提出了均勻設(shè)計(jì)是一種試驗(yàn)設(shè)計(jì)方法,稱為均勻設(shè)計(jì)或均勻設(shè)計(jì)試驗(yàn)法,或空間填充設(shè)計(jì)。它是只考慮試驗(yàn)點(diǎn)在試驗(yàn)范圍內(nèi)均勻散布的一種試驗(yàn)設(shè)計(jì)方法。在均勻設(shè)計(jì)思想的基礎(chǔ)上,序貫優(yōu)化算法才被應(yīng)用到解決實(shí)際的優(yōu)化模型參數(shù)估計(jì)問題當(dāng)中來。該方法自90年代提出后,被成功地運(yùn)用于許多復(fù)雜的優(yōu)化問題中。該算法只要求目標(biāo)函數(shù)連續(xù),不需要函數(shù)的微商和差分,對(duì)非數(shù)學(xué)專業(yè)的使用者易懂,可處理多峰優(yōu)化問題,編程簡單。雖然此算法具有較強(qiáng)的通用性,但其原則上仍是一種“爬山”搜索法,它通常也只能給出目標(biāo)函數(shù)的局部最優(yōu)解,而且算法的效率很大程度地受限于初始領(lǐng)域的選取及每一次迭代時(shí)領(lǐng)域加細(xì)的精度。第四章小結(jié)通過以上全文的總結(jié),可以發(fā)現(xiàn)非線性回歸模型參數(shù)估計(jì)問題求解難度遠(yuǎn)遠(yuǎn)大于我們?cè)?jīng)學(xué)習(xí)過的線性模型參數(shù)估計(jì),不僅古典解析方法需要較深的分析才能夠理解,現(xiàn)代優(yōu)化算法的快速
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 工作總結(jié)之股票模擬實(shí)習(xí)總結(jié)
- 國開《兒童發(fā)展問題的咨詢與輔導(dǎo)》案例1-5
- 銀行合規(guī)管理制度實(shí)施改進(jìn)
- 酒店餐廳食品安全管理制度
- 二次結(jié)構(gòu)施工合同
- 幼兒秋季保健工作計(jì)劃
- 招聘方案范文【范例15篇】
- 小學(xué)語文教學(xué)經(jīng)驗(yàn)交流發(fā)言稿(19篇)
- 供應(yīng)鏈新質(zhì)生產(chǎn)力發(fā)展趨勢(shì)-2024
- 《機(jī)械制造基礎(chǔ)》課件 模塊6 機(jī)床專用夾具的設(shè)計(jì)過程
- 江蘇開放大學(xué)漢語作為第二語言教學(xué)概論期末復(fù)習(xí)題
- 貨物質(zhì)量保證措施
- 工作簡化方法改善與流程分析課件
- 國家開放大學(xué)《管理學(xué)基礎(chǔ)》形考任務(wù)1-4參考答案
- 道德與法治《健康看電視》優(yōu)秀課件
- 急性胰腺炎完整版課件
- 雙絞線鏈路測(cè)試報(bào)告
- 《建筑工程類別劃分標(biāo)準(zhǔn)》-全
- 工藝變更通知單
- 貴州省工傷保險(xiǎn)停工留薪期分類目錄
- 地質(zhì)勘查安全規(guī)程
評(píng)論
0/150
提交評(píng)論