(完整word版)五種最優(yōu)化方法

1、五種最優(yōu)化方法1. 最優(yōu)化方法概述1.1最優(yōu)化問題的分類1)無約束和有約束條件;2）確定性和隨機(jī)性最優(yōu)問題（變量是否確定）3）4）靜態(tài)規(guī)劃和動態(tài)規(guī)劃（解是否隨時間變化）。線性優(yōu)化與非線性優(yōu)化（目標(biāo)函數(shù)和約束條件是否線性）1.2最優(yōu)化問題的一般形式（有約束條件）min f(X)XeQh0) = Ojf L "Si(X)>Oj = U嚴(yán)m(xù)式中f（X）稱為目標(biāo)函數(shù)（或求它的極小，或求它的極大），si（X）稱為不等式約 束，hj（X）稱為等式約束?；^程就是優(yōu)選 X，使目標(biāo)函數(shù)達(dá)到最優(yōu)值。2. 牛頓法 2.1簡介 1）解決的是無約束非線性規(guī)劃問題;2）是求解函數(shù)極值的一種方法;3）是一

2、種函數(shù)逼近法。2.2原理和步驟牛頓法的本思想丿茁 在扱水點(diǎn)附近用-階TayLnr 頂式近似口標(biāo)函數(shù)ill而 求出極小點(diǎn)的佔(zhàn)計(jì)値.考老問題）丄十討 Sf 子一乂令/Cj >_<J'占'、 門*、< J符到2）的驗(yàn)點(diǎn)也作側(cè)t 9. 3. 2)> H =嚴(yán) _ / W * 丁-在點(diǎn)，I附近.f p疋和丙此町用數(shù)汁門的扱小點(diǎn)作為忖標(biāo)俅I蠱fj訃的極小 點(diǎn)的估計(jì)，如里是f上）的極小點(diǎn)的 個估計(jì).那么利njt9,3.2）S可且得到極小點(diǎn)的 '個進(jìn) 步的估比 送祐 利皿送代公式（g.32）町以陽到 個序列 wr.可以啞叨"也 就決件卜'這個用

3、列收斂于問題（U 的就優(yōu)執(zhí)朗堤2級收斂.L1 wH-n 4"，- .->= -i- 癥-trR nA t1-U- t h3. 最速下降法（梯度法）3.1最速下降法簡介1)解決的是無約束非線性規(guī)劃問題;2）是求解函數(shù)極值的一種方法;3）沿函數(shù)在該點(diǎn)處目標(biāo)函數(shù)下降最快的方向作為搜索方向:3.2最速下降法算法原理和步驟就速下降法的迭代公式是”卜“二X屮T Jd丸中rf-是從龍-出發(fā)的捜索方向，這里取在點(diǎn)F昇處的Jia正隧方亂Gu （T =可（*）（KU.11）兒是從X" HJ發(fā)沿方向右進(jìn)彳亍一®搜索的步長，即A#滿足八汕+ "5 - min/Cx&quo

4、t;* -矽5訃算步驟如下：“f 1）繪宦初點(diǎn)X I t，允許誤差0= h （?）訃算搜索方向滬、=W"L則停止訃算;否則，從於和出發(fā),沿d進(jìn)行一維搜索”求扎，使損卅川）=inin/fx'*' +泌側(cè)）.）若II廣III2令#'畀壬八置左U晞，轉(zhuǎn)步驟4. 模式搜索法（步長加速法）4.1簡介1）解決的是無約束非線性規(guī)劃問題；2）不需要求目標(biāo)函數(shù)的導(dǎo)數(shù)，所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函 數(shù)的優(yōu)化問題時非常有效。3）模式搜索法每一次迭代都是交替進(jìn)行軸向移動和模式移動。軸向移動的目的是探測有利的下降方向，而 模式移動的目的則是沿著有利方向加速移動。4.2模式

5、搜索法步驟模式搜索法基本原理（加軸向移動用y表示每次軸向移動的開始點(diǎn)稱為券考點(diǎn)心給定的初始點(diǎn).初始參警點(diǎn)工坯產(chǎn)y第Ar+i次軸向移動結(jié)束時所得到的點(diǎn)若/巧叭/（工聞從點(diǎn)如出發(fā)作樓式坯跡.軸向#多動版功4 模式移動軸向移動失政：若無，且斗.1 = 5則第短步長.仍從點(diǎn)工，出發(fā)進(jìn)行T -次抽向移動¥若無且工小工斗，則從點(diǎn)Jt*岀發(fā)用步旳進(jìn)行下一次軸囪移動否民L判斷是否有e夷蛉定的允許悽花）？若有選代終止； 找到近似歌優(yōu)解模式搜索法基本原理（B）模式移動從點(diǎn)航粒出發(fā)的盛武移動是指以1為步枕沿加速方向町=- X*移動 得到新的參考點(diǎn)y =巧壯 + S = 2嶺*1 - Ju然后'從新

6、的需考點(diǎn)出發(fā)，仍以札丸步長進(jìn)袖向移動.5. 評價函數(shù)法5.1簡介評價函數(shù)法是求解多目標(biāo)優(yōu)化問題中的一種主要方法。在許多實(shí)際問題中， 衡量一個方案的好壞標(biāo)準(zhǔn)往往不止一個，多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下:min (f_1(x),f_2(x),.,f_k(x) s.t. g(x)<=0傳統(tǒng)的多目標(biāo)優(yōu)化方法本質(zhì)是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù),經(jīng)處理或數(shù)學(xué)變換，轉(zhuǎn)變成一個單目標(biāo)函數(shù)，然后采用單目標(biāo)優(yōu)化技術(shù)求解。 常用的方法有“線性加權(quán)和法”、“極大極小法”、“理想點(diǎn)法”。選取其中一種線性加權(quán)求合法 介紹。5.2線性加權(quán)求合法對多目標(biāo)規(guī)劃問題中的P個目標(biāo)按其重要程度給 以適當(dāng)?shù)臋?quán)系數(shù)倒叮二12宀且X化二

7、1然后用hM壬3作為新的目標(biāo)函數(shù)，成為評價（目標(biāo)）-1函數(shù)，再求解問題min -工=1得最憂解工叫 取A -工作為多目標(biāo)規(guī)劃問題的解.6. 遺傳算法智能優(yōu)化方法是通過計(jì)算機(jī)學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，進(jìn)而達(dá)到優(yōu)化的一種方法，主要有人工神經(jīng)網(wǎng)絡(luò)法，遺傳算法和模擬退火法等。6.1遺傳算法基本概念 1.個體與種群個體就是模擬生物個體而對問題中的對象 （一般就是問題的解）的一種稱呼。種群就是模擬生物種群而由若干個體組成的群體，它一般是整個搜索空間的一個很小的子集。2.適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就是借鑒生物個體對環(huán)境的適應(yīng)程度，而對問題中的個體對象所設(shè)計(jì) 的表征其優(yōu)劣的一種測度。適應(yīng)度函數(shù)就是問題中的全體個體與其適應(yīng)度之間的一個對應(yīng)關(guān)系。 該函數(shù)就是遺傳算法中指導(dǎo)搜索的評價函數(shù)。6.2遺傳算法基本流程C結(jié)束J遺傳算法的中心思想就是對一定數(shù)量個體組成的生物種群進(jìn)行選擇、交叉、變異等遺傳操作，最終求得最優(yōu)解或近似最優(yōu)解。遺傳算法步驟步1在搜索空間U上定義一個適應(yīng)度函數(shù)f(x)，給定種群規(guī)模N,交叉率Pc和變異率Pm代數(shù)T；步2隨機(jī)產(chǎn)生U中的N個個體s1, s2,sN