MAAB非線性優(yōu)化fmincon

1、active-set andsqpalgorithms 不接受用戶提供的海塞矩陣，對(duì)拉格朗日的海塞矩陣提供一個(gè)擬牛頓的近似值； 目標(biāo)函數(shù)估值次數(shù)與迭代次數(shù)？?jī)?yōu)化成功或失敗一、求解失敗1、在到達(dá)迭代次數(shù)閾值或目標(biāo)函數(shù)估值次數(shù)閾值時(shí)，求解器沒(méi) 有最小化目標(biāo)到要求的精度，此時(shí)求解器停止。接下來(lái)，可以嘗 試以下方法：(1) 設(shè)置 Display為iter，查看每步的迭代信息，這些信 息包括：目標(biāo)函數(shù)( Fvalorf(x)orResnorm )是否是下降的；檢查 約束越界(Maxconstraint)是否是遞減趨向于 0;查看一階優(yōu)化 是否是遞減趨向于 0；查看置信域半徑 (Trust-regionr

2、adius) 是否下 降趨向于一個(gè)小的值。 若其中至少一種情況為是， 就表示結(jié)果是 不斷改善的。如果結(jié)果是不斷改善的，可以采取下邊的措施：設(shè) 置 MaxIter、MaxFunEvals 比默認(rèn)值大的值，默認(rèn)值可以在優(yōu)化 工具箱或求解器的函數(shù)參考頁(yè)的優(yōu)化表中查看; 從最后計(jì)算出的 點(diǎn)開(kāi)始重新求解。如果結(jié)果沒(méi)有改善，嘗試以下其他的方法。( 2)放松精度 如果 TolX 或 TolFun 太小，當(dāng)求解器達(dá)到一個(gè)最小值時(shí)可能也不 會(huì)識(shí)別到，這就會(huì)導(dǎo)致無(wú)限次徒勞的迭代。 DiffMaxChange 和 DiffMinChange 選項(xiàng)能影響求解器的改善，它們控制求導(dǎo)估計(jì)中 有限差分的步長(zhǎng)。（3）從不同的

3、初始點(diǎn)重新開(kāi)始求解（4）檢查目標(biāo)函數(shù)和約束函數(shù)的定義 舉個(gè)例子，可以檢查目標(biāo)函數(shù)和非線性約束函數(shù)在某些特定點(diǎn)處 返回正確的值。不可行的點(diǎn)不一定導(dǎo)致函數(shù)的錯(cuò)誤。（5）對(duì)問(wèn)題進(jìn)行中心化和標(biāo)準(zhǔn)化 當(dāng)每個(gè)坐標(biāo)軸對(duì)目標(biāo)函數(shù)和約束函數(shù)有相同的影響時(shí)， 求解器更 能可靠的運(yùn)行， 對(duì)每個(gè)坐標(biāo)軸方向乘以合適的量使得每個(gè)坐標(biāo)軸 的影響相同，在特定的坐標(biāo)軸上加上合適的值使得它們長(zhǎng)度一 致。（6）提供解析的梯度和雅可比矩陣 如果用戶不提供解析的梯度或雅可比矩陣， 求解器會(huì)用有限差分 來(lái)估計(jì)這些值， 因此提供這些導(dǎo)數(shù)可以減少運(yùn)算時(shí)間， 提高計(jì)算 準(zhǔn)確度。對(duì)于約束問(wèn)題， 提供梯度還有另一個(gè)好處 求解器到達(dá)一個(gè)點(diǎn) x時(shí)能滿

4、足該點(diǎn)是可行的， 但有限差分在 x 點(diǎn)周圍可能會(huì)導(dǎo)致不可 行的點(diǎn)，在這種情況下，求解器可能會(huì)失敗或突然中斷。（7）提供海塞矩陣當(dāng)提供海塞矩陣時(shí)， 求解器能運(yùn)行的更可靠， 而且運(yùn)行的次數(shù)比 較少。2、無(wú)可行點(diǎn)在 TolCon 約束精度內(nèi)，求解器不能找到一個(gè)滿足所有約束條件 的點(diǎn)，此時(shí)，可以嘗試以下方法：（1）檢查線性約束 通過(guò)求解一個(gè)線性規(guī)劃問(wèn)題來(lái)找到一個(gè)滿足界約束和線性約束 的點(diǎn)。i）定義一個(gè)目標(biāo)函數(shù)是常值 0的線性規(guī)劃問(wèn)題 f=zeros（size（x0）;%assumesx0istheinitialpointii）求解這個(gè)線性規(guī)劃問(wèn)題看是否有一個(gè)可行點(diǎn) xnew=linprog（f,A,b

5、,Aeq,beq,lb,ub）;iii）如果有可行點(diǎn)xnew，用xnew作為初始點(diǎn)去求解原始問(wèn)題iv）如果沒(méi)有可行點(diǎn)，那說(shuō)明原始模型建的不好，檢查界約束和線 性約束。（2）檢查非線性約束 在保證界約束和線性約束是可行的之后，檢查非線性約束：i）設(shè)置目標(biāo)函數(shù)為0,然后求解優(yōu)化問(wèn)題，如果能找到一個(gè)可行 點(diǎn)xnew，令x0=xnew返回到原始問(wèn)題中去ii）如果用 0 目標(biāo)函數(shù)不能找到一個(gè)可行點(diǎn)， 嘗試幾個(gè)不同的初始點(diǎn)重新求解，如果找到了一個(gè)可行點(diǎn)xnew，令x0=xnew并返回到原始問(wèn)題中去， 如果仍沒(méi)找到可行點(diǎn)， 試著用下列方法放松約 束條件。a. 改變非線性約束函數(shù)c為c- , 是一個(gè)正數(shù)，這會(huì)

6、使得非線 性約束更容易滿足。b. 嘗試用原始的目標(biāo)函數(shù)或 0目標(biāo)函數(shù)對(duì)新的約束函數(shù)尋找一個(gè) 可行點(diǎn)。如果找到一個(gè)可行點(diǎn)，那么減少 ，并在之前找到的點(diǎn) 處開(kāi)始對(duì)新的約束函數(shù)重新找一個(gè)可行點(diǎn)； 如果沒(méi)有找到一個(gè)可 行點(diǎn)，試著增大并重新找。如果一直沒(méi)有找到可行點(diǎn)，那么原始問(wèn)題可能確實(shí)是不可行的， 重新檢查約束函數(shù)的定義。3、問(wèn)題是無(wú)界的 求解器到達(dá)一個(gè)目標(biāo)函數(shù)小于目標(biāo)閾值界的點(diǎn)，那么（1） 原問(wèn)題可能確實(shí)無(wú)界， 即存在一系列滿足問(wèn)題約束的點(diǎn) xi， 使得 limf（xi）= s。（2）檢查原問(wèn)題建模正確，求解器是最小化目標(biāo)函數(shù)，如果想 得到最大化，將目標(biāo)函數(shù)乘以 -1.（3）試著標(biāo)準(zhǔn)化或中心化原問(wèn)題

7、。（4） 放松目標(biāo)函數(shù)界精度， 用 optimset 減少 ObjectiveLimit 設(shè)定 的精度值。二、求解可能成功1、最后的點(diǎn)等于初始點(diǎn) 初始點(diǎn)可能是局部極小點(diǎn)，因?yàn)樗囊浑A導(dǎo)數(shù)接近 0，如果并不 確定初始點(diǎn)確實(shí)是一個(gè)局部極小點(diǎn)，嘗試下邊的步驟：（1）從不同的點(diǎn)開(kāi)始重新求解（2）檢查目標(biāo)函數(shù)和約束函數(shù)定義正確。（3）改變精度，如 TolFun,TolCon,TolX（4）標(biāo)準(zhǔn)化原問(wèn)題，使得每個(gè)坐標(biāo)軸有相同的影響。（5）提供解析的梯度和海塞矩陣。2、可能的局部最小值（ LocalMinimumPossible ， notLocalMinimumFound ） 求解器可能達(dá)到一個(gè)局部最小值

8、， 但并不確定， 因?yàn)橐浑A導(dǎo)數(shù)不 小于 TolFun ，為了檢查得到的答案是否是可靠的，考慮下邊的 建議。（1）非平滑函數(shù) 如果試著最小化一個(gè)非平滑的函數(shù)， 或者有非平滑的約束， 那么 LocalMinimumPossible 是最好的返回標(biāo)志， 因?yàn)橐浑A導(dǎo)數(shù)條 件并不適用于非平滑的點(diǎn)。 試著檢查周圍的點(diǎn)來(lái)確定結(jié)果是否真 的可靠。（2）在最后得到的點(diǎn)處開(kāi)始重新優(yōu)化 在最后得到的點(diǎn)處開(kāi)始重新優(yōu)化會(huì)得到一個(gè)在一階導(dǎo)數(shù)估量上 更好的點(diǎn)，更好的一階導(dǎo)數(shù)估量能讓人相信結(jié)果是可靠的。3、嘗試一個(gè)不同的算法4、改變精度5、重新標(biāo)準(zhǔn)化原問(wèn)題6、檢查鄰近點(diǎn)7、改變有限差分的計(jì)算方法 中心有限差分用的時(shí)間更多，但

9、更準(zhǔn)確，可以設(shè)置 FinDiffType 為cen tral。8、提供解析的梯度或雅可比矩陣9、提供海塞矩陣三、求解成功當(dāng)求解器返回成功信息時(shí)， 也可能結(jié)果是錯(cuò)誤的， 下邊有幾種方 法可以驗(yàn)證結(jié)果。1、改變初始點(diǎn) 初始點(diǎn)對(duì)求解結(jié)果有很大影響， 如果從不同的初始點(diǎn)得到了相同 或較差的結(jié)果，說(shuō)明原來(lái)求得的界是正確的。2、檢查鄰近點(diǎn)計(jì)算f（xfinal 土的值，與f（xfinal）值做比較。3、檢查目標(biāo)函數(shù)與約束函數(shù)4、局部最優(yōu)與全局最優(yōu)（ 1）為什么求解器找不到最小的最小值 通常，求解器返回的是一個(gè)局部最小值， 該值也可能是一個(gè)全局 最小值，但并不保證是。 這部分討論求解器得出這種結(jié)果的原因， 并

10、給出尋找全局最小值的建議。一般求解器是在初始點(diǎn)的 basinofattraction 找到的最優(yōu)值，但也 有些例外：i）線性規(guī)劃和正定二次規(guī)劃是凸的，可行域也是凸的，所以只有一個(gè)basi no fattraction。在設(shè)定某些條件下，lin prog會(huì)忽略用戶提 供的初始點(diǎn)，quadprog也不需要。ii） 全局優(yōu)化工具箱，女口 Simulannealbnd，試著搜索不止一個(gè) basinofattraction。2）尋找一個(gè)更小的最小值如果需要一個(gè)全局最小值，必須要在全局最小值的basinofattraction 內(nèi)找一個(gè)初始點(diǎn)。設(shè)置初始點(diǎn)的建議：i)用初始點(diǎn)的一個(gè)規(guī)則網(wǎng)格i i )如果原始問(wèn)題在所有的坐標(biāo)軸上是有界的，那么從均勻分布 得到一個(gè)隨機(jī)初始點(diǎn)，如果有些部分是無(wú)界的，那么用正態(tài)、指 數(shù)或其他隨機(jī)分布得到初始點(diǎn)。對(duì)全局最優(yōu)值的位置知道的越 少，就要選擇越分散的隨機(jī)分布。例如，正態(tài)分布大部分樣本在均值的三個(gè)標(biāo)準(zhǔn)偏差范圍內(nèi)， 但柯西分布(密度函數(shù)1/( n (1+x2) 樣本很分散。iii )如