MAAB非線性優(yōu)化fmincon

1、active-set andsqpalgorithms 不接受用戶提供的海塞矩陣，對拉格朗日的海塞矩陣提供一個擬牛頓的近似值； 目標函數(shù)估值次數(shù)與迭代次數(shù)？優(yōu)化成功或失敗一、求解失敗1、在到達迭代次數(shù)閾值或目標函數(shù)估值次數(shù)閾值時，求解器沒 有最小化目標到要求的精度，此時求解器停止。接下來，可以嘗 試以下方法：(1) 設置 Display為iter，查看每步的迭代信息，這些信 息包括：目標函數(shù)( Fvalorf(x)orResnorm )是否是下降的；檢查 約束越界(Maxconstraint)是否是遞減趨向于 0;查看一階優(yōu)化 是否是遞減趨向于 0；查看置信域半徑 (Trust-regionr

2、adius) 是否下 降趨向于一個小的值。 若其中至少一種情況為是， 就表示結果是 不斷改善的。如果結果是不斷改善的，可以采取下邊的措施：設 置 MaxIter、MaxFunEvals 比默認值大的值，默認值可以在優(yōu)化 工具箱或求解器的函數(shù)參考頁的優(yōu)化表中查看; 從最后計算出的 點開始重新求解。如果結果沒有改善，嘗試以下其他的方法。( 2)放松精度 如果 TolX 或 TolFun 太小，當求解器達到一個最小值時可能也不 會識別到，這就會導致無限次徒勞的迭代。 DiffMaxChange 和 DiffMinChange 選項能影響求解器的改善，它們控制求導估計中 有限差分的步長。（3）從不同的

3、初始點重新開始求解（4）檢查目標函數(shù)和約束函數(shù)的定義 舉個例子，可以檢查目標函數(shù)和非線性約束函數(shù)在某些特定點處 返回正確的值。不可行的點不一定導致函數(shù)的錯誤。（5）對問題進行中心化和標準化 當每個坐標軸對目標函數(shù)和約束函數(shù)有相同的影響時， 求解器更 能可靠的運行， 對每個坐標軸方向乘以合適的量使得每個坐標軸 的影響相同，在特定的坐標軸上加上合適的值使得它們長度一 致。（6）提供解析的梯度和雅可比矩陣 如果用戶不提供解析的梯度或雅可比矩陣， 求解器會用有限差分 來估計這些值， 因此提供這些導數(shù)可以減少運算時間， 提高計算 準確度。對于約束問題， 提供梯度還有另一個好處 求解器到達一個點 x時能滿

4、足該點是可行的， 但有限差分在 x 點周圍可能會導致不可 行的點，在這種情況下，求解器可能會失敗或突然中斷。（7）提供海塞矩陣當提供海塞矩陣時， 求解器能運行的更可靠， 而且運行的次數(shù)比 較少。2、無可行點在 TolCon 約束精度內，求解器不能找到一個滿足所有約束條件 的點，此時，可以嘗試以下方法：（1）檢查線性約束 通過求解一個線性規(guī)劃問題來找到一個滿足界約束和線性約束 的點。i）定義一個目標函數(shù)是常值 0的線性規(guī)劃問題 f=zeros（size（x0）;%assumesx0istheinitialpointii）求解這個線性規(guī)劃問題看是否有一個可行點 xnew=linprog（f,A,b

5、,Aeq,beq,lb,ub）;iii）如果有可行點xnew，用xnew作為初始點去求解原始問題iv）如果沒有可行點，那說明原始模型建的不好，檢查界約束和線 性約束。（2）檢查非線性約束 在保證界約束和線性約束是可行的之后，檢查非線性約束：i）設置目標函數(shù)為0,然后求解優(yōu)化問題，如果能找到一個可行 點xnew，令x0=xnew返回到原始問題中去ii）如果用 0 目標函數(shù)不能找到一個可行點， 嘗試幾個不同的初始點重新求解，如果找到了一個可行點xnew，令x0=xnew并返回到原始問題中去， 如果仍沒找到可行點， 試著用下列方法放松約 束條件。a. 改變非線性約束函數(shù)c為c- , 是一個正數(shù)，這會

6、使得非線 性約束更容易滿足。b. 嘗試用原始的目標函數(shù)或 0目標函數(shù)對新的約束函數(shù)尋找一個 可行點。如果找到一個可行點，那么減少 ，并在之前找到的點 處開始對新的約束函數(shù)重新找一個可行點； 如果沒有找到一個可 行點，試著增大并重新找。如果一直沒有找到可行點，那么原始問題可能確實是不可行的， 重新檢查約束函數(shù)的定義。3、問題是無界的 求解器到達一個目標函數(shù)小于目標閾值界的點，那么（1） 原問題可能確實無界， 即存在一系列滿足問題約束的點 xi， 使得 limf（xi）= s。（2）檢查原問題建模正確，求解器是最小化目標函數(shù)，如果想 得到最大化，將目標函數(shù)乘以 -1.（3）試著標準化或中心化原問題

7、。（4） 放松目標函數(shù)界精度， 用 optimset 減少 ObjectiveLimit 設定 的精度值。二、求解可能成功1、最后的點等于初始點 初始點可能是局部極小點，因為它的一階導數(shù)接近 0，如果并不 確定初始點確實是一個局部極小點，嘗試下邊的步驟：（1）從不同的點開始重新求解（2）檢查目標函數(shù)和約束函數(shù)定義正確。（3）改變精度，如 TolFun,TolCon,TolX（4）標準化原問題，使得每個坐標軸有相同的影響。（5）提供解析的梯度和海塞矩陣。2、可能的局部最小值（ LocalMinimumPossible ， notLocalMinimumFound ） 求解器可能達到一個局部最小值

8、， 但并不確定， 因為一階導數(shù)不 小于 TolFun ，為了檢查得到的答案是否是可靠的，考慮下邊的 建議。（1）非平滑函數(shù) 如果試著最小化一個非平滑的函數(shù)， 或者有非平滑的約束， 那么 LocalMinimumPossible 是最好的返回標志， 因為一階導數(shù)條 件并不適用于非平滑的點。 試著檢查周圍的點來確定結果是否真 的可靠。（2）在最后得到的點處開始重新優(yōu)化 在最后得到的點處開始重新優(yōu)化會得到一個在一階導數(shù)估量上 更好的點，更好的一階導數(shù)估量能讓人相信結果是可靠的。3、嘗試一個不同的算法4、改變精度5、重新標準化原問題6、檢查鄰近點7、改變有限差分的計算方法 中心有限差分用的時間更多，但

9、更準確，可以設置 FinDiffType 為cen tral。8、提供解析的梯度或雅可比矩陣9、提供海塞矩陣三、求解成功當求解器返回成功信息時， 也可能結果是錯誤的， 下邊有幾種方 法可以驗證結果。1、改變初始點 初始點對求解結果有很大影響， 如果從不同的初始點得到了相同 或較差的結果，說明原來求得的界是正確的。2、檢查鄰近點計算f（xfinal 土的值，與f（xfinal）值做比較。3、檢查目標函數(shù)與約束函數(shù)4、局部最優(yōu)與全局最優(yōu)（ 1）為什么求解器找不到最小的最小值 通常，求解器返回的是一個局部最小值， 該值也可能是一個全局 最小值，但并不保證是。 這部分討論求解器得出這種結果的原因， 并

10、給出尋找全局最小值的建議。一般求解器是在初始點的 basinofattraction 找到的最優(yōu)值，但也 有些例外：i）線性規(guī)劃和正定二次規(guī)劃是凸的，可行域也是凸的，所以只有一個basi no fattraction。在設定某些條件下，lin prog會忽略用戶提 供的初始點，quadprog也不需要。ii） 全局優(yōu)化工具箱，女口 Simulannealbnd，試著搜索不止一個 basinofattraction。2）尋找一個更小的最小值如果需要一個全局最小值，必須要在全局最小值的basinofattraction 內找一個初始點。設置初始點的建議：i)用初始點的一個規(guī)則網格i i )如果原始問題在所有的坐標軸上是有界的，那么從均勻分布 得到一個隨機初始點，如果有些部分是無界的，那么用正態(tài)、指 數(shù)或其他隨機分布得到初始點。對全局最優(yōu)值的位置知道的越 少，就要選擇越分散的隨機分布。例如，正態(tài)分布大部分樣本在均值的三個標準偏差范圍內， 但柯西分布(密度函數(shù)1/( n (1+x2) 樣本很分散。iii )如