最優(yōu)化理論學習心得

1、最優(yōu)化理論學習心得本擬撰寫以考慮電力系統(tǒng)靜態(tài)電壓穩(wěn)定的無功優(yōu)化問題的建模與求解試驗為題的課程小論文，無奈問題簡單，數(shù)據(jù)有限（把握的數(shù)據(jù)都是上千維變量空間，上千個約束方程的大問題，不便于初步爭辯），再加上撰寫三個數(shù)值報告消耗了大量時間精力，實在無力在考試之前完成這篇論文，只能退而草草炮制這篇學習心得，論文留待假期或以后，涉及到專業(yè)爭辯方向，總是要寫的。      下面談七點心得體會：最優(yōu)化問題的普遍性、有用性和趣味性，最優(yōu)化問題的困難，數(shù)學的簡潔與簡單的辯證關系及其引發(fā)的對生活態(tài)度的思考，理論問題與數(shù)值問題的差異，最優(yōu)化問題的信息論視角，最優(yōu)化問題和解方程

2、問題的關系，周老師的貴重精神。      最優(yōu)化問題無處不在。只要存在選擇，并涉及稀缺資源，就肯定存在優(yōu)化問題?？梢院堋案呱睢保热缜懊嫣岬降碾娏ο到y(tǒng)無功優(yōu)化問題，比如導彈的軌跡優(yōu)化問題；也可以很“生活”，比如有同學爭辯了在交大教室、圖書館、試驗室和幾個食堂之間的最優(yōu)路徑問題，比如我曾經(jīng)寫過一篇戀愛中的博弈問題，又比如有同學問周老師：“如何花費最少的時間獲得相對較好的最優(yōu)化課程分數(shù)？”但它們有著共同的特點，就是很實際，并且很好玩?？梢哉f，作為一個一般的工學爭辯生，以往從沒有接觸過一門數(shù)學課程（除了那些最基本的算術、幾何），如此地貼近現(xiàn)實問題，立足現(xiàn)實問題

3、，而最終亦指向現(xiàn)實問題。在最優(yōu)化理論系統(tǒng)中，除了可以感受到一般數(shù)學理論的那種純粹、抽象、透徹、簡潔，也能感受一種無處不在的有用主義價值觀，“有用”、“好用”、“湊效”這些看起來不那么“數(shù)學”的評價標準在這個領域中也有著相當?shù)牡匚弧６诟鞣N“數(shù)學”、“非數(shù)學”的標準之間的權衡取舍，本身就是一個多目標優(yōu)化問題而體現(xiàn)出某種對系統(tǒng)性思維的訴求。思考、爭辯這樣的問題，即有用，又好玩，令人歡快無窮。      這些可能與生活瑣事緊緊相連的問題可能引發(fā)數(shù)學上極大的麻煩。比如現(xiàn)在大家都知道的背包問題，我看到這個問題的第一反應是：這應當是個很簡潔的問題！不錯，模型是簡潔的

4、，求解的確極富挑戰(zhàn)的。又比如最速下降法的收斂性，從直覺上講實在是讓人感到不證自明的東西。然而，放到數(shù)學領域嚴謹考察，問題就不那么簡潔了，僅僅對一個正定二次函數(shù)就花費了近半節(jié)課的時間去證明。再比如對于“皮球下山法”的局部收斂問題。將一個皮球擲向一個可微的谷域曲面，最終能停止到微小值點四周，這是直覺必定，也是物理事實。為了讓它能在理論上最終精確停在微小值點，需要取消摩擦力作用；為了讓球的能量最終全部耗散，同時為了讓連續(xù)運動問題變?yōu)殡x散的跳動問題，必需讓球在任何狀況下都保持跳動而不能滾動，且每次跳動按肯定規(guī)章衰減動能。然而，就是這一點點和實際物理過程的看起來不影響結果的改動，放到數(shù)學領域嚴格考察，就

5、會發(fā)覺收斂性生怕是有條件的，由于速度的衰減太快，在某種具體的目標函數(shù)形態(tài)下，完全有可能使算法收斂到不是微小值點的地方。進而，要證明或給出收斂條件，就是很困難的工作了。由于最優(yōu)化問題本身的多樣性與簡單性，雖然在最優(yōu)化理論課程上，我們學習了眾多的算法，可是放到現(xiàn)實科學工程領域，真正全面有效的算法其實卻不多，甚至限于我的生疏，還沒有任何一種對于高維的、有簡單約束的全局優(yōu)化問題湊效的算法，而現(xiàn)實科學工程領域中，這樣的問題并非少見，在我個人的領域中，更是隨處都是。然而，正由于有困難，這個領域也才擁有無限的進展空間和蓬勃生氣，從而散發(fā)出醉人的魅力。      數(shù)學近

6、乎天下之至簡，好比全局優(yōu)化算法“窮其一生”也無法完全把握的目標函數(shù)的全局信息，通過目標函數(shù)一個短短的解析式就能完整包括；一個二維的優(yōu)化問題或許我們可以憑直觀觀看快速獲得全局最小值點，但對于大于更高維，多約束的問題，直觀就無能為力，經(jīng)過嚴格證明可行的數(shù)學方法確定解決這些問題；千差萬別的現(xiàn)實世界信息好像無窮無盡，然而全部的重要的核心數(shù)學理論（或物理理論的數(shù)學描述）集中起來或許一張CD都裝不滿就能描述其中大部分的運動變化規(guī)律，難怪有畢達哥拉斯者認為世界就是數(shù)學的實例。然而數(shù)學也近乎天下之至繁，一方面，數(shù)學是對現(xiàn)實某一方面的抽象，另一方面數(shù)學要求嚴格的規(guī)律必定性，摻不得半點沙子。而現(xiàn)實對象往往是具體的

7、簡單的，要用數(shù)學精確描述一個具體對象的全部（或打算性方面）是不行能的（或很簡單的）?；氐阶顑?yōu)化問題上來，這就引發(fā)了一種對生活態(tài)度的思考：現(xiàn)實生活中，我們是否需要最優(yōu)化結果和最優(yōu)化方法？我想現(xiàn)實的考慮是，需奉中庸之道。假如我們面對生活中的任何問題，都追求用確定嚴格的優(yōu)化方法，追求獲得確定的最優(yōu)解，那么，很可能什么事都做不了了。很多時候，在現(xiàn)有已把握的方法和結果中選擇最不差，比在一切可能的方法和結果中選擇最好，要實際有效得多。比如對于社會改良問題，政策設計問題。而對于另一些問題，假如我們把留意壓力集中在最優(yōu)性的功利思維上，就有可能最終反而破壞結果的最優(yōu)性，比如對于那個學習最優(yōu)化課程的最優(yōu)時間花費問

8、題，周老師認為讀書做學問不能實行這樣的態(tài)度。       理論問題和數(shù)值問題的差異是在本學期兩門相關數(shù)學課上才被真正值作一個問題擺在我們面前的。我想這本身就是我國數(shù)學基礎教育的一個弊?。河捎谠跔庌q生教育以前，很少接觸數(shù)值計算及相關問題，同學無法對這個問題有充分的感知和眼界，而現(xiàn)實當中需要數(shù)學的時候，恰恰又都無法避開數(shù)值計算問題，于是，所學和所用之間多了一條裂痕。這是應當引起思考和重視的。在最優(yōu)化理論課程的三次數(shù)值試驗中，無處不是數(shù)值計算相對理論計算的差異。最典型的問題是局部優(yōu)化算法的牢靠性。對于一切基于一維搜尋的方法，當一維搜尋在理論上確定可行的時候，在

9、現(xiàn)實計算中消滅理論外結果的狀況幾乎可說是大量存在的，特殊對于某些特地的測試函數(shù)。目標函數(shù)的數(shù)量級太大，梯度函數(shù)的數(shù)量級太小，舍入誤差等等，都可能使一維搜尋失敗、結果不行靠甚至特別退出，為防止這些不符合理論要求的狀況消滅（且不說有時是防不勝防），又需增加運算負責檢查矯正，最終也很難完全避開。信任域的方法同樣存在著數(shù)值計算中的不行靠，甚至在小尺度時，試驗中比基于一維搜尋的方法有時更加不行靠。又比如特征值計算問題，當使用eigs()函數(shù)而Hessian陣數(shù)值的數(shù)量級太大時，就會發(fā)生特別返回。再比如，在各種消滅數(shù)值大小比較的地方，都存在著數(shù)值計算帶來的問題和隱患，比如判定Hessian陣正定，理論上只

10、需最小特征值大于0，可是，萬一由于數(shù)值的緣由這個最小特征值在計算機中是負的，就會得出錯誤的結果。相等推斷更是 如此，一切“x=A”對double變量都因舍入誤差的存在是不行靠的，只能是"|x-A|<e"，那么e怎么取，又構成新的問題。最終，像最速下降法這樣理論上對正定二次函數(shù)肯定收斂的算法，當特征值分布分散，問題維數(shù)很高的時候，實際是不行行的，根本達不到現(xiàn)實中的精度要求?？傊嬎銠C在大力推動數(shù)學的進展和應用的同時，也引出了許很多多新的問題，理論和工具的結合，本身產(chǎn)生了大量理論問題，這是任何一個從事科學工程領域工作的人都必需有所生疏的。  

11、;   最優(yōu)化問題到底是個什么問題？我認為，抽象地講，解最優(yōu)化問題的過程，就是獵取目標函數(shù)一條全局信息的過程，這個需要獵取的全局信息，就是某點的函數(shù)值最小。為什么說這是個全局信息？由于說某點函數(shù)值“最小”，其實是說某點函數(shù)值“比其它全部點的函數(shù)值都小”，包含了該點函數(shù)值對全部點函數(shù)值的大小比較關系，這當然是全局性的。而最優(yōu)化問題的主要沖突就是，問題的解所包含的信息是全局性的（并可能是無限的，由于包含了無限個大小關系推斷），但為求取這個解所能（從包含函數(shù)一切信息的解析式和約束關系中）采集到的可利用信息(如函數(shù)值大小或大小關系)是局部的甚至單點的（并多半是有限的），且采集次數(shù)是有限的。比

12、如求一點函數(shù)值，只能得單點信息。又比如水平集方法之所以不好用，就是由于它每一步都要求算法獲得水平集測度這種全局信息。正是這個根本沖突，導致了最優(yōu)點搜尋、確認上的困難。局部優(yōu)化問什么可獲得必定的解決？由于對于可微函數(shù)，從解析式中的有限次（一次）信息采集如求單點梯度就可獲得一個有限領域內(nèi)可利用的局部（而非僅僅單點）信息。比如，假如知道一點梯度為零并且知道函數(shù)正定，我就知道在某個領域中該點函數(shù)值肯定最小，而不用通過無限次求取領域內(nèi)各點函數(shù)值與該點函數(shù)值比大小來獵取這個局部信息。然而，對于全局優(yōu)化問題，我們卻沒有這樣的手段（有限的各階導數(shù)對一般函數(shù)總是領域信息）。我在第三次報告中總結了一類算法的思路，

13、是對微小值點有限的目標函數(shù)，設計有效的方法在微小值點間轉(zhuǎn)移或遴選，從而最終得到全局最小值點。放到這里來講，就是對于微小值點有限的函數(shù)，全局可以劃分為有限個局部，而局部有效信息，可以通過有限的信息采集獲得，最終把全部局部有效信息拼接起來就得到需要的全局信息。也就是說，通過局部信息的有限次累計，得到全局信息。其實比較各種局部優(yōu)化算法就可有這樣的體會，理論上好的算法，往往就是能在各次獵取單點信息的過程中實現(xiàn)一種信息累積（比如下降算法本身就是一種信息累計搜尋過的地方永久不會再搜），使得算法把握的信息越來越能鉤織出局部信息。出于這樣的生疏，我認為，要創(chuàng)造一種好的全局優(yōu)化算法，可以在兩個地方下功夫：一是如何從解析式與約束中通過少的信息采樣挖掘出更大范圍、更大信息量的信息；二是，如何逐步有效累積信息把前面挖掘的信息匯成全局信息。另外是否可以把信息、通信領域的理論方法結合到最優(yōu)化理論中，也是值得思考的問題。      最優(yōu)化問題和解方程問題在很多時候是等效的。比如一階最性條件就是個方程，而一些解方程的方法，就是將方程反構成最優(yōu)化問題來解（比如共軛梯度法的起源）。Matlab的