第2章優(yōu)化設計的數(shù)學基礎

1、機械優(yōu)化設計第二章第二章 優(yōu)化設計的數(shù)學基礎優(yōu)化設計的數(shù)學基礎20212021年年1212月月3030日日1515時時3131分分第二章第二章 優(yōu)化設計的數(shù)學基礎優(yōu)化設計的數(shù)學基礎第一節(jié)第一節(jié) 多元函數(shù)的方向導數(shù)和梯度多元函數(shù)的方向導數(shù)和梯度第二節(jié)第二節(jié) 多元函數(shù)的泰勒展開多元函數(shù)的泰勒展開第三節(jié)第三節(jié) 無約束優(yōu)化問題的極值條件無約束優(yōu)化問題的極值條件第四節(jié)第四節(jié) 凸集、凸函數(shù)與凸規(guī)劃凸集、凸函數(shù)與凸規(guī)劃第五節(jié)第五節(jié) 等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題的極值條件第六節(jié)第六節(jié) 不等式約束優(yōu)化問題的極值條件不等式約束優(yōu)化問題的極值條件20212021年年1212月月3030日日1515時時

2、3131分分1 1、方向導數(shù)、方向導數(shù)01020,xxx 二元函數(shù)在點處的偏導數(shù)偏導數(shù)的定義是：10101201020011(,),limxxf xx xfxxfxx20102021020022(,),limxxf xxxfxxfxx 01020,xxx二元函數(shù)在點處沿某一方向 d的變化率，其定義為 010120210200(,),limdxf xx xxf xxfdd 方向導數(shù)方向導數(shù) 第一節(jié)第一節(jié) 多元函數(shù)的方向導數(shù)和梯度多元函數(shù)的方向導數(shù)和梯度),(21xxf),(21xxf20212021年年1212月月3030日日1515時時3131分分圖圖1 1 二維空間中的方向二維空間中的方向偏

3、導數(shù)與偏導數(shù)與方向導數(shù)方向導數(shù)的關系的關系Ox2x1x10 x20 x0 x1 x2 sxS 1 220212021年年1212月月3030日日1515時時3131分分三元函數(shù) 在 點處沿s方向的方向導數(shù)),(321xxxf),(3020100 xxxx332211coscoscos0000 xxxxxfxfxfdfixininxnxxxxfxfxfxfdfcoscos.coscos0000012211 依次類推，即可得到依次類推，即可得到n元函元函數(shù)在點數(shù)在點x0處沿處沿s s方向的方向導數(shù)方向的方向導數(shù) 20212021年年1212月月3030日日1515時時3131分分2 2、二元函數(shù)的

4、梯度、二元函數(shù)的梯度000011221212coscos+ cos,cosxxxxfffffdxxxx0010122(),Txxfxfff xfxxx令 000()() cos(, )Txff xdf xf dd 21coscosd為函數(shù)F(x1，x2)在x0點處的梯度20212021年年1212月月3030日日1515時時3131分分 000()() cos(, )Txff xdf xf dd 22210)(xfxfxf梯度的模：梯度的模：20212021年年1212月月3030日日1515時時3131分分多元函數(shù)的梯度多元函數(shù)的梯度Txnxnxfxfxfxfxfxfxf0021210)()

5、,cos()()(cos00100dfxfdxfxfdfTinixix20212021年年1212月月3030日日1515時時3131分分2/1210)()(0 xniixfxf多元函數(shù)的梯度的模：多元函數(shù)的梯度的模： 函數(shù)的梯度方向函數(shù)的梯度方向與函數(shù)的等值面相垂直與函數(shù)的等值面相垂直，也，也就是和等值面上過就是和等值面上過x0 x0的一切曲線相垂直。的一切曲線相垂直。 由于梯度的模因點而異，即函數(shù)在不同點處由于梯度的模因點而異，即函數(shù)在不同點處的最大變化率是不同的。因此，梯度是函數(shù)的一的最大變化率是不同的。因此，梯度是函數(shù)的一種種局部性質局部性質。20212021年年1212月月3030日

6、日1515時時3131分分2121242)(xxxfxfxf42242)(211xxxf例例1 1：求二次函數(shù)求二次函數(shù)44,1222121xxxxxfT2 , 3在點在點處的梯度。處的梯度。 解：解：在點在點T2 , 3處的梯度為：處的梯度為：20212021年年1212月月3030日日1515時時3131分分例例2 2：試試求二次函數(shù)求二次函數(shù)2221212143,xxxxxxfTx1 , 00在點在點處的最速下降方向，并求沿這個方向移動一個單位長處的最速下降方向，并求沿這個方向移動一個單位長度后新點的目標函數(shù)值。度后新點的目標函數(shù)值。 解：解：21146xxxf21224xxxf2424

7、46)(102121102102121xxxxxxxxxfxfxfPTx 1 , 00則函數(shù)在則函數(shù)在 處的最速下降方向為處的最速下降方向為20212021年年1212月月3030日日1515時時3131分分該方向上的單位向量為該方向上的單位向量為551552)2(424)()(2200 xfxfe55115525515521001exx1x新點新點5252643)(12221211xxxxxxf該點函數(shù)值該點函數(shù)值20212021年年1212月月3030日日1515時時3131分分常用梯度公式：常用梯度公式：QXXfQXXXfQXXfXXXfbXfXbXfXfCXfTTT2)()()4(2)

8、()() 3()()()2(0)()()() 1 (為對稱矩陣，常數(shù)注意：梯度為向量注意：梯度為向量二次型二次型20212021年年1212月月3030日日1515時時3131分分 f x0 xx在在 點處的泰勒展開為：點處的泰勒展開為： 200012f xf xfxxfxx 其中其中2200,xxxxxx 1、一元函數(shù)一元函數(shù)第二節(jié)第二節(jié) 多元函數(shù)的泰勒展開多元函數(shù)的泰勒展開20212021年年1212月月3030日日1515時時3131分分2 2、二元函數(shù)、二元函數(shù)11102220,xxxxxx其中：其中：.2! 21),(,222222121221212221120102100000 x

9、xfxxxxfxxfxxfxxfxxfxxfxxxxx二元函數(shù)二元函數(shù) 在在 點處的泰勒展開式為：點處的泰勒展開式為：)(xf),(20100 xxx20212021年年1212月月3030日日1515時時3131分分上式寫成矩陣形式：上式寫成矩陣形式：2122221221221221212100021)()(xxxfxxfxxfxfxxxxxfxfxfxfxx20212021年年1212月月3030日日1515時時3131分分02221222122120)(xxfxxfxxfxfxG令令 xxGxxxfxfxfTT0002121xxx 0 xG21,xxf上式可寫成上式可寫成稱為函數(shù)稱為函數(shù)

10、 在在 點處的點處的海賽（海賽（Hessian）矩陣）矩陣),(20100 xxx參見教材例題參見教材例題P3020212021年年1212月月3030日日1515時時3131分分海賽矩陣海賽矩陣是由函數(shù)是由函數(shù) 在點在點 處的二階偏處的二階偏導數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：導數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：),(21xxf0 x212122xxfxxf)(0 xG2221222122120)(xfxxfxxfxfxG所以所以 矩陣為矩陣為對陣方陣。對陣方陣。20212021年年1212月月3030日日1515時時3131分分海賽矩陣海賽矩陣22221222222122122

11、122120)(nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG3 3、多元函數(shù)、多元函數(shù) xxGxxxfxfxfTT00021其中：梯度其中：梯度Txnxfxfxfxf0210)(泰勒展開式泰勒展開式20212021年年1212月月3030日日1515時時3131分分若將函數(shù)的泰勒展開式只取到線性項，即取若將函數(shù)的泰勒展開式只取到線性項，即取 )(000 xxxfxfxzT xz0 x則則 是過點是過點 和函數(shù)和函數(shù) 所代表的超曲面相所代表的超曲面相切的切平面。切的切平面。 xf若將函數(shù)的泰勒展開式取到二次項時，則得到二若將函數(shù)的泰勒展開式取到二次項時，則得到二次函數(shù)形式，在線

12、性代數(shù)中將二次齊次函數(shù)稱為次函數(shù)形式，在線性代數(shù)中將二次齊次函數(shù)稱為二次型。二次型。矩陣形式矩陣形式 GxxxfTG-對稱矩陣對稱矩陣20212021年年1212月月3030日日1515時時3131分分當對任何非零向量當對任何非零向量x x使使 0GxxxfT則二次型函數(shù)正定，則二次型函數(shù)正定，G G為正定矩陣。為正定矩陣。20212021年年1212月月3030日日1515時時3131分分海賽矩陣的特征：是實對稱矩陣。海賽矩陣的特征：是實對稱矩陣。0)det(G0)det(G0)det(G4 4、海賽矩陣與正定、海賽矩陣與正定矩陣矩陣正定正定的充要條件：矩陣的充要條件：矩陣G的各階順序主子式

13、為正，即的各階順序主子式為正，即矩陣矩陣負定負定的充要條件：矩陣的充要條件：矩陣G G的的奇數(shù)階主子式奇數(shù)階主子式主子式主子式偶數(shù)階主子式偶數(shù)階主子式海賽矩陣的正定性：海賽矩陣的正定性：)(xG正定正定- 為全局極小值點的充分條件為全局極小值點的充分條件x)(xG負定負定- 為全局極大值點的充分條件為全局極大值點的充分條件x20212021年年1212月月3030日日1515時時3131分分例例3 3 判定矩陣判定矩陣 是否正定？是否正定？010401023136032336066解：解：該對稱矩陣的三個主子式依次為：該對稱矩陣的三個主子式依次為：401023136G故可知矩陣故可知矩陣G是正

14、定的。是正定的。20212021年年1212月月3030日日1515時時3131分分定理：定理：若二次函數(shù)若二次函數(shù) 中中Q Q正定，正定，則它的等值面是同心橢球面族，且中心為則它的等值面是同心橢球面族，且中心為cbXQXXXfT21)(bQX1證明：證明：作變換作變換 ，代入二次函數(shù)式中：，代入二次函數(shù)式中：bQYX1cbQYbbQYQbQYT)()()(21111)()(1bQYfYcbQbQYYTT12121QYYT210YbQX1結論：結論：Q為正定矩陣的二次型為正定矩陣的二次型 的等值面是以的等值面是以 的同心橢球面族。原二次函數(shù)就是以的同心橢球面族。原二次函數(shù)就是以 為中心的同心為

15、中心的同心橢球面族，橢圓中心為極小值點。橢球面族，橢圓中心為極小值點。20212021年年1212月月3030日日1515時時3131分分例例4 把二次函數(shù)把二次函數(shù) 化為矩陣向量形式并檢驗化為矩陣向量形式并檢驗Q是否正定，如正定，試用公式是否正定，如正定，試用公式 求這個函數(shù)的極小點。求這個函數(shù)的極小點。bQX121312123222132154323),(xxxxxxxxxxxxf32132132133323123222113121132121xxxbbbxxxgggggggggxxxXbQXXxxxfTT21),(321TbQX7 . 07 . 68 . 21054b401023136Q

16、解：解：與題中函數(shù)比較各系數(shù)得：與題中函數(shù)比較各系數(shù)得：由計算知由計算知Q Q正定，極小點正定，極小點20212021年年1212月月3030日日1515時時3131分分 2202220222Xf2, 2, 20, 2, 2232322222312212212xfxxfxfxxfxxfxf TxxxxxxxXf233122122, 3222,22 23322xxxXf 21122xxxXf 32223122xxxxXf的梯度和的梯度和Hesse矩陣。矩陣。解：因為解：因為 則則又因為：又因為：故故Hesse陣為：陣為：33221232221322)(xxxxxxxxxf例例5：求目標函數(shù)求目標

17、函數(shù)20212021年年1212月月3030日日1515時時3131分分1 1、一元函數(shù)、一元函數(shù) f x0 xx對于可微的一元函數(shù)對于可微的一元函數(shù) 判斷在判斷在 處是否取得極處是否取得極值的過程：值的過程： 00fx00fx則則 為極小點。為極小點。0 x00fx0 x00fx逐次檢驗其更高階導數(shù)逐次檢驗其更高階導數(shù)的符號，開始不為零的的符號，開始不為零的導數(shù)階數(shù)若為偶次，則導數(shù)階數(shù)若為偶次，則為極值點，若為奇次，為極值點，若為奇次，則為拐點。則為拐點。 則則 為極大點。為極大點。第三節(jié)第三節(jié) 無約束優(yōu)化問題的極值條件無約束優(yōu)化問題的極值條件20212021年年1212月月3030日日15

18、15時時3131分分2 2、二元函數(shù)、二元函數(shù) 01020,xxx定理定理1：若二元可微函數(shù)若二元可微函數(shù) 在在 處處取得極值的取得極值的必要條件必要條件是：是：),(21xxf00021xxxfxf即即0)(0 xf凡滿足上式的點稱為函數(shù)的凡滿足上式的點稱為函數(shù)的駐點駐點（零向量）（零向量）20212021年年1212月月3030日日1515時時3131分分如下圖所示的二元函數(shù)，在如下圖所示的二元函數(shù)，在M0點雖有點雖有 和和 是個駐點，但它不是極值點。是個駐點，但它不是極值點。 0 xf0yf20212021年年1212月月3030日日1515時時3131分分01020,xxx定理定理2：

19、若二元可微函數(shù)若二元可微函數(shù) 在在 的的某個鄰域取得極小值的某個鄰域取得極小值的充分條件充分條件是要求在該點附是要求在該點附近的一切點均滿足：近的一切點均滿足：),(21xxf0),(),(201021xxfxxf若函數(shù)存在連續(xù)的一階及二階偏導數(shù)，當滿足若函數(shù)存在連續(xù)的一階及二階偏導數(shù)，當滿足0),(, 0),(2010201021xxfxxfxx則泰勒展開式的函數(shù)增量近似式（略三階以上則泰勒展開式的函數(shù)增量近似式（略三階以上高階微量）為：高階微量）為：20212021年年1212月月3030日日1515時時3131分分0),(),(2),(21),(),(2),(21),(),(),(),(

20、222010 212010 212010 222010 212010 212010 220101201020102122212122212121xxxfxxxxfxxxfxxxfxxxxfxxxfxxxfxxxfxxfxxfxxxxxxxxxx),(),(),(2010 2010 2010 222121xxfCxxfBxxfAxxxx令令則則0221222121xCxxBxA0, 0CBBAA可見，函數(shù)增量的性態(tài)與可見，函數(shù)增量的性態(tài)與A,B,C的值有關。可以證明，當滿的值有關?？梢宰C明，當滿足以下條件時，足以下條件時， 為極小值（證明略）。為極小值（證明略）。),(2010 xxf此條件反映

21、了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。此條件反映了函數(shù)在該點的海賽矩陣的各階主子式均大于零（即正定）。20212021年年1212月月3030日日1515時時3131分分結論：結論： 二元函數(shù)在某點取得二元函數(shù)在某點取得極小值極小值的的充分條件充分條件是要是要求求該點處的海賽矩陣為正定該點處的海賽矩陣為正定。0()0f x02210 xfx 2221122222120ffxx xG xffx xx 且且 01020,xxx 對于二元函數(shù)對于二元函數(shù) 在在 處取得極處取得極值的值的充分必要條件充分必要條件是：是：),(21xxf參見教材例題參見教材例題P32P32 2021202

22、1年年1212月月3030日日1515時時3131分分3、多元函數(shù)、多元函數(shù)對于多元函數(shù)對于多元函數(shù) 若在若在 處取得處取得極值極值，則，則),(21nxxxfx必要條件：必要條件：充分條件：充分條件：xnnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG2222122222212212212212)(0)(21Txnxfxfxfxf正定正定或負定或負定20212021年年1212月月3030日日1515時時3131分分 當極值點當極值點x x* *能使能使f(xf(x* *) )在整個可行域中為最小在整個可行域中為最小值時，即在整個可行域中對任一值時，即在整個可行域中對任一x x都

23、都f(x)=f(xf(x)=f(x* *),),則則x x* *為為全域最優(yōu)點（全域極小點）。全域最優(yōu)點（全域極小點）。若若f(xf(x* *) )為局為局部可行域中的極小值而非整個可行域的最小值時，部可行域中的極小值而非整個可行域的最小值時，則稱則稱x x* *為為局部最優(yōu)點或相對最優(yōu)點局部最優(yōu)點或相對最優(yōu)點。優(yōu)化的目標。優(yōu)化的目標是全域最優(yōu)點。為了判斷某個極值點是否為全域是全域最優(yōu)點。為了判斷某個極值點是否為全域最優(yōu)點，研究函數(shù)的凸性是必要的。最優(yōu)點，研究函數(shù)的凸性是必要的。第四節(jié)第四節(jié) 凸集、凸函數(shù)與凸規(guī)劃凸集、凸函數(shù)與凸規(guī)劃20212021年年1212月月3030日日1515時時313

24、1分分 函數(shù)的凸性表現(xiàn)為函數(shù)的凸性表現(xiàn)為單峰性單峰性。對于具有凸性特點的函數(shù)。對于具有凸性特點的函數(shù)來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全來說，其極值點只有一個，因而該點既是局部最優(yōu)亦是全域最優(yōu)點。域最優(yōu)點。為了研究函數(shù)的凸性，下面引入為了研究函數(shù)的凸性，下面引入凸集凸集的概念：的概念：20212021年年1212月月3030日日1515時時3131分分1 1、凸集、凸集12,xR xR01如果對一切如果對一切 及一切滿足及一切滿足12(1)xxyR的實數(shù)的實數(shù) ，點點 則稱集合則稱集合R為為凸集凸集，否則稱為非凸集。，否則稱為非凸集。y yx x2 2x x1 1llllxxyx

25、122若若y y是是x x1 1和和x x2 2連線上的點，則有連線上的點，則有整理后即得整理后即得21)1 (xxy圖圖2-8 二維空間的凸集與非凸集二維空間的凸集與非凸集20212021年年1212月月3030日日1515時時3131分分D凸集的性質：凸集的性質：若若D為凸集，為凸集， 為一個實數(shù)，則集合為一個實數(shù)，則集合 仍是凸集；仍是凸集；若若D和和F均為凸集，則其和（或并）仍是凸集；均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。任何一組凸集的積（或交）仍是凸集。圖圖2-9凸集的性質凸集的性質20212021年年1212月月3030日日1515時時3131分分2

26、2、凸函數(shù)、凸函數(shù) 具有凸性（表現(xiàn)為單峰性）或只有唯一的局具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。其數(shù)學定義是：單峰函數(shù)。其數(shù)學定義是： 設設f(x)f(x)為定義在為定義在n n維歐式空間中的一個凸集維歐式空間中的一個凸集D D上上的函數(shù)，如果對于任何實數(shù)的函數(shù)，如果對于任何實數(shù) 以及對以及對D D中任意兩點中任意兩點x x1 1，x x2 2恒有：恒有：1212(1)(1)fxxf xf x f x則則 為為D D上的凸函數(shù)，若不滿足上式，則為上的凸函數(shù)，若不滿足上式，則為凹函數(shù)。凹函數(shù)。如式中的等

27、號去掉，則稱其為嚴格凸如式中的等號去掉，則稱其為嚴格凸函數(shù)。函數(shù)。) 10(20212021年年1212月月3030日日1515時時3131分分 1212(1)(1)fxxf xf x凸函數(shù)的凸函數(shù)的幾何意義幾何意義：在函數(shù)曲線上取任意兩點連：在函數(shù)曲線上取任意兩點連成一直線段，則該線段上任一點的縱坐標值必大成一直線段，則該線段上任一點的縱坐標值必大于或等于該點處的原函數(shù)值。于或等于該點處的原函數(shù)值。llxfxfyxf)()()(121)()1 ()(21xfxfyy)(xfx2xx1xof1f2flxxlxx212,20212021年年1212月月3030日日1515時時3131分分凸函數(shù)的

28、性質凸函數(shù)的性質1）若）若f(x)為定義在凸集為定義在凸集D上的一個凸函數(shù)，對于任上的一個凸函數(shù)，對于任意實數(shù)意實數(shù)a0，則，則af(x)也是凸集也是凸集D上的凸函數(shù)；上的凸函數(shù)；2）定義在凸集）定義在凸集D上的兩個凸函數(shù)上的兩個凸函數(shù)f1(x),f2(x)，其和，其和f1(x)+f2(x)亦為該凸集上的一個凸函數(shù)；亦為該凸集上的一個凸函數(shù)；3）若）若f1(x),f2(x)為定義在凸集為定義在凸集D上的兩個凸函數(shù)，上的兩個凸函數(shù)， 為兩個任意正數(shù)，則為兩個任意正數(shù)，則 仍為仍為D上上的凸函數(shù)。的凸函數(shù)。,)()(21xfxf20212021年年1212月月3030日日1515時時3131分分3

29、 3、凸性條件、凸性條件（1）根據(jù)一階導數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性）根據(jù)一階導數(shù)（函數(shù)的梯度）來判斷函數(shù)的凸性設設f(x)f(x)為定義在凸集為定義在凸集R R上，且具有連續(xù)的一階導數(shù)上，且具有連續(xù)的一階導數(shù)的函數(shù)，則的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件是對凸是對凸集集R R內(nèi)任意不同兩點內(nèi)任意不同兩點 、 ，下面不等式，下面不等式恒成立。恒成立。1x2x 21211Tf xf xxxf x20212021年年1212月月3030日日1515時時3131分分（2 2）根據(jù)二階導數(shù)（海賽矩陣）根據(jù)二階導數(shù)（海賽矩陣) )來判斷函數(shù)的凸性來判斷函數(shù)的凸

30、性設設f(x)f(x)為定義在凸集為定義在凸集R R上且具有連續(xù)二階導數(shù)的函數(shù)，則上且具有連續(xù)二階導數(shù)的函數(shù)，則f(x)f(x)在在R R上為凸函數(shù)的上為凸函數(shù)的充要條件充要條件為：為：海賽矩陣在海賽矩陣在R R上處處半正定。對于嚴格的凸函數(shù)，其充上處處半正定。對于嚴格的凸函數(shù)，其充要條件為海賽矩陣為正定。要條件為海賽矩陣為正定。當海賽矩陣當海賽矩陣G G的主子式的主子式: : det(G) det(G)0 0時，矩陣正定時，矩陣正定 det(G)0 det(G)0 時，矩陣半正定時，矩陣半正定 det(G)det(G)0 0時，矩陣負定時，矩陣負定 det(G)0det(G)0時，矩陣半負定

31、時，矩陣半負定G(xG(x* *) )正定，正定， 是是 x x* * 為全局極小值點的充分條件為全局極小值點的充分條件；G(xG(x* *) )半正定半正定, , 是是 x x* * 為局部極小值點的充分條件；為局部極小值點的充分條件；G(xG(x* *) )負定，負定， 是是 x x* * 為全局極大值點的充分條件；為全局極大值點的充分條件；G(xG(x* *) )半負定半負定, , 是是 x x* * 為局部極大值點的充分條件為局部極大值點的充分條件。說明：說明：20212021年年1212月月3030日日1515時時3131分分4 4、凸規(guī)劃、凸規(guī)劃對于約束優(yōu)化問題對于約束優(yōu)化問題mi

32、n fX. .st0jgX (1,2,3,)jm fXjgX(1,2,3,)jm若若、都為凸函數(shù)，則稱此問題為凸規(guī)劃。都為凸函數(shù)，則稱此問題為凸規(guī)劃。20212021年年1212月月3030日日1515時時3131分分凸規(guī)劃的性質：凸規(guī)劃的性質：2 2）可行域）可行域 為凸集。為凸集。 1,2,.,0jjmgxRx3 3）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1 1）若給定一點）若給定一點 ，則集合，則集合 為凸集。為凸集。 0f xf xRx0 x20212021年年1212月月3030日日1515時時3131分分 不論是無約束或有約束的優(yōu)化問題，在實

33、際應用中，不論是無約束或有約束的優(yōu)化問題，在實際應用中，要證明一個優(yōu)化問題是否為凸規(guī)劃，一般比較困難，有要證明一個優(yōu)化問題是否為凸規(guī)劃，一般比較困難，有時甚至比求解優(yōu)化問題本身還要麻煩。尤其對一些工程時甚至比求解優(yōu)化問題本身還要麻煩。尤其對一些工程問題，由于其數(shù)學模型的性態(tài)都比較復雜，更難實現(xiàn)。問題，由于其數(shù)學模型的性態(tài)都比較復雜，更難實現(xiàn)。因此，在優(yōu)化設計的求解中，就不必花精力進行求證，因此，在優(yōu)化設計的求解中，就不必花精力進行求證，而通常是從幾個初始點出發(fā)，找出幾個局部最優(yōu)解，從而通常是從幾個初始點出發(fā)，找出幾個局部最優(yōu)解，從中選擇目標函數(shù)值最好的解。中選擇目標函數(shù)值最好的解。202120

34、21年年1212月月3030日日1515時時3131分分 min f x. .st 0khx 等式約束優(yōu)化問題：等式約束優(yōu)化問題： 求解等式約束化問題的理論基礎是導出極值求解等式約束化問題的理論基礎是導出極值存在的條件。存在的條件。 對這一問題在數(shù)學上有兩種處理方法：對這一問題在數(shù)學上有兩種處理方法：消元消元法（降維法）法（降維法）和和拉格朗日乘子法（升維法）拉格朗日乘子法（升維法）。), 2 , 1(mk第五節(jié)第五節(jié) 等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題的極值條件20212021年年1212月月3030日日1515時時3131分分1 1、消元法（降維法）、消元法（降維法）2021202

35、1年年1212月月3030日日1515時時3131分分20212021年年1212月月3030日日1515時時3131分分2 2、拉格朗日乘子法（升維法）、拉格朗日乘子法（升維法）思想思想: : 通過增加變量將等式約束化問題變成無約通過增加變量將等式約束化問題變成無約束化問題。束化問題。所以又稱作所以又稱作升維法升維法。 1,2,)kkl（ 1,lkkkF XfxhX引入引入拉格朗日乘子拉格朗日乘子，并構成一個，并構成一個新的目標函數(shù)新的目標函數(shù)拉格朗日函數(shù)拉格朗日函數(shù)拉格朗日乘子拉格朗日乘子新目標函數(shù)的極值的新目標函數(shù)的極值的必要條件：必要條件：0iFx0kF20212021年年1212月月

36、3030日日1515時時3131分分20212021年年1212月月3030日日1515時時3131分分庫恩庫恩塔克條件（塔克條件（K-TK-T條件）條件） 不等式約束的多元函數(shù)極值的必要條件是著名不等式約束的多元函數(shù)極值的必要條件是著名的的庫恩庫恩塔克（塔克（Kuhn-TuckerKuhn-Tucker）條件）條件, ,它是非線性它是非線性優(yōu)化問題的重要理論。優(yōu)化問題的重要理論。 為了便于理解庫恩為了便于理解庫恩塔克條件，首先分析一塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。元函數(shù)在給定區(qū)間的極值條件。第六節(jié)第六節(jié) 不等式約束優(yōu)化問題的極值條件不等式約束優(yōu)化問題的極值條件20212021

37、年年1212月月3030日日1515時時3131分分 min f x. .st 10gxax 20gxxb1 1、一元函數(shù)在給定區(qū)間上的極值條件、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)一元函數(shù)f(x)f(x)在區(qū)間在區(qū)間a,ba,b的極值問題，可表示為：的極值問題，可表示為：求解思想求解思想: :引入松弛變量使不等式約束變成等式約束，再引入松弛變量使不等式約束變成等式約束，再利用拉格朗日乘子法求解等式約束的極值問題。利用拉格朗日乘子法求解等式約束的極值問題。20212021年年1212月月3030日日1515時時3131分分 2211111,0h x agxaaxa 2221211,0hx b

38、gxbxbb這樣可以轉化為拉格朗日函數(shù)：這樣可以轉化為拉格朗日函數(shù)： 11121 11221221121,()F x a bf xh x ahx bf xaxaxbb 12, 是對應于不等式約束的拉格朗日乘子，是對應于不等式約束的拉格朗日乘子，其值均為非負的。其值均為非負的。 設設 為松弛變量，則上兩個不等式可寫為松弛變量，則上兩個不等式可寫為如下兩個等式：為如下兩個等式：11,ba20212021年年1212月月3030日日1515時時3131分分12120dgdgdfdxdxdx 110gx 220gx1020 f x,a b對于一元函數(shù)對于一元函數(shù) 在給定區(qū)間在給定區(qū)間上的極值條件，可完

39、整的表示為：上的極值條件，可完整的表示為：結論：結論：20212021年年1212月月3030日日1515時時3131分分從以上分析可以看出，對應于不起作用的約束的從以上分析可以看出，對應于不起作用的約束的拉格朗日乘子拉格朗日乘子取零值取零值，因此可以引入起作用約束，因此可以引入起作用約束的下標集合。的下標集合。 0,1,2jgxjJ xj一元函數(shù)在給定區(qū)間的極值條件，可以改寫為：一元函數(shù)在給定區(qū)間的極值條件，可以改寫為：極值條件中只考慮起作用的約束和相應的乘子。極值條件中只考慮起作用的約束和相應的乘子。 000jjj JjjdgdfdxdxgxjJjJ20212021年年1212月月3030

40、日日1515時時3131分分2 2、庫恩、庫恩塔克條件塔克條件10(1,2, )mjjjiif xgxinxx0(1,2,)jjgxjm0(1,2,)jjm 庫恩庫恩塔克條件（塔克條件（K-T條件）可表述為：條件）可表述為：對于多元函數(shù)不等式的約束優(yōu)化問題：對于多元函數(shù)不等式的約束優(yōu)化問題： min f x. .st), 2 , 1(0)(mjxgj20212021年年1212月月3030日日1515時時3131分分庫恩庫恩塔克條件表明：塔克條件表明：如點如點 是函數(shù)是函數(shù) 的極值點，要么的極值點，要么 （此時（此時 ）或者目標函數(shù)的負梯度等于起作）或者目標函數(shù)的負梯度等于起作用約束梯度的非負

41、線性組合用約束梯度的非負線性組合 （此時（此時 ）。）。 )(xf0)(xfx0ju0ju10(1,2, )mjjjiif xgxinxx0(1,2,)jjgxjm0(1,2,)jjm20212021年年1212月月3030日日1515時時3131分分庫恩庫恩塔克條件的塔克條件的幾何意義幾何意義：在約束極小值點：在約束極小值點 處，函處，函數(shù)數(shù) 的負梯度一定能表示成起作用約束在該點梯度的負梯度一定能表示成起作用約束在該點梯度（法向量）的非負線性組合。（法向量）的非負線性組合。x)(xf20212021年年1212月月3030日日1515時時3131分分20212021年年1212月月3030日日1515時時3131分分Ox1x2極值點處于等值線的中心極值點處于等值線的中心極值點處于兩個約束曲線的交點上極值點處于兩個約束曲線的交點上xg1 (x)0g2 (x)0g3 (x)0Ox1x2xg1(x)0g2(x)0起作用約束：起作用約束：( *) |( *)0,1,2,jJj gjmxx20212021年年1212月月3030日日1515時時3131分分從圖中可以看出，從圖中可以看出，*f x*1gx*2gx處在處在和和即線性組合的系數(shù)為正，是在即線性組合的系數(shù)為正，是