最優(yōu)化問題數(shù)學(xué)基礎(chǔ)

1、關(guān)于最優(yōu)化問題數(shù)學(xué)基礎(chǔ)第一張，PPT共六十七頁，創(chuàng)作于2022年6月1.1 二次型與正定矩陣一、二次型與實對稱矩陣二次型理論在最優(yōu)化設(shè)計中應(yīng)用十分廣泛應(yīng)用矩陣的乘法運算，二次型與實對稱矩陣緊密地聯(lián)系在一起了，從而二次型的基本問題又可轉(zhuǎn)化成實對稱矩陣問題二次型理論問題起源于化二次曲線和二次曲面的方程為標(biāo)準(zhǔn)形式的問題推廣到n維空間中，二次超曲面的一般方程為第二張，PPT共六十七頁，創(chuàng)作于2022年6月第三張，PPT共六十七頁，創(chuàng)作于2022年6月用矩陣表示為其中，矩陣A的元素正是二次型的項的系數(shù)的一半，是二次型的項的系數(shù)因此，二次型和它的矩陣A是相互唯一決定的，且第四張，PPT共六十七頁，創(chuàng)作于2

2、022年6月二、正定矩陣定義2.1 如果二次型對于任何一組不全為零的數(shù)恒有則稱正定，且二次型矩陣A也稱為正定簡言之，一個對稱矩陣A如果是正定的，則二次型 對于所有非零向量X其值總為正類似可以給出定義，若二次型則A為半正定矩陣；若，則A為半負(fù)定矩陣；若二次型既不是半正定又不是半負(fù)定，就稱矩陣A為不定的第五張，PPT共六十七頁，創(chuàng)作于2022年6月矩陣A為正定的充要條件是它的行列式的順序主子式全部大于零，即由此可見，正定矩陣必然是非奇異的例2.1 判斷矩陣 是否正定解 ， A是正定的第六張，PPT共六十七頁，創(chuàng)作于2022年6月一、方向?qū)?shù)所謂方向?qū)?shù)的概念是作為偏導(dǎo)數(shù)的一個推廣而引入，它主要研究

3、函數(shù)沿任一給定方向的變化率 定義2.2 設(shè) 在點 處可微，P是固定不變的非零向量， 是方向P上的單位向量，則稱極限 (2.1)為函數(shù) 在點 處沿P方向的方向?qū)?shù)，式中 是它的記號2.2 方向?qū)?shù)與梯度第七張，PPT共六十七頁，創(chuàng)作于2022年6月定義2.3 設(shè) 是連續(xù)函數(shù)， ，且 ，若存在 ，當(dāng) 時都有， 則稱P為在點處的下降方向若 ，則稱P為在點處的上升方向由以上兩個定義可立刻得到如下的結(jié)論：若 ，則 從 出發(fā)在 附近沿P方向是下降；若 ，則從出發(fā)在附近沿P方向是上升第八張，PPT共六十七頁，創(chuàng)作于2022年6月二、梯度定義2.4 以 的n個偏導(dǎo)數(shù)為分量的向量稱為 在X處的梯度，記為 梯度也

4、可以稱為函數(shù) 關(guān)于向量 的一階導(dǎo)數(shù)以下幾個特殊類型函數(shù)的梯度公式是常用的：（1）若 （常數(shù)），則 ，即 ；（2） 證 設(shè) ，則于是 的第 個分量是所以（3） （4）若Q是對稱矩陣，則第九張，PPT共六十七頁，創(chuàng)作于2022年6月三、梯度與方向?qū)?shù)之間的關(guān)系定理2.1 設(shè) 在點 處可微，則 ，其中 是 方向上的單位向量.由這個定理容易得到下列結(jié)論：(1)若 ，則P的方向是函數(shù)在點 處的下降方向；(2) 若 ，則 的方向是函數(shù)在點 處的上升方向方向?qū)?shù)的正負(fù)決定了函數(shù)值的升降，而升降的快慢就由它的絕對值大小決定絕對值越大，升降的速度就越快，即 第十張，PPT共六十七頁，創(chuàng)作于2022年6月 = 1

5、 上式中的等號，當(dāng)且僅當(dāng)?shù)姆较蚺c的方向相同時才成立由此可得如下重要結(jié)論(如圖2.1所示）：(1)梯度方向是函數(shù)值的最速上升方向；(2)函數(shù)在與其梯度正交的方向上變化率為零；(3)函數(shù)在與其梯度成銳角的方向上是上升的，而在與其梯度成鈍角的方向上是下降的；(4)梯度反方向是函數(shù)值最速下降方向 1 第十一張，PPT共六十七頁，創(chuàng)作于2022年6月對于一個最優(yōu)化問題，為了盡快得到最優(yōu)解，在每一步迭代過程中所選取的搜索方向總是希望它等于或者是靠近于目標(biāo)函數(shù)的負(fù)梯度-圖2.1的方向，這樣才能使函數(shù)值下降的最快第十二張，PPT共六十七頁，創(chuàng)作于2022年6月例2.2 試求目標(biāo)函數(shù)在點處的最速下降方向，并求沿

6、這個方向移動一個單位長后新點的目標(biāo)函數(shù)值解 因為所以最速下降方向是 = = 這個方向上的單位向量是故新點是 對應(yīng)目標(biāo)函數(shù)值為 第十三張，PPT共六十七頁，創(chuàng)作于2022年6月2.3 海色矩陣及泰勒展式一、海色（Hesse）矩陣前面說過，梯度 是 關(guān)于 的一階導(dǎo)數(shù)，現(xiàn)在要問 關(guān)于 的二階導(dǎo)數(shù)是什么？定義 2.5 設(shè)： : ， ，如果在點 處對于自變量的各分量的二階偏導(dǎo)數(shù)都存在，則稱函數(shù)在點處二階可導(dǎo)，并且稱矩陣第十四張，PPT共六十七頁，創(chuàng)作于2022年6月是 在點 處的Hesse矩陣在數(shù)學(xué)分析中已經(jīng)知道，當(dāng) 在點 處的所有二階偏導(dǎo)數(shù)為連續(xù)時有因此，在這種情況下Hesse矩陣是對稱的 第十五張，

7、PPT共六十七頁，創(chuàng)作于2022年6月例2.3 求目標(biāo)函數(shù) 的梯度和Hesse矩陣解 因為 所以第十六張，PPT共六十七頁，創(chuàng)作于2022年6月又因為所以 第十七張，PPT共六十七頁，創(chuàng)作于2022年6月例2.4 設(shè) ，求線性函數(shù)在任意點X處的梯度和Hesse矩陣解:設(shè) , 則 （2.2） 由式（2.2）進(jìn)而知 （階零矩陣） 第十八張，PPT共六十七頁，創(chuàng)作于2022年6月例2.5 設(shè) 是對稱矩陣， ，求二次函數(shù) 在任意點處的梯度和Hesse矩陣解 設(shè) 則將它對各變量 求偏導(dǎo)數(shù)，得 第十九張，PPT共六十七頁，創(chuàng)作于2022年6月在上式中顯然再對它們求偏導(dǎo)數(shù)得 以上例子說明，元函數(shù)求導(dǎo)與一元函

8、數(shù)的求導(dǎo)在形式上是一致的，即線性函數(shù)的一階導(dǎo)數(shù)為常向量，其二階導(dǎo)數(shù)為零矩陣；而二次函數(shù)的一階導(dǎo)數(shù)為線性向量函數(shù)，二階導(dǎo)數(shù)為常矩陣 最后介紹在今后的計算中要用到的向量函數(shù)的導(dǎo)數(shù)第二十張，PPT共六十七頁，創(chuàng)作于2022年6月定義2.6 設(shè) ，記 如果 在點 處于自變量 的各分量的偏導(dǎo)數(shù) 都存在，則稱向量函數(shù) 在點 處是一階可導(dǎo)的，并且稱矩陣第二十一張，PPT共六十七頁，創(chuàng)作于2022年6月是在點處的一階導(dǎo)數(shù)或Jacobi矩陣，簡記為 由于n元函數(shù) 的梯度是向量函數(shù)所以 的一階導(dǎo)數(shù)或Jacobi矩陣為第二十二張，PPT共六十七頁，創(chuàng)作于2022年6月 得到第二十三張，PPT共六十七頁，創(chuàng)作于202

9、2年6月?lián)?，從上式得知，函?shù)梯度的Jacobi矩陣即為此函數(shù)的Hesse矩陣下面給出今后要用到的幾個公式：（1） ，其中 是分量全為常數(shù)的 維向量，是 階零矩陣（2） ，其中 是維向量，是 階單位矩陣（3） ，其中 是 階矩陣（4）設(shè) ，其中 ，則第二十四張，PPT共六十七頁，創(chuàng)作于2022年6月二、泰勒展開式多元函數(shù)的泰勒展開在最優(yōu)化方法中十分重要，許多方法及其收斂性的證明是從它出發(fā)，這里給出泰勒展開定理及其證明 定理2.2 設(shè) 具有二階連續(xù)偏導(dǎo)數(shù)，則 （2.3）其中 ，而 證 設(shè) ，于是對 按一元函數(shù)在 點展開，得到其中 令 ，于是 (2.4)第二十五張，PPT共六十七頁，創(chuàng)作于2022

10、年6月又因為代入式（2.4）中，所以 式（2.3）還可以寫成 第二十六張，PPT共六十七頁，創(chuàng)作于2022年6月2.4 極小點的判定條件函數(shù)在局部極小點應(yīng)滿足什么條件？反之，滿足什么條件的是局部極小點？這是我們關(guān)心的基本問題下面針對多元函數(shù)的情形給出各類極小點的定義定義2.7 對于任意給定的實數(shù) ，滿足不等式 集合稱為點的鄰域，記為定義2.8 設(shè) ，若存在點 和數(shù) ， 都有 ，則稱 為 局部極小點（非嚴(yán)格）第二十七張，PPT共六十七頁，創(chuàng)作于2022年6月定義2.9 設(shè) ，若存在點 和數(shù) ， 但 ，都有 ，則稱 為 的嚴(yán)格局部極小點定義2.10 設(shè) ，若存在點 和數(shù) ， 都有 ，則稱 為 在D

11、上的全局極小點（非嚴(yán)格）定義2.11 設(shè) ，若存在點 ， 但 ，都有 ，則稱 為 在D上的嚴(yán)格全局極小點第二十八張，PPT共六十七頁，創(chuàng)作于2022年6月由以上定義看到，是局部極小點，是指在以為中心的一個鄰域中在點處取得最小的值；而是全局極小點，是指在定義域D中在點處取得最小的值全局極小點可能在某個局部極小點處取得，也可能在D的邊界上取得實際問題通常是求全局極小點，但是直到目前為止，最優(yōu)化中絕大多數(shù)方法都是求局部極小點的，解決這一矛盾的一種方法是先求出所有的局部極小點，再求全局極小點第二十九張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.3 設(shè) 具有連續(xù)的一階偏導(dǎo)數(shù)若 是 的局部極小點并且是

12、D的內(nèi)點，則 （2.5）證 設(shè) 是任意單位向量，因為 是 的局部極小點，所以存在 ，當(dāng) 或 時總有 （2.6）引入輔助一元函數(shù) ，此時，由式（2.6）得 又因 第三十張，PPT共六十七頁，創(chuàng)作于2022年6月是D的內(nèi)點，所以與它對應(yīng)的 是 的局部極小點又根據(jù)一元函數(shù)極小點的必要條件，得到 ，即 再由單位向量 的任意性得 這里條件（2.5）僅僅是必要的，而不是充分的例如 在點 處的梯度是 ，但 是雙曲面的鞍點，而不是極小點（如圖2.2所示）第三十一張，PPT共六十七頁，創(chuàng)作于2022年6月定義2.12 設(shè) 是D的內(nèi) 點若 ，則稱 為 的駐點定理2.4 設(shè) 具有連續(xù)二階偏導(dǎo)數(shù)， 是D的一個內(nèi)點若

13、，并且 是正定的，則 是 的嚴(yán)格局部極小點第三十二張，PPT共六十七頁，創(chuàng)作于2022年6月證 因為 是正定矩陣，則必存在 ，使得對于所有的 都有 （參看高等代數(shù)二次型理論）現(xiàn)在將 在點 處按泰勒公式展開，并注意到 ，于是可得第三十三張，PPT共六十七頁，創(chuàng)作于2022年6月當(dāng) 充分接近 （但 ）時，上式左端的符號取決于右端第一項，因此 一般說來，這個定理僅具有理論意義因為對于復(fù)雜的目標(biāo)函數(shù)，Hesse矩陣不易求得，它的正定性就更難判定了 第三十四張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.5 若多元函數(shù)在其極小點處的Hesse矩陣是正定的，則它在這個極小點附近的等值面近似地呈現(xiàn)為同心橢

14、球面族證 設(shè) 是多元函數(shù)的極小點，并設(shè) 是充分靠近極小點 的一個等值面，即 充分小把 在點 展成泰勒表達(dá)式，即右端第二項因 是極小點有 而消失如果略去第4項,那么又因為 ，所以 （2.7）按假設(shè) 正定，由二次型理論知式（2.7）是以 為中心的橢球面方程第三十五張，PPT共六十七頁，創(chuàng)作于2022年6月2.5 錐、凸集、凸錐在本節(jié)中，給出維Euclid空間 中的錐、凸集和凸錐的定義，以及與其相關(guān)的一些概念和性質(zhì)一、定義與簡單性質(zhì)定義2.13 集合 若 ，及任意的數(shù) ，均有 ，則稱C為錐定義2.14 設(shè) 是 中的 個已知點若對于某點 存在常數(shù) 且 使得 ，則稱 是 的凸組合若 且 ，則稱 是 的嚴(yán)

15、格凸組合第三十六張，PPT共六十七頁，創(chuàng)作于2022年6月定義2.15 集合 若 和 ，以及任意的數(shù) ，均有 則稱C為凸集定義2.16 設(shè) 且 ， ，則集合 稱為 中的半空間特別地，規(guī)定：空集是凸集容易驗證，空間 、半空間、超平面、直線、點、球都是凸集第三十七張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.6 任意一組凸集的交仍然是凸集證 設(shè) ，其中I是 的下標(biāo)集， 都是凸集任取，則對于任意都是任取 且 ，因 是凸集,有于是 ，即C是凸集若集合C為錐，C又為凸集，則稱C為凸錐若C為凸集，也為閉集，則稱C為閉凸集若C為凸錐，也為閉集，則稱C為閉凸錐第三十八張，PPT共六十七頁，創(chuàng)作于2022年

16、6月由數(shù)學(xué)歸納法不難證明如下的定理2.7和2.8定理2.7 集合C為凸集的充分必要條件是 ，及任意數(shù) （ ） ，有定理2.8 集合C為凸錐的充分必要條件是 ，及任意數(shù) ,( )，均有定義 2.17 有限個半空間的交 稱為多面集,其中 為 矩陣，為 向量第三十九張，PPT共六十七頁，創(chuàng)作于2022年6月例2.6 集合為多面集，其幾何表示如圖2.3畫斜線部分圖2.3在多面集的表達(dá)式中，若 ，則多面集 也是凸錐，稱為多面錐在有關(guān)凸集的理論及應(yīng)用中，極點和極方向的概念有著重要作用第四十張，PPT共六十七頁，創(chuàng)作于2022年6月定義 2.18 設(shè)C為非空凸集， ,若 不能表示成 C 中兩個不同點的凸組合

17、；換言之，若設(shè) , 必推得 ，則稱 是凸集 C的極點按此定義，圖2.4(a)中多邊形的頂 點 ， ， ， 和 是極點，而 和 不是極點圖2.4(b)中圓周上的點均為極點由圖2.4可以看出，在給定的兩個凸集中，任何一點都能表示成極點的凸組合第四十一張，PPT共六十七頁，創(chuàng)作于2022年6月定義 2.19 設(shè)C為 中的閉凸集，P為非零向量，如果對C中的每一個 ，都有射線 ，則稱向量P為C的方向又設(shè) 和 是的兩個方向，若對任何正數(shù) ，有 ，則稱 和 是兩個不同的方向若C的方向P不能表示成該集合的兩個不同方向的正的線性組合，則稱p為c的極方向第四十二張，PPT共六十七頁，創(chuàng)作于2022年6月概括起來，

18、有下列定理：定理2.9 （Representation Theorem）設(shè) 為非空多面集，則有（1）極點集非空，且存在有限個極點（2）極方向集合為空集的充要條件是C有界若無界，則存在有限個極方向（3） 的充要條件是其中第四十三張，PPT共六十七頁，創(chuàng)作于2022年6月二、凸集分離定理凸集分離定理是凸分析中最重要的定理之一，它在最優(yōu)化理論和模型當(dāng)中具有重要的應(yīng)用所謂集合的分離是指對于兩個集合C1和C2存在一個超平面H，使得C1在H的一邊，而C2在H的另一邊如果超平面方程為 ，那么對位于H某一邊的點必有 ，而對位于H另一邊的必有 定義2.20 設(shè)C1和C2是 中的兩個非空集合， 是超平面，若對于每

19、一個 都有 ，對于每一個 都有 （或情況恰好相反），則稱超平面H分離集合C1和C2第四十四張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.10 若C為閉凸集， ，則存在 以及數(shù) ，對 ，有 并且存在 ，使得 定理2.11 設(shè)C為凸集， ，則存在 使得 ，有定理2.12 設(shè)C為閉凸集，則C可表為所有包含C的半空間的交，即其中第四十五張，PPT共六十七頁，創(chuàng)作于2022年6月2.6 凸函數(shù)一、各類凸函數(shù)定義及性質(zhì)設(shè)函數(shù) 定義在凸集R上，其中 定義2.21 若存在常數(shù) ，使得 以及 ，有則稱 為一致凸函數(shù)；有則稱為嚴(yán)格凸函數(shù)；有則稱為凸函數(shù)第四十六張，PPT共六十七頁，創(chuàng)作于2022年6月定義2.

20、22 設(shè) 為可微函數(shù)若 滿足都有則稱 為偽凸函數(shù)定義2.23 對 ，且 ，以及 ，若則稱為嚴(yán)格擬凸函數(shù)；定義2.24 對 ，以及 ，若則稱為擬凸函數(shù)；定義2.25 對 則稱為強(qiáng)擬凸函數(shù)第四十七張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.13 若 為一致凸函數(shù)，則為嚴(yán)格凸函數(shù)證：設(shè) 為一致凸函數(shù)，則 ， ， ，及 ，有即為嚴(yán)格凸函數(shù)第四十八張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.14 若為嚴(yán)格凸函數(shù)，則為凸函數(shù)定理2.15 設(shè)為可微函數(shù)若為凸函數(shù)，則為偽凸函數(shù)定理2.16 設(shè)為偽凸函數(shù)，則為嚴(yán)格擬凸函數(shù)定理2.17 設(shè)為下半連續(xù)的嚴(yán)格擬凸函數(shù)，則為擬凸函數(shù)定理2.18 若為嚴(yán)格凸

21、函數(shù)，則為強(qiáng)擬凸函數(shù)定理2.19 設(shè)為強(qiáng)擬凸函數(shù)，則為嚴(yán)格擬凸函數(shù)第四十九張，PPT共六十七頁，創(chuàng)作于2022年6月凸函數(shù)與凸集之間有如下關(guān)系：定理2.20 設(shè) ， 其中C為非空凸集若f是凸函數(shù)，則對于任意實數(shù) ，水平集 是凸集證 若 是空集，則 是凸集以下設(shè) 非空，任取 ，則 設(shè) 且 ，由f是凸函數(shù)知即 ，所以 是凸集判定一個函數(shù)是否為凸函數(shù)，一般說來是比較困難，但當(dāng)函數(shù)可微時，有如下幾個定理可供使用第五十張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.21 設(shè) 是可微函數(shù)，其中C為凸集則（1）為凸函數(shù)的充要條件是， ，都有 （2.11）（2）為嚴(yán)格凸函數(shù)的充要條件是， 且 都有證 （1）

22、必要性 已知f是C上的凸函數(shù)，要證式 （2.11）由凸函數(shù)定義知，對滿足 的任意數(shù) 都有令 ，則 代入上式中，經(jīng)移項可得第五十一張，PPT共六十七頁，創(chuàng)作于2022年6月 （2.12）令 ，由f的可微性，利用一階泰勒展式、方向?qū)?shù)定義及式（2.12），可得這就證明了式（2.11）充分性 任取一對數(shù) 且 考慮點 ，根據(jù)充分性假設(shè)，應(yīng)有第五十二張，PPT共六十七頁，創(chuàng)作于2022年6月兩式分別乘以 和 后相加，得到由凸函數(shù)定義知,f是C上的凸函數(shù)（2）充分性可依照（1）的充分性證得必要性 因為嚴(yán)格凸函數(shù)本身是凸函數(shù)，所以 且 ,都有以下證明式中只能取“”號假設(shè)存在 ，且 ，使得 （2.12）第五十

23、三張，PPT共六十七頁，創(chuàng)作于2022年6月取 ，由的嚴(yán)格凸性，有 （2.13）把式（2.12）代入式（2.13）中，經(jīng)整理得根據(jù)本定理（1）部分結(jié)論得知，此式與是凸函數(shù)相矛盾定理2.22 設(shè) 是二次可微函數(shù)，C為非空開凸集，則f為c上凸函數(shù)的充要條件是，Hesse矩陣 在C上到處半正定證明略第五十四張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.23 設(shè) 是二次可微函數(shù)，C為非空凸集若Hesse矩陣在C上到處正定，則f在C上為嚴(yán)格凸函數(shù)證明略，需要注意，該定理的逆命題不真例如 為嚴(yán)格凸函數(shù)，但是它的Hesse矩陣在點x=0處是半正定的二、凸規(guī)劃定義2.26 設(shè) ，其中C是非空凸集，f是凸函

24、數(shù)，則形式為 的問題稱為凸規(guī)劃問題第五十五張，PPT共六十七頁，創(chuàng)作于2022年6月更進(jìn)一步，設(shè)若 都是 上的凸函數(shù)， 都是 上的線性函數(shù)，則容易驗證C是凸集事實上，因為 都是凸函數(shù)，根據(jù)定理2.20集合 也都是凸集此外，超平面 ，也都是凸集顯然，C是 的交集，根據(jù)定理2.6，C是凸集于是，在這種情況下凸規(guī)劃問題又可表示成如下形式：第五十六張，PPT共六十七頁，創(chuàng)作于2022年6月定理2.24 設(shè) 是凸規(guī)劃問題的局部極小點，（1）若f是凸函數(shù)，則 是凸規(guī)劃問題全局極小點；（2）若f是嚴(yán)格凸函數(shù)，則 是凸規(guī)劃問題的唯一全局極小點證（1）使用反證法假設(shè) 不是全局極小點，則必存在 使得 對于Z與的任

25、意凸組合 ，其中 且 ，根據(jù)的凸性，有由此看到，當(dāng) 充分小時，充分接近 ,注意到此時也有 ,而這與 是局部極小點相矛盾因此 必是全局極小點第五十七張，PPT共六十七頁，創(chuàng)作于2022年6月（2）假設(shè) 不是唯一全局極小點必存在 但 使得 考慮中點 由f的嚴(yán)格凸性，有 此式與 為全局極小點相矛盾這就證明了唯一性定義2.27 形式為 （2.14）的函數(shù)稱為n元二次函數(shù)，其中第五十八張，PPT共六十七頁，創(chuàng)作于2022年6月這里的Q是對稱矩陣，即若Q為正定，則稱（2.14）為正定二次函數(shù)注意到 ，由定理2.23知，正定二次函數(shù)是嚴(yán)格凸函數(shù)，在最優(yōu)化算法構(gòu)造中它起著特殊的作用定義2.28 形式為 （2.

26、15）的問題稱為二次規(guī)劃問題，其中是矩陣，是矩陣若Q為半正定或正定，則稱（2.15）為二次凸規(guī)劃問題本書不作專門討論 第五十九張，PPT共六十七頁，創(chuàng)作于2022年6月 2.7約束問題的最優(yōu)性條件所謂最優(yōu)性條件就是最優(yōu)化問題的目標(biāo)函數(shù)與約束函數(shù)在最優(yōu)點處滿足的充要條件這種條件對于最優(yōu)化算法的終止判定和最優(yōu)化理論推證都是至關(guān)重要的最優(yōu)性必要條件是指，在最優(yōu)點處滿足哪些條件；充分條件是指滿足哪些條件的點是最優(yōu)點本節(jié)僅講述最基本的結(jié)論一、約束最優(yōu)解對約束優(yōu)化問題的求解，其目的是在由約束條件所規(guī)定的可行域內(nèi)，尋求一個目標(biāo)函數(shù)值最小的點及其函數(shù)值這樣的解稱為約束最優(yōu)解約束最優(yōu)點除了可能落在可行域內(nèi)的情況外，更常常是在約