過(guò)程建模567-非線性規(guī)劃

1、下篇下篇 非線性系統(tǒng)建模非線性系統(tǒng)建模 多年來(lái)，對(duì)多年來(lái)，對(duì)線性、時(shí)不變線性、時(shí)不變和和具有不確定參數(shù)具有不確定參數(shù)的對(duì)象的對(duì)象進(jìn)行辨識(shí)的研究已取得很大進(jìn)展。進(jìn)行辨識(shí)的研究已取得很大進(jìn)展。 然而，然而，非線性系統(tǒng)非線性系統(tǒng)大量存在于工程、經(jīng)濟(jì)、社會(huì)和大量存在于工程、經(jīng)濟(jì)、社會(huì)和生物系統(tǒng)中，應(yīng)用傳統(tǒng)的辨識(shí)方法很難解決這些非線性生物系統(tǒng)中，應(yīng)用傳統(tǒng)的辨識(shí)方法很難解決這些非線性時(shí)變系統(tǒng)的時(shí)變系統(tǒng)的辨識(shí)問(wèn)題辨識(shí)問(wèn)題。傳統(tǒng)的線性系統(tǒng)辨識(shí)方法，在理。傳統(tǒng)的線性系統(tǒng)辨識(shí)方法，在理論研究和實(shí)際應(yīng)用中都存在極大的困難。論研究和實(shí)際應(yīng)用中都存在極大的困難。5 非線性建模概述非線性建模概述非線性是研究、分析系統(tǒng)時(shí)常

2、常會(huì)遇到的一種現(xiàn)象。非線性是研究、分析系統(tǒng)時(shí)常常會(huì)遇到的一種現(xiàn)象。由于非線性現(xiàn)象從整體上非常復(fù)雜，處理起來(lái)較為困難，由于非線性現(xiàn)象從整體上非常復(fù)雜，處理起來(lái)較為困難，因此，常常為了簡(jiǎn)化問(wèn)題而把研究的范圍限制在系統(tǒng)的局因此，常常為了簡(jiǎn)化問(wèn)題而把研究的范圍限制在系統(tǒng)的局部性質(zhì)，用泰勒展開(kāi)式中的一次項(xiàng)來(lái)近似（線性）地描述部性質(zhì)，用泰勒展開(kāi)式中的一次項(xiàng)來(lái)近似（線性）地描述系統(tǒng)。系統(tǒng)。要對(duì)非線性系統(tǒng)進(jìn)行正確的分析和綜合，首先要正確地描要對(duì)非線性系統(tǒng)進(jìn)行正確的分析和綜合，首先要正確地描述非線性系統(tǒng)的整體行為，也就是要建立系統(tǒng)的非線性模述非線性系統(tǒng)的整體行為，也就是要建立系統(tǒng)的非線性模型。型。5 非線性建模

3、概述非線性建模概述非線性模型參數(shù)估計(jì)非線性模型參數(shù)估計(jì)5 非線性建模概述非線性建模概述有三種途徑獲得非線性模型的結(jié)構(gòu)：有三種途徑獲得非線性模型的結(jié)構(gòu)：u根據(jù)對(duì)象的機(jī)理（物理、化學(xué)原理和定律）或經(jīng)驗(yàn)確根據(jù)對(duì)象的機(jī)理（物理、化學(xué)原理和定律）或經(jīng)驗(yàn)確定模型結(jié)構(gòu)；定模型結(jié)構(gòu)；u根據(jù)已有先驗(yàn)知識(shí)，從各種典型非線性模型類中去選根據(jù)已有先驗(yàn)知識(shí)，從各種典型非線性模型類中去選擇一個(gè)合適的結(jié)構(gòu)；擇一個(gè)合適的結(jié)構(gòu)；u當(dāng)模型先驗(yàn)知識(shí)十分缺乏時(shí)，可用某種一般形式的結(jié)當(dāng)模型先驗(yàn)知識(shí)十分缺乏時(shí)，可用某種一般形式的結(jié)構(gòu)去逼近非線性系統(tǒng)。構(gòu)去逼近非線性系統(tǒng)。指數(shù)模型指數(shù)模型對(duì)數(shù)模型對(duì)數(shù)模型雙線性模型雙線性模型哈默斯模型哈默斯

4、模型Volterra級(jí)數(shù)及其離散形式神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型支持向量機(jī)模型5 非線性建模概述非線性建模概述非線性模型參數(shù)估計(jì)非線性模型參數(shù)估計(jì) 假設(shè)已知非線性動(dòng)態(tài)系統(tǒng)模型結(jié)構(gòu)：假設(shè)已知非線性動(dòng)態(tài)系統(tǒng)模型結(jié)構(gòu)：) 1 (,uxfdtdx其中其中f是已知非線性函數(shù)，是已知非線性函數(shù)， 是待估計(jì)的參數(shù)向量。是待估計(jì)的參數(shù)向量。對(duì)該連續(xù)動(dòng)態(tài)系統(tǒng)，從初始點(diǎn)對(duì)該連續(xù)動(dòng)態(tài)系統(tǒng)，從初始點(diǎn) 出發(fā)可以得到模型的解出發(fā)可以得到模型的解 00 xtx)2(,0uxy 因此，對(duì)于如（因此，對(duì)于如（1）式的）式的非線性動(dòng)態(tài)系統(tǒng)參數(shù)辨識(shí)問(wèn)題，往往歸非線性動(dòng)態(tài)系統(tǒng)參數(shù)辨識(shí)問(wèn)題，往往歸結(jié)為式（結(jié)為式（2）的）的 非線性靜態(tài)模型

5、參數(shù)估計(jì)問(wèn)題非線性靜態(tài)模型參數(shù)估計(jì)問(wèn)題。其誤差平方和最小準(zhǔn)則為：其誤差平方和最小準(zhǔn)則為： NkkktxtyJ120,5 非線性建模概述非線性建模概述非線性模型參數(shù)估計(jì)非線性模型參數(shù)估計(jì) 在獲得的或假定的模型結(jié)構(gòu)上，通過(guò)某個(gè)誤差準(zhǔn)則函數(shù)來(lái)確定模型在獲得的或假定的模型結(jié)構(gòu)上，通過(guò)某個(gè)誤差準(zhǔn)則函數(shù)來(lái)確定模型的參數(shù)。若采用誤差平方和最小準(zhǔn)則，則稱為非線性最小二乘問(wèn)題。的參數(shù)。若采用誤差平方和最小準(zhǔn)則，則稱為非線性最小二乘問(wèn)題。求解的方法主要是運(yùn)用求解的方法主要是運(yùn)用最優(yōu)化方法最優(yōu)化方法求解。如求解。如l微分法微分法l單純形搜索單純形搜索l牛頓牛頓- -拉夫森算法拉夫森算法l最速下降法最速下降法l遺傳算

6、法遺傳算法l模擬退火算法模擬退火算法非線性規(guī)劃非線性規(guī)劃智能優(yōu)化方法智能優(yōu)化方法5 非線性建模概述非線性建模概述的約束條件 NkkktxtyJ120,minmin如果因變量與其影響因素之間不呈現(xiàn)線性關(guān)系，而根據(jù)如果因變量與其影響因素之間不呈現(xiàn)線性關(guān)系，而根據(jù)機(jī)理分析發(fā)現(xiàn)它們之間可以用非線性模型來(lái)描述，此時(shí)，機(jī)理分析發(fā)現(xiàn)它們之間可以用非線性模型來(lái)描述，此時(shí)，需要考慮非線性回歸問(wèn)題。需要考慮非線性回歸問(wèn)題。許多非線性回歸問(wèn)題可以轉(zhuǎn)化為線性回歸問(wèn)題，其基本許多非線性回歸問(wèn)題可以轉(zhuǎn)化為線性回歸問(wèn)題，其基本思路如下：思路如下：6 非非線性回歸線性回歸配曲線配曲線變量置換變量置換線性回歸線性回歸非線性規(guī)劃

7、非線性規(guī)劃例例: 出鋼時(shí)所用的盛鋼水的鋼包，由于鋼水對(duì)耐火材料的侵蝕，容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān)系.對(duì)一鋼包作試驗(yàn)，測(cè)得的數(shù)據(jù)列于下表：使用次數(shù)增大容積使用次數(shù)增大容積234567896.428.209.589.509.7010.009.939.991011121314151610.4910.5910.6010.8010.6010.9010.766 非非線性回歸線性回歸6.1 配曲線配曲線24681012141666.577.588.599.51010.511散點(diǎn)圖此即非線性回歸非線性回歸或曲線回歸曲線回歸 問(wèn)題（需要配曲線）6 非非線性回歸線性回歸6.1 配曲線配

8、曲線配曲線配曲線的一般方法是：的一般方法是：6 非非線性回歸線性回歸6.1 配曲線配曲線通常選擇的六類曲線如下：（1）雙雙曲曲線線xbay1（2）冪冪函函數(shù)數(shù)曲曲線線y=abx, 其中 x0,a0（3）指指數(shù)數(shù)曲曲線線 y=abxe其中參數(shù) a0.（5）對(duì)對(duì)數(shù)數(shù)曲曲線線y=a+blogx,x0（6）S型型曲曲線線xbeay16 非非線性回歸線性回歸6.1 配曲線配曲線6 非非線性回歸線性回歸6.1 配曲線配曲線在非線性回歸分析中，根據(jù)散點(diǎn)圖選配曲線后，針對(duì)曲在非線性回歸分析中，根據(jù)散點(diǎn)圖選配曲線后，針對(duì)曲線的非線性回歸方程，需要通過(guò)變量置換法將其轉(zhuǎn)化為線的非線性回歸方程，需要通過(guò)變量置換法將其

9、轉(zhuǎn)化為線性方程，最后按照線性回歸的方法求解。線性方程，最后按照線性回歸的方法求解。我們講過(guò)，對(duì)本質(zhì)線性的過(guò)程，都可以將其輸入輸出方我們講過(guò)，對(duì)本質(zhì)線性的過(guò)程，都可以將其輸入輸出方程轉(zhuǎn)化為最小二乘格式（或者說(shuō)線性回歸模型），因此程轉(zhuǎn)化為最小二乘格式（或者說(shuō)線性回歸模型），因此可用線性回歸分析求解?？捎镁€性回歸分析求解。6 非非線性回歸線性回歸6.2 變量置換法變量置換法 利用變量置換法求解非線性回歸方程簡(jiǎn)單易行，但是理利用變量置換法求解非線性回歸方程簡(jiǎn)單易行，但是理論上存在缺陷。論上存在缺陷。 原始模型的噪聲在變量置換中如何映射到新的模型不清原始模型的噪聲在變量置換中如何映射到新的模型不清楚，難

10、以進(jìn)行相關(guān)分析和統(tǒng)計(jì)檢驗(yàn)。此外，有些變量的取值楚，難以進(jìn)行相關(guān)分析和統(tǒng)計(jì)檢驗(yàn)。此外，有些變量的取值限制了變量置換法的使用，如變量可以取負(fù)值就不能對(duì)它取限制了變量置換法的使用，如變量可以取負(fù)值就不能對(duì)它取對(duì)數(shù)或者開(kāi)平方。對(duì)數(shù)或者開(kāi)平方。 雖然變量置換也可看成一種映射，但是一般來(lái)講這種映雖然變量置換也可看成一種映射，但是一般來(lái)講這種映射很難用解析的形式表達(dá)，很難從原始樣本空間的概率特性射很難用解析的形式表達(dá)，很難從原始樣本空間的概率特性演繹出新樣本空間的概率特性，當(dāng)然更無(wú)法分析參數(shù)空間的演繹出新樣本空間的概率特性，當(dāng)然更無(wú)法分析參數(shù)空間的概率特性。概率特性。變量置換法的問(wèn)題：變量置換法的問(wèn)題：6

11、非非線性回歸線性回歸6.2 變量置換法變量置換法對(duì)于不能采取線性化方法回歸的非線性回歸問(wèn)題，可用對(duì)于不能采取線性化方法回歸的非線性回歸問(wèn)題，可用非線性規(guī)劃非線性規(guī)劃來(lái)描述：來(lái)描述：6 非非線性回歸線性回歸6.3 非線性規(guī)劃法非線性規(guī)劃法設(shè)已知變量設(shè)已知變量 ，可用非線性回歸模型描述，配，可用非線性回歸模型描述，配曲線為：曲線為：,.,21xxy,.,21mxxxfy 求解合理的模型參數(shù)求解合理的模型參數(shù) ，使，使達(dá)到極小值。達(dá)到極小值。221,.,mxxxfyJ6 非非線性回歸線性回歸6.3 非線性規(guī)劃法非線性規(guī)劃法因此，非線性回歸的問(wèn)題可以轉(zhuǎn)化為如下因此，非線性回歸的問(wèn)題可以轉(zhuǎn)化為如下非線性

12、規(guī)劃非線性規(guī)劃問(wèn)問(wèn)題進(jìn)行求解：題進(jìn)行求解：的約束條件 nimxxxfyJ1221,.,minmin7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念 從前面第從前面第5 5和第和第6 6章的介紹，我們知道，本質(zhì)非線性系章的介紹，我們知道，本質(zhì)非線性系統(tǒng)的建模，在模型結(jié)構(gòu)確定情況下，無(wú)論靜態(tài)系統(tǒng)還是動(dòng)統(tǒng)的建模，在模型結(jié)構(gòu)確定情況下，無(wú)論靜態(tài)系統(tǒng)還是動(dòng)態(tài)系統(tǒng)，都最終歸結(jié)為用非線性規(guī)劃法求解模型的參數(shù)。態(tài)系統(tǒng)，都最終歸結(jié)為用非線性規(guī)劃法求解模型的參數(shù)。 事實(shí)上，在實(shí)際工業(yè)過(guò)程中，還有許多直接使用數(shù)學(xué)事實(shí)上，在實(shí)際工業(yè)過(guò)程中，還有許多直接使用數(shù)學(xué)規(guī)劃建立最優(yōu)化模型的應(yīng)用，如規(guī)劃建立最優(yōu)化

13、模型的應(yīng)用，如最優(yōu)路徑問(wèn)題、資源分配最優(yōu)路徑問(wèn)題、資源分配問(wèn)題、生產(chǎn)計(jì)劃與調(diào)度問(wèn)題、投資問(wèn)題、裝載問(wèn)題以及生問(wèn)題、生產(chǎn)計(jì)劃與調(diào)度問(wèn)題、投資問(wèn)題、裝載問(wèn)題以及生產(chǎn)過(guò)程最優(yōu)控制產(chǎn)過(guò)程最優(yōu)控制等。等。 本章從本章從最優(yōu)化最優(yōu)化與與數(shù)學(xué)規(guī)劃數(shù)學(xué)規(guī)劃建模開(kāi)始進(jìn)行介紹。建模開(kāi)始進(jìn)行介紹。 數(shù)學(xué)規(guī)劃（數(shù)學(xué)規(guī)劃（MP, Mathematical Programming) )俗稱最優(yōu)化俗稱最優(yōu)化, ,首先是一種理念首先是一種理念, ,其次才是一種方法其次才是一種方法, ,它所追求的是一種它所追求的是一種“至善至善”之道之道, ,一種追求卓越一種追求卓越的精神。的精神。7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本

14、概念數(shù)學(xué)規(guī)劃基本概念 小明同學(xué)，燒一壺水要小明同學(xué)，燒一壺水要8 8分鐘，灌開(kāi)水要分鐘，灌開(kāi)水要1 1分鐘，取分鐘，取牛奶和報(bào)紙要牛奶和報(bào)紙要5 5分鐘，整理書(shū)包要分鐘，整理書(shū)包要6 6分鐘，為了盡快做完這分鐘，為了盡快做完這些事，怎樣安排才能使時(shí)間最少？最少需要幾分鐘？些事，怎樣安排才能使時(shí)間最少？最少需要幾分鐘？ 10 10個(gè)人各提一只水桶，同時(shí)到水龍頭前打水。設(shè)水個(gè)人各提一只水桶，同時(shí)到水龍頭前打水。設(shè)水龍頭注滿第一個(gè)人的桶需要龍頭注滿第一個(gè)人的桶需要1 1分鐘，注滿第二個(gè)人的桶需分鐘，注滿第二個(gè)人的桶需要要2 2分鐘，依此類推，注滿第幾個(gè)人的桶就需要幾分鐘，分鐘，依此類推，注滿第幾個(gè)人

15、的桶就需要幾分鐘，如果只有一只水龍頭，適當(dāng)安排這如果只有一只水龍頭，適當(dāng)安排這1010個(gè)人的順序，就可以個(gè)人的順序，就可以使每個(gè)人所費(fèi)的時(shí)間總和盡可能少，問(wèn)這個(gè)總費(fèi)時(shí)至少是使每個(gè)人所費(fèi)的時(shí)間總和盡可能少，問(wèn)這個(gè)總費(fèi)時(shí)至少是幾分鐘？幾分鐘？ 7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念 數(shù)學(xué)規(guī)劃數(shù)學(xué)規(guī)劃(最優(yōu)化最優(yōu)化)作為一門(mén)學(xué)科孕育于作為一門(mén)學(xué)科孕育于20世紀(jì)世紀(jì)的的30年代年代,誕生于第二次世界大戰(zhàn)彌漫的硝煙中。誕生于第二次世界大戰(zhàn)彌漫的硝煙中。 數(shù)學(xué)規(guī)劃指在一系列客觀或主觀限制條件下，數(shù)學(xué)規(guī)劃指在一系列客觀或主觀限制條件下，尋求合理分配有限資源使所關(guān)注的某個(gè)或多個(gè)指標(biāo)尋

16、求合理分配有限資源使所關(guān)注的某個(gè)或多個(gè)指標(biāo)達(dá)到最大（或最?。┑臄?shù)學(xué)理論和方法達(dá)到最大（或最小）的數(shù)學(xué)理論和方法，是運(yùn)籌學(xué)，是運(yùn)籌學(xué)里一個(gè)十分重要的分支。里一個(gè)十分重要的分支。 7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃數(shù)學(xué)規(guī)劃模型的一般形式模型的一般形式為：為： （1）（2）約約束束條條件件決策變量決策變量min( ). .( )0,1,.,( )0,1,.,ijnf xs th ximgxjlxD 規(guī)劃問(wèn)題：求目標(biāo)函數(shù)在約束條件下的最值規(guī)劃問(wèn)題：求目標(biāo)函數(shù)在約束條件下的最值同時(shí)獲得決策變量的最優(yōu)解同時(shí)獲得決策變量的最優(yōu)解目標(biāo)函數(shù)目標(biāo)函數(shù)7 非非線性規(guī)劃線性規(guī)劃7

17、.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃模型三要素：數(shù)學(xué)規(guī)劃模型三要素：7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念決策變量決策變量( (decision variables):decision variables):它們是決策者所控制的那它們是決策者所控制的那些數(shù)量，它們?nèi)∈裁磾?shù)值需要決策者來(lái)決策，規(guī)劃些數(shù)量，它們?nèi)∈裁磾?shù)值需要決策者來(lái)決策，規(guī)劃問(wèn)題的問(wèn)題的求解就是找出決策變量的最優(yōu)取值求解就是找出決策變量的最優(yōu)取值約束條件約束條件( (constraints)constraints)：它們是決策變量在現(xiàn)實(shí)世界中所：它們是決策變量在現(xiàn)實(shí)世界中所受到的限制，或者說(shuō)決策

18、變量在這些限制范圍之內(nèi)取值才受到的限制，或者說(shuō)決策變量在這些限制范圍之內(nèi)取值才有實(shí)際意義有實(shí)際意義目標(biāo)函數(shù)目標(biāo)函數(shù)(objective function):(objective function):它代表決策者希望對(duì)其進(jìn)它代表決策者希望對(duì)其進(jìn)行優(yōu)化的那個(gè)指標(biāo)。行優(yōu)化的那個(gè)指標(biāo)。（2 2）所確定的）所確定的x x的范圍稱為的范圍稱為可行域可行域滿足（滿足（2 2）的解）的解x x稱為稱為可行解可行解同時(shí)滿足（同時(shí)滿足（1 1）（）（2 2）的解）的解x x稱為稱為最優(yōu)解最優(yōu)解整個(gè)可行域上的最優(yōu)解稱為整個(gè)可行域上的最優(yōu)解稱為全局最優(yōu)解全局最優(yōu)解可行域中某個(gè)領(lǐng)域上的最優(yōu)解稱為可行域中某個(gè)領(lǐng)域上的最優(yōu)

19、解稱為局部最優(yōu)解局部最優(yōu)解最優(yōu)解所對(duì)應(yīng)的目標(biāo)函數(shù)值稱為最優(yōu)解所對(duì)應(yīng)的目標(biāo)函數(shù)值稱為最優(yōu)值最優(yōu)值7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃模型的分類數(shù)學(xué)規(guī)劃模型的分類 （一）按有無(wú)約束條件（一）按有無(wú)約束條件可分為：可分為：1.無(wú)約束規(guī)劃無(wú)約束規(guī)劃(unconstrained programming)。2.約束規(guī)劃約束規(guī)劃(constrained programming)。大部分實(shí)際問(wèn)題都是約束優(yōu)化問(wèn)題。大部分實(shí)際問(wèn)題都是約束優(yōu)化問(wèn)題。 7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念（二）（二）按決策變量取值是否連續(xù)按決策變量取值是否連續(xù)可分為：可

20、分為：1.連續(xù)規(guī)劃連續(xù)規(guī)劃?？衫^續(xù)劃分為可繼續(xù)劃分為線性規(guī)劃線性規(guī)劃( (LP)LP)和和非線性規(guī)劃非線性規(guī)劃( (NLP)NLP)。在非線性規(guī)劃中有一種規(guī)劃叫做在非線性規(guī)劃中有一種規(guī)劃叫做二次規(guī)劃二次規(guī)劃(QP, Quadratic (QP, Quadratic programming)programming)，目標(biāo)為二次函數(shù)，約束為線性函數(shù)。，目標(biāo)為二次函數(shù)，約束為線性函數(shù)。2.離散規(guī)劃離散規(guī)劃。包含：包含：整數(shù)規(guī)劃整數(shù)規(guī)劃(IP, Integer programming)(IP, Integer programming)，整數(shù)規(guī)劃中又包含很重要的一類規(guī)劃：整數(shù)規(guī)劃中又包含很重要的一類規(guī)劃

21、：0-10-1（整數(shù)）規(guī)劃（整數(shù)）規(guī)劃，這類規(guī)劃問(wèn)題的決策變量只取這類規(guī)劃問(wèn)題的決策變量只取0 0或者或者1 1。7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念（三）（三）按規(guī)劃目標(biāo)的多少按規(guī)劃目標(biāo)的多少可分為：可分為： 1.單目標(biāo)規(guī)劃。單目標(biāo)規(guī)劃。 2.多目標(biāo)規(guī)劃。多目標(biāo)規(guī)劃。（四）（四）按模型中參數(shù)和變量是否具有不確定性按模型中參數(shù)和變量是否具有不確定性可分為：可分為： 1.確定性規(guī)劃。確定性規(guī)劃。 2.不確定性規(guī)劃。不確定性規(guī)劃。（五）（五）按按問(wèn)題求解問(wèn)題求解的特性的特性可分為：可分為： 1.目標(biāo)規(guī)劃。目標(biāo)規(guī)劃。 2.動(dòng)態(tài)規(guī)劃。動(dòng)態(tài)規(guī)劃。 3.多層規(guī)劃。多層規(guī)劃。 4

22、.網(wǎng)絡(luò)優(yōu)化。網(wǎng)絡(luò)優(yōu)化。 5.等等。等等。7 非非線性規(guī)劃線性規(guī)劃7.1 數(shù)學(xué)規(guī)劃基本概念數(shù)學(xué)規(guī)劃基本概念7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解凡目標(biāo)函數(shù)或約束條件中包含有非線性函數(shù)的凡目標(biāo)函數(shù)或約束條件中包含有非線性函數(shù)的數(shù)學(xué)規(guī)劃問(wèn)題都稱為非線性規(guī)劃問(wèn)題。數(shù)學(xué)規(guī)劃問(wèn)題都稱為非線性規(guī)劃問(wèn)題。它可分為無(wú)約束非線性規(guī)劃與約束非線性規(guī)劃。它可分為無(wú)約束非線性規(guī)劃與約束非線性規(guī)劃。較之線性規(guī)劃模型而言，較之線性規(guī)劃模型而言，非線性規(guī)劃模型更能真非線性規(guī)劃模型更能真實(shí)地反映問(wèn)題的實(shí)質(zhì)。實(shí)地反映問(wèn)題的實(shí)質(zhì)。7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解1. 1.

23、無(wú)約束的非線性規(guī)劃模型無(wú)約束的非線性規(guī)劃模型其中，其中，f 是是12,Tnxxxx的的非線性函數(shù)，非線性函數(shù)， ,nR 稱為可行域。稱為可行域。min( )s.t.f xx7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解2. 2. 約束的非線性規(guī)劃模型約束的非線性規(guī)劃模型其中，其中，的的非線性函數(shù)。非線性函數(shù)。(1,2,),(1,2, )和ijfh imgjl中至少有一個(gè)是中至少有一個(gè)是 x x min( )s.t.( )0 ,1,2,0,1,2,ijf xh ximgxjlx估計(jì)最小二乘準(zhǔn)則下的非線性系統(tǒng)模型參數(shù)估計(jì)最小二乘準(zhǔn)則下的非線性系統(tǒng)模型參數(shù) ，可轉(zhuǎn)化，可轉(zhuǎn)化為上式的

24、非線性規(guī)劃問(wèn)題。即求滿足約束條件為上式的非線性規(guī)劃問(wèn)題。即求滿足約束條件, , 且使模且使模型輸出誤差平方和最小的型輸出誤差平方和最小的 。決策變量決策變量 待估計(jì)的非線性模型參數(shù)待估計(jì)的非線性模型參數(shù)目標(biāo)函數(shù)目標(biāo)函數(shù) 輸出誤差平方和輸出誤差平方和約束條件約束條件 待估計(jì)參數(shù)的可取值范圍待估計(jì)參數(shù)的可取值范圍非線性系統(tǒng)參數(shù)估計(jì)問(wèn)題的描述非線性系統(tǒng)參數(shù)估計(jì)問(wèn)題的描述：7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解. .nstD NkkktxtyJ120,minminx f x J求解無(wú)約束非線性規(guī)劃問(wèn)題的方法：求解無(wú)約束非線性規(guī)劃問(wèn)題的方法：（1 1）微分法）微分法，根據(jù)目標(biāo)函

25、數(shù)的極值點(diǎn)所對(duì)應(yīng)的一階導(dǎo)數(shù)，根據(jù)目標(biāo)函數(shù)的極值點(diǎn)所對(duì)應(yīng)的一階導(dǎo)數(shù)為零，解聯(lián)立方程組：為零，解聯(lián)立方程組：這是一個(gè)非線性方程組，一般很難用解析方法求解，必須用這是一個(gè)非線性方程組，一般很難用解析方法求解，必須用數(shù)值計(jì)算方法逐步求出其解。這樣不如用數(shù)值計(jì)算方法直接數(shù)值計(jì)算方法逐步求出其解。這樣不如用數(shù)值計(jì)算方法直接求目標(biāo)函數(shù)的極值。求目標(biāo)函數(shù)的極值。0)()()(, 0)(21nxxfxxfxxfxf7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解（2 2）數(shù)值法數(shù)值法。可分為：。可分為：（參見(jiàn)（參見(jiàn)“最優(yōu)化方法最優(yōu)化方法”課程）課程） l 直接搜索法：直接搜索法：黃金分割法黃金分

26、割法(0.618法法)、梯度法、梯度法 l 迭代法：迭代法：牛頓法、擬牛頓法、共軛梯度法牛頓法、擬牛頓法、共軛梯度法 7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解非線性規(guī)劃問(wèn)題的計(jì)算機(jī)求解非線性規(guī)劃問(wèn)題的計(jì)算機(jī)求解LINGOLINGO軟件和軟件和MATLABMATLAB軟件軟件 對(duì)于對(duì)于LINGOLINGO軟件，線性優(yōu)化求解程序通常使用軟件，線性優(yōu)化求解程序通常使用單純形單純形法法simplex methodsimplex method。非線性優(yōu)化求解程序采用的是。非線性優(yōu)化求解程序采用的是順序順序線性規(guī)劃法線

27、性規(guī)劃法，也可用，也可用順序二次規(guī)劃法順序二次規(guī)劃法(SQP)(SQP)、廣義既約梯度、廣義既約梯度法，另外可以使用多初始點(diǎn)（法，另外可以使用多初始點(diǎn)（LINGOLINGO中稱中稱multistartmultistart）找多）找多個(gè)局部最優(yōu)解增加找全局最優(yōu)解的可能，還具有全局求解程個(gè)局部最優(yōu)解增加找全局最優(yōu)解的可能，還具有全局求解程序序分解原問(wèn)題成一系列的分解原問(wèn)題成一系列的凸規(guī)劃凸規(guī)劃。 MATLABMATLAB軟件的優(yōu)化工具箱，提供了線性軟件的優(yōu)化工具箱，提供了線性/ /非線性規(guī)劃、非線性規(guī)劃、無(wú)約束無(wú)約束/ /約束規(guī)劃一些列函數(shù)可供調(diào)用。約束規(guī)劃一些列函數(shù)可供調(diào)用。7 非非線性規(guī)劃線性

28、規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解優(yōu)化工具箱優(yōu)化工具箱3.0 (MATLAB 7.0 R14)連續(xù)優(yōu)化連續(xù)優(yōu)化離散優(yōu)化離散優(yōu)化無(wú)約束優(yōu)化無(wú)約束優(yōu)化非線性非線性極小極小fminunc非光滑非光滑(不可不可微微)優(yōu)化優(yōu)化fminsearch非線性非線性方程方程(組組)fzerofsolve全局全局優(yōu)化優(yōu)化暫缺暫缺非線性非線性最小二乘最小二乘lsqnonlinlsqcurvefit線性規(guī)劃線性規(guī)劃linprog純純0-1規(guī)劃規(guī)劃 bintprog一般一般IP(暫缺暫缺)非線性規(guī)劃非線性規(guī)劃fminconfminimaxfgoalattainfseminf上下界約束上下界約束fminbndf

29、minconlsqnonlinlsqcurvefit約束線性約束線性最小二乘最小二乘lsqnonneglsqlin約束優(yōu)化約束優(yōu)化二次規(guī)劃二次規(guī)劃quadprog7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解LINDO/LINGO軟件軟件線性規(guī)劃線性規(guī)劃非線性規(guī)劃非線性規(guī)劃二次規(guī)劃二次規(guī)劃連續(xù)優(yōu)化連續(xù)優(yōu)化整數(shù)規(guī)劃整數(shù)規(guī)劃 LINDOLINGO線性優(yōu)化求解程序線性優(yōu)化求解程序非線性優(yōu)化求解程序非線性優(yōu)化求解程序1. 單純形算法單純形算法2. 內(nèi)點(diǎn)算法內(nèi)點(diǎn)算法(選選)1、順序線性規(guī)劃法、順序線性規(guī)劃法(SLP) 2、廣義既約梯度法、廣義既約梯度法(GRG) (選選) 3、多點(diǎn)搜索

30、、多點(diǎn)搜索(Multistart) (選選) 7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解LINDO 公司軟件產(chǎn)品簡(jiǎn)要介紹公司軟件產(chǎn)品簡(jiǎn)要介紹 美國(guó)芝加哥美國(guó)芝加哥(Chicago)大學(xué)的大學(xué)的Linus Schrage教授于教授于1980年前后年前后開(kāi)發(fā)開(kāi)發(fā), 后來(lái)成立后來(lái)成立 LINDO系統(tǒng)公司（系統(tǒng)公司（LINDO Systems Inc.） 網(wǎng)址：網(wǎng)址：http:/ LINDO: Linear INteractive and Discrete Optimizer (V6.1)LINDO API: LINDO Application Programming Inter

31、face (V4.1)LINGO: Linear INteractive General Optimizer (V10.0)Whats Best!: (SpreadSheet e.g. EXCEL) (V8.0)演示演示(試用試用)版、高級(jí)版、超級(jí)版、工業(yè)版、擴(kuò)展版、高級(jí)版、超級(jí)版、工業(yè)版、擴(kuò)展版版 （求解（求解問(wèn)題規(guī)模問(wèn)題規(guī)模和和選件選件不同）不同）7 非非線性規(guī)劃線性規(guī)劃7.2 非線性規(guī)劃的求解非線性規(guī)劃的求解非線性規(guī)劃模型的求解具有一定的難度，并且求非線性規(guī)劃模型的求解具有一定的難度，并且求解非線性規(guī)劃問(wèn)題的方法是多種多樣的，解非線性規(guī)劃問(wèn)題的方法是多種多樣的，。一般來(lái)說(shuō)，求解非線性規(guī)劃

32、的全局最優(yōu)解是困一般來(lái)說(shuō)，求解非線性規(guī)劃的全局最優(yōu)解是困難的，通常所得到的是難的，通常所得到的是。還有還有, ,求解非線性規(guī)劃問(wèn)題的迭代常常是無(wú)限的，求解非線性規(guī)劃問(wèn)題的迭代常常是無(wú)限的，即在迭代中將產(chǎn)生一個(gè)無(wú)窮點(diǎn)列，換言之，所得到即在迭代中將產(chǎn)生一個(gè)無(wú)窮點(diǎn)列，換言之，所得到的結(jié)果一般是的結(jié)果一般是。7 非非線性規(guī)劃線性規(guī)劃7.3 約束非線性規(guī)劃約束非線性規(guī)劃相對(duì)于無(wú)約束非線性規(guī)劃問(wèn)題，約束非線性規(guī)劃問(wèn)題是相對(duì)于無(wú)約束非線性規(guī)劃問(wèn)題，約束非線性規(guī)劃問(wèn)題是更為普遍的一類數(shù)學(xué)規(guī)劃問(wèn)題，但其求解方法比前者要更為普遍的一類數(shù)學(xué)規(guī)劃問(wèn)題，但其求解方法比前者要復(fù)雜得多。復(fù)雜得多。解決約束非線性規(guī)劃問(wèn)題的最

33、常見(jiàn)方法，是將其轉(zhuǎn)化為解決約束非線性規(guī)劃問(wèn)題的最常見(jiàn)方法，是將其轉(zhuǎn)化為無(wú)約束非線性規(guī)劃問(wèn)題，然后用無(wú)約束規(guī)劃方法求解。無(wú)約束非線性規(guī)劃問(wèn)題，然后用無(wú)約束規(guī)劃方法求解?？尚蟹较蚍尚蟹较蚍☉土P函數(shù)法懲罰函數(shù)法約束非線性規(guī)劃問(wèn)題的求解方法：約束非線性規(guī)劃問(wèn)題的求解方法：7 非非線性規(guī)劃線性規(guī)劃7.3 約束非線性規(guī)劃約束非線性規(guī)劃可行方向法可行方向法一類處理一類處理帶線性約束帶線性約束的非線性規(guī)劃問(wèn)題的非常有效的的非線性規(guī)劃問(wèn)題的非常有效的方法。這種方法是將無(wú)約束優(yōu)化方法推廣應(yīng)用于約束問(wèn)方法。這種方法是將無(wú)約束優(yōu)化方法推廣應(yīng)用于約束問(wèn)題，即產(chǎn)生一個(gè)可行點(diǎn)列題，即產(chǎn)生一個(gè)可行點(diǎn)列 ，滿足，滿足 使得使

34、得 收斂于約束問(wèn)題的極小點(diǎn)。收斂于約束問(wèn)題的極小點(diǎn)。為了使點(diǎn)保持可行，且滿足目標(biāo)函數(shù)不斷下降的要求，為了使點(diǎn)保持可行，且滿足目標(biāo)函數(shù)不斷下降的要求，在點(diǎn)在點(diǎn) 的搜索方向不僅像無(wú)約束搜索方向那樣是一個(gè)下的搜索方向不僅像無(wú)約束搜索方向那樣是一個(gè)下降方向，而且是一個(gè)降方向，而且是一個(gè)可行方向可行方向。所以，這類算法總稱為。所以，這類算法總稱為可行方向法?？尚蟹较蚍āx1()()kkf xf xkxkx設(shè)可行域設(shè)可行域 是非空集，是非空集， 。若對(duì)于某非零向量。若對(duì)于某非零向量 存在存在 ，使對(duì)，使對(duì) 均有均有 ，則稱，則稱 為為從點(diǎn)從點(diǎn) 出發(fā)的可行方向。出發(fā)的可行方向。 nRD DxnRd 0,

35、0tDtdxdx7 非非線性規(guī)劃線性規(guī)劃7.3 約束非線性規(guī)劃約束非線性規(guī)劃可行方向法的搜索策略可行方向法的搜索策略：由可行點(diǎn)：由可行點(diǎn) 出發(fā)，找一下降出發(fā)，找一下降的可行方向的可行方向 作為搜索方向，然后確定沿此方向移動(dòng)的作為搜索方向，然后確定沿此方向移動(dòng)的步長(zhǎng)，得到下一迭代點(diǎn)步長(zhǎng)，得到下一迭代點(diǎn) 。搜索方向的選擇方式不同就形成了不同的可行方向法。搜索方向的選擇方式不同就形成了不同的可行方向法。對(duì)于對(duì)于非線性約束非線性約束情況，可把約束函數(shù)在迭代點(diǎn)情況，可把約束函數(shù)在迭代點(diǎn) 處的處的一階泰勒多項(xiàng)式代替，轉(zhuǎn)化成線性約束。一階泰勒多項(xiàng)式代替，轉(zhuǎn)化成線性約束。kxkd1kxkx7 非非線性規(guī)劃線性

36、規(guī)劃7.3 約束非線性規(guī)劃約束非線性規(guī)劃懲罰函數(shù)法（常用）懲罰函數(shù)法（常用）構(gòu)造某種構(gòu)造某種“懲罰懲罰”項(xiàng)，然后把它加到目標(biāo)函數(shù)中去，項(xiàng)，然后把它加到目標(biāo)函數(shù)中去，使約束問(wèn)題的求解，轉(zhuǎn)化為一系列無(wú)約束問(wèn)題的求解。使約束問(wèn)題的求解，轉(zhuǎn)化為一系列無(wú)約束問(wèn)題的求解。外部懲罰函數(shù)法（外點(diǎn)法）外部懲罰函數(shù)法（外點(diǎn)法）。對(duì)違反約束的點(diǎn)在目標(biāo)。對(duì)違反約束的點(diǎn)在目標(biāo)函數(shù)中加入相應(yīng)的函數(shù)中加入相應(yīng)的“懲罰懲罰”，而對(duì)可行點(diǎn)不予懲罰。這，而對(duì)可行點(diǎn)不予懲罰。這種方法的迭代點(diǎn)一般在可行域外部移動(dòng)。種方法的迭代點(diǎn)一般在可行域外部移動(dòng)。內(nèi)部懲罰函數(shù)法（內(nèi)點(diǎn)法），內(nèi)部懲罰函數(shù)法（內(nèi)點(diǎn)法），又稱障礙函數(shù)法。對(duì)企又稱障礙函數(shù)

37、法。對(duì)企圖從內(nèi)部穿越可行域邊界的點(diǎn)在目標(biāo)函數(shù)中加入相應(yīng)的圖從內(nèi)部穿越可行域邊界的點(diǎn)在目標(biāo)函數(shù)中加入相應(yīng)的“障礙障礙”，從而保障迭代一直在可行域內(nèi)部移動(dòng)。，從而保障迭代一直在可行域內(nèi)部移動(dòng)。乘子法乘子法。在拉格朗日函數(shù)中加入相應(yīng)的懲罰。在拉格朗日函數(shù)中加入相應(yīng)的懲罰。kxkx7 非非線性規(guī)劃線性規(guī)劃7.3 約束非線性規(guī)劃約束非線性規(guī)劃針對(duì)約束非線性規(guī)劃模型針對(duì)約束非線性規(guī)劃模型以下分節(jié)對(duì)懲罰函數(shù)法進(jìn)行介紹以下分節(jié)對(duì)懲罰函數(shù)法進(jìn)行介紹7.3.1 外點(diǎn)法外點(diǎn)法7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法7.3.3 乘子法乘子法mixgxfi, 1,0)(s.t.)(min)(xk 算算法法思思想想：構(gòu)構(gòu)造造）（且且滿足

38、：滿足： kxDxxfxDxxfxxkkkk)()()()()()( 可取：可?。骸＃ǎM足條件滿足條件其中其中DxxpDxxpxpxpxfxkk 0)(2;0)(1:)(, )()()( )(min)(min)(min)(minxxxxfkRxRxRxDxnnn 21 )(21k 增廣增廣函數(shù)函數(shù)懲罰懲罰函數(shù)函數(shù)懲罰懲罰因子因子懲罰項(xiàng)懲罰項(xiàng)7 非非線性規(guī)劃線性規(guī)劃7.3.1 外點(diǎn)法外點(diǎn)法，事實(shí)上，這樣，我們只需構(gòu)造)(xp0)( xgj因因?yàn)闉?mjjmjjxgxgxp12210),(max) 0),(max)(所所以以可可設(shè)設(shè)。和和滿滿足足恰恰前前面面的的條條件件顯顯然然)2()1()

39、(xp0)0),(max2xgj的最優(yōu)解。也是問(wèn)題：）則。）（，即有最優(yōu)解問(wèn)題如果：結(jié)論)(min(, 2 , 10)()(2); )()(min: (1)*xfxmjxgDxxxDxkkjkkkRxn7 非非線性規(guī)劃線性規(guī)劃7.3.1 外點(diǎn)法外點(diǎn)法 0)(0)(s.t.)(minxhxgxf pjxhmixgxfji, 1, 0)(, 1, 0)(s.t.)(minq 一般模型的外點(diǎn)法一般模型的外點(diǎn)法lkmjjlkkmjjxhxgxhxgxpk12122121)(0),(max) )() 0),(max)(的懲罰函數(shù)我們不難想到構(gòu)造如下q 7 非非線性規(guī)劃線性規(guī)劃7.3.1 外點(diǎn)法外點(diǎn)法內(nèi)點(diǎn)

40、集內(nèi)點(diǎn)集邊界點(diǎn)集邊界點(diǎn)集 DDDintD Dint（1 1）集合結(jié)構(gòu)）集合結(jié)構(gòu); 0)(,| xgjxDj使使得得至至少少存存在在一一個(gè)個(gè)。,0)(|intjxgxDj 7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法（2 2）算法思想）算法思想 內(nèi)點(diǎn)法（障礙函數(shù)法）的迭代點(diǎn)是在可行域點(diǎn)集內(nèi)內(nèi)點(diǎn)法（障礙函數(shù)法）的迭代點(diǎn)是在可行域點(diǎn)集內(nèi)部移動(dòng)的，對(duì)接近可行域邊界上的點(diǎn)施加越來(lái)越大的懲部移動(dòng)的，對(duì)接近可行域邊界上的點(diǎn)施加越來(lái)越大的懲罰，對(duì)可行域邊界上的點(diǎn)施加無(wú)限大的懲罰，這好比邊罰，對(duì)可行域邊界上的點(diǎn)施加無(wú)限大的懲罰，這好比邊界是一道障礙物，阻礙迭代點(diǎn)穿越邊界。界是一道障礙物，阻礙迭代點(diǎn)穿越邊界。

41、 內(nèi)點(diǎn)法要求可行點(diǎn)集的內(nèi)點(diǎn)集合非空，否則算法無(wú)法內(nèi)點(diǎn)法要求可行點(diǎn)集的內(nèi)點(diǎn)集合非空，否則算法無(wú)法運(yùn)行。這樣一來(lái)運(yùn)行。這樣一來(lái)內(nèi)點(diǎn)法只對(duì)不等式約束的優(yōu)化問(wèn)題內(nèi)點(diǎn)法只對(duì)不等式約束的優(yōu)化問(wèn)題才可能才可能有效。有效。7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法, )()(xqxf(x)kk 構(gòu)構(gòu)造造函函數(shù)數(shù)0)()()()(min:21 kkkRxxqxfxn 轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題（3 3）算法分析）算法分析DxxqDxxqxq if)(2intif0)(1:)(）（）（滿足滿足其中其中障礙障礙函數(shù)函數(shù)7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法。等等或或等等或或 mjjmj

42、jmjmjjxgxqxgxqxgxqxgxqj11121)(ln()()(1ln)(;)(1)()(1)(（常常取取前前兩兩種種）一一般般取取以以下下形形式式的的函函數(shù)數(shù))(xq求求問(wèn)問(wèn)題題的的極極小小點(diǎn)點(diǎn)。的的任任何何極極限限點(diǎn)點(diǎn)一一定定是是所所產(chǎn)產(chǎn)生生的的點(diǎn)點(diǎn)列列連連續(xù)續(xù)函函數(shù)數(shù)，則則由由內(nèi)內(nèi)點(diǎn)點(diǎn)法法上上的的都都是是）（、設(shè)設(shè)結(jié)結(jié)論論), 1()(2.knjxRmjxgxf 7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法總結(jié)：罰函數(shù)法的缺點(diǎn)總結(jié)：罰函數(shù)法的缺點(diǎn)因而計(jì)算量大。因而計(jì)算量大。計(jì)算一系列無(wú)約束問(wèn)題計(jì)算一系列無(wú)約束問(wèn)題有困難；有困難；形式，在計(jì)算上形式，在計(jì)算上或或項(xiàng)項(xiàng)）時(shí)，懲罰

43、）時(shí)，懲罰（的的當(dāng)外點(diǎn)法（或內(nèi)點(diǎn)法）當(dāng)外點(diǎn)法（或內(nèi)點(diǎn)法） ,. 2)0)(0)(0 . 1 xqxpkk 7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法1. x(0)intD2.2.等式約束不適用等式約束不適用3.3.障礙函數(shù)在障礙函數(shù)在D的可微階數(shù)與的可微階數(shù)與gi(x)相同相同( (可選用的無(wú)約束最優(yōu)可選用的無(wú)約束最優(yōu)化方法廣化方法廣) )4.迭代中迭代中x（k）R （隨時(shí)可（隨時(shí)可取取x（k）x*）5.5.非凸規(guī)劃適用非凸規(guī)劃適用1.任意任意x(0)Rn2.等式約束適用等式約束適用3.懲罰函數(shù)的二階偏導(dǎo)在懲罰函數(shù)的二階偏導(dǎo)在D的邊界上不存在的邊界上不存在 .非凸規(guī)劃適用非

44、凸規(guī)劃適用內(nèi)點(diǎn)法內(nèi)點(diǎn)法外點(diǎn)法外點(diǎn)法迭代中迭代中x（k）R 內(nèi)、外點(diǎn)法的優(yōu)缺點(diǎn)的比較內(nèi)、外點(diǎn)法的優(yōu)缺點(diǎn)的比較7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法內(nèi)、外點(diǎn)法的優(yōu)缺點(diǎn)的比較（圖解）內(nèi)、外點(diǎn)法的優(yōu)缺點(diǎn)的比較（圖解）7 非非線性規(guī)劃線性規(guī)劃7.3.2 內(nèi)點(diǎn)法內(nèi)點(diǎn)法01s.t.31)(min3 xxxf問(wèn)問(wèn)題題函函數(shù)數(shù)法法）求求解解如如下下優(yōu)優(yōu)化化試試用用內(nèi)內(nèi)點(diǎn)點(diǎn)法法（內(nèi)內(nèi)部部懲懲罰罰1 2 3 x 1x2x3x*x331)(xxf o11200 11 102 xk *xO)(xf02s.t.)1()(min2 xxxf問(wèn)問(wèn)題題函函數(shù)數(shù)法法）求求解解如如下下優(yōu)優(yōu)化化試試用用外外點(diǎn)點(diǎn)法法（外外部部懲懲罰罰 約約束束構(gòu)構(gòu)成成。是是一一個(gè)個(gè)集集合合，常常由由簡(jiǎn)簡(jiǎn)單單nlnnRDDxRRhxhRRfxf:0)(s.t.:)(min liiixhvxfvxL1)()(),(:)(Lagrangexf函函數(shù)數(shù)代代替替用用為為罰罰因因子子。為為乘乘子子，其其中中：llliiiliiiRRvxhxhvxfvx 121)(