最優(yōu)控制理論

1、第一章 緒論1.1 引言近50年來，科學(xué)技術(shù)的迅速發(fā)展，對(duì)許多被控對(duì)象如宇宙飛船、導(dǎo)彈、衛(wèi)星和現(xiàn)代工業(yè)設(shè)備與生產(chǎn)過程的性能提出了更高的要求，在許多情況下要求系統(tǒng)的某種性能指標(biāo)為最優(yōu)。這就要求人們對(duì)控制問題都必須從最優(yōu)控制的角度進(jìn)行研究分析和設(shè)計(jì)。最優(yōu)控制理論是現(xiàn)代控制理論的重要組成部分。其形成與發(fā)展奠定了整個(gè)現(xiàn)代控制理論的基礎(chǔ)。早在20世紀(jì)50年代初九開始了對(duì)最短時(shí)間控制問題的研究。隨后，由于空間技術(shù)的發(fā)展，越來越多的學(xué)者和工程技術(shù)人員投身于這一領(lǐng)域的研究和開發(fā)，逐步形成了較為完整的最優(yōu)控制理論體系。最優(yōu)化問題就是根據(jù)各種不同的研究對(duì)象以及人們預(yù)期要達(dá)到的目標(biāo)，尋找一個(gè)最優(yōu)控制規(guī)律，或設(shè)計(jì)出一

2、個(gè)最優(yōu)控制方案或最優(yōu)控制系統(tǒng)。最優(yōu)控制理論研究的主要問題是：根據(jù)已建立的被控對(duì)象的時(shí)域數(shù)學(xué)模型或頻域數(shù)學(xué)模型，選擇一個(gè)容許的控制律，使得被控對(duì)象按預(yù)定要求運(yùn)行，并使給定的某性能指標(biāo)達(dá)到最優(yōu)值。從數(shù)學(xué)的觀點(diǎn)來看，最優(yōu)控制理論研究的問題是求解一類帶有約束條件的泛函取值問題，屬于變分學(xué)的理論范疇。然而，經(jīng)典變分學(xué)理論只能解決容許控制屬于開機(jī)的一類，為適應(yīng)工程實(shí)踐的需要，20世紀(jì)50年代中期出現(xiàn)了現(xiàn)代變分理論。在現(xiàn)代變分理論中最常用的兩種分法是動(dòng)態(tài)規(guī)劃和極小值原理。動(dòng)態(tài)規(guī)劃時(shí)美國學(xué)者R.E貝爾曼于1953-1957年為了解決多級(jí)決策問題的算法而逐步創(chuàng)立的。最小值原理時(shí)前蘇聯(lián)科學(xué)院院士.C.龐特里亞金與

3、1956年-1958年間逐步創(chuàng)立的。近年來，由于數(shù)字計(jì)算機(jī)的飛速發(fā)展和完善，逐步形成了最優(yōu)控制理論中的數(shù)值計(jì)算法，參數(shù)優(yōu)化方法。當(dāng)性能指標(biāo)比較復(fù)雜或者不能用變量或函數(shù)表示時(shí)，可以采用直接搜索法，經(jīng)過若干次迭代，都所到最優(yōu)點(diǎn)。常用的方法有鄰近極值法、梯度法、共軛梯度法及單純形法等。同時(shí)由于可以把計(jì)算機(jī)作為控制系統(tǒng)的一個(gè)組成部分，以實(shí)現(xiàn)在線控制，從而使最優(yōu)控制理論的工程實(shí)現(xiàn)成為現(xiàn)實(shí)。因此，最優(yōu)控制理論提出的求解方法，既是一種數(shù)學(xué)方法，又是一種計(jì)算機(jī)算法。時(shí)至今日，最優(yōu)控制理論的研究，無論在深度和廣度上，都有了很大的發(fā)展，并且日益與其他控制理論相互滲透，形成了更為實(shí)用的學(xué)科分支，如：魯棒最優(yōu)控制、隨

4、機(jī)最優(yōu)控制、分布參數(shù)系統(tǒng)最優(yōu)控制及大系統(tǒng)的次優(yōu)控制等?？梢哉f最優(yōu)控制理論目前仍然是在發(fā)展中的，極其活躍學(xué)科領(lǐng)域之一。1.2最優(yōu)化問題一、最優(yōu)化問題的數(shù)學(xué)描述所謂最優(yōu)化問題，就是尋找一個(gè)最優(yōu)控制方案或者最優(yōu)控制規(guī)律，使所研究的對(duì)象（或系統(tǒng)）能最優(yōu)地達(dá)到預(yù)期地目標(biāo)。例如：在控制發(fā)射N級(jí)火箭時(shí)，如何規(guī)劃各級(jí)火箭地質(zhì)量使得火箭地總質(zhì)量為最??；或在雷達(dá)高炮隨動(dòng)系統(tǒng)中，當(dāng)發(fā)現(xiàn)敵機(jī)后，如何以最快地速度跟蹤目標(biāo)而將敵機(jī)擊落。也就是說，最優(yōu)化問題就是依據(jù)各種不同的研究對(duì)象以及人們預(yù)期達(dá)到的目的，尋找出一個(gè)最優(yōu)控制規(guī)律或者設(shè)計(jì)出一個(gè)最優(yōu)控制方案或者最優(yōu)控制系統(tǒng)。例1.甲倉庫（1500包水泥），乙倉庫（1800包水

5、泥）工地A需要900包，工地B需要600包，工地C需要1200包，從甲倉庫送往A、B、C工地的運(yùn)費(fèi)分別為每包1元、2元、4元，從乙倉庫送往A、B、C工地的運(yùn)費(fèi)分別為每包4元、5元、9元，應(yīng)如何發(fā)運(yùn)這些水泥，能使運(yùn)費(fèi)最?。吭O(shè)總運(yùn)費(fèi)f(x)=x1+2x2+4x3+4x4+5x5+9x6最優(yōu)化的任務(wù)在于確定x使f(x)為最小。x受到以下條件限制：x1+x2+x31500x4+x5+x61800 由于f(x)為x的一次函數(shù)x1+ x4=900x2+ x5=600x3+ x6=1200 例2.關(guān)于飛船的月球軟著陸問題為使飛船實(shí)現(xiàn)軟著陸，即到達(dá)月球表面時(shí)速度為零，要尋找飛船發(fā)動(dòng)機(jī)推力的最優(yōu)變化規(guī)律，使燃料

6、消耗最少，以便完成任務(wù)有足夠燃料返回地球。飛船運(yùn)動(dòng)方程： 初始條件：末端條件：控制約束：0u(t)umax 性能指標(biāo)取為表征燃料消量耗（1-5頁）的飛船著陸時(shí)的質(zhì)量：最優(yōu)化問題就是在滿足和的約束條件下，尋求發(fā)動(dòng)機(jī)推力的最優(yōu)變化規(guī)律u(t)，使飛船從x(0)x(tf),并使J=m(tf)=max最優(yōu)化問題的數(shù)學(xué)描述包含以下幾個(gè)方面的內(nèi)容：1. 受控制系統(tǒng)的數(shù)學(xué)模型即系統(tǒng)微分方程(集中參數(shù)系統(tǒng)可用一組一階常微分方程來描述) 2. 邊界條件與目標(biāo)集邊界條件 即初始狀態(tài)時(shí)刻t0和初始狀態(tài)x(t0)通常已知，而終端時(shí)刻tf和終端狀態(tài)x(tf）可以固定也可以自由。一般地，對(duì)終端的要求可以用如下的終端等式或

7、不等式約束條件來表示：N1=x(tf),tf=0 或N2x(tf),tf0 目標(biāo)集：滿足終端約束條件的轉(zhuǎn)臺(tái)集合，用M表示：M=x(tf):x(tf)Rn，N1x(tf),tf=0,或N2x(tf),tf 0為簡單起見，籠統(tǒng)稱式為目標(biāo)集。3. 容許控制每一個(gè)實(shí)際的控制問題，控制向量u(t)都有一個(gè)規(guī)定的取值范圍，通常可以用如下不等式餓約束條件來表示：0u(t) umax 或，i=1,2,3r在Rr空間中，把滿足上式的點(diǎn)u(t)的集合v成為控制集，把屬于u(t)U的u(t)稱為容許控制若u(t)的取值不受限制，則容許控制屬于某一開集。U為開集還是閉集在處理方法上有著本質(zhì)的差別。4. 性能指標(biāo)(目標(biāo)

8、函數(shù))衡量控制作用效果的性能指標(biāo)將x(t0)x(tf)通過不同u(t)來完成，而控制效果好壞，則用性能指標(biāo)來判別。對(duì)于最優(yōu)化問題的目標(biāo)函數(shù)，其內(nèi)容與形式主要取決于具體優(yōu)化問題所要解決的主要矛盾。例如在人造衛(wèi)星的姿態(tài)控制問題中，可分為時(shí)間最短、燃料最少、時(shí)間最少燃料最少不同目標(biāo)函數(shù)的最優(yōu)化問題二 最優(yōu)化問題的分類1單變量函數(shù)與多變量函數(shù)最優(yōu)化問題單變量函數(shù)最優(yōu)化方法是求解最優(yōu)化問題的基本方法2.無約束與有約束最優(yōu)化問題3.確定性和隨機(jī)性最優(yōu)化問題4.線性和非線性最優(yōu)化問題5.靜態(tài)和動(dòng)態(tài)最優(yōu)化問題三 最優(yōu)化問題的求解方法1 間接法（解析法）無約束：經(jīng)典微分法、經(jīng)典變分法 有約束：極大值原理、動(dòng)態(tài)規(guī)

9、劃2 直接法(數(shù)值解法)函數(shù)逼近法（插值法或曲線擬合法）區(qū)間消去法：菲波納奇法、黃金分割法（0.618法）爬山法：變量輪換法、步長加速法、方向加速法、單純形法、隨機(jī)搜索法3 以解析法為基礎(chǔ)的數(shù)值解法：無約束梯度法：最速下降法、共軛梯度法、牛頓法與擬牛頓法、變尺度法、牛頓高斯最小二乘法有約束梯度法：可解方向法、梯度投形法、簡約梯度法化有約束為無約束問題：序列無約束極小化法、線性近似化法最優(yōu)控制屬于最優(yōu)化范疇，因此最優(yōu)控制與最優(yōu)化有其共同的性質(zhì)和理論基礎(chǔ)，但最優(yōu)化涉及面極廣，舉凡生產(chǎn)過程的控制企業(yè)的生產(chǎn)調(diào)度對(duì)資金、材料、設(shè)備的分配、乃至經(jīng)濟(jì)政策的制定等等，無不與最優(yōu)化有關(guān)。而最優(yōu)控制是針對(duì)控制系統(tǒng)

10、本身而言的，目的在于使一個(gè)機(jī)組、一臺(tái)設(shè)備或一個(gè)生產(chǎn)過程實(shí)現(xiàn)局部最優(yōu)。1.3 最優(yōu)控制問題所謂最優(yōu)控制問題，就是指在給定條件下，對(duì)給定系統(tǒng)確定一種控制規(guī)律，使該系統(tǒng)能在規(guī)定的性能指標(biāo)下具有最優(yōu)值。也就是說最優(yōu)控制就是要尋找容許的控制作用（規(guī)律）使動(dòng)態(tài)系統(tǒng)（受控系統(tǒng)）從初始狀態(tài)轉(zhuǎn)移到某種要求的終端狀態(tài)，且保證所規(guī)定的性能指標(biāo)（目標(biāo)函數(shù)）達(dá)到最大（?。┲怠Ｗ顑?yōu)控制問題的示意圖如圖所示。其本質(zhì)乃是一變分學(xué)問題。經(jīng)典變分理論只能解決一類簡單的最優(yōu)控制問題。為滿足工程實(shí)踐的需要，20世紀(jì)50年代中期，出現(xiàn)了現(xiàn)代變分理論。最常用的方法就是極大值原理和動(dòng)態(tài)規(guī)劃。最優(yōu)控制在被控對(duì)象參數(shù)已知的情況下，已成為設(shè)計(jì)復(fù)

11、雜系統(tǒng)的有效方法之一。一 最優(yōu)控制問題的性能指標(biāo)在狀態(tài)空間中要使系統(tǒng)的狀態(tài)由初始狀態(tài)x(t0)x(tf)，可以用不同的控制規(guī)律來實(shí)現(xiàn)。為了衡量控制系統(tǒng)在每一種控制規(guī)律作用下工作的優(yōu)劣，就需要用一個(gè)性能指標(biāo)來判斷。性能指標(biāo)的內(nèi)容、形式取決于最優(yōu)控制所完成的任務(wù)。不同最優(yōu)控制問題就應(yīng)有不同的性能指標(biāo)。同一最優(yōu)控制問題，其性能指標(biāo)也可能因設(shè)計(jì)者著眼點(diǎn)而異。1. 綜合性或波爾扎（Bolza）型性能指標(biāo) L標(biāo)量函數(shù)：動(dòng)態(tài)性能指標(biāo)標(biāo)量函數(shù)：終端性能指標(biāo)J標(biāo)量函數(shù)，對(duì)每一個(gè)控制函數(shù)u(t)都有一個(gè)對(duì)應(yīng)值，u()控制函數(shù)整體2. 積分變量或拉格朗日（Lagrange）型性能指標(biāo) 強(qiáng)調(diào)系統(tǒng)的過程要求。3.終端型

12、或麥耶爾（Mager）型性能指標(biāo)以上三種性能指標(biāo)，通過一些簡單的數(shù)學(xué)處理，可以相互轉(zhuǎn)化。在特殊情況下，可采用如下的二次型性能指標(biāo)F終端加權(quán)矩陣 Q(t)狀態(tài)加權(quán)矩陣 R(t)控制加權(quán)矩陣二 最優(yōu)控制問題的提法所謂最優(yōu)控制的提法，就是將通常的最優(yōu)控制問題抽象成一個(gè)數(shù)學(xué)問題，并用數(shù)學(xué)語言嚴(yán)格的表示出來。1. 給定系統(tǒng)的狀態(tài)方程 初始條件 2. 給定初始條件和終端條件初始狀態(tài)為：x(t0)=x0終端狀態(tài)x(tf)可用如下約束條件表示N1x(tf)，tf=0 或N2x(tf)，tf03給定性能指標(biāo)（目標(biāo)函數(shù)）確定J最優(yōu)控制向量，使系統(tǒng)從x(t0)x(tf)，并使性能指標(biāo)具有極大（小）值。三 最優(yōu)控制問

13、題的分類1.按狀態(tài)方程分類：連續(xù)最優(yōu)化系統(tǒng)、離散最優(yōu)化系統(tǒng)2.按控制作用實(shí)現(xiàn)方法分類：開環(huán)最優(yōu)控制系統(tǒng)、閉環(huán)最優(yōu)控制系統(tǒng)3.按性能指標(biāo)分類：最小時(shí)間控制問題 最少燃料控制問題 最少燃料控制問題 線性二次型性能指標(biāo)最優(yōu)控制問題 非線性性能指標(biāo)最優(yōu)控制問題4.按終端條件分類：固定終端最優(yōu)控制問題自由終端（可變）最優(yōu)控制問題終端時(shí)間固定最優(yōu)控制問題終端時(shí)間可變最優(yōu)控制問題 5.按應(yīng)用領(lǐng)域來分：終端控制問題、調(diào)節(jié)器問題、跟蹤問題、伺服機(jī)構(gòu)問題、效果研究問題、最小時(shí)間問題、最少燃料問題第二章 最優(yōu)控制中的變分法在動(dòng)態(tài)最優(yōu)控制中，由于目標(biāo)函數(shù)是一個(gè)泛函數(shù)，因此求解動(dòng)態(tài)最優(yōu)化問題可歸結(jié)為求泛函極值問題。變分

14、法是研究極值的一種經(jīng)典分法。2.1 函數(shù)的極值一 一元函數(shù)的極值 設(shè)連續(xù)可微一元函數(shù)y=f(x)在定義區(qū)間a,b有極值，則函數(shù)在x0處可導(dǎo)，并在x0處存在極值的必要條件是在xo處存在極大值，極小值， 若，還要從f(x)在xo附近的變化情況來判斷xo是否是極小值、極大值或拐點(diǎn)。例1 試求的極值解： 例2 如圖所示:邊長為a的正方形鐵皮，四個(gè)角處剪去相等正方形，折起后制成方形無蓋水槽，要求其容積最大，或求所剪去的小正方形的邊長。無蓋方形水槽容積為：max=二 多元函數(shù)與極值設(shè)多元函數(shù)存在極值的必要條件是： 極小值的充分條件是：，極大值的充分條件是：若下列矩陣(Hesse海賽)正定 則極小值負(fù)定 則

15、極大值 Hesse矩陣的正定性可用sylvester準(zhǔn)則判別例：設(shè)多元函數(shù)，試求函數(shù)的極值點(diǎn)及極小值4解： Hesse矩陣：= 因?yàn)?0， 0，0，故Hesse陣正定所以函數(shù)存在極小值 三 條件極值和拉格朗日乘子問題實(shí)際問題中自變量之間受到其他條件的約束限制極值常用拉格朗日乘子法(待定乘子法、增量法) 原理：引入待定參數(shù)，將求解帶有約束條件的極值問題轉(zhuǎn)化為一個(gè)求解無約束條件的極值問題設(shè)連續(xù)可微的目標(biāo)函數(shù)為:J=f(x,u)等式約束條件為： g(x,u)=0引入乘子矢量，將乘等式約束條件并與目標(biāo)函數(shù)相加，構(gòu)造拉格朗日函數(shù)目標(biāo)函數(shù)存在極值的必要條件是： 例 已知函數(shù)約束條件為，試求函數(shù)的條件極值解

16、：求解此類問題有多種方法，如消元法和拉格朗日乘子法方法一：消元法 方法二：拉格朗日乘子法引入拉格朗日乘子，得到一個(gè)新函數(shù)即： 例： 把半徑為1的實(shí)心金屬球融化，鑄造成一個(gè)實(shí)心固體柱，問固體柱取什么尺寸才能使其表面積最小？解：圓柱體底部半徑為r，高為h，則其表面積為：約束條件為圓柱體體積與實(shí)心球體積相等，即：所以 2.2 變分法一 變分法的基本概念泛函可簡單理解為“函數(shù)的函數(shù)”，求泛函的極大值和極小值問題都稱為變分問題。求泛函極值的方法稱為變分法。1.泛函設(shè)對(duì)自變量t，存在一類函數(shù)x(t)，如果對(duì)于每個(gè)函數(shù)x(t)，有一個(gè)J值與之對(duì)應(yīng)，則變量J稱為依賴于x(t)的泛函數(shù)，記作，中的為某一特定函數(shù)

17、的整體，而不是對(duì)應(yīng)于t的函數(shù)值。函數(shù)稱為泛函J的宗量，泛函為標(biāo)量。例：當(dāng)時(shí)，當(dāng)時(shí)，等。在控制系統(tǒng)中，自變量是時(shí)間t，宗量函數(shù)是狀態(tài)矢量，積分型性能泛函為J的值取決于函數(shù)u(t)。不同的J值于不同的u(t)對(duì)應(yīng)。所以J是函數(shù)u(t)的泛函。所謂求解最優(yōu)控制，就是尋找使J取極值的控制u(t)。2.泛函的變分1）宗量的變分即兩函數(shù)之差為泛函宗量的變分，2）泛函變分的定義當(dāng)宗量函數(shù)x(t)有變分時(shí)，連續(xù)泛函Jx(t)的增量可表示為，其中是泛函的變分，并記為，所以泛函的變分也就是可以稱為泛函的微分。當(dāng)泛函具有微分時(shí)，可用表示時(shí)，稱泛函是可微的。例：求泛函的變分3）泛函變分的求法定理：連續(xù)函數(shù)的變分等于泛

18、函對(duì)的導(dǎo)數(shù)在=0處的值，即：證明：由于是的現(xiàn)行連續(xù)函數(shù)又由于是的高階無窮小量于是：例求泛函的變分解：4）泛函變分的規(guī)則設(shè)L1和L2是函數(shù)和t的函數(shù) 3 泛函的極值1）泛函極值的定義若泛函在任何一條與接近的曲線上的值不小于即：則稱泛函在曲線上達(dá)到極小值。其中稱為泛函的極小值函數(shù)或極小值曲線。2）宗量函數(shù)的接近度若兩個(gè)函數(shù)和相接近，就應(yīng)對(duì)于任意都滿足 很小正數(shù)稱與具有零階接近度。稱為強(qiáng)極值。若稱與具有一階接近度。為弱極值。接近度階次越高函數(shù)接近程度越好。強(qiáng)極大值必大于或等于弱極大值。3）泛函極值的必要條件定理：若可微泛函在上達(dá)到了極大（?。┲担瑒t在上有證明：對(duì)于任意給定的是的函數(shù)=0二.固定端點(diǎn)的

19、變分問題所謂固定端點(diǎn)問題，是指狀態(tài)空間中曲線的起點(diǎn)和終點(diǎn)都是預(yù)知固定的。由于已固定，性能泛函變?yōu)榉e分型性能泛函了。1.歐拉方程定理：已知容許曲線x(t)的初始端和終端狀態(tài)，則積分性能泛函，取極值的必要條件是容許極值曲線滿足如下歐拉方程或及邊界條件和其中及在上至少兩次連續(xù)可微。證明：設(shè)極值曲線如圖所示，在極值附近有一容許曲線，其中是任給的連續(xù)可微函數(shù)，則代表了在及之間的所有可能的曲線。當(dāng)就是極值曲線。對(duì)于每條不同曲線，的值就有不同。為尋找使達(dá)到極值的曲線，就要考察曲線變動(dòng)對(duì)于變化的影響，而曲線的變化可以看成是變化的結(jié)果。因此便成了的函數(shù)，并在上達(dá)到了極值，即于是有端點(diǎn)固定，故有為任意，由此推得泛

20、函取極值的必要條件為： 將展開為： =歐拉公式可寫為歐拉方程是一個(gè)二階微分方程，求解時(shí)有兩個(gè)積分常數(shù)待定，對(duì)于固定端點(diǎn)問題，給定和就是兩個(gè)邊界條件。所以求解歐拉方程就是求解兩點(diǎn)邊值問題。對(duì)于自由端點(diǎn)，因其一個(gè)端或或是兩個(gè)端點(diǎn)是自由的，這時(shí)所欠缺的一個(gè)或兩個(gè)邊界條件便應(yīng)由模載條件來補(bǔ)充。 (始端自由) (終端自由) 應(yīng)當(dāng)指出，上述歐拉方程和橫截條件只是泛函極值存在的必要條件。至于所解得的極值曲線是極大值曲線還是極小值曲線，還需由充分條件來判定。但對(duì)許多工程問題，往往何以根據(jù)物理含義直接判斷。例 求泛函滿足邊界條件x(1)=1,x(2)=2的極值曲線。解： 泛函極值只能在曲線上實(shí)現(xiàn)2.泛函極值的充

21、分條件勒讓德(legendse)條件 如同函數(shù)極值的性質(zhì)可由二階導(dǎo)數(shù)的符號(hào)來判定一樣，泛函極值的性質(zhì)可由二階變分的符號(hào)來判定。 若兩個(gè)函數(shù)x(t)存在無窮小量的差異，則x(t)的一次變分可寫成。對(duì)于泛函數(shù)，若它有三階以上的連續(xù)偏導(dǎo)數(shù)，則在滿足歐拉方程的極值曲線鄰域內(nèi)，有如下泰勒級(jí)數(shù)展開式： 定義：當(dāng)為極值曲線時(shí)，是泛函取極值的必要條件，其充分條件是：當(dāng)矩陣型式：勒讓德(legendse)條件 例：求泛函滿足邊界條件的極值函數(shù)并判別泛函極值的性質(zhì)。解： ，代入歐拉方程邊界條件又3.幾種典型泛函的歐拉方程一般來說歐拉方程是一個(gè)非線性二次微分方程，其解并不是以在所有情況下都能表示成封閉式的解，但在下

22、列幾種特殊情況下，歐拉方程一定能積分出來，并將它表示成封閉形式1) L不依賴于，即2) L不依賴于，即3) L只依賴于，即4) L只依賴于，即歐拉方程：4. 多變量系統(tǒng)的泛函設(shè)多變量系統(tǒng)的積分型性能指標(biāo)泛函為：歐拉方程： 橫截條件： 固定端點(diǎn)： 邊界條件自由端點(diǎn)： 自由終端 自由始端例：求泛函在條件的極值曲線。解：歐拉方程：由邊界條件可求出 三、可變端點(diǎn)的變分問題端點(diǎn)固定情況是一種最簡單的情況。在工程實(shí)際問題中，經(jīng)常會(huì)遇到曲線的始端或終端是變動(dòng)的可變端點(diǎn)問題。可假設(shè)始端時(shí)刻固定，即，終端時(shí)間可變，終端邊界條件為，即，如右圖所示。當(dāng)可變時(shí)， 其典型例子為導(dǎo)彈的攔截問題問題提法：尋找一條件連續(xù)可微

23、的極值曲線。從且使性能泛函達(dá)到極值。1泛函極值的必要條件定理：設(shè)容許曲線從且使取極值的必要條件是：極值曲線滿足歐拉方程設(shè)始端邊界條件和終端橫截條件為，證明：設(shè)為領(lǐng)域內(nèi)任一條容許曲線由圖可知，可存在如下近似關(guān)系 不難理解：如果某一容許極值曲線能使J在端點(diǎn)變動(dòng)的情況下取極值，那么對(duì)于和容許極值有同樣邊界點(diǎn)的更窄的函數(shù)類來說，其極值曲線自然也能使J達(dá)到極值。也就是說，終端受約束的函數(shù)類中的極值曲線，也必定是端點(diǎn)固定的函數(shù)類中的極值曲線。因此必能滿足端點(diǎn)固定時(shí)泛函極值必要條件：但終端可變時(shí)，其邊界條件發(fā)生變化 =前 以證明：歐拉方程依然成立： 由于始端固定 ， 邊界條件：橫截條件： （1） 終端時(shí)刻t

24、f可變，終端狀態(tài)自由，固定。 因?yàn)椋捍胫?，由于和均任意。?） 終端時(shí)刻tf可變，終端狀態(tài)有約束，固定。 設(shè)終端約束方程為： 代入式中，由于任意， 。注意：橫截條件與歐拉方程連理才能構(gòu)成泛函極值的必要條件。例：求從到直線間距離最短的曲線解：問題是求的極小值曲線 ， 由歐拉方程： 故： 橫截條件：，即a=1,由所以：由終端約束條件：2、特征形式下的橫截條件在控制工程中，大多數(shù)終端約束條件都比較特殊。（1） 當(dāng)目標(biāo)曲線是平行橫軸直線時(shí)，其終端狀態(tài)相當(dāng)于固定，使可變稱為平動(dòng)端點(diǎn)，此時(shí)=0，則橫截條件可簡化為：（2） 當(dāng)目標(biāo)曲線是垂直橫軸直線時(shí)，此時(shí)相當(dāng)于終端時(shí)刻，自由，自由終端，橫截條件改寫為0（

25、3） 若終端狀態(tài)也固定固定端點(diǎn)問題（4） 若曲線的始端可變，終端固定，始端只能沿著給定目標(biāo)曲線變化時(shí)，可用上述同樣方法推證始端橫截調(diào)件為：，終端邊界條件：例：求使性能泛函取極值的軌跡，要求任意。解：始端固定，終端自由，歐拉方程：=0即：=常數(shù)，故必為常數(shù)。設(shè)，由B=0，所以：由終端橫截條件：=A=0，或A=-2/3A=-2/3時(shí)極值軌跡為容易驗(yàn)證時(shí)，J=0，局部極??； ，J=4/27，對(duì)應(yīng)局部極大。3、一般泛函表達(dá)形式在最優(yōu)控制中，目標(biāo)函數(shù)包括項(xiàng)，用以表示對(duì)終端時(shí)刻的特殊要求，即使泛函 取極小值，還有不計(jì)動(dòng)態(tài)性能指標(biāo)的性能泛函 取極值的問題，計(jì)Q也可以是 和的函數(shù)。顯然，拉格朗日（積分型）和麥

26、耶爾可看成波爾扎問題的特殊情況，所以波爾扎問題有最一般形式，但是若引入輔助變量，?？梢允惯@3種問題相互轉(zhuǎn)換。令，若恒定不變，波爾扎問題拉格朗日問題。若引進(jìn)一個(gè)新變量，使，波爾扎問題麥耶爾問題2.3 應(yīng)用變分法求解最優(yōu)控制問題 在前面討論的泛函極值問題中，沒有對(duì)容許曲線附加任何條件，屬于無約束條件的變分問題，但在最優(yōu)控制問題中，泛函所依賴的函數(shù)往往受到一定約束條件的限制狀態(tài)方程，它可以看成是一種等式約束條件，可采用拉格朗日乘子法，將具有等式約束條件的變法問題轉(zhuǎn)化為一種等價(jià)的無約束變分問題，從而將在等式約束條件下對(duì)泛函J求極值的最優(yōu)控制問題在無約束的條件下求哈密頓函數(shù)H的極值問題哈密頓發(fā)方法。一、

27、 固定端點(diǎn)的最優(yōu)控制問題設(shè)系統(tǒng)的狀態(tài)方程為：系統(tǒng)終端和始端滿足：，系統(tǒng)的 性能泛函為：試確定最優(yōu)控制和最優(yōu)曲線，使系統(tǒng)由，并使達(dá)到極值。將狀態(tài)方程改寫為：引入拉格朗日乘子向量，構(gòu)造下列泛函現(xiàn)引入一個(gè)標(biāo)量函數(shù) 泛函極值的必要條件 任意 ，伴隨方程化為狀態(tài)方程 控制方程 橫截條件 狀態(tài)方程以上等式亦可以歐拉方程求出 令由 由狀態(tài)方程與伴隨方程通常合稱正則方程，其標(biāo)量形式為： （i=1,2n） 2n 個(gè)邊界條件 i=1,2n 由 與的函數(shù)關(guān)系 哈密頓函數(shù)的一個(gè)重要性質(zhì)： 當(dāng)H不顯含t時(shí)，=0定理：設(shè)系統(tǒng)的狀態(tài)方程為：則把自始端取極值，以實(shí)現(xiàn)最優(yōu)控制的必要條件是：（1） 最優(yōu)曲線和最優(yōu)伴隨向量滿足正則

28、方程： ， （2） 最優(yōu)控制滿足正則方程：（3） 邊界條件：， 當(dāng)然上述具有等式約束（狀態(tài)方程）問題，也可先利用狀態(tài)方程得到與，的關(guān)系，代入上例性能泛函，使的形式。無約束最優(yōu)控制問題。最優(yōu)控制計(jì)算步驟：Step 1:構(gòu)造根據(jù)：，求出Step 2:以代入正則方程中，消去u 的兩點(diǎn)邊值問題 Step 3:以代入得到例：設(shè)人造衛(wèi)星姿態(tài)控制系統(tǒng)的狀態(tài)方程為：性能指標(biāo)，邊界條件為：求使J取極值的最優(yōu)曲線和最優(yōu)控制解：， 伴隨方程：控制方程：狀態(tài)方程：邊界條件：所以，最優(yōu)曲線為：最優(yōu)控制為：二可變端點(diǎn)的最優(yōu)控制問題設(shè)狀態(tài)方程為：，性能指標(biāo)為：試確定最優(yōu)控制和最優(yōu)曲線使系統(tǒng)有已知可變終端并使J達(dá)到極值。1、

29、 終端時(shí)刻固定，終端狀態(tài)自由引入拉格朗日乘子向量定義： 泛函極值存在的必要條件及所以：狀態(tài)方程： 伴隨方程： 控制方程： 橫截條件：例：上例中，終端狀態(tài)設(shè)為自由，部分約束，部分自由 解：， ， 橫截條件： 由狀態(tài)方程： 設(shè)邊界條件、橫截條件可得： 故 最優(yōu)控制： 最優(yōu)曲線：2、 終端時(shí)刻固定，終端狀態(tài)有約束假設(shè)終端狀態(tài)的約束條件為引入兩個(gè)拉格朗日向量和令與終端時(shí)刻固定，終端狀態(tài)自由相比，僅僅橫截條件發(fā)生了變化。其余均不變。因此，終端狀態(tài)有約束的泛函極值存在的必要條件為：狀態(tài)方程：伴隨方程：控制方程：橫截條件：終端約束： 例：試求使被控系統(tǒng)，由已知初始狀態(tài)出發(fā)，在時(shí)，轉(zhuǎn)移到目標(biāo)集。，且使性能指標(biāo)

30、為最小的和解：伴隨方程：控制方程：由狀態(tài)方程：由初始狀態(tài)：由目標(biāo)集：由橫截條件：3、終端時(shí)刻可變，終端狀態(tài)有約束設(shè)終端狀態(tài)的約束條件為，引入拉格朗日乘子矢量要確定，及又因?yàn)椋捍肷鲜秸砜紤]到，均是任意的。泛函極值存在必要條件為：狀態(tài)方程：伴隨方程：控制方程：橫截條件：終端約束： 定理：設(shè)系統(tǒng)狀態(tài)方程是，則為把狀態(tài)從轉(zhuǎn)移到滿足約束條件 的終端狀態(tài)，式中固定或可變，并使性能泛函為：取極值，實(shí)現(xiàn)最優(yōu)控制的必要條件是：1、 最優(yōu)曲線和最優(yōu)伴隨向量滿足以下正則方程： ，2、 最優(yōu)控制滿足控制方程：3、 始端邊界條件與終端橫截條件： 4、 當(dāng)終端時(shí)間可變時(shí)，還需以下終端橫截條件確定 例：設(shè)一階系統(tǒng)方程為

31、：，已知，要求，試求性能指標(biāo)為極小的解： 由伴隨方程：由控制方程： 由狀態(tài)方程： 初始條件 終端條件 橫截條件： 所以： 第3章 極大值原理 在利用經(jīng)典變分法求解最優(yōu)控制問題中，泛函極值的必要條件都是在等式約束下，并且控制向量u(t)沒有約束及狀態(tài)方程對(duì)u(t)是可微的情況下取得的。然而，在實(shí)際物理系統(tǒng)中，控制向量是受到一定限制的，容許控制只能在一定的控制域內(nèi)取值。對(duì)于不等式的約束問題，也是先將不等式約束化成等式約束，然后再用相同的方法求解最優(yōu)控制問題。但對(duì)于多變量系統(tǒng)來說，這種方法使求解過程相當(dāng)復(fù)雜。所謂極大值原理是求出當(dāng)前控制向量受到約束時(shí)的最優(yōu)控制必要條件現(xiàn)代變分法 3.1 引言在實(shí)際工

32、程問題中，控制向量u(t)往往受到一定的限制。如控制元件飽和，驅(qū)動(dòng)電機(jī)的力矩不可能無窮大，流量的最大值受到輸送管道的和閥門的限制等。一般可用下面的不等式來表示，即式中屬于有限閉集，更一般的情況可用下面不等式約束來表示：。若屬于有界閉集，當(dāng)在邊界上取值時(shí)，就不是任意的了，由于受到約束在其容許取值范圍內(nèi)可能無解，也可能的解，并非使H取極小值的解。如右圖所示。另外，在應(yīng)用經(jīng)典變分法求解最優(yōu)控制問題時(shí)，要求函數(shù)和關(guān)于所有自變量二次連續(xù)可微。要求H關(guān)于u的偏導(dǎo)存在。于是類似的性能泛函無法用經(jīng)典變分法求解。例如最小燃料消耗問題。前蘇聯(lián)數(shù)學(xué)家龐德里亞金總結(jié)了經(jīng)典變分法和最簡單最優(yōu)控制的早期研究成果。特別是受

33、力學(xué)中的哈密頓原理的啟發(fā)。于19561958年間逐步創(chuàng)立了最大值原理一種適用性廣泛又有嚴(yán)格理論依據(jù)的求解最優(yōu)控制問題的簡便方法。最大值原理的一個(gè)顯著特點(diǎn)。是易于確定最優(yōu)控制系統(tǒng)的普遍結(jié)構(gòu)形式。因而應(yīng)用甚廣，成為求解最優(yōu)控制問題的一種強(qiáng)有力的工具。被譽(yù)為“現(xiàn)代變分法”。3.2.連續(xù)下調(diào)的極大值原理在實(shí)際控制系統(tǒng)中，由許多問題要求控制變量或狀態(tài)變量在某一范圍內(nèi)，例如：，此時(shí)，連續(xù)系統(tǒng)最優(yōu)控制問題可描述為：設(shè)n維系統(tǒng)狀態(tài)方程：始端時(shí)間和始端狀態(tài)：終端時(shí)間和終端狀態(tài)滿足約束方程：控制向量取值于：性能泛函J取極小值： 與前面討論過的等式約束條件最優(yōu)控制問題相比較。他們的主要區(qū)別在于是屬于有界閉集。受到不

34、等式約束，可采用以下措施：1） 引入一個(gè)新的r維控制變量，令：顯然不連續(xù)，但是連續(xù)的。若分段連續(xù)，分段光滑連續(xù)。2） 引入另一個(gè)新的L維變量，令：無論是正是負(fù)，但非負(fù)，滿足的要求。通過以上變換，將上述具有不等式約束的最優(yōu)控制問題轉(zhuǎn)化為具有等式約束的波爾扎問題。再應(yīng)用拉格朗日乘子法引入乘子和T。將問題轉(zhuǎn)化為求廣義性能指標(biāo)的極值。 廣義性能指標(biāo)的一階變分：由于是任意的，可推出廣義性能泛函取極值的必要條件如下： 歐拉方程： ，即 即橫截條件： 由于歐拉方程：橫截條件：需指出：以上條件是最優(yōu)解的必要條件，使最優(yōu)解極小。還必須滿足維爾斯勒拉E函數(shù)沿最優(yōu)曲線成非負(fù)的條件，即： 由于沿最優(yōu)曲線，且，所以：即

35、：在極大值原理中，容許條件放寬了，另外，極大值原理不要求H對(duì)的可微性，因而擴(kuò)大了應(yīng)用范圍必經(jīng)典變分法具有真正的實(shí)用價(jià)值。定理：設(shè)系統(tǒng)的狀態(tài)方程為：始端約束為：終端約束為： 待定控制約束為：性能泛函為：取哈密頓函數(shù)：則實(shí)現(xiàn)最優(yōu)控制的必要條件為：滿足下列關(guān)系：1）沿最優(yōu)軌線滿足正則方程：2） 在最優(yōu)軌線上，與最優(yōu)控制相應(yīng)的H函數(shù)取絕對(duì)極小值，即 3） H函數(shù)在最優(yōu)軌線的終點(diǎn)處的值決定于 4） 協(xié)態(tài)終值滿足橫截條件 5） 滿足邊界條件： 例：設(shè)系統(tǒng)方程及初始條件為： ，其中 ，自由試求，使性能指標(biāo)解：本例為線性定常系統(tǒng)，終端型性能指標(biāo)自由，固定?？刂剖芗s束的最優(yōu)控制問題 由伴隨方程： 由橫截條件：

36、所以：根據(jù)極大值原理，最優(yōu)控制函數(shù)應(yīng)使H取極小值。為此，為使的函數(shù)H在約束條件下達(dá)到極小值，顯然應(yīng)取 易知：故：將代入狀態(tài)方程中：由此得例：設(shè)一階系統(tǒng)方程為：，其中試求性能指標(biāo)：為取極小的解： ，固定，自由。 由于H是u的線性函數(shù)，根據(jù)極大值原理。，使H絕對(duì)極小相當(dāng)于使J極小，因此要求極小。當(dāng)u與異號(hào)且u 取其邊界值。 故由伴隨方程：由橫截條件： 所以顯然：即為切換點(diǎn)。令此時(shí)t=ts 即故最優(yōu)控制： 將代入狀態(tài)方程中，求最優(yōu)曲線 當(dāng)時(shí) 時(shí)， 當(dāng)時(shí)，所以3.4.極大值原理的應(yīng)用一、最小時(shí)間控制問題最小時(shí)間控制問題，又稱時(shí)間最優(yōu)控制問題。它要求在容許控制范圍內(nèi)尋求最優(yōu)控制，使系統(tǒng)以最短時(shí)間從任意初

37、始狀態(tài)轉(zhuǎn)移到要求的目標(biāo)集。例如要求導(dǎo)彈以最短時(shí)間擊中目標(biāo)，被控對(duì)象以最快時(shí)間達(dá)到平衡等。由于這種控制方式的目標(biāo)泛函特別簡單而且實(shí)用價(jià)值較大，所以在50年代初期就已發(fā)表了研究最短時(shí)間控制的論文。推動(dòng)了現(xiàn)代控制理論的發(fā)展，而且現(xiàn)代控制理論的發(fā)展又反過來加深了對(duì)這種控制好方式內(nèi)部規(guī)律的認(rèn)識(shí)，并產(chǎn)生了一批更復(fù)雜的時(shí)間最優(yōu)控制系統(tǒng)。例：設(shè)一階系統(tǒng)狀態(tài)方程為：性能指標(biāo)：如果（1）無約束（2）的約束為試求，使性能指標(biāo)J 為極小解：本例為線性定常積分型性能指標(biāo)，固定，自由。令：（1）、無約束 由正則方程：由橫截條件：初始條件： 所以，最優(yōu)曲線最優(yōu)控制：最優(yōu)性能指標(biāo)：（2）、有約束 若伴隨方程：狀態(tài)方程：求切換

38、點(diǎn)對(duì)應(yīng)的時(shí)間，即當(dāng)時(shí)，有 所以：于是得： 一般來說，求非線性系統(tǒng)和任意目標(biāo)集的時(shí)間最優(yōu)控制的解析解十分困難，在此考慮線性定常系統(tǒng)，且目標(biāo)集為狀態(tài)空間原點(diǎn)，即終端狀態(tài)固定的時(shí)間最優(yōu)控制問題。設(shè)已知系統(tǒng)的狀態(tài)方程為： 系統(tǒng)完全能控，且u(t)具有以下不等式約束j=1、2、r. 始端和終端條件為： t0=0, ,tf可變。試求控制作用u(t)使系統(tǒng)從初始狀態(tài)轉(zhuǎn)移到平衡狀態(tài)（原點(diǎn)）所需時(shí)間最短。即J=tf構(gòu)造哈密頓函數(shù)。設(shè)最優(yōu)控制存在，則應(yīng)用極小值原理，可推出以下結(jié)論：（1）最優(yōu)曲線和最優(yōu)伴隨向量滿足正則方程：（2）邊界條件：x(0)=x0 ,x(tf)=0(3)在t0,tf上，對(duì)所有容許控制u(t)

39、，下列關(guān)系成立即當(dāng)0時(shí)，u(t)越小，越小，因此取下限，=-1當(dāng)0時(shí)，u(t)越大，越小，=1當(dāng)=0時(shí)，則因u(t)不定，無法用極小值原理確定，只能去滿足的約束條件的任意值，這種情況稱為奇異情況，對(duì)應(yīng)狀態(tài)方程稱為奇異系統(tǒng)式。故： 這種根據(jù)符號(hào)取的容許邊界值的開關(guān)控制砰砰控制。他要求控制變量取邊界值，但符號(hào)與相反（4）在最優(yōu)曲線上，哈密頓函數(shù)恒為零，即因?yàn)椋河捎趖=tf, x(tf)=0, 故在最優(yōu)曲線上，哈密頓函數(shù)恒為零而 ，線性齊次定常微分方程所以最優(yōu)控制=-sgn=-sgn=-sgn在此上討論正常情況下時(shí)間最優(yōu)控制問題，即可取-1和+1.隨著時(shí)間變化，在這兩個(gè)值上跳變，滿足=0的諸點(diǎn)恰好是

40、轉(zhuǎn)換點(diǎn)這是一種繼電器型控制，故有Bang-Bang控制之稱。例：設(shè)人造衛(wèi)星姿態(tài)控制系統(tǒng)方程為： 邊界條件為：，控制約束為性能指標(biāo)為 求最優(yōu)控制，使J最小。解：本例為二次積分模型的最小時(shí)間控制問題，顯然系統(tǒng)能控，故時(shí)間最優(yōu)控制必為Bang-Bang控制 -sgn= 伴隨方程： ， 為直線，有極大值原理可知，要使HHmin, 的可能形式有：圖在整個(gè)控制過程中，u(t)在-1+1最多只有一次轉(zhuǎn)換，因此最優(yōu)控制規(guī)律只有以下4種可能形式： 1, -1, +1,-1, +1,-1為確定究盡迭哪一種控制方式，要研究一下u取-1或1時(shí)，解時(shí)情況。若令=1， ， 在上述方程中清去t ，求的最優(yōu)曲線為由于，故 x

41、2(t)隨 t的增大而增大，顯然滿足終端狀態(tài)要求x1(tf)=x2(tf)=0的最優(yōu)曲線為。表示為：，若令=-1，相應(yīng)最優(yōu)曲線為：滿足終端狀態(tài)x(tf)=0的最優(yōu)曲線為，可表示為：曲線和在向平面上組合成曲線，稱為開關(guān)線，即=+ =可見曲線將向平面分割為R+和R-兩個(gè)區(qū)域R+=R-=當(dāng)初始狀態(tài)（x10，x20）為不同情況，分別論述如下：（1）若x0 在上，則在u(t)=-1作用下，不經(jīng)切換，可直接沿運(yùn)動(dòng)至x(tf)=0，此時(shí)最優(yōu)控制=-1，（2）若x0位于上，=1， （3）若x0位于R+區(qū)域C點(diǎn)則在u(t)作用下，沿u(t)=1的某一條拋物線轉(zhuǎn)移到E，然后改變控制為u(t)=-1，沿轉(zhuǎn)移到原點(diǎn)，

42、此時(shí)=+1，-1，控制作用在E點(diǎn)處產(chǎn)生一次切換。C點(diǎn)CEEOO (4)若x0位于R-區(qū)域D點(diǎn)，則在u(t)=-1作用下，沿u(t)=-1的某一條拋物線轉(zhuǎn)移到F點(diǎn)，然后在交點(diǎn)F處改變控制為u(t)= +1，沿轉(zhuǎn)移到原點(diǎn)，此時(shí)=-1，+1，控制作用在F點(diǎn)處產(chǎn)生一次切換。D點(diǎn)DFFOO，由此可見：不論初始狀態(tài)x0位于R+區(qū)域還是R-區(qū)域，將狀態(tài)有已知初始狀態(tài)向要求終端狀態(tài)x(tf)=0轉(zhuǎn)移時(shí)，都必須在曲線上改變控制的符號(hào)，產(chǎn)生控制切換，故稱曲線開關(guān)曲線。 初始狀態(tài)x0唯一決定了當(dāng)前應(yīng)采用的最優(yōu)控制；本例中； 若定義開關(guān)函數(shù)h()=則最優(yōu)控制可表示為 雙積分裝置的時(shí)間最優(yōu)控制框圖如右圖所示。計(jì)算系統(tǒng)狀

43、態(tài)轉(zhuǎn)移最短時(shí)間tf的基本方法：把狀態(tài)軌線按控制序列分成若干段，依次計(jì)算出每段所需時(shí)間，再求和。本例中 (1) 當(dāng)時(shí)，=1 當(dāng)時(shí)，=-1故當(dāng)時(shí),(2) 當(dāng)+時(shí)，即設(shè)初始點(diǎn)C到達(dá)曲線上點(diǎn)E的時(shí)間為，由于，因此有即：設(shè)由，到達(dá)原點(diǎn)所需時(shí)間為，則（3）同理，當(dāng)位于R-時(shí)，即應(yīng)當(dāng)指出，在本例求解過程中，只采用了“最優(yōu)控制必定使H極小”這一事實(shí)，以及形狀提供了信息，并未具體求解協(xié)態(tài)，因而不需要“沿最優(yōu)軌線H恒為零”這一條件。有些實(shí)際問題并不要求將終端狀態(tài)轉(zhuǎn)移到狀態(tài)空間原點(diǎn)，而是到某一集合。例：以上例為例，要求，使系統(tǒng)由與上例的主要差別在于目標(biāo)集不同，對(duì)于固定目標(biāo)集而言，目標(biāo)集改變只影響橫截條件，有極小值原

44、理，最優(yōu)解的必要條件為（1） 正則方程：狀態(tài)方程：,伴隨方程：（2） 邊界條件： （3） 極小值條件：（4） 沿最優(yōu)軌線 ：根據(jù)極小值條件，由于,故不會(huì)變，根據(jù)乘子v的符號(hào)，只能是+1或-1.當(dāng)時(shí)，初態(tài)位于右半向平面。若初相點(diǎn)位于之上如A點(diǎn)，則只有=-1才能將相點(diǎn)轉(zhuǎn)移到=0.若初相點(diǎn)位于之下，如B點(diǎn)，則=-1和=1，均可將相點(diǎn)轉(zhuǎn)移到軸，但最優(yōu)軌線對(duì)應(yīng)的才是最優(yōu)控制。因?yàn)椋?。必有故?yīng)取于是應(yīng)取=-sgn=-1， 同理當(dāng)時(shí)，必有=1 最優(yōu)軌線的形狀如右圖所示求解，當(dāng) 時(shí)，取=-1 由于時(shí)，= 當(dāng)時(shí)，=1 同理： 時(shí)間最優(yōu)控制問題也可應(yīng)用于一般的二階系統(tǒng)。若二階系統(tǒng)的特征值為實(shí)數(shù)，方法與上例類似，若

45、特征值為復(fù)數(shù)，則分析方法較為復(fù)雜。第四章動(dòng)態(tài)規(guī)劃動(dòng)態(tài)規(guī)劃是美國學(xué)者貝爾曼與1957年提出來的?，F(xiàn)已在許多技術(shù)領(lǐng)域中獲得了廣泛的應(yīng)用。動(dòng)態(tài)規(guī)劃是一種分段（步）最優(yōu)化方法。它可以用來求解函數(shù)極值問題，也可以用來求解約束條件下泛函極值問題，它與極大值原理一樣，是處理控制矢量被限制在一定閉集內(nèi)，求解最優(yōu)控制問題的有效數(shù)學(xué)方法之一。從本質(zhì)上講，動(dòng)態(tài)規(guī)劃是一種非線性規(guī)劃方法，其核心是貝爾曼最優(yōu)性原理。這個(gè)基本原理可結(jié)為一個(gè)基本遞推公式，它首先將一個(gè)多段（步）決策問題轉(zhuǎn)換為一系列單段（步）決策問題，然后從最后一段（步）狀態(tài)開始逆向推遞到初始狀態(tài)為止的一套求解最優(yōu)策略的完整方法。利用動(dòng)態(tài)規(guī)劃求解控制有約束（或

46、控制及狀態(tài)均有約束）的離散最優(yōu)控制問題特別方便，但也受到問題維數(shù)的限制。動(dòng)態(tài)規(guī)劃在控制理論上重要性表現(xiàn)為：1、 對(duì)于離散控制系統(tǒng)，可用于得到某些理論結(jié)果，從而建立起迭代計(jì)算程序。2、 對(duì)于連續(xù)控制系統(tǒng)，除了可以得到某些理論結(jié)果外，還可建立起變分法和極大值原理的聯(lián)系。4.1 多級(jí)決策問題及最優(yōu)性原理 動(dòng)態(tài)規(guī)劃是求解多級(jí)決策過程最優(yōu)的一種強(qiáng)有力的工具。所謂多級(jí)決策過程是指將一個(gè)過程按時(shí)間或空間順序分為若干級(jí)（步），然后給每一級(jí)，作出一個(gè)“決策”，以使整個(gè)過程取得最優(yōu)效果，即多次決策最終要構(gòu)成一個(gè)總的最優(yōu)控制策略（最優(yōu)控制方案）。多級(jí)決策過程示意如右圖所示，對(duì)于中間的任意一級(jí)，如第R+1級(jí)作出相應(yīng)的

47、“決策”（或控制）后，才能確定該級(jí)輸入狀態(tài)與輸出狀態(tài)之間的關(guān)系，即從變化到狀態(tài)轉(zhuǎn)移規(guī)律。顯然，如果選擇好每一段“決策”（或控制）（k=1，2N-1），則整個(gè)過程的狀態(tài)轉(zhuǎn)移規(guī)律，即從，也就完全確定了。注意：全部“決策”的總體稱為策略。當(dāng)然，如果對(duì)每一段的決策都是按照使某性能指標(biāo)為最優(yōu)的原則作出的，那么，這就是多級(jí)決策過程。顯然離散型最優(yōu)控制系統(tǒng)的動(dòng)態(tài)過程是一個(gè)多段最優(yōu)決策過程的典型例子。在多級(jí)決策過程中，每一段的輸出狀態(tài)（例如第k +1級(jí)）都僅于該級(jí)的“決策”（）及該級(jí)的輸入狀態(tài)（）有關(guān)，而與前面各級(jí)的“決策”及狀態(tài)的轉(zhuǎn)移規(guī)律無關(guān)，這種特有性質(zhì)，稱為“無后效應(yīng)”下面通過討論最短旅程問題，闡明多級(jí)

48、決策過程及動(dòng)態(tài)規(guī)劃的主要特點(diǎn)。最短路線問題，本例共有38條可能路線，共需加法152次，比較37次。窮舉法最后結(jié)果為， ，動(dòng)態(tài)規(guī)劃法：是一中逆序計(jì)算法，從末端開始到始端為止，逆向遞推。設(shè)N 為多級(jí)決策過程的級(jí)數(shù)。X為在任意級(jí)所處的位置，稱為狀態(tài)變量。為決策變量，表示狀態(tài)X以后所迭取的下一點(diǎn)，表示由狀態(tài)X到終點(diǎn)F的N級(jí)過程的最短距離表示點(diǎn)X到的距離。（1） N=5 （E級(jí)）=1 從F和F都只有一種可能，所以本例無決策=2（2） N=4 （D級(jí)） (3) N=3 （C 級(jí)） （4）N=2 （B 級(jí)） （5）N=1 (A級(jí))本決策是唯一的 在最后在圖中可順序確定最短路線為，=14只用了加法24次，比較14次。比窮舉法計(jì)算量大為減少，若n=10，則需4608次加法，511次加法。本例中，求解時(shí)采用遞推方法的一般形式為 及 N=4，3，2，1動(dòng)態(tài)規(guī)劃具有如下主要特點(diǎn)：1、 與窮舉法比較，動(dòng)態(tài)規(guī)劃可使計(jì)算量大大減少（本例中，10次運(yùn)算6次比較）如n=10，只需做t(n-2)+2=34次加法。2、 動(dòng)態(tài)規(guī)劃求解最優(yōu)路線的整體決策是從終點(diǎn)開始并采用逆推方法進(jìn)行的。3、 動(dòng)態(tài)規(guī)劃可以將一個(gè)復(fù)雜的多級(jí)決策過程分解為一系列易于求解的單級(jí)決策過程。4、 動(dòng)態(tài)規(guī)劃體現(xiàn)了多級(jí)最優(yōu)決策的一個(gè)重要規(guī)律最優(yōu)原理。它是動(dòng)態(tài)規(guī)