最優(yōu)控制理論講義

1、第一章 緒論1.1最優(yōu)控制問題靜態(tài)最優(yōu)化問題：輸入輸出代數(shù)方程動態(tài)最優(yōu)化問題：輸入輸出微分方程確定性最優(yōu)控制：系統(tǒng)參數(shù)確定，無隨機輸入隨機性最優(yōu)控制：系統(tǒng)參數(shù)確定，有隨機輸入 被控對象 CU(t)X(t)Y(t) 被控對象 CU(t)X(t)Y(t)W(t)V(t) 例：飛船的月球軟著陸問題mghxf推力 運動方程 初始條件 約束條件為 求1.2最優(yōu)控制的數(shù)學(xué)模型一 控制系統(tǒng)的數(shù)學(xué)模型(集中參數(shù)系統(tǒng))直接法建立：動力學(xué)、運動學(xué)的基本定律，即解析法.間接法建立：通過“辯識”的途徑確定系統(tǒng)的結(jié)構(gòu)與參數(shù). 其中 , 為n維狀態(tài)向量,為r維控制向量,為n維函數(shù)向量.二 目標集 通過使由到，其中為初始狀

2、態(tài)，并且通常為已知；為終端狀態(tài)，即控制所要求達到的目標。一般來說對終端狀態(tài)的要求可用如下的約束條件表示：.三 容許控制 具有不同的物理屬性，一般有，即在控制域內(nèi).凡在閉區(qū)間上有定義，且控制域內(nèi)取值的每一個控制函數(shù)均稱為容許控制。四 性能指標主要取決于問題所要解決的主要矛盾。表達式為： 其中是動態(tài)系統(tǒng)起始于，對應(yīng)于的狀態(tài)軌線。是此軌線在終端時刻的值。五 最優(yōu)控制的提法受控系統(tǒng)的狀態(tài)方程及給定的初態(tài)規(guī)定的目標集為求一容許控制，使指標函數(shù)為最小。如果問題有解，記為，則稱為最優(yōu)控制。相應(yīng)的曲線叫做最優(yōu)軌線。而性能指標則稱為最優(yōu)性能指標。1.3 最優(yōu)控制在實際問題應(yīng)用的幾個方程一 時間最優(yōu)控制二 線性調(diào)

3、節(jié)的問題使線性系統(tǒng)的狀態(tài)保持在平衡位置狀態(tài)的誤差最小，控制能量也最小。該問題為線性二次型問題。三 跟蹤問題系統(tǒng)的狀態(tài)跟蹤某一個確定的狀態(tài)四 最少燃料問題五 終端控制問題1.4最優(yōu)控制的發(fā)展第二章 變分法及其在最優(yōu)控制的應(yīng)用2.1變分法的基本概念一 泛函對于某一類函數(shù)集合中的每一個函數(shù)，均有一個確定的數(shù)與之對應(yīng)，那么就稱為依賴于函數(shù)的泛函，記作，或簡稱其中稱為泛函的宗量(自變量)。二 容許函數(shù)類(空間)滿足一定條件的一類函數(shù)稱為泛函的容許函數(shù)類(空間)。例：所有在區(qū)間上連續(xù)函數(shù)的全體是一函數(shù)空間，記。所有在區(qū)間上連續(xù)且一次可微函數(shù)的全體是一函數(shù)空間，記所有在區(qū)間上連續(xù)且二次可微函數(shù)的全體是一函數(shù)

4、空間，記三 泛函的極值最簡單的一類函數(shù) 對任何一條與接近的曲線上，有則稱在曲線上上達到極小值。接近定義兩個函數(shù)具有零階接近度：兩個函數(shù)具有一階接近度：，當為函數(shù)空間的一個點時，接近度可用點距來表示：零階距離 一階距離 k階距離 泛函的強相對極小對于容許函數(shù)的強領(lǐng)域總有，則稱泛函在函數(shù)上達到強相對極小。泛函的弱相對極小對于容許函數(shù)的弱領(lǐng)域總有，則稱泛函在函數(shù)上達到弱相對極小。顯然，強相對極小必為弱相對極小，反之不成立。4泛函的連續(xù)性泛函的連續(xù)性：對于任何一個正數(shù)，可以找到這樣一個當 時，就有那么，則稱泛函在點處是連續(xù)的。當時，稱為階連續(xù)。線性泛函連續(xù)泛函如果滿足以下兩個條件：其中是任意常數(shù)，則稱

5、為線性泛函。泛函的變分 若連續(xù)泛函的增量可以表示為其中是的線性連續(xù)泛函，是關(guān)于的高階無窮小，那么叫做泛函的變分，記為也稱為泛函的微分。引理2.1 泛函的變化定理2.1 若可微泛函在上達到極小(大)值，則在上有例 求泛函的變分。在上例中應(yīng)用了宗量變分的導(dǎo)數(shù)等于導(dǎo)數(shù)變分的性質(zhì)，即。2.2歐拉方程變分法上研究泛函極值的一種方法，為古典變分法。拉格朗日問題： 求一容許函數(shù)，使泛函取最小值。下面利用泛函達到極值的必要條件：，導(dǎo)出歐拉方程。引理： 設(shè)連續(xù)函數(shù) 對于任一具有下述性質(zhì)的函數(shù) 在上，連續(xù) 總有 則對于。定理：若最簡單的泛函；在曲線處達到極值，則必為歐拉方程的解。證明 因為泛函在處達到極值，所以有

6、其中而 代入得 由引理可得 還可寫成歐拉方程是二階常微分方程。兩個積分常數(shù)由兩個邊界條件確定。例 求泛函 滿足邊界條件的極值曲線。解 ， 歐拉方程為求得，由邊界條件可得。故得極值曲線為。含有多個未知函數(shù)的變分問題其中 有相似結(jié)論邊界條件為。2.3條件極值的變分問題問題： 求泛函 在約束條件求滿足邊界條件的極值。求解步驟：Step1:作系統(tǒng) 其中向量算子 Step2： 解歐拉方程其中 將歐拉方程與約束方程聯(lián)合求解，可得和，積分常數(shù)由邊界條件確定。2.4 在一點處的變分積分中值定理：連續(xù)，在上不變號且可積，則有滿足下面建立泛涵 在一點處的變分概念如下：設(shè)與都屬于，且其中這樣選取 ： （1） （2）

7、： 非零值 在的零域之內(nèi) 0 在的零域之外 且保持定號。并設(shè)二曲線與之間的小塊面積設(shè)計的泛函增量由二元函數(shù)泰勒中值定理可得： = 令小塊向點這樣地收縮（1）收縮到，即（2）曲線與的一階距離或 ，其中隨趨于零。稱為泛函在點上的變分，稱為點導(dǎo)數(shù)。多變量情況： 為泛函在點上的變分，其中，是的廣義坐標。2.5 哈米頓原理本節(jié)利用泛函的變分，推導(dǎo)力學(xué)中的一個基本變分原理-哈米頓原理。考慮由n個質(zhì)點組成的力學(xué)系：n個質(zhì)點的質(zhì)量分別為，以表示第個質(zhì)點的坐標。以 表示這個系統(tǒng)的動能，則以表示系統(tǒng)的勢能，則在第個質(zhì)點上，作用力的分量為 再令第個質(zhì)點上的慣性力的分量為 ： 達朗貝爾原則：如果點所受的作用力增添慣性

8、力，那么沿任何位移合成的微功等于零。若設(shè)則有，即記 ，則有 因為只依賴于，所以由于在曲線上任一點，沿著方向上的泛函的微商為：因為，所以泛函的微商為：有，此即哈米頓原理。在實際應(yīng)用中，如果力場是保守場，則存在位勢函數(shù)，使：2.5 單元小結(jié)變分的理解：(1) (2)第三章 極大值原理古典變分法的問題：1.控制變量u沒有約束條件，或只常有開集性的約束條件，而在最優(yōu)控制問題中，都經(jīng)常帶有閉集性的約束條件，如，此時變分法不適用。2.要求F和f都有足夠的可微性，特別是要求存在。這樣的性能指標就排除在外了，而實際問題經(jīng)常存在此情況，為克服上述困難，不少人作了許多努力，較成功的是龐特里雅金的最大值原理。3-1

9、自由末端的極大值原理考慮定常的末值型性能指標、末態(tài)自由的控制問題。定理3.1設(shè)是一容許控制，指定末值型性能指標泛函為是定常系統(tǒng)，相應(yīng)于的軌線。為未知的末端時刻。設(shè)和是使性能指標最小的最優(yōu)解，為相應(yīng)的最優(yōu)軌線，則必存在非零的n維向量函數(shù)，使得:(1) 是方程 滿足邊界條件(2) 的解。其中，哈密頓函數(shù)為 則有(3) ， (4) 當自由時 當固定時說明:1.容許控制條件的放寬 沒有要求存在2.H取全局最小值，而t是變分法中的極值3.最優(yōu)控制使哈密頓函數(shù)H取最小值“極小值原理”。證明過程中， 均稱“極大值原理”。以下沿用“極大值原理”的習(xí)慣叫法，實質(zhì)上采用的是“極小值原理”。4.定理3.1中的條件(

10、1)、(2)稱為協(xié)態(tài)方程（共軛方程）的橫截條件。先根據(jù)(3)、(4)作出及，然后求解5.只給出必要條件實際問題的解是否存在，如存在極大值原理的解又只有一個，則可以說，此解就是最優(yōu)控制。3.2極大值原理的證明假設(shè)：(1)函數(shù)和都是連續(xù)函數(shù)；(2)函數(shù)和對是連續(xù)可微（并不要求對U可微）；(3)對任意、，有一常數(shù)a使1.泛函J的增量令固定 (3.2-1)2.的表達式 (3.2-2)令為線性方程 (3.2-3)的狀態(tài)轉(zhuǎn)移矩陣，則有 (3.2-4)因為=0，故方程(3.2-2)的解為= (3.2-5)當時，有= (3.2-6)式(3.2-6)代入式(3.2-1)=+ (3.2-7)3.對的估計由前式可知

11、 可得出 = +由假設(shè)，存在0，0,其中， =可得出 (3.2-8)引理3.1 引理3.2 分段連續(xù)，且，若,且，則有 ,由引理3.1 有引理3.2 (3.2-9)下面對進行限定 ut針狀變分:l0的某一確定數(shù)；0是一個充分小的數(shù) ；任意 =對作變分可得=于是(3.2-9)可變?yōu)?= (3.2-10)上式表明與視同階小量。如果控制泛函增量為，則 = + (3.2-11)式(3.2-11)后三項都是的高階小量，故有= + (3.2-12)令 (3.2-13)則必須滿足狀態(tài)方程 的共軛方程 (3.2-14) (3.2-15)其中 可得 =+ (3.2-16)4.極值條件的推證因為為最優(yōu)控制，即使J

12、為最小值，故有= (3.2-17)根據(jù)中值定理及H的連續(xù)性，有=l (3.2-18)其中，。由(3.2-17)和(3.2-18)得l+當0時，有 (3.2-19)或 (3.2-20) 考慮到，的任意性，故有 (3.2-21)5.的考慮以上假設(shè)固定，令=，=，為任意實數(shù). xt 由式(3.2-1)=+=+可得出=+=+ (3.2-22)考慮到的任意性（可正可負）=0 (3.2-23)式(3.2-22)變?yōu)?=+ (3.2-24)與1-4一樣，同樣可得式(3.2-21)另外還可以證明 (3.2-25)3-3 極大值原理的幾種具體形式一 非定常情況f、s等顯含時間t或定理3.2 設(shè)，指定末值性能指標

13、泛函為是非定常系統(tǒng)， 未知對應(yīng)于的軌線。則當和為使性能指標取最小值的最優(yōu)解，是對應(yīng)的最優(yōu)軌線，必有在n維向量函數(shù)，使，和滿足如下條件（為簡單計，在不致引起混淆的地方“*”號常省略）：()，滿足規(guī)范方程()在狀態(tài)軌線的末端滿足橫截條件，即()作為的函數(shù)，在時取絕對值最小，即，或，()在最優(yōu)軌線的末端滿足()沿最優(yōu)軌線滿足證明：引入一新的輔助變量， ，記 ，原非定常問題可轉(zhuǎn)化為如下定常問題：令則上述定常問題的哈密頓函數(shù)為:其中， 由定理3.1中條件(1)得從而得 (3.2-1) (*)顯然有 (3.2-3)從而證明了條件()。由定理3.1中條件(2) 可得 從而得 = (3.3-3) (3.3-4

14、)從而證明了條件()。由定理3.1中的極小值條件，有即 = 可得 = (3.3-5)從而證明了條件()。再由定理3.1中的條件(4)的第一式，可得0考慮到式(3.3-4)，故得 (3.3-6)證明條件()。再由條件(4)第二式 即 (3.3-7)將式(*)積分可得式(3.3-7)可化為 證明條件()。結(jié)論：比較定理3.與定理3.，非定常性并沒有改變極大值原理中規(guī)范方程、橫截條件及極值條件；不同之處在于在最優(yōu)軌線末端值不同；沿最優(yōu)軌線值不同。定常情況為常數(shù)，非定常系統(tǒng)不是常數(shù)。條件不是最優(yōu)控制的最優(yōu)條件，才是必要條件。二 積分型性能指標定理3.3設(shè)是一容許控制，指定積分型性能指標泛函為是定常系統(tǒng)

15、 ，未定對應(yīng)于的軌線。則當和為使性能指標取最小值的最優(yōu)解，是對應(yīng)的最優(yōu)軌線。必存在n維向量函數(shù)，使、和滿足如下條件：() 、滿足規(guī)范方程，其中， ()在最優(yōu)軌線末端滿足橫截條件，即 亦稱為自然邊界條件。()作為的函數(shù)，在時取絕對極小，即()在最優(yōu)軌線的末端應(yīng)滿足 ，未定；，固定。證明： 引入一輔助變量，使?jié)M足，記 ，令原積分型性能指標化為如下定常末值型性能指標問題：令定義 由定理3.1 即 (3.3-8) (3.3-9)由定理3.1中條件2/的橫截條件可得 即 由此可得 (3.3-10) (3.3-11)條件/得證。由式(3.3-8)及(3.3-10)可得 (3.3-12)相應(yīng)的哈密頓函數(shù)為

16、(3.3-13)證明了條件/。由定理3.1極值條件 (3.3-14) (3.3-15)證明了條件/。由式(3.3-13)及定理3.1條件4/，即可得條件/。定理3.3得證。從定理3.3中可以看出，積分型性能指標改變了H，與末值型的H不同，若可得 與積分型的一樣，不同點 3-4 約束條件的處理末態(tài)約束問題設(shè)末態(tài)受如下等式和不等式約束 (3.4-1) (3.4-2)其中，若性能指標中含有末值項時，,否則，維數(shù)q不受限制。和對其自變量都是連續(xù)可微的。定理3.4 設(shè)是一容許控制，指定末值型性能指標泛函為是定常系統(tǒng) ，對應(yīng)于的軌線。是狀態(tài)軌線與目標集 首次相遇的末態(tài)時刻。則當和為使性能指標泛函最小的最優(yōu)

17、解，是對應(yīng)的最優(yōu)軌線。必存在不同時為零的常向量u、v及n維向量函數(shù)，使得，和滿足下列必要條件。()，是規(guī)范方程的解，其中， () 在最優(yōu)軌線的末端協(xié)態(tài)變量橫截于目標集，即其中，并且，末態(tài)要落在目標集上，即滿足 () H作為的函數(shù)，在時取絕對極小，即() 在最優(yōu)軌線的末端H應(yīng)滿足，未定；，固定。非定常情況。定理3.5 設(shè)是一容許控制，指定末值型性能指標泛函為 是非定常系統(tǒng) ，對應(yīng)于的軌線。是狀態(tài)軌線與運動目標集 首次相遇的末態(tài)時刻。則當和為使性能指標泛函最小的最優(yōu)解，是對應(yīng)的最優(yōu)軌線。必存在不同時為零的常向量u、v及n維向量函數(shù)，使得，和滿足下列必要條件：() ，是規(guī)范方程 的解，其中， ()在

18、最優(yōu)軌線的末端協(xié)態(tài)變量橫截于目標集，即其中，并且，末態(tài)要落在目標集上，即滿足 () H作為的函數(shù)，在時取絕對極小，即() 在最優(yōu)軌線的末端H應(yīng)滿足() 沿最優(yōu)軌線H滿足二 有積分限制的問題定理3.6 設(shè)是一容許控制，指定積分型性能指標泛函為是定常系統(tǒng) ，對應(yīng)于的軌線。是未知的當和為使性能指標泛函最小的最優(yōu)解，且滿足積分型約束是相應(yīng)的最優(yōu)軌線，則必存在不同時為零的常向量、及n維向量函數(shù)，使得，和滿足：() ，是規(guī)范方程 的解，其中，常向量應(yīng)滿足 ，() 在最優(yōu)軌線的末端協(xié)態(tài)變量滿足自然邊界條件 =0并且滿足積分約束() 沿最優(yōu)軌線當時，H取最小值() 在最優(yōu)軌線的末端H應(yīng)滿足，未定； ，固定。3

19、.5 有限推力火箭的最大射程控制P144 自學(xué)例：設(shè)給定的系統(tǒng)為邊界條件 求最優(yōu)控制、及最優(yōu)軌線、，使 取極小值。解：一種重要的特殊情況：終態(tài)固定時，自由； 固定時，自由； 自由時，固定。應(yīng)用定理3.3可得 a,為待定系數(shù)和無約束 代入方程可得 代入邊界條件 即 J=1.752. 無約束對來說，H的最小值發(fā)生在處，而a未知，由1知，依此推斷，H的最小值應(yīng)發(fā)生在處。因此，取無約束，仍取 代入方程得 由邊界條件由于 ，故取是正確的。 J=第四章 時間、燃料最優(yōu)4.1 BangBang控制原理問題4.1 移動目標集的時間最優(yōu)問題已知受控系統(tǒng)的狀態(tài)方程為 （4.1-1）f ，B對x ，t連續(xù)可微，尋找

20、滿足下列不等式約束的r維容許控制向量 j=1,2，r （4.1-2）使系統(tǒng)（4.1-1）從已知初態(tài) （4.1-3）出發(fā)，在某一個末態(tài)時刻，首次達到目標集 （4.1-4）g是p維向量函數(shù)，g對X，T 連續(xù)可微，同時使 （4.1-5）一般表達式為 對于（4.1-5），S=0，L=1 ，也可取S=T-t0, L=0, 由極大值原理得必要條件相同。 問題4.1的哈密頓函數(shù) （4.1-6） 規(guī)范方程、邊界及橫截條件 （4.1-7） （4.1-8） （4.1-9） （4.1-10） 極值條件等價于 （4.1-11） 在最有軌線的末端H滿足： （4.1-12）分析，令 （4.1-13） 或 j=1,2,，r

21、 （4.1-14）其中bj是矩陣B的第j 個列向量。由（4.1-11）表明，當時，標量函數(shù) 達到絕對極小。所以，可從以下條件 j=1,2,，r （4.1-15）出發(fā)，確定最優(yōu)控制)。約束條件（4.1-2）表明，各控制的分量相互獨立，故可交換（4.1-14）中求最小和求和的次序，于是（4.1-14）可以化為 （4.1-16）顯然有： （4.1-17）其中最優(yōu)控制)乃是的如下函數(shù)： （4.1-18）或者利用符號函數(shù)，將函數(shù)（4.1-17）寫成： j=1,2,，r （4.1-19）定義4.1 若在區(qū)間內(nèi)，存在時間的可數(shù)集合，即：使得對所有的j=1,2,，r均有則稱時間最優(yōu)問題是正常的。圖4.1定義4

22、.2 若在區(qū)間內(nèi)，存在一個或多個子區(qū)間， 使得對所有 有： ，則稱所論時間最優(yōu)控制問題是奇異的，區(qū)間為奇異區(qū)間。下面我們主要討論正常問題。定理4.1 BangBang控制原理設(shè)是問題4.1的時間最優(yōu)控制，和是相應(yīng)的狀態(tài)和協(xié)態(tài)，若問題是正常的，則對幾乎所有（除去有限個開關(guān)時間），成立：或即時間最優(yōu)控制的各個分量都是時間t 的分段常值函數(shù)，并在開關(guān)時間上發(fā)生由一個恒值到另一個恒值的跳變。4.2 線性時不變系統(tǒng)的時間最優(yōu)控制器問題4.2 已知線性時不變系統(tǒng) （4.2-1）是完全能控的。求滿足下列不等式約束的r維容許控制向量u(t) （4.2-2）使系統(tǒng)從已知初態(tài) （4.2-3）出發(fā)轉(zhuǎn)移到狀態(tài)空間原點

23、的時間最短。根據(jù)最大值原理，問題4.2最優(yōu)控制的必要條件如下：式中 或 式中是矩陣B的第j列向量。定理4.2 當且僅當r個矩陣中至少有一個奇異矩陣時，則問題4.2是奇異的。定理4.3 當且僅當r個矩陣全部是非奇異矩陣，時間最優(yōu)控制問題4.2才是正常的。定理4.4 若受控系統(tǒng)（4.2-11）是正常的，且時間最大控制存在，則最優(yōu)控制必定唯一。定理4.5 設(shè)線性時不變系統(tǒng)是正常的，若矩陣A的特征值均為實數(shù)，假定時間最優(yōu)控制存在，并另，j=1，2，r，表示的諸分量。用表示分段常值函數(shù)的開關(guān)時間，則的最大值至多是n-1，即切換次數(shù)最多不超過n-1次。定理4.6 對于問題4.2，若A的特征值均具有非正的實

24、部，那么從任意初態(tài)轉(zhuǎn)移到坐標原點的時間最優(yōu)控制存在。4.3雙積分模型的時間最優(yōu)控制 （4.3-1）令 （4.3-2）問題4.3 已知受控系統(tǒng)的狀態(tài)方程為（4.3-2），求一滿足如下約束條件的容許控制 （4.3-3）使系統(tǒng)（4.3-2）的任意初態(tài)轉(zhuǎn)移到狀態(tài)空間原點 的時間為最短。問題4.3 屬于線性定常系統(tǒng)最優(yōu)調(diào)節(jié)器問題。由定理4.3由定理4.6由定理4.4由定理4.5根據(jù)最大值原理，問題4.3最優(yōu)解的必要條件為： （4.3-4） （4.3-5） （4.3-6） （4.3-7） （4.3-8） （4.3-9）哈密頓函數(shù)H為 （4.3-10）求解（4.3-4）3 的變化規(guī)律 ， 故有以下四種情況圖

25、4.2圖4.3 相軌跡圖圖4.4狀態(tài)軌跡1消去t,相軌跡為：2消去t,相軌跡為：終端 （開關(guān)線，切換線）定義 R平面：r域以下的平面（包括r線）R平面：r域以下的平面（包括r線）最優(yōu)控制規(guī)律工程實現(xiàn)：令 最優(yōu)控制框圖+RVRVRVRuVR+圖4.5 雙積分模型最速控制的工程實現(xiàn)沿最優(yōu)軌線運動到原點的時間 由上式可知，用相同的最小轉(zhuǎn)移時間到達坐標原點的狀態(tài)不是一點，而是一個集合。將上式下標略去可得該集合的表達式：問題4.4 已知受控系統(tǒng)（4.3-2）及規(guī)定的目標集求一個滿足約束條件的容許控制，使系統(tǒng)（4.3-2）最短時間內(nèi)任意初態(tài)到達目標集。問題4.4的目標集可寫成如下等式的約束形式，此時，橫截

26、條件為： （4.3-11）與問題4.3不同之處，式（4.3-7）由（4.3-11）來代替。來提求解式（4.3-5）可知故，只能為+1或-1，中間不會發(fā)生切換。相平面的x軸就是目標集，由相平面圖可知，最優(yōu)控制為： 圖4.6 到達目標集的各種最優(yōu)軌跡問題4.5 已知受控系統(tǒng)的目標集 （4.3-12）求一個滿足約束條件的容許控制，使系統(tǒng)（4.3-2）最短時間由任意初態(tài)到達目標集。將目標集表示成如下末態(tài)約束形式 （4.3-13）橫截條件 （4.3-14）其中 （4.3-15）圖4.7 目標集為時，相平面區(qū)域劃分和最優(yōu)軌線除去兩個邊界點（-a,0）,（a,0），外，目標集的其余部分是一開集，可用表示。如

27、果最優(yōu)軌線的末端落在上，約束（4.1-13）取嚴格不等式，則由（4.3-15）N=0，此時與問題4.4有相同結(jié)論。凡初態(tài)在范圍內(nèi)，凡初態(tài)在范圍內(nèi)，可轉(zhuǎn)移到。若點（-a,0）或（a,0）為最優(yōu)軌線的末端落時，（4.3-13）取等號，與問題4.3一樣，易見最優(yōu)控制律為： 4.4 簡諧振蕩型受控系統(tǒng)的最速控制特征值為實數(shù)的其他二階系統(tǒng)，其最優(yōu)控制的分析與綜合，與上節(jié)相似，以下研究特征值為復(fù)數(shù)情況。問題4.6 已知受控系統(tǒng)為 （4.4-1）求一滿足如下約束條件的容許控制 （4.4-2）使系統(tǒng)（4.4-1）的任意初態(tài)X0，轉(zhuǎn)移到原點的時間最小。（4.4-1）的特征值為，。1 哈密頓函數(shù)H 2 其中是和有

28、關(guān)的常數(shù)。3 最優(yōu)控制圖4.8 及曲線特點：1）BangBang控制 2）多次切換，沒有上界 3）每次切換時間是（首尾除外，小于等于），周期4 最優(yōu)軌線構(gòu)成了兩族同心圓。圖4.9 的軌線半徑由初態(tài)X0決定，相點沿圓周等速運動，轉(zhuǎn)一周的時間為只有和兩個圓通過原點最后一次開關(guān)線圖4.10推廣到一般情況為：圖4.11 開關(guān)曲線5 工程實現(xiàn)。4.5燃料最優(yōu)控制一 二階積分模型的燃料最優(yōu)控制問題4.3 已知雙積分受控系統(tǒng) （4.5-1）求一滿足如下約束條件的容許控制u(t ) （4.5-2）使系統(tǒng)（4.5-1）的任意初態(tài)轉(zhuǎn)移到狀態(tài)空間原點（0，0），且使性能指標達到， 假設(shè)T未定。1 哈密頓函數(shù)H為：使

29、 取最小值u應(yīng)該滿足 （4.5-3）正常情況，在時間區(qū)間內(nèi)，只有有限個點 三位控制，開關(guān)控制。奇異情況，在時間區(qū)間內(nèi)，至少存在一段時間，滿足2 協(xié)態(tài)方程3 最優(yōu)控制1）當，為滿足H=0，應(yīng)有，這是一種奇異情況。此時， （4.5-4）， ，為不恒等于零的非負過程連續(xù)函數(shù)。2），為線性函數(shù)，最多有兩點滿足，屬于正常情況。九種控制序列：，以u=0 結(jié)尾的三種控制序列不可能是最優(yōu)控制，剩六種： （4.5-5） 1），2）給出了兩種可能的最優(yōu)控制。4 相軌跡，是在u=1，u=-1作用下能夠到達坐標原點的兩條軌線圖4.12 曲線及坐標軸將相平面分成以下四個區(qū)域初態(tài)位于上，u=+1是唯一的燃料最優(yōu)控制因為此

30、時（4.5-5）中只有能使系統(tǒng)的狀態(tài)軌跡達到坐標原點，滿足末態(tài)條件，若采用（4.5-4），即奇異情況，有 （4.5-6）一般情況（4.5-6）不通過原點，因而不是最優(yōu)軌跡，同理，初態(tài)位于上，u=-1是唯一燃料最優(yōu)控制。初態(tài)位于、內(nèi)設(shè)，則（4.5-5）只有兩種可能為最優(yōu)控制。求出燃料消耗量的下限。對（4.5-1）積分即： （4.5-7）J的下限為，對應(yīng)軌線是弧ABO。同理可以得出：即：是滿足必要條件且消耗燃料最少的最優(yōu)控制。圖4.13考慮（4.5-4）若，代入（4.5-1） （4.5-8） （4.5-9）由于T自由，故可以找出許多非負分段連續(xù)函數(shù)，使之適合式（4.5-8）和式（4.5-9）。滿足

31、上式條件的，既能使系統(tǒng)轉(zhuǎn)移到原點由（4.5-1）代入邊界條件（4.5-8，9） 燃料又能消耗最少見（4.5-8）結(jié)論：，最優(yōu)控制有無窮多解，T各不相同，所需要時間T最少。 圖4.14包絡(luò)的面積。當也有類似的結(jié)論。初態(tài)位于、內(nèi)設(shè)，燃料最優(yōu)控制如果存在，必有，對于式（4.5-5）只有能將系統(tǒng)轉(zhuǎn)移到原點。圖4.15不是燃料最優(yōu)控制。還可以驗證（4.5-4）（4.5-5）任何控制，皆不是最優(yōu)控制。結(jié)論：初態(tài)位于、內(nèi)，燃料最優(yōu)控制無解。綜上所述，問題4.7的燃料最優(yōu)控制為： 若，則不存在最優(yōu)控制。二 線性定常系統(tǒng)燃料最優(yōu)的一般情況問題4.8 已知線性定常系統(tǒng) （4.5-10）其容許控制為 （4.5-11

32、）求使系統(tǒng)（4.5-10）的任意狀態(tài)X(0)=X0,轉(zhuǎn)移到目標集： （4.5-12）且使性能指標 （4.5-13）為最小的，其中T為未知的。4.6 時間燃料最優(yōu)控制上節(jié)問題往往導(dǎo)致控制過程過長（如燃料最優(yōu)控制），或出現(xiàn)奇異情況，以致得出無窮多解。加上時間項可以改善。問題4.9 已知受控系統(tǒng) （4.6-1）求一滿足如下約束條件的容許控制u(t ) （4.6-2）使系統(tǒng)得任意初態(tài)X0轉(zhuǎn)移到坐標原點X=（0，0） ，且使性能指標 （4.6-3）T未定， 為加權(quán)系數(shù)。1 哈密頓函數(shù) （4.6-4）與上節(jié)相同， （4.6-5）2協(xié)態(tài)方程 H不顯含t,T 自由TH=0若假定出現(xiàn)奇異情況，則必有由（4.6-

33、5）代入（4.6-4）與條件矛盾。因此，問題4.9不可能出現(xiàn)奇異情況，最優(yōu)控制必是三位控制。與上節(jié)分析類似，有如下控制序列是可能的最優(yōu)控制。用相平面法分析序列的開關(guān)曲線問題。此時，與的關(guān)系，及狀態(tài)軌線如下圖： 圖4.16圖4.17由上節(jié)討論知，系統(tǒng)一段必與重合，即：為第二次轉(zhuǎn)換的開關(guān)曲線，下面確定由0到1的轉(zhuǎn)換條件。第二段中，由（4.6-1） （4.6-6）另有 （4.6-7）由（4.6-4）條件，當時應(yīng)有 即： （4.6-8）將（4.6-7）（4.6-8）代入（4.6-6）得 （4.6-9）已知 即： （4.6-10）由（4.6-10）可見，第一個開關(guān)點只形成一條曲線，改為（表示由1到0的開

34、關(guān)線），易知也是一條通過原點的拋物線。即：或：對于控制序列，同理可得這樣，兩類開關(guān)線將平面分成4個區(qū)域，圖4.18綜上所述，問題4.9的時間燃料最優(yōu)控制規(guī)律 討論：當時，與重合時間最優(yōu)控制 當 時，與重合燃料最優(yōu)控制第五章 動態(tài)規(guī)劃5.1多階段決策問題例：最優(yōu)路線問題 始點為A點，終點為E點，求最優(yōu)路線，即AE時間最短窮舉法計算所有的路線： 共有 需做加法如有N段 則加法次數(shù)動態(tài)規(guī)劃從末端E點開始逐段向前推算第四段 D1E 代價 J=4 D2E J=3第三段 第二段 第一段 （需次加法，需10次加法。，共有段，需4次加法，2.前后一段需2次加法（實現(xiàn)第一段）第一段不計算（第一次） 優(yōu)點：減少計

35、算量，如，則1方法需4608次加法，2方法則需34次。 豐富計算結(jié)果。 考慮到局部（單級，2考慮全局最優(yōu)。不變嵌入原理：把原來的多級最優(yōu)問題轉(zhuǎn)化為一系列單級決策過程的問題）5.2 最優(yōu)性原理與遞推方程定義起始段為0級（即第一段）第二段為第一級，余此類推，如圖。最優(yōu)性原理：一個多級決策問題的最優(yōu)決策具有選擇的性質(zhì)，不管狀態(tài)和初始決策如何，其余的決策對于由初始決策所形成的狀態(tài)來說，必定是一個最優(yōu)策略。問題5.1 考查代價函數(shù)（或性能指標） （5.2-1） 其中過程的起始狀態(tài) x(0)=x0 (5.2-2)給定。過程的動態(tài)方程為 （5.2-3）求容許決策（或控制）序列u(0),u(1),u(N)k=

36、0,1,N使代價函數(shù)（5.2-1）為最小。由（5.2-1）可知，代價函數(shù)J不僅是控制u的函數(shù)，也是初始狀態(tài)x(0)的函數(shù)，代價函數(shù)可表示為J=Jx(0),u始自任意狀態(tài)x(k)的代價函數(shù)可記為其中u=u(k),u(k+1),u(N)最優(yōu)代價 為最優(yōu)策略對于給定問題，當x(k)固定時，是確定的最優(yōu)代價僅是起始狀態(tài)的函數(shù)。下面求解問題5.1：應(yīng)用不變嵌入原理其中，x(k)認為是固定,因為可以看成始自k時刻的初態(tài)。，j=k,k+1,j=N-1. 只取決于u(k)，而與u(j),j=k+1,k+2,N,沒有關(guān)系.x(k+1)固定時，卻決于x(k+1),x(N)與u(k)不直接相關(guān)。但u(k)通過（5.

37、2-3）影響x(k+1). 故 遞推方程 (對其他形式的J同理可推)例1： 與問題5.1有兩點不同：沒給初始條件，改用了取決于初態(tài)的始端代價 以末端代價x(N)代替 最后一級決策u(N)不影響末端代價，可設(shè) 例2： x,u無約束。試寫出遞推過程，并求出顯式解。 遞推方程：同理可求 對給定的x(0),如x(0)=1結(jié)論：動態(tài)規(guī)劃解題需兩次搜索。逆向進行：即利用遞推公式由。正向進行：即利用動態(tài)方程求最優(yōu)決策序列及最優(yōu)軌線。5.3線性離散系統(tǒng)、二次型性能指標的最優(yōu)控制動態(tài)規(guī)劃的具體應(yīng)用問題5.2 已知線性離散系統(tǒng) (其中F，G為k的函數(shù)陣) （5.3-1）指定二次型代價函數(shù)或性能指標 (5.3-2)

38、 其中k=0,1,N-1, Q0,Q1為非負定對稱矩陣，Q2為正定對稱矩陣，u(k)無約束。 尋求一組控制序列，使(5.3-2)為最小。 計算最后一級的最優(yōu)控制定義： 則有 遞推公式仿照，可得倒數(shù)第二，三級的最優(yōu)控制用數(shù)學(xué)歸納法可證。討論： 最優(yōu)控制是狀態(tài)變量的線性反饋（負反饋） L(k)只取決于與初始狀態(tài)無關(guān)。因此，可先離線計算。 （*）常稱為離散Riccati（黎卡提）方程。例 已知系統(tǒng)為求u(0),u(1),u(2),使性能指標 為最小解：由例可知，盡管系統(tǒng)是定常的，各加取加權(quán)也是定常的，即f, e，c為常數(shù)，但反饋增益L(k)還是隨k變化的。對于定常線性系統(tǒng)和二次型性能指標其中為非負定

39、對稱陣，為正定對稱陣可以證明，如果（F，G）是完全能控的，S（k）收斂于一常數(shù)矩陣S。此時5.4連續(xù)動態(tài)規(guī)劃、哈密頓-雅可比方程問題5.3 求一控制使連續(xù)方程 (5.4-1)由已知初態(tài)出發(fā)，導(dǎo)致代價函數(shù)（或性能指標） （5.4-2）為最小。離散化，時間間隔為h,足夠小其中根據(jù)基本的遞推公式，始自時刻t和狀態(tài)x(t)的最優(yōu)代價為應(yīng)為假定最優(yōu)代價對其自變量項有連續(xù)的一階、二階偏導(dǎo)數(shù) (5.4-6)將（5.4-3）,(5.4-6)代入(5.4-5)整理得 另有與u(t)無關(guān)，故有兩端除h，且h0有 （5.4-7）一般說 (5.4-8)代入（5.4-7）得 (5.4-9) (5.4-9)哈密頓-雅可比

40、方程。另知 （5.4-10） 為H-J方程的邊界條件(5.4-9)和（5.4-10）是問題5.3最優(yōu)控制與最優(yōu)代價的充分條件。H函數(shù) （5.4-11） 令其中 （5.4-12） 則方程（5.4-7）可改寫為 （5.4-13）其中 （5.4-14）求解步驟：Step1. 選 求極小值 ,對u無約束，求 u有約束，求MinH Step2. 解H-J方程(5.4-9),邊界條件（5.4-10） Step3. 將代入, 是的函數(shù)Step4. 將代入狀態(tài)方程(5.4-1)，Step5 將代到中，得已知方程線性定常系統(tǒng) 求一控制u(x(t),使 Q為非負定對稱常數(shù)矩陣，是一正數(shù)。 H函數(shù) H的最小值代入H

41、中，因受控是定常的，Q，是常數(shù)陣及常數(shù)，切積分時間為無窮大。故知只依賴于初態(tài)，與t無關(guān) H-J方程為 令上式解為 代入上式 對于非零x, 矩陣P應(yīng)滿足如下Riccati矩陣代數(shù)方程易證即P為對稱矩陣，因此，上面方程寫成 由Riccati矩陣代數(shù)方程解得P，則最優(yōu)控制為 考查一個雙積分模型的最速控制問題：選擇滿足的控制，使性能指標為最小。對于這樣一個既使比較簡單的問題，整個問題不能用H-J方程求解。原因： 回顧用極大值原理解此題的一些結(jié)果開關(guān)曲線：最優(yōu)控制最短轉(zhuǎn)移時間 由上式可知，最短時間(即)是初始狀態(tài)的連續(xù)函數(shù)，但不是處處可微的。如 的直線為初始點集，與的關(guān)系為可見是的連續(xù)函數(shù)，但在時，發(fā)生

42、跳變。說明不滿足的可微性條件，因此不能用H-J方程求解。如果考查的點集都在的右邊，即滿足 則是的連續(xù)可微函數(shù)，可解（用H-J方程） 此時有 （代入）H-J方程為 由前面可求 結(jié)論： 工程很多最優(yōu)問題并 不滿足的可解性條件。有很大的局限性。第六章 線性二次型最優(yōu)控制調(diào)節(jié)器6.1概述前面一些概述自學(xué)問題6.1 設(shè)線性時變系統(tǒng)為 (6.1-1)n維狀態(tài)向量；r維控制向量；m維輸出向量。為相應(yīng)維中心矩陣。假定 ,不受約束。定義誤差向量，即 尋找最優(yōu)控制使如下二次型性能指標為最小。 (6.1-2)其中： F相應(yīng)維的非負定對稱常數(shù)陣。 相應(yīng)維的非負定時變矩陣。 相應(yīng)維的正定對稱時變矩陣。 T終端時間，固定

43、的。本章假定：假定6.1-1 的元是t的連續(xù)可微函數(shù)，并且所有矩陣函數(shù)及都是有界的。若令則問題6.1的一種特例。 即狀態(tài)調(diào)節(jié)器問題非常重要，現(xiàn)定義如下：問題6.2 設(shè)線性時變系統(tǒng)及其初始條件為： (6.1-3) n維狀態(tài)向量 為相應(yīng)維中心矩陣，不受約束， r維控制向量。尋找最優(yōu)控制，使如下二次型性能指標函數(shù)為最小。 (6.1-4) 問題6.2要求末態(tài)時刻趨于零狀態(tài)調(diào)節(jié)器問題。6.2有限時間狀態(tài)調(diào)節(jié)器問題6.2的目標 要求使為最小的最優(yōu)控制以及最優(yōu)性能指標為解決此問題，給出如下結(jié)果。一 如果存在，則必為的形式，即為一對對稱陣 為二次型的充分必要條件是： 其中為任意實數(shù) (6.2-1) (6.2-2)證明： 必要性顯然成立。 充分性： 條件 最優(yōu)控制性質(zhì) 由(6.1-4)顯然，條件得證。條件 令狀態(tài)方程變量也做相應(yīng)的變化由條件 (6