最優(yōu)控制的基本理論及應用

第6章最優(yōu)控制的基本理論及應用6.1

引言6.2

最優(yōu)控制問題的提出及數(shù)學描述6.3

變分法6.4

極小值原理6.5

動態(tài)規(guī)劃法6.6二次型最優(yōu)調(diào)節(jié)器6.7

最小時間控制6.8

應用MATLAB解二次型最優(yōu)控制問題

6.1引言

最優(yōu)控制理論是現(xiàn)代控制理論的核心。

數(shù)學觀點：最優(yōu)控制研究的問題是求解一類帶有約束條件的泛函極值問題,本質(zhì)上是一個變分學問題。經(jīng)典變分理論：容許控制屬于開集實際上：容許控制為閉集的更多。

針對經(jīng)典變分法的局限性美國學者貝爾曼在1953～1957年間創(chuàng)立了“動態(tài)規(guī)劃”,解決了控制有閉集約束的變分問題;前蘇聯(lián)學者龐特里亞金等則在1956～1958年間創(chuàng)立了極小值原理,也發(fā)展了經(jīng)典變分原理,成為處理控制有閉集約束的變分問題的強有力工具。

本章在介紹解決最優(yōu)控制問題3種基本方法(變分法、極小值原理和動態(tài)規(guī)劃)的基礎(chǔ)上，闡述兩類典型最優(yōu)反饋系統(tǒng)的設(shè)計,即線性二次型最優(yōu)控制和最小時間控制。

6.2最優(yōu)控制問題的提出及數(shù)學描述

6.2.1最優(yōu)控制問題實例

1.最速升降問題

設(shè)有一物體M，假定在M內(nèi)部裝有一個控制器，它可以產(chǎn)生一個作用力u(t)，其中k是常數(shù)。設(shè)已知M在時，離地面的高度為，圖6-1最速升降問題示意圖

問題是尋找作用力u(t)的變化規(guī)律，使M最快到達地面，并使其到達地面時的速度為零。垂直運動的速度為，令物體M的質(zhì)量為m，用x(t)表示M離地面的高度，其方向規(guī)定為地面上x(t)為正，令表示物體的高度，表示物體的升降速度，則上式可寫成狀態(tài)方程

現(xiàn)需尋找一個能使物體以最短時間從初態(tài)到達終態(tài)(0,0)的控制u(t)。定義系統(tǒng)的性能指標為

式中,為起始時刻，為終止時刻。要求時間最短，即使性能指標J最小，這樣求得的控制即為最優(yōu)控制。

2.攪拌槽問題

設(shè)有一盛放液體的連續(xù)攪拌槽，如圖6-2所示。槽內(nèi)裝有不停轉(zhuǎn)動著的攪拌器S，使液體經(jīng)常處于完全混合狀態(tài)，槽中原放的液體?，F(xiàn)需將其溫度升高，為此在入口處送進一定量的液體，其溫度為u(t)，出口處流出等量的液體，以保持槽內(nèi)液圖6-2攪拌槽問題示意圖

面恒定。試尋找u(t)的變化規(guī)律，使槽中液體溫度經(jīng)1小時后上升到，并要求散失的熱量最小。因假定槽中液體處于完全混合狀態(tài)，故可用x(t)表示其溫度。由熱力學知，槽中液體溫度的變化率與溫差成正比，為簡便計算，令比例系數(shù)為1，于是有

，

在1小時內(nèi)散失的熱量為

式中,q和r都是正的常數(shù)，，。因此該最優(yōu)控制問題是：尋找u(t)的變化規(guī)律，使槽中液體經(jīng)1小時后從上升到，并要求散失的熱量最小，即J(u)取最小值。

6.2.2最優(yōu)控制問題的數(shù)學描述

構(gòu)成最優(yōu)控制問題必須具備以下幾個基本條件：

1.被控系統(tǒng)的數(shù)學模型，即動態(tài)系統(tǒng)的狀態(tài)方程

狀態(tài)方程在最優(yōu)控制中為等式約束條件。

2.控制變量的約束條件(容許控制)任何實際物理系統(tǒng)，控制變量總是受約束的，一般可寫成

(6-3)

式中,U表示一個封閉的點集合，稱為控制域。此時稱u(t)為容許控制。

3.狀態(tài)方程的邊界條件(初始狀態(tài)和終值狀態(tài))

在最優(yōu)控制問題中，時的初態(tài)通常是已知的，即

(6-4)

而終值狀態(tài)可以是狀態(tài)空間中一個確定的點，也可以是狀態(tài)空間中某一個點集（目標集）中的任一點。到達終端的時間和終值狀態(tài)因問題而異。就終端時間來說，它可以是固定的，也可以是變動的或自由的。最通常的終值邊界條件是

(6-5)

但有時并不這樣簡單，如用導彈攻擊運動的目標，終值是可能運動軌跡上的一個點，此時終值狀態(tài)是受運動軌跡約束的，一般地約束可表示為

，(6-6)4.性能指標，也稱性能泛函或目標函數(shù)

性能指標是衡量系統(tǒng)在任一容許控制作用下性能好壞的尺度,在最優(yōu)控制中其代替了傳統(tǒng)的設(shè)計指標(如超調(diào)、調(diào)節(jié)時間、幅值裕度和相角裕度等)。

1)積分型性能泛函

(6-7)

2)終值型性能泛函

(6-8)

3)復合型性能泛函

(6-9)

最優(yōu)控制問題，就是從可供選擇的容許控制集U中，尋求一個控制向量u(t)，使被控系統(tǒng)在時間域內(nèi)，從初態(tài)轉(zhuǎn)移到終態(tài)或目標集時，性能泛函J取最小（大）值。6.3變分法

6.3.1變分法的基本概念

6.3.2用變分法求解無約束條件的泛函極值問題

6.3.3有約束條件的泛函極值問題

6.3.1變分法的基本概念

1.泛函

如果對于某一類函數(shù)集合中的每一個函數(shù)x(t)，因變量J都有一個確定的值與之對應，則稱因變量J為這個宗量函數(shù)x(t)的泛函數(shù)，簡稱泛函，記作。泛函可理解為“函數(shù)的函數(shù)”,其值由宗量函數(shù)的選取而定。

與多元函數(shù)的宗量(自變量)多于一個相類似,多元泛函的宗量函數(shù)則多于一個,這些宗量函數(shù)可以表示為一個向量。例如,在控制系統(tǒng)中,n維狀態(tài)向量x(t)為時間t的函數(shù),若取如下形式的積分型性能指標

(6-11)

則J的數(shù)值取決于n維向量函數(shù)x(t),故式(6-11)為(多元)泛函。

2.泛函的連續(xù)與線性泛函

(1)若對任給的，存在，使得當時，就有

(6-12)

則稱泛函在函數(shù)處是連續(xù)的。

(2)連續(xù)泛函若滿足以下條件(6-13)

(6-14)

則稱是線性泛函。式中k是實數(shù)，為函數(shù)空間中的函數(shù)。

3.泛函的變分

宗量函數(shù)變分的定義設(shè)為連續(xù)泛函,則宗量函數(shù)x(t)的變分為屬于同一函數(shù)類中兩個函數(shù)x(t),之差,即

(6-17)

泛函變分的定義

設(shè)為n維線性賦范空間上的連續(xù)泛函,若其增量可表示為

(6-18)

式中,

為宗量函數(shù)x(t)的變分,是的線性連續(xù)泛函,

是關(guān)于的高階無窮小,則定義泛函增量的線性主部

(6-19)

為泛函的變分，記作。若泛函有變分，則稱該泛函可微。

與函數(shù)的微分等于函數(shù)的導數(shù)與自變量的微分之乘積相對應,

泛函變分也可利用求導的方法來計算,即

(6-20)

【例6-1】求泛函的變分,其中,x(t)為標量函數(shù)。

解由式(6-20)得

4.泛函的極值與泛函極值的必要條件

如果泛函在任何一條與接近的曲線上所取的值不小于，即

(6-21)

則稱泛函在曲線上達到極小值。反之，若

(6-22)

則稱泛函在曲線上達到極大值。

定理6-1(泛函極值定理)

若可微泛函在上達到極值，則在上的變分等于零，即

(6-23)

定理6-1表明,泛函一次變分為零,是泛函達到極值的必要條件。

綜上可見,變分在泛函研究中的作用,相當于微分在函數(shù)研究中的作用。事實上,求泛函極大(小)值問題稱為變分問題,求泛函極值的方法稱為變分法

6.3.2用變分法求解無約束條件的泛函極值問題

設(shè)積分型性能泛函為

(6-24)

在區(qū)間上，被積函數(shù)二次連續(xù)可微，軌線x(t)有連續(xù)的二階導數(shù)，,對x(t)沒有任何約束。要求確定極值軌跡，使泛函J為極值。

1.始端時刻和終端時刻固定時的泛函極值問題

首先討論不僅初始時刻、終端時刻固定,而且初始狀態(tài)、終端狀態(tài)固定這一最簡單情況下無約束條件的泛函極值問題(最優(yōu)控制的基本問題)。

定理6-2

設(shè)初始時刻和初始狀態(tài)固定，且終端時刻和終端狀態(tài)固定，則使性能泛函式（6-24）取極值的必要條件是：x(t)為二階微分方程

(歐拉方程)

(6-25)（橫截條件）

(6-26)

的解。其中在區(qū)間上，二次連續(xù)可微，x(t)有連續(xù)的二階導數(shù)，,對x(t)沒有任何約束。

證明設(shè)是使J取極小值的最佳軌跡曲線，現(xiàn)在鄰近作一微小攝動，并令

(6-27)

式中,是一個很小的參數(shù)，為任意選定的連續(xù)可微n維向量函數(shù)且滿足(6-28)

將和代入式（6-24）可得

取泛函增量

將上式在的鄰域內(nèi)展開成泰勒（Taylor）級數(shù)

,則

(6-29)

式中,R表示泰勒（Taylor）級數(shù)展開式中的高階項。

如果定義x(t)和的一階變分為

(6-30)

由泛函變分的定義，泛函的一階變分為

(6-31)

對上式積分中第二項作分部積分后可得

(6-32)

由定理6-1,泛函取極值的必要條件為其一次變分為零,故令,并考慮到式(6-32)中是任意的,即可證得定理6-2的結(jié)論式(6-25)和式(6-26)。

在、、、均固定的情況橫截條件式(6-26)退化為已知的兩點邊界值即求解歐拉方程的邊界條件為,

,。(歐拉方程)

(6-25)（橫截條件）

(6-26)

討論自由端點問題若、均固定但有一個端點[或]或兩個端點自由時,

例如,

若、、均固定,終端自由,

(6-35)

式(6-35)和已知的始點邊界值合起來構(gòu)成該情況下的邊界條件。

【例6-2】設(shè)泛函為

邊界條件為，，求J為極值時的曲線。

解

本例泛函為二元泛函,即,被積函數(shù)為

則

，，

代入歐拉方程

得

展開并聯(lián)立方程組為

其通解為

代入已知的兩點邊界值，求出

，,故極值曲線為

2.終端時刻未給定的泛函極值問題(可變端點問題)

若始端時刻給定，始端狀態(tài)固定或沿規(guī)定的邊界曲線移動，而終端時刻自由，終端狀態(tài)自由或沿規(guī)定的邊界曲線移動，則這類最優(yōu)控制問題稱之為未給定終端時刻的泛函極值問題。定理6-3設(shè)軌線x(t)從固定始端到達給定終端曲線上，使性能泛函

(6-36)

取極值的必要條件是：軌跡x(t)滿足下列方程

（歐拉方程）

（6-37）

（終端橫截條件）

（6-38）

式中,x(t)應具有連續(xù)的二階導數(shù)，L至少應二次連續(xù)可微，C(t)應具有連續(xù)的一階導數(shù)。

關(guān)于定理6-3的說明:

(1)定理6-3適用于始端時刻、始端狀態(tài)給定,終端時刻自由但終態(tài)應落在端點約束曲線C(t)上(即終端約束方程為)的情況,這時僅已知始點,而終點未知,因此,求解歐拉方程所欠缺的邊界條件應由終端橫截條件式(6-38)補足。式(6-38)確立了在終端處和之間的關(guān)系，并影響著和終端約束曲線C(t)在時刻的交點。

(2)可將定理6-3對x(t)是標量函數(shù)時所得到的公式推廣到x(t)、C(t)是n維向量函數(shù)的情況,即可得向量形式的泛函極值必要條件

（歐拉方程）

（6-39）

（終端橫截條件）

（6-40）

6.3.3有約束條件的泛函極值問題

求泛函在等式約束下的極值，稱為條件泛函極值問題。應用拉格朗日乘子法,可將這類條件泛函極值問題轉(zhuǎn)化為無約束條件的泛函極值問題。

最優(yōu)控制問題中的性能泛函為

(6-41)

式中,泛函J所依賴的宗量函數(shù)x(t)、u(t)受被控系統(tǒng)的狀態(tài)方程約束，即

(6-42)

式中,,,是x(t)、u(t)和t的n維連續(xù)向量函數(shù)。最優(yōu)控制問題是尋求最優(yōu)控制及最優(yōu)狀態(tài)軌跡，使系統(tǒng)式(6-42)從初始狀態(tài)

轉(zhuǎn)移到終端狀態(tài)，并使J取極值。

若初始時刻及始端狀態(tài)給定，按照終端狀態(tài)邊界條件，討論以下幾種情況。

■給定，終端自由

■給定，終端約束

■自由，終端約束

1.給定，終端自由

將狀態(tài)方程式(6-42)寫成約束方程形式

(6-43)

仿照求函數(shù)條件極值的拉格朗日乘子法，將等式約束式(6-43)和原有的指標泛函結(jié)合成增廣泛函

(6-44)

式中,，為待定拉格朗日乘子向量函數(shù)。顯然,不論取何種函數(shù),只要x(t)、u(t)滿足等式約束(6-43),即滿足系統(tǒng)的狀態(tài)方程式(6-42),則與J總是等價的。

定義標量函數(shù)

(6-45)

為哈密頓(Hamilton)函數(shù)，則增廣泛函式（6-44）可寫為

(6-46)

對式(4-46)右邊最后一項進行分部積分,即

(6-47)

故增廣泛函式（6-44）可寫為

(6-48)

設(shè)x(t),u(t)相對于最優(yōu)值，的變分分別為和,且注意到,則,故式(6-48)所示的一階變分為

(6-49)

令，因為、及任意,則得增廣泛函取極值的必要條件,再由約束方程式(6-43)及定義的哈密頓函數(shù)式(6-45),得在及始端狀態(tài)給定、給定、終端自由情況下,滿足狀態(tài)方程式(6-42)的泛函式(6-41)取極值的必要條件為同時滿足

(狀態(tài)方程)

(6-50)

(協(xié)態(tài)方程)(6-51)

(控制方程)(6-52)

(橫截條件)(6-53)

(始端邊界條件)(6-54)

式

(6-50)、式(6-51)和式

(6-52)相當于前面的歐拉方程，式

(6-53)為橫截條件。式

(6-50)為系統(tǒng)狀態(tài)方程，其與式(6-51)的右端均為哈密頓函數(shù)的適當偏導數(shù),故式

(6-50)和

式(6-51)合稱為哈密頓正則方程，簡稱為正則方程。式

(6-51)則稱為伴隨方程或協(xié)態(tài)方程,相應的拉格朗日乘子向量又稱為伴隨向量或協(xié)態(tài)向量。式

(6-52)表明,最優(yōu)控制使哈密頓函數(shù)取駐值,故式

(6-52)稱為控制方程。

2.給定，終端約束

設(shè)終端狀態(tài)應滿足如下目標集等式約束條件

(6-55)

式中,，即終端狀態(tài)沿規(guī)定的邊界曲線移動?，F(xiàn)在存在狀態(tài)方程約束式(6-43)和終端邊界約束式(6-55)這兩種類型的等式約束,為此除了引入待定的n維拉格朗日乘子向量函數(shù),再引入一個待定的乘子向量,且,構(gòu)造增廣泛函

(6-56)

式中,哈密頓函數(shù)仍由式(6-45)定義。

同樣,設(shè)x(t)，u(t)相對于最優(yōu)值，的變分分別為和,且注意到,故式(6-56)所示的一階變分為

(6-57)

令，并由式(6-42)、式(6-55)及式(6-45),得當及始端狀態(tài)給定、給定、終端狀態(tài)受目標集等式約束式(6-55)情況下,滿足狀態(tài)方程式(6-42)的泛函式(6-41)取極值的必要條件為同時滿足

正則方程

(6-58)

控制方程

(6-59)

邊界條件與橫截條件

(6-60)

(6-61),

3.自由，終端約束

在這一類問題中,終端時刻為待求的變量,且終端狀態(tài)又受式(6-55)所示的目標集等式約束。顯然,終端時刻自由時所討論的問題,除了自由之外,其余與終端時刻給定時所討論的內(nèi)容相同。

和給定時終端狀態(tài)受約束的最優(yōu)控制問題一樣,引入待定的拉格朗日乘子向量和,構(gòu)造增廣泛函(參見式(6-56))式中,哈密頓函數(shù)仍按式(6-45)定義。但與給定情況不同的是,現(xiàn)在也是需要進行最優(yōu)選擇的變量。設(shè)x(t)、u(t)、相對于其最優(yōu)值、、的變分分別為、、,即

(6-62)且有如下近似關(guān)系式

(6-63)考慮到,則由、、、產(chǎn)生的增廣泛函的一次變分為

(6-64)令，因為、、及任意,則得增廣泛函取極值的必要條件,并由式(6-42)、式(6-55)及式

(6-45),得當及始端狀態(tài)給定、自由、終端狀態(tài)受式

(6-55)約束情況下,滿足式(6-42)的泛函式(6-41)取極值的必要條件為同時滿足

正則方程

(6-65)

控制方程

(6-66)

邊界條件與橫截條件

,(6-67)(6-68)(6-69)

式中,為哈密頓函數(shù)H在最優(yōu)軌跡終端處的值。

【例6-3】設(shè)被控系統(tǒng)的狀態(tài)方程為

設(shè)初始狀態(tài)為，終端狀態(tài)約束曲線為，求使目標函數(shù)

取極小時的最優(yōu)控制和最優(yōu)軌跡。

解

構(gòu)造哈密頓函數(shù)

正則方程為

(協(xié)態(tài)方程)(狀態(tài)方程)控制方程

它們的通解為

邊界條件與橫截條件

，

，

代入通解,得

，，，,則最優(yōu)控制

最優(yōu)軌跡

,6.4極小值原理

在用經(jīng)典變分法求解最優(yōu)控制問題時，假定控制變量u(t)不受任何限制，即容許控制集合可以看成整個r維控制空間開集，控制變分是任意的，同時還要求哈密頓函數(shù)H對u連續(xù)可微,在這種情況下，應用變分法求解最優(yōu)控制問題是行之有效的。

但是在大多數(shù)情況下,控制量的大小總是受限制的,即

(6-70)這時容許控制u(t)的集合是一個r維有界閉集。一般總可用如下不等式表示容許控制u(t)的閉集約束條件,即

(6-71)

當容許控制集合u(t)屬于有界閉集時,控制變分在容許控制集合邊界上不能任意，最優(yōu)控制的必要條件亦不滿足，則不能用經(jīng)典變分法處理。

針對經(jīng)典變分法應用條件過嚴的局限性,前蘇聯(lián)學者龐特里亞金等發(fā)展了經(jīng)典變分原理,在1956～1958年間創(chuàng)立了極小值原理。極小值原理由變分法引伸而來，它的結(jié)論與經(jīng)典變分法的結(jié)論有許多相似之處，這一方法當控制變量u(t)受閉集約束時是行之有效的，并且不要求哈密頓函數(shù)H對u(t)連續(xù)可微，是控制變量u(t)受限制時求解最優(yōu)控制問題的有力工具,而且極小值原理也可用于解決控制不受約束的最優(yōu)控制問題,因此其是解決最優(yōu)控制問題的更一般的方法。

定理6-4(極小值原理)設(shè)系統(tǒng)狀態(tài)方程為

(6-73)

初始條件為

固定,固定

(6-74)控制約束為

，

(6-75)

終端約束為

,自由

(6-76)式中,x(t)為n維狀態(tài)向量;控制u(t)屬于r維空間中的有界閉集U,受不等式(6-75)約束;g為l維連續(xù)可微向量函數(shù),;N為q維連續(xù)可微向量函數(shù),。

性能泛函為

(6-77)

式中,和L為連續(xù)可微的標量函數(shù);為待定的最優(yōu)終端時刻。

取哈密頓函數(shù)為

(6-78)

式中,為待定的n維伴隨向量函數(shù)(拉格朗日乘子向量)。則實現(xiàn)最優(yōu)控制的必要條件為:最優(yōu)控制、最優(yōu)軌跡和最優(yōu)伴隨向量必須滿足下列一組方程

(1)正則方程

(6-79)

(6-80)

式中,是與時間t無關(guān)的l維拉格朗日乘子向量(維數(shù)與g相同)。若g中不包含x，則有

(6-81)

(2)橫截條件及邊界條件

(6-82)

(6-83)

(6-84)

(6-85)

式中,為待定的拉格朗日乘子向量。

(3)在最優(yōu)軌跡上，與最優(yōu)控制相對應的哈密頓函數(shù)H取絕對極小值，即(6-86)

且沿最優(yōu)軌跡,有

(6-87)

關(guān)于定理6-4的幾點說明:

(1)定理給出的正則方程(式(6-79)～式(6-81))及極小值條件式(6-86)對各類最優(yōu)控制問題普遍適用,且與邊界條件形式或終端時刻是否自由無關(guān)。式(6-82)給出終端狀態(tài)受約束時最優(yōu)伴隨向量終值應滿足的條件;式(6-84)給出始點邊界條件;式(6-85)則給出終端狀態(tài)約束條件,這3組方程正是確定正則方程的2n個積分常數(shù)和q維待定的拉格朗日乘子向量所必需的。條件式(6-83)則用于自由時確定最優(yōu)終端時刻。

(2)極小值條件式(6-86)表明,最優(yōu)控制使哈密頓函數(shù)H取全局最小,極小值原理因此而得名。

當滿足經(jīng)典變分法應用條件時,其控制方程是式(6-87)的一種特別容易計算的情況,即用控制方程

求解控制向量無界時的泛函極值問題只是極

小值原理應用的一個特例。

(3)極小值原理只給出了最優(yōu)控制的必要條件,并非充分條件。

【例

6-4】設(shè)系統(tǒng)的狀態(tài)方程為

，

控制約束為，求使目標函數(shù)為最小的最優(yōu)控制及最優(yōu)軌線,并求泛函J的最小值。

解

(1)構(gòu)造哈密頓函數(shù)

(2)由哈密頓函數(shù)及控制約束條件建立極值條件

應用極小值條件式(6-86),即

根據(jù)極小值原理，求H極小等效于求泛函極小。故應選取使H極小,這只要使為極小即可。u的上界為1，下界為1/2，因此,當時，應?。ㄉ辖纾?當時，應?。ㄏ陆纾?/p>

。

(3)由哈密頓函數(shù)建立正則方程

(狀態(tài)方程)

(協(xié)態(tài)方程)

(4)解方程

先解協(xié)態(tài)方程,得通解為

由終端橫截條件,得，代入上式確定積分常數(shù)

,所以

由極值條件知,當時切換,為切換時間。故令

,,則最優(yōu)控制為

當，對應

，

當，對應，

將最優(yōu)控制代入狀態(tài)方程,即:當時,,有

，通解為,由x(0)=5確定，故;當時，，有,通解為

,考慮第一段的終值為第二段初值，由此確定,故。

(5)求

本例所求最優(yōu)解曲線如圖6-3所示。

圖6-3例6-4的最優(yōu)解

6.5動態(tài)規(guī)劃法

動態(tài)規(guī)劃是美國數(shù)學家貝爾曼于20世紀50年代末為研究多級決策提出的，又稱為貝爾曼規(guī)劃。動態(tài)規(guī)劃法是一種分段（步）最優(yōu)化方法，其中心思想是將一個多級決策問題化為多個一級決策問題,使求解簡化,它既可用來求解約束條件下的函數(shù)極值問題，也可用于求解約束條件下的泛函極值問題。與極小值原理一樣，動態(tài)規(guī)劃法是控制變量限制在一定閉集內(nèi)求解最優(yōu)控制問題的有效數(shù)學方法。

6.5.1

最優(yōu)性原理

動態(tài)規(guī)劃是解決多段決策過程優(yōu)化問題的一種強有力的工具。所謂多段決策過程，是指把一個過程按時間或空間順序分為若干段（步），然后給每一段（步）做出“決策”，以使整個過程取得最優(yōu)的效果。

【例6-5】一輛汽車從A城出發(fā)到B城，途中有3條河流，每條河上各有兩座橋Pi，Qi，（i=1，2，3），如圖6-4所示，各段路程的距離相應標在圖上(單位為km)，求從A城到B城的最短路線。

圖6-4隨機路線問題

解

這是一個4步?jīng)Q策問題。解決該問題的最簡單辦法就是窮舉法，即將所有可能的行車路線都計算出來，然后再進行比較。本例中共有8條可能路線，列表計算見表6-1

路線距離/km路線距離/kmAP1P2P3B4+6+1+4=15AP1P2Q3B4+6+1+3=14APIQ2P3B4+6+2+4=16AP1Q2Q3B4+6+2+3=15AQl

Q2Q3B5+7+2+3=17AQ1Q2P3B5+7+2+4=18AQ1P2P3B5+4+1+4=14AQ1P2Q3B5+4+1+3=13

表6-1隨機路線問題的列表計算

從表6-1的計算結(jié)果中進行比較可得，從A城到B城的最短路線為

AQ1P2Q3B,距離為

13km，但采用窮舉法需要進行的加法運算次數(shù)較多。

應用動態(tài)規(guī)劃法可顯著降低計算量。采用動態(tài)規(guī)劃法求解最短路線問題的思路是從終點開始,按行程最短為目標,逐段向前逆推,依次計算出各站至終點的行程最短值,并據(jù)此決策出每一站的最優(yōu)路線。如在圖6-4中,從終點B開始逆推,即先從最后一段(第四段)開始,分別計算P3和Q3到B的最短里程。在圖6-4上,從P3出發(fā)到B的路線只有這一條,里程為4km，故從P3出發(fā)到B的最優(yōu)決策為P3B,最短里程為

同理

接著向前逆推至倒數(shù)第2段,分別計算P2和Q2到B的最短里程。從P2到B有兩種決策:其一,經(jīng)P3到B,即路線為,里程為;其二,經(jīng)Q3到B,即路線為,里程為

可見,從P2出發(fā)到B的最優(yōu)決策為,最短里程為

同理,從Q2出發(fā)到B的最短里程為

最優(yōu)決策為。

接著向前逆推至倒數(shù)第三段,分別計算P1和Q1到B的最短里程。為計算P1到B的最短里程,只需比較以下兩種路線:其一,,里程為

其二,,里程為

可見,從P1出發(fā)到B的最優(yōu)決策為,最短里程為

為計算Q1到B的最短里程,只需比較以下兩種路線:

其一,,里程為其二,,里程為

可見,從Q1出發(fā)到B的最優(yōu)決策為,最短里程為

最后,向前逆推至第一段,計算起點A到終點B的最短里程,為此,只需比較以下兩種路線:其一,,里程為

其二,,里程為

因此,從A城到B城的最短路線為,最短里程為13km，其結(jié)果與窮舉法一致。但本例,窮舉法要做24次加法和7次比較,而采用動態(tài)規(guī)劃法僅需做10次加法和6次比較。以上采用動態(tài)規(guī)劃法求最優(yōu)路線的實質(zhì)在于將一個四級決策問題簡化成四個相同的單級決策問題,從而簡化了問題的求解。

6.5.2

離散系統(tǒng)的動態(tài)規(guī)劃

設(shè)離散系統(tǒng)的狀態(tài)方程為

(6-88)

式中,為n維狀態(tài)向量，為r維控制空間中容許控制域內(nèi)的控制向量,是n維向量函數(shù)。設(shè)系統(tǒng)的初始狀態(tài)為，控制約束為，系統(tǒng)的性能泛函為

(6-89)

式中,J的下標N表示由u(0)到u(N-1)控制N步?，F(xiàn)在的問題是尋求一個最優(yōu)控制序列使泛函式(6-89)最小。

，由式(6-89),并逐次使用式(6-88)可以看出,JN只依賴于。若已求出最優(yōu)控制序列，則JN的最小值minJN只與初始狀態(tài)x(0)有關(guān),并將其記為。

對于一個N級最優(yōu)決策過程，不論第一級控制向量u(0)怎樣選取，余下的控制序列，對于由x(0)和u(0)所形成的狀態(tài)來說，

一定是N-1級最優(yōu)控制序列,并以表示這一以x(1)為初始狀態(tài)的N-1級決策過程問題的最優(yōu)性能指標。那么，對初始狀態(tài)為x(0)的N級最優(yōu)決策過程的最優(yōu)性能泛函，則應滿足動態(tài)規(guī)劃基本方程

(6-90)

式中,

式(6-90)給出了與之間的遞推關(guān)系。事實上,可將任何一級的狀態(tài)看成從該級開始的一個多級過程的初始狀態(tài),則由式(6-90)依次類推，可得更一般的動態(tài)規(guī)劃遞推方程

(6-91)

式中,(6-92)

6.5.3

連續(xù)系統(tǒng)的動態(tài)規(guī)劃

設(shè)連續(xù)系統(tǒng)狀態(tài)方程為

(6-93)

式中,x(t)是n維狀態(tài)向量，是n維連續(xù)向量函數(shù)，u(t)是r維控制向量且受到限制，即，U為r維空間中的一個閉子集。設(shè)初始狀態(tài)為，求最優(yōu)控制,,使性能泛函

(6-94)為最小。

應用動態(tài)規(guī)劃的最優(yōu)性原理,可推導出使式(6-94)所示泛函J為極小的條件為

(6-102)

式(6-102)稱為連續(xù)系統(tǒng)動態(tài)規(guī)劃基本方程或貝爾曼方程，其是哈密頓-雅可比方程的一種形式,解此方程可求得使式(6-94)所示泛函J為極小的最優(yōu)控制，其邊界條件可由式(6-94)求出,即

(6-103)

若構(gòu)造哈密頓函數(shù)

(6-104)

式中

(6-105)

則式（6-102）可寫為

(6-106)

當控制向量u不受限制時,如果是最優(yōu)控制,則由式(6-106)得

(6-107)

6.6線性二次型最優(yōu)調(diào)節(jié)器

如果系統(tǒng)是線性的,性能泛函是狀態(tài)變量和(或)控制變量的二次型函數(shù)的積分，則這樣的最優(yōu)控制問題稱為線性二次型最優(yōu)控制問題。

6.6.1

線性二次型最優(yōu)控制問題的提法

設(shè)線性系統(tǒng)的狀態(tài)空間描述為

,(6-108)

式中,，，，A(t)、B(t)和C(t)分別是、和維矩陣。

定義二次型性能指標為

(6-109)

式中,和均為半正定(或正定)對稱矩陣，R(t)是維正定對稱矩陣。

二次型指標式（6-109）最小的物理意義是：在整個時間區(qū)間內(nèi),綜合考慮過程中偏差、控制消耗的能量和終值誤差三個方面總的結(jié)果要最小。

二次型最優(yōu)控制問題就是:對于系統(tǒng)式(6-108),確定最優(yōu)控制規(guī)律，使二次型指標式

(6-109)為最小。

6.6.2

有限時間的線性最優(yōu)調(diào)節(jié)器

設(shè)系統(tǒng)的狀態(tài)方程為式

(6-108),目標函數(shù)為

(6-112)式中,,,有限時間狀態(tài)調(diào)節(jié)器問題:在滿足狀態(tài)方程

(6-108)約束條件下，在限定時間

內(nèi)，使系統(tǒng)由初始狀態(tài)轉(zhuǎn)移到終端狀態(tài)（在平衡狀態(tài)附近），設(shè)u(t)無限制,求最優(yōu)控制使二次型指標式

(6-112)取極小?？梢娺@是一個、、固定，終端狀態(tài)自由的條件泛函極值問題。變分法、極小值原理和動態(tài)規(guī)劃均可求解該最優(yōu)控制問題,這里應用極小值原理求解。

(1)列寫哈密頓函數(shù)

(6-113)

(2)建立極值條件

由于控制量u(t)不受限制，故滿足控制方程

(6-114)

由于R(t)>0,保證了的存在，從而可得

(6-115)

(3)建立正則方程

(6-116)

(6-117)

設(shè)

(6-118)

式中,P(t)為實對稱半正定矩陣,待定。

將式(6-118)代入式（6-115）,得

(6-119)

式中,

(6-120)

將式

(6-118)兩端對t求導,得

(6-121)

將式

(6-118)、(6-121)代入正則方程組，消去及，得

(6-122)

(6-123)

將式(6-123)代入式(6-122),并整理后,得

(6-124)

式(6-124)稱為黎卡提（Riccati）矩陣微分方程。

(4)邊界條件

據(jù)式(6-53),終端橫截條件為

(6-125)

而當時,式

(6-118)為

(6-126)

由式(6-125)、式(6-126)得時P(t)的邊界條件為

(6-127)

當矩陣A(t)、B(t)、Q(t)和R(t)的各元素在時間區(qū)間上都是t的連續(xù)函數(shù)時，黎卡提矩陣微分方程在上滿足邊界條件的解是存在且惟一的。在解得P(t)后，即可按式(6-119)構(gòu)成狀態(tài)反饋的最優(yōu)控制。結(jié)構(gòu)圖如圖6-5所示。

圖6-5有限時間時變最優(yōu)反饋系統(tǒng)

(5)求最優(yōu)軌跡

因為

(6-128)

將式(6-119)代入式(6-128),得

解式(6-129)并由始點邊界條件,求解得最優(yōu)軌跡。

(6-129)

6.6.3

定常線性最優(yōu)調(diào)節(jié)器

設(shè)線性定常系統(tǒng)

(6-133)

能控，性能指標為

(6-134)

式中,;,無限制;A、B分別是、常值矩陣;Q,R為常值對稱矩陣，并且，

。則存在唯一最優(yōu)控制

(6-135)式中,P是維正定對稱常數(shù)矩陣，滿足下列黎卡提矩陣代數(shù)方程

(6-136)

將式

(6-135)代入式

(6-133)，可得閉環(huán)最優(yōu)系統(tǒng)的狀態(tài)方程

(6-137)

解線性定常齊次方程式

(6-137)，可得最優(yōu)軌線。

性能泛函的最小值為

(6-138)

【例6-7】已知被控系統(tǒng)及二次型指標為求使泛函J達極小值的最優(yōu)控制。系統(tǒng)能控，存在。

解

已知

設(shè)

,則Q正定。

最優(yōu)控制為

即

式中,P是下列黎卡提矩陣代數(shù)方程的正定對稱解矩陣

得代數(shù)方程組

聯(lián)立求解，得

最優(yōu)控制

即實現(xiàn)最優(yōu)控制的狀態(tài)反饋增益矩陣

最優(yōu)閉環(huán)系統(tǒng)結(jié)構(gòu)圖如圖6-6所示。

圖6-6例6-7的閉環(huán)系統(tǒng)結(jié)構(gòu)圖

6.6.4

輸出調(diào)節(jié)器

輸出調(diào)節(jié)器主要研究當系統(tǒng)受到外部干擾時，在不消耗過多控制能量前提下，維持系統(tǒng)的輸出向量接近輸出平衡狀態(tài)。由于輸出調(diào)節(jié)器問題可以轉(zhuǎn)化為等效的狀態(tài)調(diào)節(jié)器問題，故可根據(jù)前述狀態(tài)調(diào)節(jié)器，應用類比的方法，建立輸出調(diào)節(jié)器的最優(yōu)控制規(guī)律。

設(shè)能觀的時變系統(tǒng)為

(6-139)

式中,,，，A(t)、B(t)和C(t)分別是、和維矩陣，控制u(t)不受限制。

(6-140)

1.有限時間時變輸出調(diào)節(jié)器目標函數(shù)為式中,

和Q(t)均為維半正定對稱矩陣，R(t)是維正定對稱矩陣。要求在有限時間區(qū)間內(nèi)，在式

(6-139)約束下，尋求

最優(yōu)控制，使泛函J

最小。

首先將這類問題轉(zhuǎn)化為等效的狀態(tài)調(diào)節(jié)器問題，然后利用前述狀態(tài)調(diào)節(jié)器的結(jié)論求最優(yōu)控制規(guī)律。為此根據(jù)輸出方程,用y=C(t)x(t)代入式（6-140）中，得

(6-141)

比較式（6-141）和式（6-112），可見其差別僅是泛函中的權(quán)函數(shù)發(fā)生了變換，即由和分別替代式(6-112)中的Q和。

若和為半正定矩陣，且系統(tǒng)式（6-139）能觀測，則可證明

和也為半正定矩陣。因此，可以用狀態(tài)調(diào)節(jié)器式(6-119)確定式(6-139)、式(6-140)所定義輸出調(diào)節(jié)器問題的最優(yōu)控制

(6-142)

式中,P(t)是下列黎卡提矩陣微分方程

在邊界條件下的惟一非負定解。

最優(yōu)輸出調(diào)節(jié)器的最優(yōu)控制律仍然是狀態(tài)反饋而不是輸出反饋，表明構(gòu)成最優(yōu)控制系統(tǒng)需要利用全部狀態(tài)信息。

設(shè)能控且能觀的定常系統(tǒng)

(6-145)

式中,,無限制

。目標函數(shù)為

(6-146)

式中,

，。求最優(yōu)控制使泛函式(6-146)取極小。

2.無限時間定常輸出調(diào)節(jié)器這一問題等價于一個定常狀態(tài)調(diào)節(jié)器問題,于是可用定常狀態(tài)調(diào)節(jié)器式(6-135)確定式(6-145)、式(6-146)所定義無限時間定常輸出調(diào)節(jié)器問題的最優(yōu)控制為

(6-147)

式中,P是下列黎卡提矩陣代數(shù)方程的正定對稱解

(6-148)

6.6.5

非零給定點調(diào)節(jié)器

設(shè)能控且能觀的系統(tǒng)

(6-149)

式中,;;,無限制;A、B、C分別是、、常值矩陣。被控量為輸出向量y,希望使其保持在非零給定點。

本節(jié)討論非零給定點的定常輸出調(diào)節(jié)器設(shè)計問題。

x、y、u的穩(wěn)態(tài)值、、應滿足

(6-150)

設(shè)動態(tài)過程中,x、y、u偏離各自(期望)穩(wěn)態(tài)值的偏差量分別為、、,即

，，

(6-151)

將上式變形代入狀態(tài)空間表達式(6-149)，并根據(jù)式(6-150),得

(6-152)

對式(6-152)所示偏差量的系統(tǒng)，取目標函數(shù)

(6-153)

式中,Q、R為常值對稱矩陣，并且Q>0，R>0。

偏差量的系統(tǒng)式(6-152)的期望點為零點,故根據(jù)給定點為零的輸出調(diào)節(jié)器設(shè)計原理，可求出使目標泛函式(6-153)最小的最優(yōu)控制

(6-154)

式中,,其中實對稱陣P是下列黎卡提矩陣代數(shù)方程

(6-155)

的惟一正定解,并保證閉環(huán)系統(tǒng)

(6-156)

在漸近穩(wěn)定。

將式（6-151）代入控制律式（6-154）中，整理可得原系統(tǒng)式(6-149)希望輸出向量維持在非零給定點上的最優(yōu)控制

(6-157)

式中

(6-158)

將最優(yōu)控制律式（6-157）代入原被控系統(tǒng)狀態(tài)方程式(6-149),得

(6-160)

由于閉環(huán)系統(tǒng)漸近穩(wěn)定，因此，穩(wěn)態(tài)時有,則由式(6-160)得

則故有

(6-161)

當時，若非奇異，由式（6-161）可求得

(6-162)

又狀態(tài)反饋閉環(huán)系統(tǒng)傳遞函數(shù)陣為

(6-163)

顯然有

(6-164)

故當時,若的逆存在，只要取

(6-165)

即可實現(xiàn)非零給定點的最優(yōu)輸出調(diào)節(jié),即。

采用式(6-165)最優(yōu)控制律的閉環(huán)系統(tǒng)結(jié)構(gòu)如圖6-7所示。

圖6-7非零給定點最優(yōu)調(diào)節(jié)系統(tǒng)結(jié)構(gòu)圖

6.6.6

最優(yōu)跟蹤問題

最優(yōu)跟蹤問題:設(shè)能觀測系統(tǒng)

(6-166)

式中,，，，A(t)、B(t)和C(t)分別是、和維時變矩陣，控制量u(t)不受約束，終端時刻固定。設(shè),為系統(tǒng)輸出y(t)的期望向量,即為所跟蹤目標的運動規(guī)律，定義誤差函數(shù)向量為

(6-167)

尋找最優(yōu)控制,使被控系統(tǒng)式(6-166)的輸出y(t)跟蹤z(t),且使泛函

(6-168)

最小。式中,為半正定對稱矩陣，R(t)為正定對稱矩陣。

應用極小值原理求解最優(yōu)控制。首先建立上述最優(yōu)跟蹤問題的哈密頓函數(shù)

(6-169)

由控制方程建立極值條件

(6-170)

則