8 動態(tài)規(guī)劃 課件

第8章動態(tài)規(guī)劃8.1遞歸確定性模型 8.2遞歸隨機模型 8.1遞歸確定性模型8.1.1有限期界 8.1.2無限期界 8.1.3Euler方程 8.1.4Bellman方程 8.1.5一般情形 8.1.6具有解析解的若干情形 8.1.7值函數(shù)的近似計算 8.1.1有限期界有限期界的Ramsey問題（8.1）滿足：（1）；（2）嚴格遞增；（3）嚴格凹；（4）。 是資本折舊率，勞動時間為常數(shù)，，，同時具有的其他性質(zhì)。 滿足：（1）嚴格遞增；（2）嚴格凹；（3）。非線性規(guī)劃問題，可以應用Kuhn-Tucker定理求解最優(yōu)解滿足式(8.3b)左邊是相鄰兩期消費的邊際替代率，它表明經(jīng)濟主體愿意為下一期的消費而放棄現(xiàn)期消費的比率式(8.3b)右邊是經(jīng)濟主體為增加一單位的額外儲蓄而得到的補償――未來產(chǎn)出的增加。

8.1.2無限期界若經(jīng)濟為無限期界即，要求問題具有遞歸結(jié)構(gòu)。在Ramsey問題中，這種遞歸結(jié)構(gòu)具體表現(xiàn)為時間可加可分性（timeadditiveseparable,TAS）效用函數(shù)：(8.4)其中:-貼現(xiàn)因子()-時間偏好率(purerateoftimepreference)-單期或當期函數(shù)嚴格遞增、嚴格凹、二次連續(xù)可微的對式(8.4)進行迭代，可以得到(8.5)

無限期界Ramsey問題(8.6)

8.1.3Euler方程可以利用Kuhn-Tucher方法的拓展形式來刻畫Ramsey問題(8.6)的解的特征。Euler方程(8.9)在穩(wěn)態(tài)處，，可得：，或(8.10)為找到唯一的資本的最優(yōu)時間路徑，需要兩個條件：初始資本存量和橫截性條件。8.1.4Bellman方程Ramsey問題(8.6)的遞歸表達(8.11)

Bellman方程的推導

Bellman方程（8.14）的解取決于的給定值，為此記，是經(jīng)濟主體的決策規(guī)則方程可以理解成單值函數(shù)和與之相關(guān)的策略函數(shù)的隱式定義。從這個角度看，它是一個泛函方程。最優(yōu)性原理表明，Bellman方程(8.14)的解就是問題（8.11）的解。稱為值函數(shù)(valuefunction)，稱為策略函數(shù)(policyfunction)。

動態(tài)規(guī)劃理論(dynamicprogramming)探討值函數(shù)和策略函數(shù)的存在性、性質(zhì)及其構(gòu)造方法。設(shè)、嚴格遞增、嚴格凹、二次連續(xù)可微，則值函數(shù)存在，可微、嚴格遞增、嚴格凹；策略函數(shù)存在，遞增、可微的；值函數(shù)是以下序列的極限：假設(shè)。

例8.1假設(shè)在Ramsey問題（8.11）中，，，，使用值函數(shù)迭代法求解。

動態(tài)規(guī)劃方法同樣提供一階條件：（8.16）

8.1.5一般情形問題(8.17)等價于：(8.19)若方程有解，則決定策略函數(shù)

策略函數(shù)的求解首先是關(guān)于控制變量的一階條件：(8.20)式子包含值函數(shù)關(guān)于下一期狀態(tài)變量的導數(shù)，但形式未知。為此，需要利用以下的包絡(luò)定理。定理8.1Benveniste&Scheinkman包絡(luò)定理假設(shè)問題(8.14)滿足： １.，，和為具有非空內(nèi)部的凸集； ２.是凹的、可微的； ３.是凹的、可微的，并且在中是可逆的。 則： 根據(jù)定理8.1，對方程(8.18a)求導，可得：(8.21)若選取控制變量，使，則：可得：(8.22)若獨立于，則可以用這一方程求出隱函數(shù)。若依賴于，則可以用均衡條件求出穩(wěn)態(tài)。 8.1.6具有解析解的若干情形對數(shù)效用和對數(shù)－線性技術(shù)對數(shù)效用和對數(shù)－線性調(diào)整成本，其中

等彈性效用和CES技術(shù)，CES生產(chǎn)函數(shù)， 折舊率，資源約束為 ４.線性二次模型

8.1.7值函數(shù)的近似計算若不成立，則無法獲得值函數(shù)的解析式。近似法之一：值函數(shù)迭代法(valuefunctioniteration)猜測初始值函數(shù)，常取。若有更多信息，可以取其他值給定，利用Bellman方程計算值；然后利用，計算，重復這一過程，即可得到收斂于值函數(shù)的近似值函數(shù)序列。在這一過程中，我們也在重復計算近似策略函數(shù)，而序列的極限就是策略函數(shù)。上述迭代過程同時給出值函數(shù)和策略函數(shù)。

例：問題(8.11)中，則，，Bellman方程各參數(shù)的值：，，，猜測初始值函數(shù)為。利用穩(wěn)態(tài)方程(8.10)，可以求得穩(wěn)態(tài)為，以及。 圖8.1顯示了值函數(shù)經(jīng)過240次迭代后的收斂情況（用于數(shù)值計算的MATLAB程序見本章附錄）圖８.1值函數(shù)的近似 圖8.2經(jīng)240次迭代后的策略函數(shù)8.2遞歸隨機模型8.2.1隨機Ramsey問題 8.2.2隨機Euler方程 8.2.3隨機Bellman方程 8.2.4值函數(shù)的近似計算 8.2.5Markov鏈8.2.6具有Markov鏈的Ramsey模型

8.2.1隨機Ramsey問題無限期界的隨機Ramsey模型/隨機增長模型：（8.23）其中，為勞動為常數(shù)時的總增加值，為隨機沖擊，表示因而導致的隨機折舊。

問題（8.23）的特點期的產(chǎn)出不僅依賴于資本，而且依賴于隨機變量的實現(xiàn)值。假設(shè)經(jīng)濟主體了解當期的發(fā)生概率。經(jīng)濟主體在現(xiàn)期僅選擇現(xiàn)期消費。而在確定性情形中，經(jīng)濟主體在將來并沒有新的信息，因此可以決定從現(xiàn)在到遙遠將來的消費。確定性情形下的決策問題為開環(huán)控制（open-loopcontrol），而隨機情形下的決策問題為閉環(huán)控制（close-loopcontrol）。由于未來消費是隨機變量，因此將期的消費推遲到期進行決策對經(jīng)濟主體來說是更好的選擇。經(jīng)濟主體的目標是實現(xiàn)一生效用的期望值的最大化，表示與隨機變量序列的概率分布有關(guān)的基于期時的可得信息的條件期望。

8.2.2隨機Euler方程Lagrange方法隨機Euler方程：（8.26a）狀態(tài)方程：（8.26b）橫截性條件：（8.26c）

8.2.3隨機Bellman方程問題（8.23）的重新表述（8.27）在任意第期，問題等價表達為：(8.28)稱解函數(shù)為計劃（plan），并且記為滿足：8.2.4值函數(shù)的近似計算考慮隨機變量以概率分別取值的隨機Ramsey問題（8.27）。方程（8.28）可表示為兩個Bellman方程：其中明表示為。通過值函數(shù)迭代過程，可以得到收斂于理想的值函數(shù)對的函數(shù)序列對。

數(shù)值計算生產(chǎn)函數(shù)單期效用函數(shù)，，隨機狀態(tài)變量值：，，，。猜測初始值函數(shù)為。

圖8.3值函數(shù)迭代圖8.4計劃8.2.5Markov鏈隨機過程(stochasticprocess)指隨機變量的時間序列若，則離散值的(discretevalued)；若，則連續(xù)值的(continuousvalued)。若的分布只取決于的取值，即：(8.29)則稱隨機過程具有Markov性質(zhì)(Markovproperty)。

例8.2Markov過程的例子一階自回歸過程(first-orderautoregressiveprocess)AR(1):其中稱為AR(1)的新息(innovation)。給定，下一期沖擊服從正態(tài)分布，均值，方差。 任意高階自回歸過程都可以轉(zhuǎn)化為AR(1)

Markov鏈：指離散值的Markov過程構(gòu)成1．一個維向量記錄的可能值２.一個維向量記錄了0期的狀態(tài)３.一個階轉(zhuǎn)移矩陣(transitionmatrix)刻畫期狀態(tài)為，下一時期狀態(tài)轉(zhuǎn)移為的概率，即。從第期到第期狀態(tài)轉(zhuǎn)移的概率

其中是階轉(zhuǎn)移矩陣的元素。

無條件概率分布的變化遵循(8.32)第期時狀態(tài)的無條件概率分布決定于：其中是向量，它的第個元素是

平穩(wěn)(stationary)或不變(invariant)分布指分布隨時間的推移是不變的，即平穩(wěn)分布滿足：(8.33)這意味著是與的一個單位特征根對應的一個特征向量（標準化后滿足）。平穩(wěn)分布可能是唯一的，也可能不是唯一的。

定義8.1Markov鏈是漸近平穩(wěn)的且具有唯一的不變分布設(shè)是滿足的唯一向量，若對所有的初始分布，都收斂于同一個定理8.1設(shè)為隨機矩陣，并且對任意，，或者對某些整數(shù)，的所有元素有唯一的不變分布，并且過程是漸近平穩(wěn)的。

例8.3矩陣

8.2.6具有Markov鏈的Ramsey模型具有Markov鏈的隨機Bel