ch04連續(xù)時間的馬氏鏈

“連續(xù)時間的馬氏鏈隨機(jī)過程論新工科建設(shè)之路第四章連續(xù)時間的馬氏鏈在許多物理、工程及其他應(yīng)用問題中，我們常碰到“隨機(jī)函數(shù)”，即時間參數(shù)集是T=R+或R的隨機(jī)過程，例如第一章中的例3(Poisson過程)。事實上，大多數(shù)有隨機(jī)噪聲的控制設(shè)備或儀器的輸出都是連續(xù)時間的隨機(jī)過程。當(dāng)然，我們可以將時間參數(shù)離散化，即考慮它在一段時間{t0+n△t;n=0，1，···}。上的值，而得到隨機(jī)序列{Xn;n=0，1，···}。不過這樣做不僅有可能使我們忽略了原來系統(tǒng)的某種時間結(jié)構(gòu)，而且有可能反而把以連續(xù)參數(shù)處理起來比較簡單的問題復(fù)雜化了。因此，我們這里有必要再討論連續(xù)時間的馬氏鏈。01連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣我們都熟知:對于實函數(shù)p(t)=eat，參數(shù)類似地，我們自然地猜到對矩陣函數(shù)P(t)=eAt是否應(yīng)為先來看Poisson過程這個例子。我們知道:于是連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣其中連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1設(shè)轉(zhuǎn)移陣P(t)滿足條件(其中I是單位陣;我們稱滿足式(4.1)的轉(zhuǎn)移陣P是標(biāo)準(zhǔn)的)，則存在，但可能無限;而存在且有限。而且連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1證明

1)先證明式(4.2)。由式(4.1)易見pij(t)右連續(xù)于(0,+∞)，又由于連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.12)現(xiàn)在我們來證明式(4.3)，令連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.1連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定義4.1(Q-矩陣)方陣Q=(qij)稱為一個Q-矩陣，如果滿足條件由上面的推論可以看出，對一個標(biāo)準(zhǔn)馬氏鏈，矩陣(p‘ij(0+))是一個Q-矩陣，我們稱該矩陣為此馬氏鏈的Q-矩陣。連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定義4.2(保守)定義4.3連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣命題4.1對有限狀態(tài)馬氏鏈，若其轉(zhuǎn)移陣P是標(biāo)準(zhǔn)的，則它的Q-矩陣一定保守，而且稱為前進(jìn)方程，而稱為后退方程，而且連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣命題4.1證明，由連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣命題4.1應(yīng)該指出:對一般可數(shù)狀態(tài)馬氏鏈，前進(jìn)方程與后退方程并不一定成立。但可以證明對保守馬氏鏈，后退方程一定成立。至于給了Q-矩陣Q，是否存在以Q為密度的連續(xù)時間的馬氏過程的問題，在4.2節(jié)中我們將做進(jìn)一步的討論，一般來說對某一個固定的Q-矩陣Q，這樣的過程并不一定唯一。連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣命題4.1下面討論Q-矩陣元素的概率意義。Q的元素qij有明確的概率意義，它們可以使我們對于連續(xù)時間的馬氏鏈的統(tǒng)計性質(zhì)有進(jìn)一步深入、具體的了解。連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.2連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.2證明

1)利用軌道右連續(xù)性，有可知P(t)是標(biāo)準(zhǔn)的，再用軌道的右連續(xù)性，容易看出:連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.22)首先，由1)可見連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.2連續(xù)時間馬氏鏈的轉(zhuǎn)移密度陣定理4.202連續(xù)時間的馬氏鏈的強(qiáng)馬氏性、嵌入鏈與以Q為密度的連續(xù)時間馬氏鏈的最小解1.強(qiáng)馬氏性正如在3.2節(jié)中指出的，在許多情況下，強(qiáng)馬氏性很重要，這里我們給出一個簡單且十分常見的連續(xù)時間馬氏鏈具有強(qiáng)馬氏性的條件。定理4.31.強(qiáng)馬氏性定理4.31.強(qiáng)馬氏性命題4.21.強(qiáng)馬氏性命題4.21.強(qiáng)馬氏性命題4.3在定理4.2的條件下，若令1.強(qiáng)馬氏性命題4.3證明

這里我們沿用命題4.2的記號。由于由強(qiáng)馬氏性，上式應(yīng)等于1.強(qiáng)馬氏性命題4.3式(4.9-1)得證。下面我們用歸納法證明式(4.9-2)成立。對n=1，由式(4.9-1)，我們有設(shè)式(4.9-2)對n成立，則由式(4.9-1)及歸納法假設(shè)，我們有1.強(qiáng)馬氏性命題4.3于是由歸納法證明了式(4.9-2)成立。命題4.3的其他結(jié)論是明顯成立的。1.強(qiáng)馬氏性命題4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定義4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4此外，再用歸納法證明Kolmogorov方程滿足，顯然2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4又設(shè)則2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4由歸納法得式(4.14)對一切n成立，因而2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42)現(xiàn)在來證明F(t)滿足前進(jìn)方程和后退方程。由于對上式兩邊求導(dǎo)就得到2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4由式(4.9-2)，我們有對式(4.15)求和，我們就得出2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4對式(4.16)兩邊求導(dǎo)，就得到2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.43)最小性。2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4注:定理4.4的證明過程說明最小解就是在飛躍點截止的過程。推論滿足向后方程組的標(biāo)準(zhǔn)以Q為密度的連續(xù)時間的馬氏鏈唯一的充要條件是:2.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.42.以Q為密度的連續(xù)時間的馬氏鏈轉(zhuǎn)移陣的構(gòu)造、最小解定理4.4因而所要求的P(t)構(gòu)造成功。重復(fù)上面的構(gòu)造法，可以可數(shù)次地接上獨立的新過程，由于這可列個新過程獨立同分布，由大數(shù)律可知這可列個滅絕時間的和必為+∞(a.e.)，因而可數(shù)次地接上新過程后所得的過程必是一個馬氏鏈，即對于連續(xù)時間馬氏鏈也可類似3.1節(jié)，相應(yīng)地考慮狀態(tài)分類、常返性，只是命題3.2中3)中的求和應(yīng)改為積分(見本章習(xí)題)。此外，連續(xù)時間馬氏鏈的不變測度、遍歷極限等問題，只要考慮其嵌入鏈，在很廣條件下也能得出相應(yīng)結(jié)論。03對稱性與可逆性1.對稱性與可逆性的概念定義4.5馬氏過程的可逆性是指過程的統(tǒng)計規(guī)律在時間倒逆下的不變性，將可逆性的概念略加推廣，就得到對稱性的概念，而對稱性正是泛函分析中自共驅(qū)算子與半群的概率版本。對稱過程具有許多特殊性質(zhì)。本節(jié)介紹可逆馬氏鏈及對稱馬氏鏈的概念及重要性質(zhì)，并以求不變測度為例，說明怎樣利用對稱性與可逆性來研究問題。1.對稱性與可逆性的概念命題4.51.對稱性與可逆性的概念命題4.51.對稱性與可逆性的概念命題4.51.對稱性與可逆性的概念命題4.5

把可逆性的概念略加推廣，取消平穩(wěn)性要求就得到了對稱性的概念。1.對稱性與可逆性的概念定義4.61.對稱性與可逆性的概念定義4.61.對稱性與可逆性的概念命題4.62.對稱馬氏鏈的對稱化測度與不變測度馬氏鏈的對稱化測度一定是不變測度，而不可約常返對稱馬氏鏈的不變測度也一定是對稱化測度。然而對稱化測度比不變測度更容易處理，其原因有二:第一，對稱化測度可以用轉(zhuǎn)移陣的元素顯式表示，而一般的不變測度很難做到這點:第二，如果我們將馬氏鏈限制在它的狀態(tài)空間?的任意一個真子集?0中，也就是將在?0之外的每一個狀態(tài)都改為“反射壁”，這樣得到一個新的馬氏鏈，對于對稱的原馬氏鏈情形，則新舊馬氏鏈具有“相同的”對稱化測度。但一般地，這樣得到的新馬氏鏈不僅未必對稱，甚至未必與原來的馬氏鏈有“相同的”不變測度，這就是命題4.7所說明的問題。2.對稱馬氏鏈的對稱化測度與不變測度命題4.72.對稱馬氏鏈的對稱化測度與不變測度定理4.52.對稱馬氏鏈的對稱化測度與不變測度定理4.52.對稱馬氏鏈