第四章 馬爾可夫鏈

1、-作者xxxx-日期xxxx第四章 馬爾可夫鏈【精品文檔】第四章 馬爾可夫鏈隨機過程在不同時刻下的狀態(tài)之間一般具有某種關(guān)系，馬爾可夫（）過程就是描述一類狀態(tài)之間具有某種特殊統(tǒng)計聯(lián)系的隨機過程.過程在近代物理學(xué)、生物學(xué)、管理科學(xué)、信息處理與數(shù)字計算方法等領(lǐng)域都有重要的應(yīng)用.按其狀態(tài)和時間參數(shù)是連續(xù)的或離散的，它可分為三類：（1）時間、狀態(tài)都是離散的過程，稱為鏈；（2）時間連續(xù)、狀態(tài)離散的過程，稱為連續(xù)時間的鏈；（3）時間、狀態(tài)都連續(xù)的過程.本章主要討論鏈，有關(guān)連續(xù)時間的鏈的相關(guān)理論將在下章討論. 4.1 馬爾可夫鏈的概念和例子 獨立隨機試驗?zāi)Ｐ妥钪苯拥耐茝V就是鏈模型，早在1906年俄國數(shù)學(xué)家對它

2、進(jìn)行研究而得名，以后、等數(shù)學(xué)家發(fā)展了這一理論. 4.1 .1 鏈的定義假設(shè)過程的參數(shù)集是離散時間集合，即，相應(yīng)可能取值的全體組成的狀態(tài)空間是離散狀態(tài)集.定義 4.1 設(shè)有一隨機過程，若對于任意整數(shù)和任意，條件概率滿足 則稱為離散時間的鏈，簡稱鏈（ ）或馬氏鏈.從定義可以看出：鏈具有性（即無后效性），如果把時刻看作現(xiàn)在，那么，是將來的時刻，而是過去的時刻.性表示在確切知道系統(tǒng)現(xiàn)在狀態(tài)的條件下，系統(tǒng)將來的狀況與過去的狀況無關(guān)，而且鏈的統(tǒng)計特征完全由條件概率所決定. 因此，如何確定這個條件概率，是研究鏈理論和應(yīng)用中十分重要的問題之一.4.1.2 轉(zhuǎn)移概率定義 4.2 稱條件概率 （4.1）為鏈在時刻

3、的一步轉(zhuǎn)移概率，其中，簡稱轉(zhuǎn)移概率（ ）.一般地，轉(zhuǎn)移概率不僅僅與狀態(tài)有關(guān)，而且與時刻有關(guān)，如果不依賴時刻時，則稱鏈具有平穩(wěn)轉(zhuǎn)移概率. 若對任意，鏈的轉(zhuǎn)移概率與無關(guān)，則稱鏈?zhǔn)驱R次的（或稱時齊的）（），并記為.下面只討論齊次鏈，并且通常將“齊次”兩字省去.定義 4.4 設(shè)表示一步轉(zhuǎn)移概率所組成的矩陣，且狀態(tài)空間，則稱為系統(tǒng)狀態(tài)的一步轉(zhuǎn)移概率矩陣（ ），它具有性質(zhì)： （1）； （2）.（2）式說明一步轉(zhuǎn)移概率矩陣中任一行元素之和為1，通常稱滿足性質(zhì)（1）（2）的矩陣為隨機矩陣.定義 4.5 稱條件概率 （4.2）為鏈的步轉(zhuǎn)移概率，并稱為鏈的步轉(zhuǎn)移矩陣.其中，即也是一個隨機矩陣.特別地，當(dāng)時，此時，

4、一步轉(zhuǎn)移矩陣.我們還規(guī)定鏈步轉(zhuǎn)移概率滿足重要的方程（簡稱方程）。定理 4.1 設(shè)為鏈，則對于任意整數(shù)和 （4.3）證明 利用全概率公式和性 方程的直觀概率意義在于：要想由狀態(tài)經(jīng)過步到達(dá)狀態(tài),需先經(jīng)過步到達(dá)狀態(tài)，再經(jīng)過步由狀態(tài)轉(zhuǎn)移到狀態(tài)上去.方程可以用矩陣表示為由方程可以得到 由遞推法可以得到 4.1.3 初始分布和絕對分布定義 4.6 鏈初始時刻取各狀態(tài)的概率 （4.4）稱為的初始概率分布（ ），簡稱初始分布.定義 4.7 鏈在時刻取各狀態(tài)的概率 （4.5）稱為在時刻的絕對概率分布（ ），簡稱絕對分布. 顯然，當(dāng)時的絕對分布即為初始分布，這里絕對概率是與轉(zhuǎn)移概率相對而言的，轉(zhuǎn)移概率都是條件概率

5、，這里的概率沒有條件，故稱為絕對概率. 稱為時刻的絕對概率向量，稱為初始概率向量.定理4.2 設(shè)為鏈，則對于任意和，絕對概率具有下面的性質(zhì)：（1）； （4.6） （2） （4.7）證明 （1） （2）（）式表明時刻的絕對概率分布完全由初始分布和步轉(zhuǎn)移概率所確定，（）式表明時刻的絕對概率分布完全由時刻的絕對概率分布和一步轉(zhuǎn)移概率所確定.更一般地，鏈的有限維分布完全由初始分布和一步轉(zhuǎn)移概率所確定.定理4.3 設(shè)為鏈，則對于任意和，有 （4.8）證明 利用全概率公式和性（性）. 4.1.4 鏈的一些簡單例子例4.1 直線上無限制的隨機游動（ ）考慮在直線作隨機運動的質(zhì)點，每次移動一格，向右移動的概率

6、為，向左移動的概率為，這種運動稱為無限制隨機游動，以表示時刻質(zhì)點所處的位置，則是一個齊次鏈，寫出它的一步和步轉(zhuǎn)移概率. 解 的狀態(tài)空間，一步轉(zhuǎn)移概率矩陣為設(shè)在第步轉(zhuǎn)移中向右移動了步，向左移動了步，且經(jīng)過步轉(zhuǎn)移狀態(tài)從進(jìn)入,則 因此 由于都只能整數(shù)，所以必須是偶數(shù)，于是例4.2 帶有一個吸收壁（ ）的隨機游動考慮隨機游動，但狀態(tài)空間為，而且一旦當(dāng)后，就停留在0這個狀態(tài)上，這樣的狀態(tài)稱為吸收狀態(tài)，則也是一個齊次鏈，它的一步轉(zhuǎn)移概率為 0是狀態(tài)空間的端點（壁），因此，這一隨機游動為帶有一個吸收壁的隨機游動例4.3 帶有兩個吸收壁的隨機游動賭徒輸光問題若隨機游動取狀態(tài)空間，且0和為它的吸收狀態(tài)，則它也是

7、一個齊次鏈，它的一步轉(zhuǎn)移概率為 例如：時，一步轉(zhuǎn)移概率矩陣為例4.4 帶有一個反射壁（ ）的隨機游動考慮隨機游動，其狀態(tài)空間為，且在某時刻質(zhì)點位于0，則下一步質(zhì)點以概率為向右移動一格到1，以概率為停留在狀態(tài)0，則它也是一個齊次鏈，它的一步轉(zhuǎn)移概率為 例4.5 帶有兩個反射壁的隨機游動若隨機游動取狀態(tài)空間，且0和為它的反射狀態(tài)，則它也是一個齊次鏈，它的一步轉(zhuǎn)移概率為 例 （生滅鏈）（ ）觀察某種生物群體，以表示在時刻群體的數(shù)目，設(shè)為個數(shù)量單位，如在時刻增生到個數(shù)量單位的概率為，減滅到個數(shù)量單位的概率為，保持不變的概率為，則為齊次鏈，狀態(tài)空間，轉(zhuǎn)移概率，其中.稱這種鏈為生滅鏈例 設(shè)鏈的狀態(tài)空間，一

8、步轉(zhuǎn)移矩陣為，初始分布為，計算，并求出它的絕對分布.解 的絕對分布（絕對概率向量）為 =例4.8（應(yīng)用實例） 設(shè)有一只傳輸數(shù)字0和1的串聯(lián)系統(tǒng).設(shè)每一級的傳真率（輸出數(shù)字與輸入數(shù)字相同的概率）為，誤碼率為.假定每隔一個單位時間傳輸一級，是第一級的輸入，是第一級的輸出，是第級的輸出，是齊次鏈，狀態(tài)空間，一步轉(zhuǎn)移概率矩陣為（1） 系統(tǒng)經(jīng)六級傳輸后的誤碼率與.（2） 假定初始分布，求已知系統(tǒng)經(jīng)級傳輸后的輸出為1而原發(fā)出字符也是1的概率解 先求出步轉(zhuǎn)移概率矩陣為（1） 有六步轉(zhuǎn)移概率矩陣得到誤碼率容易看出，當(dāng)時，誤碼率.當(dāng)時，誤碼率高達(dá).這表明，即使傳輸數(shù)字0和1之間的簡單信號，經(jīng)過級傳輸后效果與不考

9、慮輸入信號時相差無幾.（2） 由于事件構(gòu)成樣本空間的一個劃分，因此，由公式這表明，在串聯(lián)傳輸系統(tǒng)中，經(jīng)多級傳輸后得到的信號可信度很低.4.2 馬爾可夫鏈的狀態(tài)分類對齊次是討論在某一固定時刻時系統(tǒng)的概率特性，即求步轉(zhuǎn)移概率或絕對概率；穩(wěn)態(tài)分析是討論當(dāng)（或充分大）后系統(tǒng)的概率特性，即時，的極限是否存在，若存在又與狀態(tài)的關(guān)系如何，極限概率是否能構(gòu)成概率分布等. 要解決這些問題，就需要對狀態(tài)進(jìn)行分類，本節(jié)將對齊次鏈進(jìn)行狀態(tài)分類，有關(guān)狀態(tài)空間的分解理論將在下節(jié)討論.4.2.1 常返態(tài)與非常返態(tài) 假設(shè)是齊次鏈，其狀態(tài)空間，轉(zhuǎn)移概率，初始分布.我們按其概率特性對狀態(tài)進(jìn)行分類.定義 4.8 是齊次鏈，如果存在

10、正整數(shù)，使，則稱狀態(tài)可到達(dá)狀態(tài)，記為.反之，對一切正整數(shù)，稱狀態(tài)不能到達(dá)狀態(tài) ，記. 如果，則稱狀態(tài)和是相通狀態(tài)（ ），記. 相通是一種等價關(guān)系，即（1）（自返性）；（2）（對稱性）若，則；（3）（傳遞性）若，且，則.定義 4.9 如集合非空，則稱該集合的最大公約數(shù)（ ）為狀態(tài)的周期，如就稱為周期的（），如果就稱為非周期的.定理4.4 如的周期為，則存在正整數(shù),對一切，有定義 4.10 設(shè)是齊次鏈，其狀態(tài)空間對，令 （4.9）稱為從狀態(tài)出發(fā)首次到達(dá)狀態(tài)的時刻，或稱自到首達(dá)時（）.顯然，是一個隨機變量，它的取值是系統(tǒng)從狀態(tài)出發(fā)，使的最小正整數(shù),如果這樣的不存在，就規(guī)定.定義 4.11 令 （4.

11、10）它表示系統(tǒng)自狀態(tài)出發(fā)，經(jīng)過步首次到達(dá)的（條件）概率. 顯然， 又令，則表示系統(tǒng)自狀態(tài)出發(fā)（在有限時間內(nèi)）遲早達(dá)到狀態(tài)的概率. 顯然，轉(zhuǎn)移概率與首達(dá)概率有下面的基本關(guān)系定理. 對于任何狀態(tài)，有 （4.11）證明 =（4.11）的直觀概率意義是：鏈從狀態(tài) 出發(fā)經(jīng)過步轉(zhuǎn)移到的概率，就是從出發(fā)經(jīng)過步轉(zhuǎn)移首次到達(dá),再從出發(fā)，經(jīng)過步轉(zhuǎn)移又回到（其中）這樣一些事件的和事件的概率. 定義 4.12 如果，則稱狀態(tài)是常返的（）；如果，則稱狀態(tài)是非常返的（）（或稱瞬時的）（）.定理4.6 如果狀態(tài)是常返的，即從狀態(tài)出發(fā)，鏈將以概率為1無窮次返回到狀態(tài)，如果狀態(tài)是非常返的，即從狀態(tài)出發(fā)，鏈無窮次返回到狀態(tài)的概

12、率為0，或者說鏈只能有限次地返回狀態(tài).定理4 .7 狀態(tài)常返的充要條件為，狀態(tài)非常返，則證明 規(guī)定，由定理4.5知 兩邊乘以，并對求和，若記和的母函數(shù)分別為和，因此注意到當(dāng)時，因此 顯然，對任意的正整數(shù)都有 且當(dāng)時不減，在上式中先令，再令，得到同理可得 . 定理得證.4.2.2 正常返與零常返 常返態(tài)又可以進(jìn)一步分為正常返與零常返狀態(tài). 設(shè)是一個常返狀態(tài)，則從出發(fā)可以經(jīng)過步首次返回，在條件下的分布列為由數(shù)學(xué)期望的定義，稱為狀態(tài)的平均返回時間.定義 4.13 設(shè)是一個常返狀態(tài)，如果，則稱狀態(tài)是正常返態(tài)（ ）；如果，則稱狀態(tài)是零常返態(tài)（ ）.定義 4.14 如果狀態(tài)非周期且正常返，則稱是遍歷的()

13、.定理4 .8 設(shè)是一個常返狀態(tài)且有周期，則 （4.12）推論 設(shè)是一個常返狀態(tài)，則（1） 零常返； （4.13）（2）遍歷. （4.14）下面我們不加證明地總結(jié)出關(guān)于狀態(tài)分類的判別法：（1）非常返； （4.15）（2）零常返且； （4.16）（3）正常返且； （4.17）（4）遍歷. （4.18）定理4 .9 如果，則（1）或同為常返態(tài)，或同為非常返態(tài)；（2） 在常返的情形，或同為正常返態(tài)，或同為零常返態(tài)；（3）或同為非周期的，或同為周期的且有相同的周期.證明 （1）由，按照可達(dá)定義，必存在正整數(shù)和，使得由方程，總有將上式兩邊對從1到求和得到， 可見和相互控制，它們同為無窮或同為有限，因此，

14、與同為常返態(tài)或同為非常返態(tài). (2 ) 由(1)有，可見與同為0或同為正，因此，與在常返的情況下同為零常返態(tài)或同為正常返態(tài). （3）由于，因此，狀態(tài)的周期整除.再設(shè)是使得的任意正整數(shù)，由方程得所以，整除，從而整除s. 由于s是使得的任意正整數(shù)，因此，是正整數(shù)集的公約數(shù). 若記狀態(tài)的周期為，則有，同理，由對稱性，因此，.若，則與都是周期的，且有相同的周期；若，則與同為非周期的. 定理4.9表明：相通的狀態(tài)具有相同的狀態(tài).定理4 .10 如果是常返態(tài)，且，則必是常返態(tài)，且證明 如果，則自狀態(tài)出發(fā)經(jīng)過任意有限步都不能到達(dá)的概率為，又，因此，自狀態(tài)出發(fā)經(jīng)過有限步不能返回的概率是正的，即，與是常返態(tài)矛盾

15、，因此，. 又因為，則至少有一個，使得，從而因此，故，且為常返態(tài). 表明：常返態(tài)能到達(dá)的狀態(tài)仍是常返態(tài).例 設(shè)鏈的狀態(tài)空間，轉(zhuǎn)移概率為考察狀態(tài)的遍歷性.解 先畫出狀態(tài)傳遞圖0231 圖4-1考察狀態(tài)0，有， 可見0為正常返態(tài)，又由于，它是非周期的，因此是遍歷的. 對于其它狀態(tài)，求比較麻煩，但是，因此，都是遍歷的.0 （續(xù)例4.6）設(shè)鏈為生滅鏈，其中 .證明：如果，則所有狀態(tài)是常返的.證明 顯然，所有狀態(tài)都是相通的，因此，只需驗證狀態(tài)0是常返即可.定義 對固定的狀態(tài)，記 則由全概率公式 因為，因此，由上式得 令，則有兩邊求和（注意到），得到 因此 因為，由題設(shè)及上式，得到注意到，因此由此知狀態(tài)1

16、是常返的. 由上可見，如生滅鏈的，則它是常返鏈.由于狀態(tài)的常返性與初始分布無關(guān)，因此，假設(shè)不影響結(jié)論的一般性. 例1 （續(xù)例4.1）直線上無限制隨機游動.考察狀態(tài)的常返性. 顯然所有狀態(tài)都是相通的，由例知，對于狀態(tài)0，有 由公式，可知 由，知，等號當(dāng)且僅當(dāng)時成立，所以當(dāng)，且. 由狀態(tài)分類判別法知，狀態(tài)0是零常返態(tài)，由于所有狀態(tài)都相通，此時所有狀態(tài)都是零常返的. 當(dāng)時，此時，所有狀態(tài)都是非常返的.顯然周期.4.3 狀態(tài)空間的分解 上節(jié)只對單個狀態(tài)的類型進(jìn)行討論，現(xiàn)在我們將從整體上來研究鏈的狀態(tài)空間.定義 4.15 設(shè)是狀態(tài)空間的一個子集，如果對任意，總有，則稱為一閉集（ ）；如果的狀態(tài)互通，則稱

17、為不可約；鏈的狀態(tài)空間不可約，則稱鏈不可約（）.由方程，當(dāng)時，由歸納法，可證 這說明從閉集內(nèi)任一狀態(tài)，無論轉(zhuǎn)移多少步，都不能轉(zhuǎn)移到閉集之外的狀態(tài)上去，即隨著時間的推移，閉集內(nèi)任一狀態(tài)只能在閉集內(nèi)部的狀態(tài)之間轉(zhuǎn)移.顯然，一個鏈的整個狀態(tài)空間是一個閉集，且是最大的閉集；如果，則稱狀態(tài)是吸收態(tài)，吸收態(tài)構(gòu)成的單點集是最小的閉集.定理4 .11 鏈所有常返狀態(tài)構(gòu)成的集合是一閉集.證明 先證如果是常返的，且，則有.用反證法，如果，由于，于是到達(dá)后就不能返回，這與是常返態(tài)矛盾，從而.由定理4.9，當(dāng)是常返態(tài)，且，則是常返態(tài)，因此，自常返態(tài)出發(fā)所能到達(dá)的狀態(tài)必定是常返態(tài)，也就是說，常返態(tài)不可能轉(zhuǎn)移到非常返態(tài)上

18、去，因此，常返態(tài)組成的集合是一閉集.定理4.12 （分解定理）任一鏈的狀態(tài)空間可唯一地分解為有限或可列個互不相交的子集的和，使得（1）每個是常返態(tài)組成的不可約閉集；（2）每個中的狀態(tài)同類，或全是正常返，或全是零常返，若是周期的，它們有相同的周期，且；（3） 是由全體非常返狀態(tài)組成，自中的狀態(tài)不能到達(dá)中的狀態(tài).證明 記為全體常返態(tài)所成的集合，為非常返狀態(tài)全體，將按互通關(guān)系進(jìn)行分解，則其中每個是由常返態(tài)組成的不可約中的狀態(tài)同類型，顯然，中的狀態(tài)不能到達(dá)中狀態(tài). 我們稱為基本常返閉集.分解定理中集不一定是閉集，但如果是有限集，則一定是非閉集. 因此，如果質(zhì)點最初自某一非常返狀態(tài)出發(fā)，則它可能就一直在

19、中運動，也有可能在某時刻離開轉(zhuǎn)移到某個基本常返閉集中，一旦質(zhì)點進(jìn)入后，它將永遠(yuǎn)在此中運動.顯然，不可約的鏈，或者沒有非常返狀態(tài)，或者沒有常返狀態(tài)，在只有常返狀態(tài)不可約的鏈中，所有狀態(tài)是相通的. 對于不可約鏈，若它的所有狀態(tài)是非常返的，則稱為不可約非常返鏈；若它的所有狀態(tài)是常返的，則稱為不可約常返鏈.下面我們不加證明地給出不可約常返鏈的一個判別法. 定理4.13 不可約鏈?zhǔn)浅７档某浞直匾獥l件是下列方程組沒有非零有界解： （4.19） 例2 設(shè)鏈的狀態(tài)空間，一步轉(zhuǎn)移概率矩陣，將狀態(tài)空間進(jìn)行分解.解 先畫出狀態(tài)傳遞圖14235圖4-2依題意知3是吸收態(tài)，因此，是閉集，都是閉集，其中和是不可約的，又含

20、有閉子集，因此，不是不可約鏈. 狀態(tài)5、2是非常返態(tài)，因此 3設(shè)，轉(zhuǎn)移矩陣為，試分解此鏈，并指出各狀態(tài)的常返性和周期性.解 先畫出狀態(tài)傳遞圖321546 圖4-3因為，因此，可見1是正常返態(tài)且周期為3，含1的基本常返閉集為，從而狀態(tài)3和5是正常返且周期為3.同理狀態(tài)6正常返，周期為1，即非周期，含6的基本常返閉集為，可見2和6是遍歷狀態(tài).由于，因此，故4非常返，非周期.綜上 例4 （續(xù)例4.2）帶有一個吸收壁的隨機游動. 狀態(tài)空間可分解為.狀態(tài)0是正常返，非周期的，C是閉集，中狀態(tài)不能到達(dá)，因此，不是不可約的，狀態(tài)1不是常返的.事實上，若1是常返的，由，就有，這是不可能的，于是為非常返集.于是

21、可分解為 例4.15 （續(xù)例4.4）帶有一個反射壁的隨機游動. 該鏈的狀態(tài)空間為，一步轉(zhuǎn)移概率為 由于每個狀態(tài)都可達(dá)，故此鏈不可約，為了決定該鏈?zhǔn)欠癯７?，由定?.13，或 由此可得 各式相加得 若，則為非零有界解，此時鏈非常返.若，無界，沒有非零解，此時鏈常返的. 遍歷定理和平穩(wěn)分布 4. 實際應(yīng)用中常常要研究當(dāng)很大時的性質(zhì)，我們所關(guān)心的是兩個問題.一是是否存在，二是其極限是否與起始狀態(tài)有關(guān)，在鏈的理論中，有關(guān)這一問題的定理是遍歷定理. 設(shè)鏈的狀態(tài)空間為，若對一切，存在不依賴于的極限 ，則稱鏈具有遍歷性.上式的直觀概率意義是：具有遍歷性的鏈看做一個系統(tǒng)，系統(tǒng)不論從哪一個狀態(tài)出發(fā)，當(dāng)轉(zhuǎn)移步數(shù)充

22、分大后，轉(zhuǎn)移到狀態(tài)的概率都接近于，換句話說，經(jīng)過足夠長的時間后，系統(tǒng)達(dá)到平穩(wěn)狀態(tài). 如果狀態(tài)非常返或零常返，則對一切，有 （4.20）證明 若狀態(tài)非常返，則，因此，當(dāng)時，又由定理4.5 知 ，對，我們有令，上式右端第一項因而趨于0，再令，第二項因也趨于0，因此 若為零常返態(tài)，也有，同上所證可得命題的結(jié)論.推論1 如果鏈狀態(tài)個數(shù)有限，則不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限鏈必是正常返的.證明 設(shè)，如全是非常返態(tài)，則對任意，由定理4.14，. 因此，當(dāng)時，有，這就產(chǎn)生矛盾，因此，有限鏈的狀態(tài)不可能全是非常返的.其次，如果含有零常返態(tài)，則是不可約集，它是有限集，且所有狀態(tài)為

23、零常返態(tài)，于是，再由由定理4.14，當(dāng)時，有，這也導(dǎo)致矛盾，因此，中不可能含有零常返態(tài).因此，不可約有限鏈必是正常返的.推論2 如果鏈有一個零常返態(tài)，則必有無窮多個零常返態(tài).證明 設(shè)為零常返態(tài)，則是不可約集，其狀態(tài)全是零常返態(tài)，因此，C不可能是有限集，否則與推論1矛盾.定理4.15 如果為非周期的正常返態(tài)（即遍歷態(tài)），則有 (4.21)證明 因為為非周期的正常返態(tài)，由狀態(tài)分類判別法又由定理4.5 知 取，則有 ，因此 .先令，得到 即 再令，得到 因此 推論 如果為非周期的正常返態(tài)，且，則 證明 因為常返，且，由定理4.10，結(jié)論成立. 由定理4.14和4.15，若鏈不可約，非周期常返，則有

24、（4.22）我們稱為極限分布（ ）. 4.4.2 平穩(wěn)分布定義 4.17 設(shè)鏈的轉(zhuǎn)移概率矩陣為，如果非負(fù)數(shù)列滿足 )則稱為鏈的平穩(wěn)分布（ ）.對于平穩(wěn)分布,有一般地， 如果鏈的初始分布為，且恰好是平穩(wěn)分布，則對于任意非負(fù)整數(shù)，有 即的分布（鏈在時刻的絕對分布）也是平穩(wěn)分布，且正好是初始分布.這說明絕對分布不隨時間而改變，這正是平穩(wěn)分布名稱中“平穩(wěn)”二字的由來.定理4.16 非周期不可約常返鏈?zhǔn)钦７档某浞直匾獥l件是它存在平穩(wěn)分布，而且這個平穩(wěn)分布就是極限分布證明 充分性.若存在平穩(wěn)分布，即 由于，極限號與和號可以交換，兩邊令，得到因為，于是至少存在一個，即，由狀態(tài)分類的定義知，為正常返，從而整

25、個鏈?zhǔn)钦７档?，而且所有?必要性.設(shè)鏈?zhǔn)钦７档?，于是由方程?令，得到 再令，得到 此式只能成為等式.事實上，若對某個成立嚴(yán)格不等式，對求和得這就導(dǎo)致矛盾.上式中第一個不等號是由于先令，得到，再令，得.因為對一切都只能成立等式 令，得即. 因此，極限分布就是平穩(wěn)分布.推論1 有限狀態(tài)的不可約非周期鏈必存在平穩(wěn)分布.證明 由定理4.14的推論1，此.證畢推論2 若不可約鏈的所有狀態(tài)是非常返或零常返的，則不存在平穩(wěn)分布.證明 用反證法.假設(shè)是平穩(wěn)分布，則有.又由定理4.14，.顯然，與平穩(wěn)分布矛盾. 推論3 若是不可約非周期鏈的平穩(wěn)分布，則 （） 證明 由于及，得再由定理4.15，得到.證畢.

26、 例4.16 設(shè)鏈的轉(zhuǎn)移概率矩陣為求它的平穩(wěn)分布及各個狀態(tài)的平均返回時間. 解 因為此鏈?zhǔn)遣豢杉s的非周期有限狀態(tài)，因此平穩(wěn)分布存在，由定義得方程組解上述方程組得到平穩(wěn)分布為因此，各狀態(tài)平均返回時間分別為例4.17 設(shè)鏈的轉(zhuǎn)移概率矩陣為求每個不可約閉集的平穩(wěn)分布. 解 先畫出狀態(tài)傳遞圖1234567 圖4-4狀態(tài)空間可分解為兩個不可約常返閉集，一個非常返集上，對應(yīng)的轉(zhuǎn)移概率矩陣為由此可以得到平穩(wěn)分布滿足解得平穩(wěn)分布為； 類似地，在上可得到平穩(wěn)分布為.例4.18 (續(xù)例4.15) 帶有一個反射壁的隨機游動.在例中，我們已經(jīng)得到，當(dāng)時，該鏈?zhǔn)浅７档?進(jìn)一步判斷在常返時是正常返還是零常返，根據(jù)定理4.

27、16,考察何時具有平穩(wěn)分布.由，即為 由此解得 只要，就有，再由，則有如果，上式括號中級數(shù)發(fā)散，于是不存在平穩(wěn)分布，此時，鏈?zhǔn)橇愠７档?如果，則有 此時，存在平穩(wěn)分布，于是時鏈?zhǔn)钦７档?，又因為鏈?zhǔn)欠侵芷诘模蚀藭r鏈?zhǔn)潜闅v的.綜上所述，對于帶有一個反射壁的隨機游動，有：鏈?zhǔn)欠浅７档?；鏈?zhǔn)橇愠７档?；鏈?zhǔn)钦７档?例 （生滅鏈）（續(xù)）例4.6討論的生滅鏈中，因為每個狀態(tài)都可到達(dá)，故它是不可約鏈，若記：.證明：此鏈存在平穩(wěn)分布的充分必要條件是 證明 因為 其中，于是有遞推關(guān)系解得因此 對j求和得 于是平穩(wěn)分布存在的充分必要條件是，此時 4.4.3 幾個鏈的應(yīng)用實例0 （商品銷售情況預(yù)測）我國某種商品

28、在國外銷售情況共有連續(xù)24個季度的數(shù)據(jù)（1表示暢銷，2表示滯銷）： 如該商品銷售狀態(tài)滿足性和齊次性.（1） 確定銷售狀態(tài)的轉(zhuǎn)移概率矩陣；（2） 如果現(xiàn)在是暢銷，預(yù)測這以后第四個季度的銷售情況；（3） 如果影響銷售所有因素不變，預(yù)測長期的銷售情況.解 （1）因1（暢銷）有15次，2（滯銷）有9次，而且：7次；：7次，又最后季節(jié)的狀態(tài)是1，所以 又7次；：2次，所以 于是得到轉(zhuǎn)移矩陣為 （2）因為因此，即如果現(xiàn)在是暢銷，這以后第四個季度（以概率）暢銷.（3）由平穩(wěn)方程與正規(guī)方程，得到，由知鏈?zhǔn)钦７捣侵芷诓豢杉s，所以，該鏈平穩(wěn)分布就是最終分布，且，因此，長此下去，該商品將在國外（以概率0.609）

29、暢銷.例1 （市場占有率預(yù)測）已知某商品在某地區(qū)銷售市場被、共3個品牌占有，占有率分別為.根據(jù)調(diào)查，上個月買牌商品的顧客這個月買、牌的分別為，上個月買牌商品的顧客這個月買、牌的分別為，上個月買牌商品的顧客這個月買、牌的分別為.設(shè)該商品銷售狀態(tài)滿足齊次性.（1）求3個月后、3個品牌的商品在該地的市場占有率；（2）如果顧客流動傾向長期如上述不變則各品牌最終市場占有率怎樣？解 用1、2、3分別表示、3個品牌，用表示第個月該地區(qū)的顧客購買商品的品牌選擇. 由題意，為狀態(tài)空間是的齊次鏈，且 轉(zhuǎn)移概率矩陣為因此，為不可約遍歷鏈，平穩(wěn)分布存在，且平穩(wěn)分布就是極限分布.（1）因為因此即三個月后、3個品牌市場占

30、有率分別為.（2）平穩(wěn)方程與方程得到，即如果顧客流動情況長此下去，最終、3個品牌市場占有率將分別為. 例2 （教學(xué)質(zhì)量評估）設(shè)、兩個教師教甲、乙兩個班的高等數(shù)學(xué)，上學(xué)期和本學(xué)期都教甲班高等數(shù)學(xué)，而本學(xué)期才接替另一班高等數(shù)學(xué)，兩班兩學(xué)期的成績?nèi)缦卤恚?甲班成績轉(zhuǎn)移情況表成績一 98 95 94 83 94 95 68 92 86 85 77 90 88 92 95 87 90 80成績二 81 89 82 93 80 75 76 80 85 80 65 74 91 81 86 92 78 78 12 12 12 21 12 13 43 12 22 22 34 13 21 12 12 21 13

31、23 成績一 57 87 73 88 86 84 93 87 93 85 成績二 64 87 72 89 86 87 95 84 93 81 54 22 33 22 22 22 11 22 11 22 乙班成績轉(zhuǎn)移情況表成績一 76 82 91 95 74 85 98 66 82 90 55 78 88 78 80 77 91 83成績二 84 85 80 83 84 82 87 89 88 85 61 69 82 71 80 76 84 70 32 22 12 12 32 22 12 42 22 12 54 34 22 33 22 33 12 23成績一 94 66 70 72 89 88

32、75 85 72 成績二 88 70 81 86 83 86 80 80 75 12 43 32 32 22 22 32 22 33 將成績按89以上、60以下分為1、2、3、4、5五個等級，以表示第一學(xué)期等級的學(xué)生數(shù)，以表示由等級轉(zhuǎn)到等級的人數(shù)，.由以上數(shù)據(jù)知，甲班第二學(xué)期平均成績?yōu)?2.29，乙班第二學(xué)期平均成績?yōu)?0.33，似乎教師的教學(xué)效果好，但是由于兩班的基礎(chǔ)不一樣，因此，不能這樣簡單下結(jié)論.正確地評價兩教師的教學(xué)效果應(yīng)排除基礎(chǔ)不同這個因素.由以上數(shù)據(jù)得到轉(zhuǎn)移概率矩陣為，由知：是非常返非周期互通狀態(tài)集，為非常返狀態(tài)集，是閉的非周期正常返狀態(tài)集.由平穩(wěn)方程及解得，因此最終分布分別為 ，即有最終分布為 由知，是非常返狀態(tài)集，也是非常返