北京工業(yè)大學(xué)研究生概率論和數(shù)理統(tǒng)計ppt課件

1、第一節(jié)第一節(jié) 馬爾可夫過程及其概率分布馬爾可夫過程及其概率分布一、馬爾可夫過程的概念一、馬爾可夫過程的概念 二、馬爾可夫過程的概率分布二、馬爾可夫過程的概率分布 三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)一、馬爾可夫過程的概念一、馬爾可夫過程的概念 1. 馬爾可夫性馬爾可夫性(無后效性無后效性)所所處處的的狀狀態(tài)態(tài)為為已已知知的的在在時時刻刻系系統(tǒng)統(tǒng)過過程程或或0)(t所處狀態(tài)的條件分布與所處狀態(tài)的條件分布與過程在時刻過程在時刻條件下條件下0,tt 特特性性稱稱為為之之前前所所處處的的狀狀態(tài)態(tài)無無關(guān)關(guān)的的與與過過程程在在時時刻刻0t馬爾可夫性或無后效性馬爾可夫性或無后效性. .即即: 過程過程

2、“未來的情況與未來的情況與“過去的情況是無過去的情況是無關(guān)的關(guān)的.馬爾可夫資料馬爾可夫資料2. 馬爾可夫過程的定義馬爾可夫過程的定義具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程. .用分布函數(shù)表述馬爾可夫過程用分布函數(shù)表述馬爾可夫過程,),(:的的狀狀態(tài)態(tài)空空間間隨隨機(jī)機(jī)過過程程設(shè)設(shè)TttXI ,個個數(shù)數(shù)值值的的任任意意如如果果對對時時間間nt, 3,21Ttntttin 恰有恰有)(,)(,)(|)(112211 nnnnxtXxtXxtXxtXP ,)(|)(11RxxtXxtXPnnnnn 下的條件分布函數(shù)下的條件分布函數(shù)在條件在條件iinxtXtX

3、)()(下下的的條條件件分分布布函函數(shù)數(shù)在在條條件件11)()( nnnxtXtX或?qū)懗苫驅(qū)懗?,;,|,(121121|11 nnnnttttttxxxtxFnn),|,(11|1 nnnntttxtxFnn.),(性性具具馬馬爾爾可可夫夫性性或或無無后后效效這這時時稱稱過過程程TttX 并稱此過程為馬爾可夫過程并稱此過程為馬爾可夫過程.3. 馬爾可夫鏈的定義馬爾可夫鏈的定義 時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈可夫鏈, ., 2 , 1 , 0),( nnXXn簡記為簡記為研究時間和狀態(tài)都是離散的隨機(jī)序列研究時間和狀態(tài)都是離散的隨機(jī)序列.,

4、(21RaaaIi 狀狀態(tài)態(tài)空空間間為為二、馬爾可夫過程的概率分布二、馬爾可夫過程的概率分布, 2, 1 , 0),( nnXXn1. 用分布律描述馬爾可夫性用分布律描述馬爾可夫性;0,21mtttrnr 和和對對任任意意的的正正整整數(shù)數(shù),iiTmnmt 有有,|2211imitititjnmaXaXaXaXaXP , |imjnmaXaXP . Iai 其其中中稱條件概率稱條件概率 |),(imjnmijaXaXPnmmP nmami 在在時時刻刻條條件件下下處處于于狀狀態(tài)態(tài)為為馬馬氏氏鏈鏈在在時時刻刻,.的轉(zhuǎn)移概率的轉(zhuǎn)移概率轉(zhuǎn)移到狀態(tài)轉(zhuǎn)移到狀態(tài)ja闡明闡明: 轉(zhuǎn)移概率具有特點轉(zhuǎn)移概率具有特

5、點 ., 2 , 1, 1),(1 jijinmmP2. 轉(zhuǎn)移概率轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣由轉(zhuǎn)移概率組成的矩陣),(),(nmmPnmmPij 稱為馬氏鏈的轉(zhuǎn)移概率矩陣稱為馬氏鏈的轉(zhuǎn)移概率矩陣.此矩陣的每一行元素之和等于此矩陣的每一行元素之和等于1.它是隨機(jī)矩陣它是隨機(jī)矩陣.111213212223313233,1Pm mnPm mnPm mnPm mnPm mnPm mnP m mnPm mnPm mnPm mn此矩陣的每一轉(zhuǎn)移概率矩陣： 行元素之 和等于 3. 平穩(wěn)性平穩(wěn)性njinmmPij及及時時間間間間距距只只與與當(dāng)當(dāng)轉(zhuǎn)轉(zhuǎn)移移概概率率,),( 有關(guān)時有關(guān)時, , 稱轉(zhuǎn)移概率具有平穩(wěn)

6、性稱轉(zhuǎn)移概率具有平穩(wěn)性. .同時也稱此鏈?zhǔn)驱R次的或時齊的同時也稱此鏈?zhǔn)驱R次的或時齊的. .),(),(,nPnmmPijij 記記此此時時 . |)(imjnmijaXaXPnP 稱為馬氏鏈的稱為馬氏鏈的n步轉(zhuǎn)移概率步轉(zhuǎn)移概率.)()(步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為nnPnPij 1112132122233132331111121322122233313233( )( )( )( )( )( ) ( )( )( )1|1 ijijmjminP nPnPnPnPnPnP nPnPnPnPPP XaXaaPPPaPPPPPaPPP在齊次馬氏鏈中， 步轉(zhuǎn)移概率矩陣為：一步轉(zhuǎn)移概率記為：一步轉(zhuǎn)移概率

7、矩陣記為：a1 a2 aj Xm+1的狀態(tài)的狀態(tài)Xm一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.|()1(1imjmijijaXaXPPp 特別的特別的, 當(dāng)當(dāng) k=1 時時,一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣的的狀狀態(tài)態(tài)1 mX的狀態(tài)的狀態(tài)mXiaaa21jaaa21 ijiijjppppppppp211222111211)1(P 記為記為P)1(P三、應(yīng)用舉例三、應(yīng)用舉例, 0)0(,0),( XttX且且是是獨(dú)獨(dú)立立增增量量過過程程設(shè)設(shè).0),(是一個馬爾可夫過程是一個馬爾可夫過程證明證明 ttX證明證明由獨(dú)立增量過程的定義知由獨(dú)立增量過程的定義知,2, 2 , 1,01時時當(dāng)當(dāng) njtttnnj.)()(

8、)0()(1相相互互獨(dú)獨(dú)立立與與增增量量 nnjtXtXXtX,)(0)0(11 nnxtXX與與根根據(jù)據(jù)條條件件即有即有.)()(1相互獨(dú)立相互獨(dú)立與與 nnjxtXtX例例1.2, 2 , 1),()(相相互互獨(dú)獨(dú)立立與與此此時時 njtXtXjn是一個是一個即即具有無后效性具有無后效性這表明這表明0),(,)( ttXtX馬爾可夫過程馬爾可夫過程.闡明闡明: :泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程;維納過程是時間狀態(tài)都連續(xù)的馬氏過程維納過程是時間狀態(tài)都連續(xù)的馬氏過程.設(shè)每一級的傳真率為設(shè)每一級的傳真率為 p, 誤碼率為誤碼率為 q=1-p.設(shè)一個單位時

9、間傳輸一級設(shè)一個單位時間傳輸一級,只傳輸數(shù)字只傳輸數(shù)字0和和1的串聯(lián)系統(tǒng)的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)傳輸系統(tǒng))0X11X2X1 nXnnX2如圖如圖:是第一級的輸入是第一級的輸入0X)1( nnXn級級的的輸輸出出是是第第分析分析:, 2 , 1 , 0,是是一一隨隨機(jī)機(jī)過過程程 nXn,1, 0 I狀態(tài)空間狀態(tài)空間例例210 ,為已知時為已知時且當(dāng)且當(dāng)IiiXn ,1有有關(guān)關(guān)所所處處的的狀狀態(tài)態(tài)分分布布只只與與iXXnn 而與時刻而與時刻 n 以前所處的狀態(tài)無關(guān)以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈所以它是一個馬氏鏈, 且是齊次的且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率1 , 0,|1 ji,ij

10、qijpiXjXPpnnij一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣 pqqp10 P10例例3 一維隨機(jī)游動一維隨機(jī)游動.21,5 , 4 , 3 , 2 , 1等時刻發(fā)生游動等時刻發(fā)生游動秒秒秒、秒、并且僅僅在并且僅僅在上作隨機(jī)游動上作隨機(jī)游動在如圖所示直線的點集在如圖所示直線的點集一隨機(jī)游動的質(zhì)點一隨機(jī)游動的質(zhì)點 I12345游動的概率規(guī)則游動的概率規(guī)則1/3的概率向左或向右移動一格的概率向左或向右移動一格, 或以或以1/3的概率留的概率留在原處在原處; 如果如果Q現(xiàn)在位于點現(xiàn)在位于點 i (1 i 5),則下一時刻各以則下一時刻各以12345以概率以概率1移動到移動到2(或或4)這一點上這一點

11、上.如果如果Q現(xiàn)在位于現(xiàn)在位于1(或或5)這點上這點上, 則下一時刻就則下一時刻就1和和5這兩點稱為反射壁這兩點稱為反射壁.上面這種游動稱為帶有兩個反射壁的隨機(jī)游動上面這種游動稱為帶有兩個反射壁的隨機(jī)游動.12345模擬方法模擬方法:產(chǎn)生均勻分布的隨機(jī)數(shù)序列產(chǎn)生均勻分布的隨機(jī)數(shù)序其中其中1表示左移表示左移;2表示不動表示不動;3表示右移表示右移.單擊圖形播放單擊圖形播放/ /暫停暫停 ESC ESC鍵退出鍵退出一維隨機(jī)游動的演示一維隨機(jī)游動的演示理論分析理論分析:.的的位位置置時時表表示示時時刻刻以以QnXn., 2 , 1 , 0,是是一一隨隨機(jī)機(jī)過過程程則則 nX

12、n狀態(tài)空間就是狀態(tài)空間就是I.,為已知時為已知時且當(dāng)且當(dāng)IiiXn ,1有有關(guān)關(guān)所所處處的的狀狀態(tài)態(tài)分分布布只只與與iXXnn 而與時刻而與時刻 n 以前所處的狀態(tài)無關(guān)以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈所以它是一個馬氏鏈, 且是齊次的且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率|1iXjXPpnnij . 2, 04, 52, 1, 151, 1, 1,31 ijjijiiiiij或 010003/13/13/10003/13/13/10003/13/13/10001054321P5 4 3 2 1闡明闡明:相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P 中第中第1行改為行改為改變游動的

13、概率規(guī)則改變游動的概率規(guī)則, 就可得到不同方式的就可得到不同方式的隨機(jī)游動和相應(yīng)的馬氏鏈隨機(jī)游動和相應(yīng)的馬氏鏈. 如果把點如果把點 1 改為吸收壁改為吸收壁, ).0 , 0 , 0 , 0 , 1(一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣 .0,.01, 1)10(, 10210轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣并求其狀態(tài)空間和一步并求其狀態(tài)空間和一步是一馬氏鏈，是一馬氏鏈，試證試證令令的隨機(jī)變量序列的隨機(jī)變量序列取值取值以概率以概率取值取值以概率以概率是相互獨(dú)立且都是相互獨(dú)立且都設(shè)設(shè) nknknnnSXSpqppXXXX解解, 3, 2, 10的可能取值為的可能取值為由于由于 nkknXS.,11故故它它為

14、為馬馬氏氏鏈鏈的的取取值值無無關(guān)關(guān)之之前前的的而而與與的的取取值值有有關(guān)關(guān)的的取取值值的的概概率率只只與與又又因因innnSSSS ., 3, 2, 10 InSn的的狀狀態(tài)態(tài)空空間間為為所所以以例例4:.)(假假設(shè)設(shè)個個人人及及某某種種傳傳染染病病有有傳傳染染模模型型N;,)1(可可能能的的且且一一切切成成對對的的接接觸觸是是等等接接觸觸個個人人中中恰恰有有兩兩人人互互相相在在每每個個單單位位時時間間內(nèi)內(nèi)此此 N;,)2( 率為率為被傳染上病的概被傳染上病的概時時當(dāng)健康者與患病者接觸當(dāng)健康者與患病者接觸. 0, 0)3(得病的概率也為得病的概率也為接觸接觸健康者如果不與患者健康者如果不與患者

15、患病者康復(fù)的概率為患病者康復(fù)的概率為.數(shù)數(shù)個個單單位位時時間間內(nèi)內(nèi)的的患患病病人人表表示示第第現(xiàn)現(xiàn)以以nXn .,0,一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣并寫出它的狀態(tài)空間和并寫出它的狀態(tài)空間和是一馬氏鏈?zhǔn)且获R氏鏈即即試說明這種傳染過程試說明這種傳染過程 nXn例例5解解, 0NXn最最大大可可能能為為的的取取值值的的最最小小可可能能為為由由于于 ., 2 , 1 , 00,0NInXNn 的狀態(tài)空間為的狀態(tài)空間為故故到到之間的任何值均可能達(dá)之間的任何值均可能達(dá)且且,1的的取取值值有有關(guān)關(guān)的的取取值值的的概概率率只只與與由由于于 nnXX步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為它它的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概

16、率率和和一一.)1, 2 , 1,)1()(2,( NjNNjNjj其中其中,1的取值無關(guān)的取值無關(guān)之前的之前的而與而與inXX .0,為馬氏鏈為馬氏鏈故故 nXn 其它其它, 0,)1()(211,)1()(20, 11ijNNjNjijNNjNjjiiXjXPnn 1000010000100001000001112211NNP ?55,35,15.1,. )10(,1,0.,21,31,于多少于多少日為雨天的概率各等日為雨天的概率各等月月日為晴天日為晴天月月問問天天日為晴日為晴月月又已知又已知的一步轉(zhuǎn)移概率矩陣的一步轉(zhuǎn)移概率矩陣試寫出馬氏鏈試寫出馬氏鏈或或天狀態(tài)天狀態(tài)表示第表示第表示雨天狀

17、態(tài)表示雨天狀態(tài)以以表示晴天狀態(tài)表示晴天狀態(tài)以以為逆事件為逆事件任一天晴或雨是互任一天晴或雨是互晴天轉(zhuǎn)雨天的概率為晴天轉(zhuǎn)雨天的概率為雨天轉(zhuǎn)晴天的概率為雨天轉(zhuǎn)晴天的概率為設(shè)任意相繼的兩天中設(shè)任意相繼的兩天中 nXnXnn解解為逆事件且雨天轉(zhuǎn)為逆事件且雨天轉(zhuǎn)由于任一天晴或雨是互由于任一天晴或雨是互轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣分分別別為為故故一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率和和一一步步,21,31晴天轉(zhuǎn)雨天的概率為晴天轉(zhuǎn)雨天的概率為晴天的概率為晴天的概率為例例6 1, 0,210, 0,211, 1,320, 1,311jijijijiiXjXPnn 323121211010P又由于又由于/p>

18、2510102P,6003. 03997. 05995. 04005. 010104 P又又由由于于日日為為雨雨天天的的概概率率為為月月日日為為晴晴天天月月故故55,15.5995. 0)4(01 P日為晴天的概率為日為晴天的概率為月月日為晴天日為晴天月月故故35,15,4167. 0125)2(00 P排隊模型排隊模型 設(shè)服務(wù)系統(tǒng)由一個服務(wù)員和只可以容納兩個設(shè)服務(wù)系統(tǒng)由一個服務(wù)員和只可以容納兩個人的等候室組成人的等候室組成:服務(wù)規(guī)則服務(wù)規(guī)則假定一個需要服務(wù)的顧客到達(dá)系統(tǒng)時發(fā)現(xiàn)系統(tǒng)假定一個需要服務(wù)的顧客到達(dá)系統(tǒng)時發(fā)現(xiàn)系統(tǒng)先到先服務(wù)先到先服務(wù), 后來者需在等候室依次排隊后來者需在等候室依次排隊.

19、內(nèi)已有內(nèi)已有3個顧客個顧客(一個正在接受服務(wù)一個正在接受服務(wù), 兩個在等候兩個在等候室排隊室排隊), 則該顧客立即離去則該顧客立即離去.隨機(jī)到達(dá)者隨機(jī)到達(dá)者系系 統(tǒng)統(tǒng)等候室等候室服務(wù)臺服務(wù)臺離去者離去者例例7分析分析. 1qt的概率為的概率為內(nèi)有一個顧客進(jìn)入系統(tǒng)內(nèi)有一個顧客進(jìn)入系統(tǒng)時間間隔時間間隔 假設(shè)假設(shè):有一原來被服務(wù)的顧客離開系統(tǒng)有一原來被服務(wù)的顧客離開系統(tǒng) (即服務(wù)完畢即服務(wù)完畢)的的.p概概率率為為個個顧顧客客在在這這時時間間間間隔隔內(nèi)內(nèi)多多于于一一充充分分小小時時當(dāng)當(dāng),. 2t 進(jìn)入或離開系統(tǒng)實際上是不可能的進(jìn)入或離開系統(tǒng)實際上是不可能的.3. 再設(shè)有無顧客來到與服務(wù)是否完畢是相互

20、獨(dú)立再設(shè)有無顧客來到與服務(wù)是否完畢是相互獨(dú)立的的.以下用馬氏鏈來描述這個服務(wù)系統(tǒng)以下用馬氏鏈來描述這個服務(wù)系統(tǒng).時時系系統(tǒng)統(tǒng)內(nèi)內(nèi)的的顧顧客客數(shù)數(shù)表表示示時時刻刻tntnXXn :)(系統(tǒng)狀態(tài)系統(tǒng)狀態(tài)., 2, 1 , 0,是是一一隨隨機(jī)機(jī)過過程程則則 nXn3 , 2 , 1 , 0 I狀狀態(tài)態(tài)空空間間可知它是一個齊次馬氏鏈可知它是一個齊次馬氏鏈.:00p在系統(tǒng)內(nèi)沒有顧客的條件下在系統(tǒng)內(nèi)沒有顧客的條件下, .1.00qpt 后后仍仍無無顧顧客客的的概概率率經(jīng)經(jīng):01p在系統(tǒng)內(nèi)沒有顧客的條件下在系統(tǒng)內(nèi)沒有顧客的條件下, .概概率率后后有有一一顧顧客客進(jìn)進(jìn)入入系系統(tǒng)統(tǒng)的的經(jīng)經(jīng)t :10p系統(tǒng)內(nèi)恰有

21、一顧客正在接受服務(wù)的條件下系統(tǒng)內(nèi)恰有一顧客正在接受服務(wù)的條件下,).1(.10qppt 后系統(tǒng)內(nèi)無人的概率后系統(tǒng)內(nèi)無人的概率經(jīng)經(jīng):11p系統(tǒng)內(nèi)恰有一顧客的條件下系統(tǒng)內(nèi)恰有一顧客的條件下,時時間間內(nèi)內(nèi)在在 t 他因服務(wù)完畢而離去而另一他因服務(wù)完畢而離去而另一顧客進(jìn)入系統(tǒng)或者正在接受服務(wù)的顧客將繼續(xù)顧客進(jìn)入系統(tǒng)或者正在接受服務(wù)的顧客將繼續(xù)要求服務(wù)要求服務(wù),且無人進(jìn)入系統(tǒng)的概率且無人進(jìn)入系統(tǒng)的概率.).1)(1(11qppqp .01qp 正在接受服務(wù)的顧客繼續(xù)要求服務(wù)正在接受服務(wù)的顧客繼續(xù)要求服務(wù),且在且在:12p正在接受服務(wù)的顧客繼續(xù)要求服務(wù)正在接受服務(wù)的顧客繼續(xù)要求服務(wù), 且另一且另一個顧客進(jìn)

22、入系統(tǒng)的概率個顧客進(jìn)入系統(tǒng)的概率.).1(12pqp :13pt 間隔內(nèi)有兩個客顧進(jìn)入系統(tǒng)的概率間隔內(nèi)有兩個客顧進(jìn)入系統(tǒng)的概率,由假設(shè)由假設(shè), 后者實際上是不可能發(fā)生的后者實際上是不可能發(fā)生的.013 p類似的類似的,).2(0),1(),1)(1(),1(23223221 jippqpqppqpqpppij:33p或者一人將離去且另一人將進(jìn)入系統(tǒng)或者一人將離去且另一人將進(jìn)入系統(tǒng),或者或者無人離開系統(tǒng)的概率無人離開系統(tǒng)的概率.).1(33ppqp 該馬氏鏈的一步轉(zhuǎn)移概率為該馬氏鏈的一步轉(zhuǎn)移概率為 )1 ()1 (00)1 ()1 ()1)(1 (000)1 (00)1 (32103210ppq

23、qppqpqqpqpqqpqq 某計算機(jī)房的一臺計算機(jī)經(jīng)常出故障某計算機(jī)房的一臺計算機(jī)經(jīng)常出故障, ,研究者研究者每隔每隔1515分鐘觀察一次計算機(jī)運(yùn)行狀態(tài)分鐘觀察一次計算機(jī)運(yùn)行狀態(tài), ,收集了收集了2424小小時的數(shù)據(jù)時的數(shù)據(jù) ( (共作共作9797次觀察次觀察) . ) . 用用1 1表示正常狀態(tài)表示正常狀態(tài), , 用用0 0表示不正常狀態(tài)表示不正常狀態(tài), , 所得的數(shù)據(jù)序列如下所得的數(shù)據(jù)序列如下: :1110010011111110011110111111001111111110001101101分析分析,)97, 2, 1(個時段的計算機(jī)狀態(tài)個時段的計算機(jī)狀態(tài)為第為第設(shè)設(shè) nnXn狀態(tài)

24、空間狀態(tài)空間: I=0, 1. 例例811101101101011110111011110111111001101111110011196 次狀態(tài)轉(zhuǎn)移的情況次狀態(tài)轉(zhuǎn)移的情況: ;8, 00次次;18, 01次次因此因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為一步轉(zhuǎn)移概率可用頻率近似地表示為:,26818880|0100 nnXXPp,2618188180|1101 nnXXPp,70185218181|0110 nnXXPp.70525218521|1111 nnXXPp;18, 10 次次.52, 11次次以下研究齊次馬氏鏈的有限維分布以下研究齊次馬氏鏈的有限維分布.:1的一維分布的一維分布馬氏

25、鏈在任意時刻馬氏鏈在任意時刻Tn ., 2 , 1,)( jIaaXPnpjjnj特點特點: 1. 1)(jjnp, |100 iiijnjnaXPaXaXPaXP ., 2 , 1),()0()(1 iijijjnppnp即即用行向量表示為用行向量表示為)()0()(nPpnp 一維分布由初始分布和一維分布由初始分布和轉(zhuǎn)移概率矩陣決定轉(zhuǎn)移概率矩陣決定（書（書P362 公式公式1.7）一維分布也可用行向量表示成一維分布也可用行向量表示成p(n)=( p1(n) , p2(n), pj(n),)這樣，利用矩陣乘法這樣，利用矩陣乘法I是可列無限集時，仍用有限階是可列無限集時，仍用有限階矩陣乘法的規(guī)

26、則確定矩陣之積的元素，可寫成矩陣乘法的規(guī)則確定矩陣之積的元素，可寫成p(n) = p(0)P(n) (矩陣矩陣)。結(jié)論：馬氏鏈在任一時刻結(jié)論：馬氏鏈在任一時刻n T1時的一維分布由初始時的一維分布由初始分布分布 p(0)和和n 步轉(zhuǎn)移概率矩陣所確定。步轉(zhuǎn)移概率矩陣所確定。 121,Tttttnin 個個時時刻刻對對于于任任意意,21Iaaaniii 以及狀態(tài)以及狀態(tài)馬氏鏈的馬氏鏈的 n 維分布維分布,.,2211nnitititaXaXaXP|)112211itititaXaXPaXP,|112211nnnnititititaXaXaXaXP|112211itititaXaXPaXP|11nnnnititaXaXP).()()(11211211 nniiiiittPttPtpnn有限維分布仍由初始分布有限維分布仍由初始分布和轉(zhuǎn)移概率矩陣決定和轉(zhuǎn)移概率矩陣決定由乘法公式（書（書P362 公式公式1.8） 例例9(續(xù)例續(xù)例8)若計算機(jī)在前一段若計算機(jī)在前一段15分鐘的狀態(tài)為分鐘的狀態(tài)為0，問從時段，問從時段起此計算機(jī)能連續(xù)正常工作一小時起此計算機(jī)能連續(xù)正常工作一小時4個時段的概率為多少？個時段的概率為多少？ 解解 由題意，前一時段的狀態(tài)為由題意，前一時段的狀態(tài)為0就是