隨機(jī)過(guò)程概率復(fù)習(xí)實(shí)用教案

1、內(nèi)容(nirng)：一、Posson 過(guò)程二、Markov 鏈三、連續(xù)(linx)時(shí)間的Markov 鏈四、平穩(wěn)隨機(jī)過(guò)程五、平穩(wěn)隨機(jī)過(guò)程的譜分析六、時(shí)間序列分析第1頁(yè)/共34頁(yè)第一頁(yè)，共34頁(yè)。參考書(shū)：1、隨機(jī)(su j)過(guò)程（第四版），劉次華，華中理工大學(xué)出版社。2、隨機(jī)(su j)過(guò)程（Stochastic Process)，Sheldon M1.Ross著，龔光魯 譯，機(jī)械工業(yè)出版社。3、Probability, Random Variables, and Stochastic Processes ,A.Papoulis,S.U.Pilliai,(保錚 等譯，第四版，西安交通大學(xué)出版社）

2、。第2頁(yè)/共34頁(yè)第二頁(yè)，共34頁(yè)。第一章 隨機(jī)過(guò)程(guchng)的概念與基本類(lèi)型 預(yù)備知識(shí) 簡(jiǎn)要回顧一下(yxi)概率論中與本課程有關(guān)的基本概念：隨機(jī)試驗(yàn)、樣本空間、事件、概率、隨機(jī)變量等第3頁(yè)/共34頁(yè)第三頁(yè)，共34頁(yè)。隨機(jī)(su j)試驗(yàn) 試驗(yàn)結(jié)果事先不能準(zhǔn)確預(yù)言，三個(gè)特征: 可以(ky)在相同條件下重復(fù)進(jìn)行； 每次試驗(yàn)結(jié)果不止一個(gè)，可預(yù)先知道試驗(yàn)所有可能結(jié)果； 每次試驗(yàn)前不能確定那個(gè)結(jié)果會(huì)出現(xiàn)。樣本空間隨機(jī)試驗(yàn)所有可能結(jié)果組成(z chn)的集合，記為事件樣本空間的子集A稱(chēng)為事件集合運(yùn)算第4頁(yè)/共34頁(yè)第四頁(yè)，共34頁(yè)。古典(gdin)概率 隨機(jī)(su j)試驗(yàn)中一切可能結(jié)果是有限多

3、個(gè)； 則事件A發(fā)生的概率可表示為個(gè)數(shù)樣本空間中所含樣本點(diǎn)所包含的樣本點(diǎn)個(gè)數(shù)事件A)(AP第5頁(yè)/共34頁(yè)第五頁(yè)，共34頁(yè)。統(tǒng)計(jì)(tngj)概率用事件的頻率近似地去表達(dá)事件的概率；若在同樣的條件下，將隨機(jī)試驗(yàn)(shyn)獨(dú)立的重復(fù)做n次，事件A出現(xiàn)了nA次，則事件A的頻率是nnfAAv當(dāng)試驗(yàn)次數(shù)n增大時(shí)，其中大量的頻率聚集在一個(gè)常數(shù)(chngsh)周?chē)?；v這個(gè)常數(shù)(chngsh)是客觀存在的，反映了事件A出現(xiàn)可能性的大小，我們認(rèn)為這個(gè)常數(shù)(chngsh)就是事件的概率。)(APfA第6頁(yè)/共34頁(yè)第六頁(yè)，共34頁(yè)。公理化定義(dngy)概率對(duì)于一個(gè)事件A樣本空間，假定滿(mǎn)足(mnz)以下3個(gè)條件的

4、數(shù)P(A)：0P(A) 1;P()=1;若A1,A2,.,Ak兩兩互斥，則11)()(kkkkAPAP我們稱(chēng)我們稱(chēng)P（A）為事件）為事件A的一個(gè)的一個(gè)(y )概率。概率。第7頁(yè)/共34頁(yè)第七頁(yè)，共34頁(yè)。概率(gil)空間 規(guī)定一個(gè)隨機(jī)試驗(yàn)，所有樣本點(diǎn)之集合構(gòu)成(guchng)樣本空間 ，在樣本空間中一個(gè)樣本點(diǎn)或若干個(gè)樣本點(diǎn)之適當(dāng)集合F稱(chēng)為事件域，F(xiàn)中的每一個(gè)集合稱(chēng)為事件（即與隨機(jī)試驗(yàn)有關(guān)的一切可觀察事件的集）。若A F，則P(A)就是事件A的概率，并稱(chēng)這三個(gè)實(shí)體的結(jié)合（ ，F(xiàn)，P）為一個(gè)概率空間第8頁(yè)/共34頁(yè)第八頁(yè)，共34頁(yè)。條件(tiojin)概率 在事件B已發(fā)生這一條件(tiojin)

5、下，事件A發(fā)生的概率。)()()|(BPBAPBAP全概率(gil)v若有N個(gè)互斥事件Bn（n=1,2,N），它的并集等于整個(gè)樣本空間，則NiiiBPBAPAP1)()|()(第9頁(yè)/共34頁(yè)第九頁(yè)，共34頁(yè)。 設(shè)事件A1，A2，An構(gòu)成一個(gè)完備事件組，概率(gil)P(Ai)0,i=1,2,n,對(duì)于任何一個(gè)事件B，若P(B)0, 有NiiiiiiABPAPABPAPBAP1)|()()|()()|(貝葉斯公式貝葉斯公式(gngsh)(先驗(yàn)概率，后驗(yàn)概率）先驗(yàn)概率，后驗(yàn)概率）獨(dú)立獨(dú)立(dl)事件事件)()()(BPAPBAP第10頁(yè)/共34頁(yè)第十頁(yè)，共34頁(yè)。隨機(jī)變量(su j bin lin

6、)定義：定義：設(shè)（設(shè)（ ，F(xiàn)，P）是概率空間，）是概率空間，X=X(e)是定義在是定義在上的上的實(shí)函數(shù)，如果實(shí)函數(shù)，如果(rgu)對(duì)任意實(shí)數(shù)對(duì)任意實(shí)數(shù)x，e:X(e) x F，則稱(chēng)則稱(chēng)X(e)是是F上的隨機(jī)變量。上的隨機(jī)變量。 由于數(shù)學(xué)分析不能直接利用來(lái)研究集合函數(shù)，這樣影響對(duì)隨機(jī)現(xiàn)象的研究。解決這個(gè)問(wèn)題的方法，主要是設(shè)法(shf)在集合函數(shù)與數(shù)學(xué)分析中所研究的點(diǎn)函數(shù)間建立某種聯(lián)系，從而能用數(shù)學(xué)分析法研究隨機(jī)現(xiàn)象。第11頁(yè)/共34頁(yè)第十一頁(yè)，共34頁(yè)。 X(e)就是一個(gè)函數(shù)，它把樣本點(diǎn)映射到實(shí)數(shù)軸上，隨機(jī)變量就是從原樣本空間到新樣本空間的一種映射，我們通常把這樣(zhyng)一種對(duì)應(yīng)關(guān)系稱(chēng)之為

7、在概率空間上的一個(gè)隨機(jī)變量。第12頁(yè)/共34頁(yè)第十二頁(yè)，共34頁(yè)。離散型隨機(jī)變量：離散型隨機(jī)變量：只取有限只取有限(yuxin)個(gè)數(shù)值或可列無(wú)窮多個(gè)數(shù)值或可列無(wú)窮多個(gè)值。個(gè)值。連續(xù)型隨機(jī)變量：連續(xù)型隨機(jī)變量：從原樣本空間到新樣本空間的映射是某一個(gè)范從原樣本空間到新樣本空間的映射是某一個(gè)范圍圍(fnwi)，是一段（或幾段）實(shí)線(xiàn)（也可能，是一段（或幾段）實(shí)線(xiàn)（也可能是整個(gè)坐標(biāo)軸）。是整個(gè)坐標(biāo)軸）。第13頁(yè)/共34頁(yè)第十三頁(yè)，共34頁(yè)。分布函數(shù)（一個(gè)(y )描述隨機(jī)變量取值的概率分布情況的統(tǒng)一方法）xxeXePxF),)(:()(性質(zhì)：F(x)是非降函數(shù)(hnsh)；0F(x) 1；Px1Xx2=F

8、(x2)-F(x1)F(x)是右連續(xù)。第14頁(yè)/共34頁(yè)第十四頁(yè)，共34頁(yè)。第15頁(yè)/共34頁(yè)第十五頁(yè)，共34頁(yè)。離散型隨機(jī)變量的概率分布(fnb)用分布(fnb)列描述01分布(fnb)二項(xiàng)分布泊松分布(fnb)qXPpXP)0(,) 1(knkknqpCkXP)(ekkXPk!)(連續(xù)型隨機(jī)變量的概率分布用概率密度描述均勻分布正態(tài)分布指數(shù)分布其它,0,1)(bxaabxf222)(21)(axexf0,00,)(xxexfx第16頁(yè)/共34頁(yè)第十六頁(yè)，共34頁(yè)。隨機(jī)變量隨機(jī)變量(su j bin lin)函數(shù)函數(shù)的分布的分布在給定某任意在給定某任意(rny)的隨機(jī)變量的隨機(jī)變量X，以及它的

9、概率分布函數(shù)，以及它的概率分布函數(shù)FX(x)，希望進(jìn)一，希望進(jìn)一步求出給定的隨機(jī)變量的某些可測(cè)函數(shù)（如步求出給定的隨機(jī)變量的某些可測(cè)函數(shù)（如Y=g(X)）的概率分布函數(shù)。）的概率分布函數(shù)。非線(xiàn)性放大器YXY的概率分布函數(shù)的概率分布函數(shù)(hnsh)公式為公式為),)(:()(XYxyxgxPyF如果上式右端概率的導(dǎo)數(shù)對(duì)于如果上式右端概率的導(dǎo)數(shù)對(duì)于y處處存在，那么這個(gè)導(dǎo)數(shù)就給出了隨機(jī)變量處處存在，那么這個(gè)導(dǎo)數(shù)就給出了隨機(jī)變量Y的的概率密度概率密度),)(:()(XYxyxgxPdydyf第17頁(yè)/共34頁(yè)第十七頁(yè)，共34頁(yè)。n維隨機(jī)變量(su j bin lin)及其分布函數(shù)設(shè)（設(shè)（ ，F(xiàn)，P）是

10、概率空間，）是概率空間，X=X(e)（X1(e),Xn(e)）是定義在是定義在上的上的n維空間維空間Rn中取值的向量函數(shù)。如果中取值的向量函數(shù)。如果(rgu)對(duì)于任意對(duì)于任意X=(X1,Xn) Rn，e:X1(e) x1,Xn(e) xn F，則稱(chēng)，則稱(chēng)X=X(e)為為n維隨機(jī)變量。稱(chēng)維隨機(jī)變量。稱(chēng))(,)(:(),()(111nnnxeXxeXePxxFxF為為X=(X1,X2,Xn)的聯(lián)合的聯(lián)合(linh)分布函數(shù)分布函數(shù)第18頁(yè)/共34頁(yè)第十八頁(yè)，共34頁(yè)。邊際邊際(binj)分布分布若二維聯(lián)合分布函數(shù)中有一個(gè)若二維聯(lián)合分布函數(shù)中有一個(gè)(y )變?cè)呌跓o(wú)窮，則其極限函數(shù)便是一維分布函變?cè)?/p>

11、趨于無(wú)窮，則其極限函數(shù)便是一維分布函數(shù)，對(duì)于這種特殊性質(zhì)，我們稱(chēng)其為邊際分布。數(shù)，對(duì)于這種特殊性質(zhì)，我們稱(chēng)其為邊際分布。對(duì)于任意兩個(gè)隨機(jī)變量對(duì)于任意兩個(gè)隨機(jī)變量X,Y，其聯(lián)合分布函數(shù)為，其聯(lián)合分布函數(shù)為FXY(x,y)，則，則),()(),()(21yFyFxFxF分別稱(chēng)分別稱(chēng)F1(x)和和F2(y)為為FXY(x,y)關(guān)于關(guān)于X和關(guān)于和關(guān)于Y的邊際的邊際(binj)分布函數(shù)。分布函數(shù)。)(),(),(lim),()(1xXPYxXPyxFxFxFXYy ydudvvufyFyF),(,)(2離散型隨機(jī)變量（離散型隨機(jī)變量（X，Y）邊際分布函數(shù)計(jì)算如下）邊際分布函數(shù)計(jì)算如下連續(xù)型隨機(jī)變量（連續(xù)

12、型隨機(jī)變量（X，Y）邊際分布函數(shù)計(jì)算如下）邊際分布函數(shù)計(jì)算如下第19頁(yè)/共34頁(yè)第十九頁(yè)，共34頁(yè)。相互獨(dú)立相互獨(dú)立(dl)的隨機(jī)變量的隨機(jī)變量設(shè)設(shè)X，Y是兩個(gè)是兩個(gè)(lin )隨機(jī)變量，若對(duì)任意實(shí)數(shù)隨機(jī)變量，若對(duì)任意實(shí)數(shù)x，y有有)()()()(),(yYPxXPyYxXPyYxXP則稱(chēng)則稱(chēng)X，Y為相互為相互(xingh)獨(dú)立的隨機(jī)變量。獨(dú)立的隨機(jī)變量。若若X，Y為相互獨(dú)立隨機(jī)變量，則有為相互獨(dú)立隨機(jī)變量，則有)()(),()()(),(yfxfyxfyFxFyxFYXXYYXXY第20頁(yè)/共34頁(yè)第二十頁(yè)，共34頁(yè)。條件條件(tiojin)分布分布)()()|(BPBAPBAP)(),()

13、|(|yfyxfyxfYXYYX第21頁(yè)/共34頁(yè)第二十一頁(yè)，共34頁(yè)。隨機(jī)變量的數(shù)字(shz)特征 統(tǒng)計(jì)平均與隨機(jī)變量(su j bin lin)的數(shù)學(xué)期望 隨機(jī)變量(su j bin lin)函數(shù)的期望值 方差 協(xié)方差 相關(guān)系數(shù) 獨(dú)立與不相關(guān)第22頁(yè)/共34頁(yè)第二十二頁(yè)，共34頁(yè)。一、數(shù)學(xué)一、數(shù)學(xué)(shxu)期望期望設(shè)離散隨機(jī)變量設(shè)離散隨機(jī)變量X，它可能取，它可能取4個(gè)值個(gè)值x1，x2，x3，x4，做試驗(yàn)，做試驗(yàn)(shyn)n次，計(jì)算次，計(jì)算X的算術(shù)平均可得：的算術(shù)平均可得：4141443322111)(1kkkkkknnxnxnnxnxnxnxnXP(X=xk)1)()(kkkxXPxX

14、EX連續(xù)隨機(jī)變量數(shù)學(xué)(shxu)期望定義dxxxfXEX)()(第23頁(yè)/共34頁(yè)第二十三頁(yè)，共34頁(yè)。隨機(jī)變量隨機(jī)變量(su j bin lin)函數(shù)的期望值函數(shù)的期望值已知隨機(jī)變量已知隨機(jī)變量X的數(shù)學(xué)期望值，求隨機(jī)變量函數(shù)的數(shù)學(xué)期望值，求隨機(jī)變量函數(shù)(hnsh)Y=g(X)的數(shù)學(xué)期望，的數(shù)學(xué)期望，dxxfxgdyyyfXgEYEXY)()()()()(第24頁(yè)/共34頁(yè)第二十四頁(yè)，共34頁(yè)。設(shè)設(shè)X1,X2, ,Xn為隨機(jī)變量，求隨機(jī)變量函數(shù)為隨機(jī)變量，求隨機(jī)變量函數(shù)(hnsh)Y=a1X1+a2X2+anXn的數(shù)學(xué)期望。的數(shù)學(xué)期望。)()()()()()()()(221122112211n

15、nnnnnXEaXEaXEaXaEXaEXaEXaXaXaEYEN N維隨機(jī)變量的數(shù)學(xué)期望滿(mǎn)足線(xiàn)性運(yùn)算，不受獨(dú)立條件(tiojin)(tiojin)限制第25頁(yè)/共34頁(yè)第二十五頁(yè)，共34頁(yè)。已知隨機(jī)變量已知隨機(jī)變量X1和和X2，求隨機(jī)變量函數(shù)，求隨機(jī)變量函數(shù)(hnsh)Yg1(X1)g2(X2)的數(shù)學(xué)期望的數(shù)學(xué)期望 21212211),()()(21dxdxxxfxgxgYExx假設(shè)假設(shè)(jish)兩個(gè)隨機(jī)變量?jī)蓚€(gè)隨機(jī)變量X1和和X2相互獨(dú)立，則有相互獨(dú)立，則有)()(),(21211121xfxfxxfxxxx第26頁(yè)/共34頁(yè)第二十六頁(yè)，共34頁(yè)。二、方差（隨機(jī)變量取值的離散二、方差（隨

16、機(jī)變量取值的離散(lsn)程度）程度）的方差為則稱(chēng)若是隨機(jī)變量設(shè)定義XEXXEDX，EX，X2222EXEX：DX計(jì)算公式XDX 標(biāo)準(zhǔn)差為常數(shù)則相互獨(dú)立若baDYbDXabYaXD，YX,22注：方差反映隨機(jī)變量注：方差反映隨機(jī)變量(su j bin lin)取值的取值的離散程度。離散程度。第27頁(yè)/共34頁(yè)第二十七頁(yè)，共34頁(yè)。三、協(xié)方差與相關(guān)系數(shù)三、協(xié)方差與相關(guān)系數(shù)的協(xié)方差為則稱(chēng)是隨機(jī)變量設(shè)定義YXEYYEXXEBEYEXYXXY,9 . 122大小之間的線(xiàn)性相關(guān)程度的，表示相關(guān)系數(shù)YXXY)()()()(),(YEXEXYEEYYEXXEYXCov引入一個(gè)描述兩個(gè)隨機(jī)變量(su j bi

17、n lin)相關(guān)程度的系數(shù)DYDXYXCovdefXY),(XY稱(chēng)為(chn wi)歸一化的協(xié)方差系數(shù)或相關(guān)系數(shù)。11XY若XY0，則稱(chēng)隨機(jī)變量(su j bin lin)X和Y不相關(guān)。第28頁(yè)/共34頁(yè)第二十八頁(yè)，共34頁(yè)。統(tǒng)計(jì)(tngj)獨(dú)立不相關(guān)(xinggun)0)(),(YEXEXYEEYYEXXEYXCov統(tǒng)計(jì)(tngj)獨(dú)立不相關(guān)設(shè)Z是一個(gè)隨機(jī)變量，具有均勻概率密度其它,020,21)(zzfZ令X=sinZ，Y=cosZ，求隨機(jī)變量X和Y是否相關(guān)，是否獨(dú)立？第29頁(yè)/共34頁(yè)第二十九頁(yè)，共34頁(yè)。四、四、K階原點(diǎn)矩，階原點(diǎn)矩，k階中心矩階中心矩隨機(jī)變量隨機(jī)變量(su j bin

18、 lin)X，若，若E|X|k，稱(chēng)，稱(chēng)EXk為為k階階原點(diǎn)矩。而稱(chēng)原點(diǎn)矩。而稱(chēng)E|X|k為為X的的k階絕對(duì)原點(diǎn)矩。階絕對(duì)原點(diǎn)矩。niXkikikdxxfxxXPxXE1)()(離散(lsn)隨機(jī)變量連續(xù)(linx)隨機(jī)變量又若又若EX存在，且存在，且E|X-EX|k ，稱(chēng)，稱(chēng))(kXEXE為為X的的k階中心矩。階中心矩。niXkikikdxxfXExxXPXExXEXE1)()()()()(離散隨機(jī)變量連續(xù)隨機(jī)變量第30頁(yè)/共34頁(yè)第三十頁(yè)，共34頁(yè)。一階原點(diǎn)矩就是隨機(jī)變量一階原點(diǎn)矩就是隨機(jī)變量(su j bin lin)的數(shù)學(xué)期望，的數(shù)學(xué)期望，)(xxdFEX二階中心矩就是二階中心矩就是(jish)隨機(jī)變量的方差，隨機(jī)變量的方差，2)(EXXEDXdef第3