《應用隨機過程（第6版）》教學雜記

隨機過程雜記作者：鄧軍組織：對外經濟貿易大學時間：May1,2024版本：0.1特別聲明和感謝特別聲明和感謝本文采用EleantX模板。該模板可以從GitHuCAOeleaf以及Gitee上下載。2020文檔。鄧軍October11,2024目錄目錄1 概率論基礎 11.1 為什么需要概率空間 .............................. 11.1.1 理發(fā)師悖論(Barberparadox)...................... 11.1.2 貝特朗悖論(Bertrand’sParadox).................... 11.1.3 非悖論,生日問題............................ 31.2 概率空間..................................... 31.2.1 可測空間................................. 41.2.2 概率空間................................. 8條件概率 10全概率公式和公式 11隨機變量和分布函數(shù) 13數(shù)字特征 17矩函數(shù)(MomentGeneratingFunction) 17特征函數(shù)(Characteristicfunction) 18反演公式及唯一性定理 21多維隨機變量的特征函數(shù) 24獨立性與條件期望 25獨立性 25條件期望 26條件分布 27一般條件期望? 31隨機過程的基本概念與類型 34隨機過程的背景 34基本概念 34有限維分布與Kolmogorov定理 36隨機過程的數(shù)字特征 37隨機過程的基本類型 40平穩(wěn)過程 40獨立增量過程 41運動（維納過程） 44基本概念與性質 44維納過程的分布 48目錄 –iii–維納過程的數(shù)字特征 49二次變差 51Brown運動的鞅性質 55Brown運動的最大值變量及反正弦律 56Brown運動的幾種變化 58Brown橋 58幾何Brown運動 59Poisson過程 61齊次泊松過程 61Poisson過程數(shù)學模型 61齊次泊松過程的數(shù)字特征 66時間間隔與等待時間的分布 68到達時間的條件分布 70更新計數(shù)過程 70復合泊松過程 73復合Poisson過程 73非齊次泊松過程(了解內容，不考察) 75鞅(Martingale)過程 77基本概念 77鞅的停時定理及其應用 83鞅的停時定理 83連續(xù)鞅 87第一章概率論基礎OO悖論O樣本空間Oσ代數(shù)O可測空間O概率空間O測度完備化內容提要O隨機變量O分布函數(shù)O特征函數(shù)O獨立性O條件數(shù)學期望為什么需要概率空間我們需要概率空間的目的有三個12模糊性帶來的概3）嚴格的定義隨機變量和隨機過程。(Barberparadox)小城里的理發(fā)師要為所有不給自己刮臉的人刮臉。那么理發(fā)師是否應該給自己刮臉這個例子告訴我們：語言描述模糊性帶來了悖論。(Bertrand’sParadox)問題描述：在一個半徑為1的圓內畫一個內接等邊三角形。如果在圓的周長上隨機選擇兩點，并連接這兩個點。求這條弦比內接等邊三角形邊長要長的概率？第一種計算方式：如下圖所示，固定內接等邊三角形的一個頂點作為弦的一個點。60度-901/3。1/2。第三種計算方式：我們再作一個等邊三角形的內切圓。只有當弦穿過了內切圓，弦才比三角形的邊長要長。因此，概率為小圓面積 1大圓面積=4.1.1為什么需要概率空間 –2–圖1.1:貝特朗悖論第一種計算方式圖1.2:貝特朗悖論第二種計算方式圖1.3:貝特朗悖論第三種計算方式1.2概率空間–1.2概率空間–PAGE3–這個例子告訴我們：三種計算的概率都是正確的，但是得到的結論呢卻不一致。這是因為語言模糊性帶來隨機選取的不一致，從而帶來概率計算的不確定性。1.1.3非悖論,生日問題50%?23人。這就意味著在一個典型的標準班級（30人）中，存在兩人生日相同的可6099%232人生日相同的概率應該遠遠小于50%。計算與此相關的概率被稱為生日問題，在這個問題之后的數(shù)學理論已被用于設計著名的密碼攻擊方法：生日攻擊。圖1.4:生日問題理解1.1.悖論從這些例子，我們看到為了嚴格的說明什么是隨機的，為了避免語言描述帶來的模糊性。我們需要嚴格的定義所討論的隨機所定義的空間！?概率空間定義1.1.樣本空間?我們感興趣的實驗所有結果放在一起構成的集合，稱為樣本空間?。其中的元素稱為樣本空間?的點。?當我們做一系列的隨機試驗，能夠得到不同的結果，為了研究這些可能的結果。我可能會得到{,,···,}中的任何一個數(shù)字。因此，我們用?={,,·定義1.1.樣本空間?我們感興趣的實驗所有結果放在一起構成的集合，稱為樣本空間?。其中的元素稱為樣本空間?的點。?例1.1如果我們想研究拋一次硬幣的結果，我們可以用如下的?來表示樣本空間。?=正面,反}. (1.1)圖1.5:拋骰子的樣本空間1.2來表示樣本空間。?={正,正面,反,正},{正,反},{反,反}. (1.2)思考拋無窮次硬幣的結果的樣本空間？?，這時我們可以把研究對象限定在該指定的樣本空間上。這樣就避免了隨機選取帶來的模糊性。例如在貝特朗悖論中，如果我們事先制定了如何去?，就能避免前面得到的三種不同的概率。?基礎上，如果我們還感興趣某幾個事情一起發(fā)生或者都不發(fā)生的概率，這時我們就希望能夠把樣本空間?σ1.2的樣本空間?A=,,,}}作為一個整體事件。下一節(jié)我們給出這些概念的詳細定義?？蓽y空間定義1.2.事件(子集)的子集或者事件。?例1.3例如?={ω1,ω2,···,ω10}ωi,i=1,2,···,10為樣本空間?中的點或者元素。類似A={ω1,ω3,B=ω4,ω7,ω9}這樣由其元素構成的子集就稱為事件。注意ωi時，它可以表示任意的含義，例如硬幣的正反面，骰子的點數(shù)，一個班級的同學。它只是一個抽象的符號。有了事件的概念，接下來我們想研究一系列事件發(fā)生的概率或者兩個事件交集發(fā)生σ1.3A,B同AB;A,B有一個發(fā)生的概率，這時定義1.3.σ代數(shù)定義1.3.σ代數(shù)是一個樣本空間，F(xiàn)F滿足如下三個條件，?∈F;AF,AAc=?\AF;3.AFn=12···∞n,則有l(wèi)n=1Fσ(?F)為可測空間(?F)中的元素稱為可測集或者可測事件。A∈F。n?表示空集。AFAFA,BA\B表示兩個的差，即:理解1.2.σ代數(shù)σ中單個事件或者事件組合所發(fā)生的概率。因此，我們F包含一系列的事件。但并不是所有的事件放在一起都對我們研究一般問題有效。直觀來說，F(xiàn)必須包含事件的全體，這樣我們才能討論必然會發(fā)生的事情。因此有了?∈F。（不發(fā)生理解1.2.σ代數(shù)σ中單個事件或者事件組合所發(fā)生的概率。因此，我們F包含一系列的事件。但并不是所有的事件放在一起都對我們研究一般問題有效。直觀來說，F(xiàn)必須包含事件的全體，這樣我們才能討論必然會發(fā)生的事情。因此有了?∈F。（不發(fā)生AF,AAc=?\AF;我們希望如果有無窮多個事情發(fā)生的情況或者極限下會怎么樣。因此有了如果一系列事件(A)nn≥1∈F,我們希望ln=1FF的可測集合。所以一個集合σF。σFF們才能夠認識！A∈F。n?例1.4我們想研究拋一次六面骰子出現(xiàn)2或者3。這時我們可以把這個問題用可測空間來嚴格描述出來。?=1,2,3,4,5,6},F={,?,{2,3,1,4,5,6}.因為是研究"2或者3"，因此我們把2，3放在一起作為一個整體。因此F包含了事件{,}。為了讓F成為σ代數(shù)我們還包含了其他的事件。顯然在上面的F1}不在里面，雖然{}是{,,,}的一個子集。因此，我們說{}不是上面F的可測集，我們也無法認識她。同樣{}也不是F的可測集。例1.523的概率。這時我們可以把這個問題用可測空間來嚴格描述出來。?={,,,,,},1={,?,2,3},{,},{,,,,},{,,,,6,1,4,5,6}.1.2概率空間–6–1.2概率空間–6–因為是研究"23"23需要單獨分離開來研究，而不能FσσF1{2}是1的可測集，但不是例子1.中F的可測集。上面例子告訴我們，可測集依賴于我們定義的σ例1.6一些σ-代數(shù)的例子。最小的σ-代數(shù)：平凡（trivialσ-代數(shù),?}.最大的σ-代數(shù)：全體子集2?:=A:A??.i=1分割形成的σ代數(shù)：令A1,A2,···,An為?的不相交的子集，并有l(wèi)n n=?i=1則由A1,A2,···,An進行有限并、補運算產生一個σ-代數(shù)，其中包含2n個集合。定義1.4.σ-代數(shù)的生成對于?的一個子集族S,如果存在?上的σ-代數(shù)定義1.4.σ-代數(shù)的生成對于?的一個子集族S,如果存在?上的σ-代數(shù)F使得S?F;對于任意包含S的?上的σ-代數(shù)F′,都有F?F′,FS生成的（最小的）σ-F:=σ(S).?命題1.1下面命題成立：?S,F:=σ(S).Sσ-σ(S)=S.?例1.7?={ω1,ω2,···,ω4,S=ω1},{ω2,ω3。則：由S生成的σ-代數(shù)為：σ(S)={?,?,{ω1,ω2,ω3,ω4},{ω1,ω2,ω3},{ω4},{ω2,ω3,ω1,ω4}}如果S=ω1,ω2。則：由S生成的σ-代數(shù)為：σ(S)={?,?,{ω1,ω2,ω3,ω4},{ω1,ω2,ω3,ω4},定義1.5.集合上下極限如果An,n=1,定義1.5.集合上下極限如果An,n=1,2,···,∞}為集合序列。我們定義limsupA=+∞ ∞n從上面定義可以看到如果定義Bn=lk=nAk，則Bn為一遞減集合序列。因此，n→+∞n=1n /A ,liminfAkk=n＼+∞ ∞n→+∞n=n=1I /k=nAk＼.(1.3)1.2概率空間–1.2概率空間–PAGE10–BBn的極限可以定義為無窮的交集，并且limsupAn=limB= B+∞nC=nnn→+∞n→+∞nnn=1k=nA，則C為一遞增集合序列。因此，knC的極限可以定義n為無窮的并集，并且liminfAn=limC= C.+∞n→+∞n→+∞nInn=1?理解1.3.集合上下極限類似于數(shù)列，數(shù)列的極限不一定存在，但是我們可以定義數(shù)列的上下極限。同理，對于集合序列一樣，其極限也不一定存在。?1.8An如下

1An=[0,1+n].顯然，An是一個遞減集合序列?？梢缘玫絣imsupAn=n→+∞[0,limsupAn=n→+∞[0,1+ ]kn=1 n=1k=n

1＼ +∞ 1[0,1+ ][0,1+ ]=[0,1],nn=1

∞/∞

=[0,1+=

1]＼=

+∞[0,1]=[0,1].n→+∞1.9An如下

n=1

kk=n1

n=11可以得到

A2n=[0,2+n],A2n+1=[0,1+n].∞B2n=

=2n

Ak=A2n∪A2n+1∪A2n+2∪···=[0,2+1]I[0,1+1]=[0,2+1].=(=[0,2+1]I[0,1+1]=[0,2+1].n n n∞B2n+1=

k2n+1

Ak=A2n+1∪A2n+2∪···=[0,1+1]I[0,2+1]==[0,1+1]I[0,2+1]=[0,2+1],limsupAn=n→+∞

+∞n=1

nBn=

//n=1

B2n

n+1＼n/＼＼n/nn=0

n+1＼B2n+1＼＼=/∞=

[0,2+

1 ]n

[0,2+

1]n+1

=[0,2].n=1 n=0同理可以得到

liminfAn=[0,1]?=limsupAn=[0,2].概率空間

n→+∞

n→+∞定義1.6.概率空間(?定義1.6.概率空間(?F)為一個可測空間。PP:F→[01]σF，值[01]P滿足：1.P(?)=1;2.?AF,0P(A)1;3.如果A1,A2,···,A∞為任意不相交的集合序列，則有P( A)= P(A).I∞n、∞n(1.4)n=1n=1(?FP)稱為概率空間。?理解1.4.概率σF中事件發(fā)生的大小。我們只能度量可以認識事件的σF中的可測集！?例1.10假設?=ω1,ω2,ω3},F=,?,ω1,ω2},{ω3.定義P({ω1,ω2)=0.,P(ω3)=0.5.因此，上面的概率P刻畫事件ω1,ω2}和ω3}發(fā)生的概率。但是，我們并不知道事件定義1.7.零測集0，我們稱其為零測集。?{ω1}{ω1}關于定義1.7.零測集0，我們稱其為零測集。?定義1.8.完備的概率測度NPNσ(F和N的最小σ)稱為F的完備化，記為?.FBBANAFNNAN??。定義?(B)=?(A∪N)=P(A)則則P就被擴張到?上。容易驗證，PFPP的完備化。P是完備的概率測度。? ???例1.11假設?=ω1,ω2,ω3},F=,?,ω1,ω2},{ω3.定義P({ω1,ω2})=0,P(ω3)=1.{ω1,ω2}{ω1},{ω2}都不是可測集的是概率發(fā)生的大小，我們不妨把{ω1,ω2}加入到F中，從而把她們都變成可測集，0。因此，定義?={,?,ω1},{ω2},ω1,ω2},{ω3},{ω1,ω3,ω2,ω3}.(?FP)(?FP)的完備化。理解1.5.概率空間的邏輯??概率空間的邏輯圖可以如下表示：?感興趣的集合→(?,F)(?FP)(?FP)(?FP)的完備化。理解1.5.概率空間的邏輯??概率空間的邏輯圖可以如下表示：?感興趣的集合→(?,F)(?FP)隨機變量可以認識的事件可認識事件的度量大小也就是可測可測事件的概率大?命題1.2.概率的性質事件的概率有如下性質：1.若A,B∈F,則P(A∪B)+P(A∩B)=P(A)+P(B).2.A,BFAP(BP(BP(A)(可減性).3.A,BFAPP(B)(單調性).4.An1nP(從下連續(xù)AnFAnAP(AP(An).從上連續(xù)AnFAnAP(AP(An)ln≥1A)≤n寸n≥1P(A).n?證明1、2、3的證明很顯然，我們省掉了。引入如下記號：B1=A1,B2=A2\A1,B3=A3\(A1∪A2),···,Bn=An\

n?1/i/i=1

Ai＼i=1Bnk,li=1

Ai=lk

Bi,Bn?/＼ /＼ An。因此可以得到P(Bn)≤/＼ /＼ nP ∞A =P ∞Bnn=1 n=1

=∞nn=1n

P(Bn

∞)≤n=1

P(An).由于集合序列AnA=ln=1An3.中相同的新集合序列Bn.因此可以得到

∞P(A)=P(n=1

A)=P ∞B/nn/nn

=∞＼ Pn＼ P

P(Bn)k=limk

P(Bn)=lim

/k

Bn＼

=lim

P(Ak).k→∞n=1

k→∞

n=1

k→∞5.Cn=?An。這樣新的集合序列就是遞增的了，可以直接用5.的結論。 ■例1.12設某股票一天的成交筆數(shù)為m,基本事件為{},樣本空間F是?的一切子集組F代數(shù).P(?0AF令P(A)=

?λλkek!e

,λ>0.證明：P為可測空間(?,F,P)上的概率測度.證明(1)我們證明P(?)=1.k!kP(?)=、e?λk!kk∈k∈?

=、e?λλkk=0

=e?λeλ=1.kk=0+∞k!k(2)對于F中任意不相交的集合序列A+∞k!k∞∞∞kkP(IA∞∞∞kk

、

e?λλ

=、、e?λλ

=、P(A).nn=1

k!n=1k∈An

k! nn=1因此，P為可測空間(?,F,P)上的概率測度. ■條件概率定義1.9(?FP)A,BFP(B)0則定義P(A|B)=P(AB).P(B)BA發(fā)生的條件概率.?定理1.1P上面BFP(BAFP(A|B相對P(·|B滿足如下的三條公理：?A∈F,0≤P(A|B)≤1P(?|B)=1Aii···AiAji?jP/i=1∞A|B = P(A|B).i＼∞ii=1?證明該定理的證明很顯然?？梢詮臈l件概率的定義簡單推導得到。 ■定義1.10PBP(·|B)PBF)上的概率PB)是條件概率空間.?定理1.2AFPB)上的正概率事件,B∈F,PA(B)0,C∈F有PA(C|B)=P(C|A∩B).?證明有定義可以得到：P(C|B)= PA(C∩B)=P(C∩B|A)A PA(B)

P(B|A)P(ABC)= /P(A)

P(AB)=P(A)

P(ABC)P(AB)=P(C|A∩B).■理解1.6.條件概率條件概率告訴了我們已經給定了一個事件下，另外一個事件發(fā)生的概率。例如下面圖片所示，可以設想在一個樣本空間中事件發(fā)生就是在平板上方掉落的球。如藍色的擋板就是的事件B。在給定事件A條件下，事件B的條件概率就是下落的小球首AB的概率。該圖例的動http://setosa.io/conditional/查看.?圖1.6:條件概率公式定理1.3概率空間(?,F,P)上，若Ai∈F且P(Ai)>0對所有的i=1,2,...∪i=1Ai=?,Ai∩Aj=.1.3隨機變量和分布函數(shù)–1.3隨機變量和分布函數(shù)–PAGE12–理解1.7.Bayes公式理解1.7.Bayes公式BAn是這些所有的可能性。全概率公式告訴我們,?BP(B)公式則反過來，如果我們看到了結果B，去推測是原因Aj使得其發(fā)生的概率。此來提高賣價和買價，以及價差，來保持自己的做市能力。?例1.13高射炮向敵機發(fā)射三發(fā)炮彈，每彈擊中與否相互獨立且每發(fā)炮彈擊中的概率均為0.3，又知敵機若中一彈，墜毀的概率為0.2，若中兩彈，墜毀的概率為0.6，若中三彈，敵機必墜毀。求敵機墜毀的概率。B ={敵機墜毀,Ai=敵機中了i個子彈}因此，我們可以計算P(B)=

3、P(Ai)P(B|Ai)、i=03=(1?0.3)3?0+C1?0.3?(1?0.3)2?0.23+C2?0.32?(1?0.3)?0.6+C3?0.33?13 3=0.2286.計算在敵機墜毀的條件下，該機中了一發(fā)炮彈的概率。1P(A|B)=1

P(A1)P(BA1)|3P(A|3P(A)P(B|A)iiii=033BBF有P(B)=、∞P(A)P(B|A)iii=1P(A|B)=j P(Aj)P(B|Aj) .寸∞i=1P(Ai)P(B|Ai)?i=0=C1?0.3?(1?0.3)2?0.2=0.2286

=0.385826772.1.3隨機變量和分布函數(shù)O隨機變量O隨機變量O分布函數(shù)內容提要O特征函數(shù)定義1.11.Borelσ代數(shù)設?=R.由所有半無限區(qū)間(,x)生成的σ代數(shù)即包含集族{(,x),x∈R}σ代數(shù)RBorelσ代數(shù)B(R)Borel集合.RnBorelσB(Rn).?定義1.12.隨機變量FPR的函數(shù)如果對任意實數(shù)a∈R,{ω:X(ω)<a}∈F，則稱X(ω)是F.F(a)=P(ω:X(ω)<a),?∞<a<∞稱為隨機變量X的分布函數(shù).?理解1.8.概率空間的邏輯?感興趣的集合→(?,F)(?FP)隨機變量可以認識的事件可認識事件的度量大小也就是可測可測事件的概率大理解1.8.概率空間的邏輯?感興趣的集合→(?,F)(?FP)隨機變量可以認識的事件可認識事件的度量大小也就是可測可測事件的概率大?理解1.9.隨機變量在我們定義了概率空間(?,F,P)后，我們更感興趣的是在上面定義一些變量來描述更一般的事物。例如定義一個變量來描述一天氣溫可能的隨機變化；定義一個變量來描述明天的股票可能的收盤價；定義一個變量來描述一段時間內股票訂單的數(shù)量等。但是，并不是所有這些定義出來的變量都是我們能夠認識和研究的。σF是可測的。σF，則我們稱她F可測。因此，對于定義的變量，我們希望她取某一個值，或者在一個區(qū)間內的值我們都可以認識。在定義隨機變量X時，對于任意固定的實屬a,{ω:X(ω)<a}表示所有在樣本空間?中滿足{X(ω)<a}的點ω。把滿足條件所有這些點放在一起就成了樣本空間?的一個子集，這實際就是X<a}在?的原像。因此，我們要求{ω:X(ω)<a}是屬于σ代數(shù)F，這樣我們才能夠判斷隨機變量是否是小于某一a!!在定義隨機變量X時，雖然只要求對于任意固定的實數(shù)a,ω:X(ω)<a}∈F。但利用如下等式{a1≤X<a2}=X<a2}\{X<a1}∈F,{X=a}= {+∞n=1na? ≤X<a+ }∈F,11nnX≥a}=?\X<a}∈F.由此我們可以看到隨機變量取一個固定的值{X=a}或者大于一個值{X≥a}都是可測的。?理解1.10.隨機變量如果一個變量X只取有限個離散的值{y1,y2,···,yN}yi都有X=yi}∈F則X是關于F的隨機變量。并稱X為離散型隨機變量。?圖1.7:隨機變量令更直觀的可以這樣理解隨機變量：左圖表示對一個映射，如果從實數(shù)軸上隨意選一個區(qū)間(a,b)F可測的，我們就稱為隨機變量。對于右圖所示yiF判斷是什么發(fā)生了，那么就是隨機變量。令例1.14設?=ω1,ω2,ω3},F=,?,{ω1,ω2,ω3.定義如下的兩個變量X,Y.容易計算，

X=1,ω1,2, ω3}

,Y=, {ω1},{ω2,ω3}X=1}=ω1,ω2}∈F,{X=2}={ω3}∈F,Y=1}=ω1}/F,X=2}={ω2,ω3}/F.??XFYσF=,?,{ω1,ω2,ω3},{ω1,ω2,ω1,ω3},{ω2,ω3.??命題1.3分布函數(shù)F(x)的性質如下：1.命題1.3分布函數(shù)F(x)的性質如下：1.F(x)是單調不減函數(shù)。2.0≤F(x)≤1,limx→?∞F(x)=0,limx→+∞F(x)=1.3.F(x)是左連續(xù)函數(shù),即?x∈R,F(x?)=F(x).??證明1.2.兩條性質都是顯然的。注意到：∞n=1∞n由概率測度的從下連續(xù)可得：

X<x?11=X<x}/F(x)=P(X<x)=P ∞{X</n=11

1＼?n}＼= lim令n→+∞令

P({X<x?

n})=F(x?).因此F(x)是左連續(xù)函數(shù)。 ■筆記如果我們定義隨機變量的分布函數(shù)為F(a)=P(ω:X(ω)≤a),?∞<a<∞定義1.13.定義1.13.連續(xù)型和離散型隨機變量f(x)滿足F(x)=rxf(t)dt?∞f(xXF(x的分布密度.X具有分布密度,X為連續(xù)型隨機變量X最多以正概率取可數(shù)多個值X為離散型隨機變量.?在隨機過程中，我們往往感興趣的是隨機變量或者隨機過程的概率性質。因此對于如果兩個變量，如果他們不相等部分是一個零測集，我們可以認為她們是一樣的。定義1.14.等價隨機變量XYP(ωX(ω)?Y(ω則稱它們是等價的.注：對于兩個等價的隨機變量，我們視為同一.?1.15(?FP)上,F ={,?,ω1,ω2},{ω3},{ω4,···},P(ω1,ω2})=0.2,P(ω3})=0.8,P(ω4)=1,ω1,ω2}X = 2, {ω3}

Y=

1, {ω1,ω2}2, ω3}3, {ω4} ?1, ω4}XYω4P(ω4)=0XY等價隨機變量。定理定理1.4.隨機變量等價定義下列命題等價：1.X是隨機變量；2.{ω:X(ω)≥a}∈F,?a∈R；3.{ω:X(ω)>a}∈F,?a∈R；4.{ω:X(ω)<a}∈F,?a∈R.?下面定義告訴我們對隨機變量進行四則運算和求極限的結果依然還是隨機變量。這就保證了，我們在討論隨機變量求和，以及以后考慮收斂性是有意義的。定理1.5.隨機變量之間的性質若X,Y是隨機變量，則X<Y,X≤Y},{X=Y}及{X?=Y}都屬F；YXY,XYXY亦然；若{Xn}是隨機變量序列,則supnXn,infnXn,limsupn→∞Xn和liminfn→∞Xn都是隨機變量.?證明 1和2.記(rn)為所有的有理數(shù)。則有：X+Y<a}=X<a?Y}I∞I= X<rn}∩{a?Y≥rn}∈F.n=1{X2<a}=X<√a}∩{X>?√a}∈F.(X+Y)2?(X?Y)2XY = .4a注意到∞{supXn<a}=n{Xn<a}∈F,n n∞infXn>a}=n{Xn>a}∈F.nnn因此，supnXn,infnXn都是隨機變量。同時limsupXn=inf/sup

Xk＼∈F,n→∞

n→∞

1≤k≤nn→∞n→∞≤k≤liminfXn=sup（1infnXk＼∈F.n→∞n→∞≤k≤因此，limsupn→∞Xn和liminfn→∞Xn都是隨機變量。 ■數(shù)字特征有了隨機變量的分布后，我們對一個隨機變量的認識還不夠，同時在應用和證明中只知道分布往往還不夠直觀和便利。因此，我們刻畫隨機變量更深刻的一些性質。定義1.15.隨機變量一些特征取值為{sk}的離散型隨機變量X的數(shù)學期望(簡稱為期望)數(shù)學期望E[X]定義為E[X]=、skpk=、skP(X=sk)k k寸|sk|pk∞.X的(Expectation)E[X]定義為E[X]=r∞xdF(x)=r∞xf(x)dxr?∞ ?∞r如果∞?∞

|x|dF(x∞F(xX的分布函數(shù),f(x是其密度函數(shù).利用Riemann-Stieltjes積分，我們可以對離散型隨機變量和連續(xù)型隨機變量的期望r給出一個統(tǒng)一的表達式：rE[X]=

+∞xdF(x)?∞XkmkE[XkX的k階原點矩數(shù)學期望是一階原點矩.Xkck=E[XE[X]]kX的k階中心(k-thmomentfunction)方差是二階原點矩.XYklE[XE[X]]k[YE[Y]]lX的k+l階混合中心矩.協(xié)方差是二階混合中心矩.?(MomentGeneratingFunction)定義1.16.矩函數(shù)XFX(x)則稱tX?(t)=E[e ]=r∞?∞txXedF(x)X(1.5)X的矩函數(shù)FXf(x)，則?(t)=Xr∞?∞ef(x)dxtx?命題1.4X(?(t)求導時，求導運算與求期望運算可以交換次序)?′(t)=E(XetX)X?′′(t)=E(X2etX)X.?(n)(t)=E(XnetX).X令t=0,得到? (0)=E[X],n≥1.當矩函數(shù)存在時，它唯一地決定分布，因(n)nX此我們能夠用矩函數(shù)刻畫隨機變量的概率分布.?有時隨機變量的矩函數(shù)不一定存在，在這種情況下，更方便的是特征函數(shù).(Characteristicfunction)定義1.17.特征函數(shù)XFX(x)則稱itXψ(t)=E[e ]=XX的特征函數(shù)FXf(x)ψX(tf(xFourier變換r∞e dF(x)itxX?∞ψ(t)=r∞?∞itxXe f(x)dx?特征函數(shù)是一個實變量的復值函數(shù)，因為|eitx|=1，所以它對一切實數(shù)t都有定義.特征函數(shù)有如下常用性質：1.有界性：|ψ(t)||E[eitX]|E[|eitX|1ψ(0);共軛對稱性：ψ(?t)=ψ(t);r一致連續(xù)性：r|ψ(t+h)?ψ(t)|≤ ∞|eihx?1|dF(x);?∞Y=aXbYψY(t)=eibtψX(at);兩個相互獨立的隨機變量之和的特征函數(shù)等于它們的特征函數(shù)之積.k=1nt1,···,tn及復數(shù)λ1,···,λn寸k=1

n寸j=1寸

ψ(tk?tj)λkλj≥0.命題1.5.特征函數(shù)和矩的關系Xnnkn時，有ψ(k)(0)=ikE[Xk]特別地，特征函數(shù)可作如下帶皮阿諾型余項的Taylor展開：(it)2ψ(t)=1+itE[X]+2!E[X]+···+2(it)nn!E[X]+o(t)n?1.16P(X=c)=1的特征函數(shù)。ψ(t)=E(eitc)=eitc,t∈R.例1.17求兩點分布P(X=0)=p,P(X=1)=1?p的特征函數(shù)。ψ(t)=eit?0p+eit?1(1?p)=p+eit(1?p),t∈R.例1.18求指數(shù)分布的特征函數(shù)。解指數(shù)函數(shù)的密度函數(shù)為：

λe?λx,x≥0;因此可以得到：

f(x)=

0, x<0.ψ(t)=r∞λeitxe?λxdx0=r∞λe?λxcos(tx)dx+iλr∞e?λxsin(tx)dx0000 λ t

（ it＼?1=λλ2+t2+iλλ2+t2= 1?λ .令 筆記回顧數(shù)學知識:分布積分：■0r∞e?λxcos(x)dx=e?λxsin(x)1∞+r∞λe?λxsin(x)dx00 0000?=r∞λe?λxsin(x)dx=?λe?λxcos(x)1∞?λ2r∞e?λxcos(x)0?因此可以得到：

0 0=λ λ2 ∞e?λxcos(x)dx.0r∞e?λxcos(x)dx=λ .01.19N(01)的特征函數(shù).

1+λ2?∞ψ(t=r∞?∞

eitxe?x2/2dx從而ψ′(t)=

1 ∞rr√2π?∞rr

ixe

itx

e?x2/2dx√i ∞√=2π?∞

eitx

d(?e

?x2/2)（i（=

?eitx?x2/2|∞+it

∞eitxr?∞r

e?x2/2

dx）?∞=?tψ(t)?∞′

?1t21.11.N(01的特征函數(shù)ψ(t)=√ e e dx=e √ e1X2πr∞?1.11.N(01的特征函數(shù)ψ(t)=√ e e dx=e √ e1X2πr∞?t2itx?x/2212r∞?(x?it)2t22 dx=e?2.我們可以把√2π1r?∞2π?∞?∞e∞?(x?it)22 dx看成it的正態(tài)分布的累計分布函數(shù)。?1.20N(μ,σ2)的特征函數(shù).解Y～N(μ,σ2)，X～N(01)Y=σX+μ.利用特征函數(shù)性質(4)有1222ψY(t)=eitμψX(σt)=eiμt?σt. ■2定理1.6分布函數(shù)由其特征函數(shù)唯一決定.從而說明特征函數(shù)與分布函數(shù)是相互唯一確定定理1.6分布函數(shù)由其特征函數(shù)唯一決定.從而說明特征函數(shù)與分布函數(shù)是相互唯一確定的.?定理1.7特征函數(shù)與矩的關系,Xn階矩存在,Xψ(t)k階導數(shù)ψ(k)(t)存在,且E(X)=kψ(k)(0)ik .?1.21X的概率密度函數(shù)為1cos(x),?π≤x≤求E(X),D(X).證明我們有基本等式：

f(x)= 2

2 20, others.22cos(x)+cos(y)=2cos（x+y＼cos（x?y＼.22ψ(t)=

πr?21cos(x)eitxdxr?21

r21rcos(x)(cos(tx)+isin(tx))dx2rπ?π2rπ21=2

π22cos(x)cos(tx)dxr0 2r1 20= 2 (cos((t+1)x)+cos((t?1)x))dx02t+12t?12= 1（1sin（(t+1)π＼+1sin（(t?1)π2t+12t?12上面用到了偶函數(shù)在一個對稱區(qū)間積分為0.由于ψ(1)(0)=0andψ(2)(0)=2?π2/4,可以得到E(X)=i?1ψ(1)(0)=0,D(X)=i?2ψ(2)(0)=?2+π2/4.■反演公式及唯一性定理X的分布函數(shù)可惟一確定其特征函數(shù)X的特征函數(shù)唯一確定其分布函數(shù)??定理1.8.反演公式定理1.8.反演公式XF(x)ψ(t).F(x)的任意連續(xù)點x1,x2，有：F(x2)?F(x1)=lim1T→∞2πrT ?itx ?itxe ?e12?Titψ(t)dt.?r∞sin(t)dt= π,r∞sin(at)

πdt=sgn(a),a

?=0.0 t 2 0 t 2其中，sgn(a)表示符號函數(shù)，當a>0時為1，當a<0小于0時為-1.證明考慮如下的函數(shù)k(λ),k(λ):=r∞e?λtsin(t)dt.0 t對k(λ)關于λ求導,并利用分布積分可以得到k′:=?r∞e?λtsin(t)dt=?1 .0 1+λ2由此可以得到k(λ)=?arctan(λ)+costant.2k(λ)k(+∞)=0=arctan(+∞)+costant=2

+costant，因此可2constant=.2

πk(λ)=?arctan(λ)+2.證明XXf。一般的證明類證明XXf。一般的證明類0t20t2由于r∞in(t)dt=k(0)=π.簡單的積分變化可以得到r∞sin(at)證明XXf。一般的證明類證明XXf。一般的證明類0t20t2似。lim

1rT

e?itx1?e?itx2

ψ(t)dtT→∞2π?T it=lim

1rT

e?itx1?e?itx2r∞

f(y)e

ity

dydtT→∞2π=1r∞

?T rTrf(y)lim

?∞e?it(x1?y)?e?it(x2?y)

dydtr2π?∞ T→∞?T itr=1r∞

Tf(y)lim

cos(t(x1?y))?isin(t(x1?y))?cos(t(x2?y))+isin(t(x2?y))

dydt2π?∞ T→∞?T it=1r∞

f(y)2lim

rTisin(t(x2?y))?isin(t(x1?y))

dydt2π?∞ T→∞0 it=1r∞f(y)r∞sin(t(x2?y))?sin(t(x1?y))dydtπ?∞ 0 t=1r∞π?∞rxπ?∞

πf(y)2(sgn(x2

y)?sgn(x1

y))dy?= f(y)dy=F(x2) F(x1).?x1推論1.1.唯一性定理分布函數(shù)由其特征函數(shù)惟一確定.?推論1.2Xψ(t)RX為連續(xù)型隨機變量，其概率密度為f(x)=12πr∞?∞e?itxψX(t)dt.?命題1.6.離散型反演公式X是離散型的pk=P(X=k),k其特征函數(shù)為ψ(t)=pk可以表示為：k=?∞、∞pkeikt,t∈R.pk=2π e ψ(t)dt.1rπ?ikt?π?r證明rπe?imt?π

ψ(t)dt=

πrrr?πr

k?∞

pke

iktdt∞=∞rk=?∞r

π∞pke∞∞?π∞

?imt

eiktdt=pm

πdt+?π

∞,km

πrpker?π

?imt

eiktdt=2πpm.■利用特征函數(shù)和分布函數(shù)的唯一性，我們還可以借用特征函數(shù)來求得不容易計算的概率密度函數(shù)。1.22X[?π,π上服從均勻分布Ycos(X)Y的概率22密度.證明X的密度函數(shù)為：由此Y的特征函數(shù)為：

f(x)=

π1,x∈[?π/2,π/2]0, others.πψY(t)=E

（eitY）=

πr21eitcos(x)r21??ππr2r1itu2 1 0= e π√1?u2du.0利用特征函數(shù)與分布函數(shù)一一對應的惟一性定理,知隨機變量Y的概率密度函數(shù)為：2 1fY(u)=π√1?u2,0<u<1.1.9.獨立隨機變量和的特征函數(shù)XX,1 2··XY=nψY(t)=TTnψ (t).寸nk=1Xk,則Xkk=1?例1.23隨機變量Y滿足n重Bernoulli分布，即Y～B(n,p),寫出其特征函數(shù).證明由于

、n、Y= Xk,k=1～其中,Xk B(1,p)為二項分布.由此可得：～TTnTTψY(t)=

k=1

(t)=(q+peit)n.■1.24X1X2···Xn相互獨立XkN(01).證明n1、nN(01)分布.

Y=√n

k=1

Xk.t2證明標準正態(tài)分布Xk的特征函數(shù)為ψXk(t)=e?2.則，t寸nt寸由此可以得到：

ψnk=1

Xk(t)=寸

=1

ψXk(t)=e√

2?n2.t2t?ψY(t)=ψ由唯一性定理知YN(01).

nk=1

Xk(t/

n)=e2.當然我們也可以直接計算Y的均值和反差來證明為標準正態(tài)分布。■多維隨機變量的特征函數(shù)定義1.18.二維特征函數(shù)(XY)的特征函數(shù)定義為ψ(t1,t2)=Ee（i(tX+tY)1 2＼=r∞ ∞rei(tx+ty)1 2dF(x,y).(XY)為連續(xù)型的隨機變量，則：?∞?∞ψ(t1,t2)=(XY)為離散型的隨機變量，則：r r∞ ∞ei(tx+ty)1 2f(x,y)dxdy.?∞?∞ψ(t1,t2)=m=?∞n=?∞、 、∞ ∞ei(t1m+t2n)P(X=m,Y=n).?定義1.19.n維特征函數(shù)n···XnF···Xn)則它的特征函數(shù)為ψ(t1,t2,···,tn)=r∞?∞···r∞?∞ei(tx+tx+···+tx)11 22 nndF(x1 2,x,···,x).n?引理1.1···Xn相互獨立的充要條件是ψ(t1,t2,···,tn)=TTnψX kk(t).k=1?1.4獨立性與條件期望–1.4獨立性與條件期望–PAGE25–引理1.2Y)ψ(t1t2).=aXbYc的特征函數(shù)為ψZ(t)=eitcψ(at,bt).特別的有：ψX+Y(t)=ψ(t,t).?獨立性與條件期望獨立性定義1.20.獨立性1.設A,B為兩個事件若P(A B)=P(A)P(B)，則稱A與B獨立.更一般···kmn，有A1A2···Annmn1k1<k2<nnmj=1TTmP( Akj)= P(A)kjj=1A1A2···An相互獨立.A1A2···An兩兩獨立不一定相互獨立.2.設{Ai,i∈I}是一族事件，若對I的任意有限子集{i1,···,ik}?=?有P( A)= P(A)nkijTTkij(1.6)j=1j=1設{Ai,i∈I}I的任意有限子集{i1,···,ik}?=AijAij{AiiI是獨立事件類.設{Xi,i∈I}是?σ代數(shù)族σ(Xi),i∈I}是獨立事件類，則稱Xi,i∈I}.則稱{Ai,i∈I}是相互獨立的.?理解1.12.隨機變量獨立σGGABG她們都是獨立的。Yσσ(X)σ(Y)是相互獨立的。由隨機變量生成的σ代數(shù)可以通過下圖理解。當我們變動實數(shù)軸上一個區(qū)間(a,b)時，這樣得到映射在?的原像也會相應發(fā)生變化。如果我們把這些原像全部放在一起就是我們所說的有隨機變量X生成的σ代數(shù)。?令圖1.8:隨機變量令(a,b)，我們去找這個映?F可測的，我們就稱為隨機變量。命題1.7X1···Xn獨立的充分必要條件是它們的聯(lián)合分布函數(shù)可以分解為F(x1,···,xn)=FX1(x1)···FXn(xn)?定理1.10(2)X···XVar[(1)設隨機變量X,···,X是獨立的，則E[Π Xk]=Πn E[Xk].1 nnk=11 n寸k=1nk=1X]=k寸nk=1Var[Xk].?條件期望BP(B0BA發(fā)生的條件概率為定理1.11.全概率公式設{Bn}是?的一個分割定理1.11.全概率公式設{Bn}是?的一個分割(∪nBn=?，且Bi∩Bj=?,i?=j)P(Bn)>0,?n.如果A∈F，則P(A)= P(B、n)P(A|B)nn這兒的分割{Bn}可以是有限的，也還可以是無限的。?定理1.12.Bayes公式設Bn}是?的一個分割，且使得P(Bn)>,?n，如果P(A)>0，則P(B|A)=k寸P(B)P(A|kB) knP(Bn)P(A|Bn),n≥1?條件分布定義1.21.條件分布1.如果X與Y是離散型隨機變量，對一切使得P{Y=y}>0的y，給定Y=y時，X的條件概率定義為：P(X=x,Y=y)P(X=x|Y=y)=X的條件分布定義為：F(x|y)=P(X<x|Y=y)X的條件期望定義為：P(Y=y)E[X|Y=y]= xdF(x|y)= xP(X=x|Y=y)r、x2.XYf(x,fY(y0Yy時，X的條件概率密度函數(shù)定義為:f(x,y)f(x|y)=fY(y)X的條件分布定義為：F(x|y)=P(X<x|Y=y)=X的條件期望定義為：rx?∞f(x|y)dxE[X|Y=y]=rxdF(x|y)=rxf(x|y)dx?理解1.13.條件期望E[X|Y]E[X|Y]和E[X|Y=y]是不同的意思，雖然我們都叫條件數(shù)學期望。E[X|Y]表示給定YXYE[X|Y]是一個關Y本身也是一個隨機變量E[X|Y]=αβYy,E[X|Y=y]Y=yX的預測值，所以它是一個數(shù)值，而不是隨機變量.y時，E[X|Y=y]E[X|Y=y]看成是y的函數(shù)。如果我們知道了E[X|Y=y]=f(y)，這時可以得到一般條件數(shù)學期望E[X|Y]=f(Y)。注意一個是普通的實函數(shù)，一個是隨機變量。這個技巧在后面計算中會常用到。?1.25(XY)的聯(lián)合概率密度為E(Y|Xx).

f(x,y)=

1e?y,y>|x|20, others2證明由聯(lián)合密度和邊緣密度的關系可得fX(x)=r∞f(x,y)dy?∞=r∞1e?ydy=?∞

1e?|x|.因此，

|x|2 2最終有：令

f(yx)= f(x,y)=e?y+|x|,y>x.| ||fX(| ||rE(Y|X=x)= ∞ye?y+|x|dy=1+|x|.r|x|■筆記從這個例子也可以看到，E(Y|X=x)=1+|x|,它是一個關于實數(shù)x的函數(shù)。一般的，把結果x換成隨機變量X，可以得到E(Y|X)=1+|X|。1.26XN(μ,τ2),Xx的條件下YN(x,σ2),Y的分YyX的條件分布.證明根據(jù)聯(lián)合分布得到fX(x)=

1√2πτe1

(x?μ)22τ2??(y?x)2?f(y|x)=

√2πσe

2σ2

1 ?(x?μ)2?(y?x)2因此有

f(x,y)=fX(x)f(y|x)=

e2πτσ

2τ2

2σ2.rfY(y)= ∞f(x,y)dxr?∞1r∞

?(x?μ)2?(y?x)2= 2πτσ?∞

2τ2

2σ2dx1 ?(y?μ)2/ e= 2(τ2+σ2)/ e2π(τ2+σ2)f(x,y)Yf(x|y)= f(y)=···Y■r性質條件期望的數(shù)學性質：設函數(shù)g(x)在R上連續(xù),若r∞|g(x)|dF(x|y)<+∞.?∞r則隨機變量g(X)在Y=y條件下的條件數(shù)期望為rE[g(X)|Y=y]= ∞g(x)dF(x|y).?∞定義1.22.條件方差D(X|Y=y):=E(X?E[X|Y=y])為Y=y的條件下,隨機變量X的條件方差.2?定理1.13.全期望公式XY，當期望存在時E[X]=E[E[X|Y]]=rE[X|Y=y]dFY(y)(1.7)特別的：Y為一個離散隨機變量時，(1.7式為E[X]= E[X|Y=y]P{、yY=y}Y為一個連續(xù)隨機變量時，(1.7式為E[X]=r+∞E[X|Y=y]f(y)dy?∞?例1.27隨機個隨機變量之和設X1,X2,···是一列與X獨立同分布的隨機變量；設N為i=1一非負整值隨機變量，且與序列X1,X2,···獨立.求Y=寸NXi的均值和方差i=1ii=1解首先在對N取條件的情況下來計算Y=寸NXi的矩母函數(shù)，即NnNnE「exp

i=1

Xi'l

|N=nl

=E「

ttexptt

i=1

=(?X(t))n?X(tXnN得到NtE「expNt從而

i=1

Xi'l

|Nl

=(?X(t))N?XtY?Y(t求導得?XtY

N?Y(t)=EN

「exp

i=1

Xi'll=E

(?X(t))N再求一次導數(shù)得

′(t)=E[N(?X(t))N?1?′

(t)]?′′(t)=E[N(N?1)(?X(t))N?2(?′(t))2+N(?X(t))N?1?′′(t)]Y X X計算在t=0點的值，得E[Y]=E[NE[X]]=E[N]E[X] (1.8) E[Y2]=EN(N?1)(E[X])2+NE[X2]=E[N]Var[X]+E[N2](E[X])2.因此有

Var[Y]=E[Y2]?(E[Y])2=E[N]Var[X]+(E[X])2Var[N]■1.282小時3小時的旅程會使他回3小時的旅程會使他回到礦井。假定礦工XX的矩母函數(shù)。證明寫出X的分布列很困難"故無法直接求其均值!令Y表示礦工第一次選擇的門"則{Y=i}表示第一次選擇第i個門"由題意知1P(Y=1)=P(Y=2)=P(Y=3)= .3E[X]=E[E[X|Y]|Y]1由此可得：

= 3(E[X|Y=1]+E[X|Y=2]+E[X|Y=3])1= (2+3+E[X]+5+E[X]).3E[X]=10.有條件概率公式得到：3E[etX]=E[E[etX]|Y]3注意到：

= （E[etX|Y=1]+E[etX|Y=2]+E[etX|Y=3]）.E[etX|Y=1]=e2tE[etX|Y=2]=E[et(-+3)]=e3tE[etX]其中，～與X有相同的分布。由此可得：E[etX|Y=3]=E[et(-+5)]=e5其中，～與X有相同的分布。由此可得：E[etX

e2t]=3?e3t?e5t.■例1.29設某段時間內到達商場的顧客人數(shù)N服從參數(shù)為λ的泊松分布.每位顧客在該X[a,b上的均勻分布.N獨立.求顧客在該商場總的消費額.k=1例1.30設隨機變量Y的E(Y)存在,Y=寸N Xk及N都是隨機變量,并且相互獨立k=1N僅取自然數(shù),E(N)存在.證明：E(Y)=

∞、P(N≥k)E(Xk).、k=11.31X[0a上的均勻分布Y[Xa上的均勻分布,試求E(Y|X=x),0<x<a,andE(Y).證明x0有對任意的0<x<a,

f(y|x)=

1,x<y<aa?x0 othersE(Y|X=x)=

ay rdy=rxa?x

a+x.2E(Y)=E(E(Y|X))=E（a+X＼=a.2 42令 ■2筆記從這個例子也可以看到，E(Y|X=x)=a+x,它是一個關于實數(shù)x的函數(shù)。一般2的，把結果x換成隨機變量X，可以得到E(Y|X)=a+X。2?定義1.23.一般條件期望定義1.23.一般條件期望設X是隨機變量且E[|X|]<.G為任意的σ代數(shù)。如果另外一個隨機變量X?滿足如下三個條件：1.E[|X?|]<∞2.X?是G可測隨機變量(即對任何的a∈R，有X?≤a}∈G)3.對于所有的B∈G,等式E[X?1B]=E[X1B]成立。也即rBE[X|G]dP=rXdP,?B∈GB則稱隨機變量X?為X在給定G條件期望，記為X?=E[X|G].?注上述一般意義下的條件數(shù)學期望X?存在，并且是唯一的(幾乎必然相等的意義下)。1B(ω)(Indictorfunction)ωB10。顯然1B(ω)也是一個隨機變量。理解1.14.條件數(shù)學期望XσGX，就需要利用我們知道的知識GX。這個預測就是條件數(shù)學期望。我們要求這個預測的結果X?自然需要關于G對X?XB∈GE[X?1B]=E[X1B]成立。特別的如果取特別的如果取B=?,有E[X?]=E[X]?？梢酝ㄟ^如下的圖形也理解條件數(shù)學期望。前面已經用這個例子解釋了條件概率。可以設想在一個樣本空間中事件發(fā)生就是在平板上方掉落的球。如果A藍色的擋板就是的事件B。在給定事件A條件下，事件B的條件概率就是下AB的http://setosa.io/conditional/查看。σG中就是一系列的事件，可以把她們想象成(An)。(An)B形成不同的相交部分，所以改變擋板(An)就會得到不同的條件概率和條件數(shù)學期望。由于我們并不知道是哪一塊擋板(An(An的函數(shù)來表示，就變成了隨機變量。?圖1.9:條件數(shù)學期望例1.32假設B,A為任意的兩個集合。σ代數(shù)G=,?,A,Ac}?？梢园薛掖鷶?shù)G想象AAc。可以通過上面一般條件數(shù)學期望的定義證明E[1B|G]=P(B|A)1A+P(B|Ac)1Ac.定理1.14.條件期望性質條件期望有如下基本性質：1.E[E[X定理1.14.條件期望性質條件期望有如下基本性質：1.E[E[X|G]]=E[X].2.XGE[X|G]=Xa.s..3.設G=,?}，則E[X|G]=E[X],a.s..4.XYa.s.E[X|G]E[Y|G]a.s..5.a,b為實數(shù)，XYaXbY的期望存在則E[aX+bY|G]=aE[X|G]+bE[Y|G],a.s.如果右邊和式有意義.6.|E[X|G]|≤E[|X||G],a.s..7.XXYYG可測，則E[XY|G]=YE[X|G],a.s.XG(σ(X)G相互獨立)，則有E[X|G]=E[X],a.s.G1,G2σG1G2F,則E[E[X|G2]|G1]=E[X|G1],a.s.Yg(x,y)E[|g(XY)|]<+∞，則有E[g(X,Y)|Y]=E[g(X,y)]|y=Y,a.s.這里E[g(X,y)]|y=Y的意義是，先將y視為常數(shù)，求得數(shù)學期望E[g(X,y)]后再將隨機變量Y代入到y(tǒng)的位置.?理解1.15.條件數(shù)學期望性質XG可測了，對她的最佳預測就是自E[X|G]=X.如果隨機變量X關于我們的知識G獨立，對她的最佳預測就是均值。則E[X|G]=E[X].?理解1.16.條件數(shù)學期望命題1.8.最佳預測值σGX在方差最小化的最佳預測值。則最優(yōu)的ξ?=E[X|G].證明

minE(X ξ)2?ξ∈G??E(X?ξ)2=E(X?E[X|G]+E[X|G]?ξ)2=E(X?E[X|G])2+2E[(X?E[X|G])(E[X|G]?ξ)]+E(E[X|G]?ξ)2=E(X?E[X|G])2+E(E[X|G]?ξ)22≥E(X?E[X|G]).2上述最后一個不等式在ξ=E[X|G]時取等號。同時我們還用到E[(X?E[X|G])(E[X|G]?ξ)]=E[E[(X?E[X|G])(E[X|G]?ξ)]|G]]=0.?第二章隨機過程的基本概念與類型內容提要內容提要O隨機過程的背景和基本概念 O平穩(wěn)獨立增量過程O有限維分布與Kolmogorov定理 O寬平穩(wěn)過程O平穩(wěn)增量過程 O正態(tài)過程O獨立增量過程隨機過程的背景在許多實際問題中不僅需要對隨機現(xiàn)象做特定時間點上的一次觀察且需要做多次的連續(xù)不斷的觀察以觀察研究對象隨時間推移的演變過程因此我們需要隨機過程來描述。例2.1對某股票的價格進行T年的連續(xù)觀察,記錄得{Xt,0≤t≤T.2.2T年的連續(xù)觀察記錄得{Xt,0≤t≤T.例2.3對上交所市場上面每日的成交量連續(xù)記錄得到{Xt,0≤t≤T.基本概念定義2.1.隨機過程隨機過程是概率空間(?,F,P)上的一族隨機變量{X(t),t∈T，其中t是參數(shù)，它屬于某個指標集。T稱為參數(shù)集。當T={0,1,2,···}時稱之為隨機序列或時間序列.?定義2.2.狀態(tài)空間E表示隨機過程的值域E為過程的狀態(tài)空間.?例2.4設(?,F,P)是對應于拋均勻硬幣的概率空間:做N次拋硬幣獨立試驗,引入隨機2.2基本概念–35–2.2基本概念–35–變量(ω=(ω1,···,ωt,···ωN)X(t,ω)= 0, ωt正面1,ωt=反面.理解2.1.隨機過程的理解稱T×?={(t,ω):t∈T,ω∈?}為集合T與?積集理解2.1.隨機過程的理解稱T×?={(t,ω):t∈T,ω∈?}為集合T與?積集(productset).隨機過程可看成定義在積集T×?上的二元函數(shù).當固定t∈T,Xt(ω)=X(t,ω)是一個隨機變量.ωtT的函數(shù)，X(t,ωT上的普通實值函數(shù)。?圖2.1:隨機過程軌道定義2.3.軌道對每一固定ω∈?，稱Xt(ω)是隨機過程X(t,ω),t∈T}的一個樣本函數(shù),或則軌道，路徑，實現(xiàn)。?2.5利用拋硬幣的試驗定義一個隨機過程X(t)=cos(πt),出現(xiàn)正面 2t, 出現(xiàn)反面設出現(xiàn)正反面的概率相同,寫出X(t)的所有樣本函數(shù).證明記：X(t)的所有現(xiàn)實為

ω1=出現(xiàn)正面,ω2={}.X(ω1,t)=cos(πt),X(ω2,t)=2t.■例2.6（隨機游動）一個醉漢在路上行走，以概率p前進一步，以概率1?p后退一步2.3Kolmogorov2.3Kolmogorov定理–36–恰好是恰好是X(t),t∈T}.?定理2.1設分布函數(shù)族Ft1,···,tn(x1,···,xn),t1,···,tn∈T,n≥1}滿足上述的對稱性和相容性，則必存在一個隨機過程X(t),t∈T，使Ft1,···,tn(x1,···,xn),t1,···,tn∈T,n≥1}（假定其步長相同）.以X(t)記他在路上的位置，則X(t)就是直線上的隨機游動.2.7(Brown運動Brown注意到飄浮在液面上的微小粒子不斷進行無規(guī)則的運動這種運動后來稱為Brown運動它是分子大量隨機碰撞的結果若記(X(t)Y(t))Brown運動.有限維分布與定理定義2.4.隨機過程隨機過程X={X(t),t∈T，對t∈T,F(t;x):=P(X(t)<x),x∈RX(t)的分布函數(shù),X的一維分布函數(shù).s,tR(X(s)X(t聯(lián)合分布函數(shù)F(s,t;x,y):=P(X(s)<x,X(t)<y).稱為隨機過程X的二維分布函數(shù)。?定義2.5.隨機過程n維分布對任意有限個t1,···,tn∈T，定義隨機過程的n維分布Ft1,···,tn(x1,···,xn)：Ft1,···,tn(x1,···,xn)=P(X(t1)<x1,···,X(tn)<xn).隨機過程的所有的一維分布，二維分布，···,n維分布等等的全體Ft1,···,tn(x1,···,xn),t1,···,tn∈T,n≥1}?稱為隨機過程{X(t),t∈T}的有限分布族.?令筆記知道了隨機過程的有限維分布就知道了X(t),t∈T}中任意n個隨機變量的聯(lián)合分布.也就掌握了這些隨機變量之間的相互依賴關系.性質分布族的性質1.對稱性:對(1,2,···,n)的任一排列(j1,j2,···,jn)，有Ftj1,···,tjn(xj1,···,xjn)=P(X(tj1)<xj1,···,X(tjn)<xjn)=P(X(t1)<xt1,···,X(tn)<xtn)=Ft1,···,tn(x1,···,xn).相容性:mn，有Ft1,···,tm,tm+1,···tn(x1,···,xm,,···,)=Ft1,···,tm(x1,···,xm).2.3Kolmogorov定理2.3Kolmogorov定理–37–令 筆記隨機過程的有限維分布函數(shù)族是隨機過程概率特征的完整描述,它是證明隨機過程存在性的有力工具.但是在實際問題中，要知道隨機過程的全部有限維分布是不可能的，因此，人們想到了用隨機過程的某些數(shù)字特征來刻畫隨機過程.例2.8設隨機過程{X(t,ω),t∈R}只有兩條樣本函數(shù)X(t,ω1)=2cos(t),X(t,ω2)=?2cos(t),t∈R.且：P(ω1)=2/3,P(ω2)=1/3.求：一維分布函數(shù)F(0,x)和F(π/4,x);二維分布函數(shù)F(0,π/4;x,y).證明易知：3πX(0)=3π

2, 2

X()=

√2, 3√33313同時可以得到X(0),X(π/4)的聯(lián)合分布

4

2, 13(X(0),X(π/4))=√33(X(0),X(π/4))=√3例2.9設隨機過程

(?2,

2), 1■X(t)=Acos(kt+Θ),t∈Rk是正常數(shù)AΘ相互獨立AU(01)ΘU(?ππ)U(01)U(?ππ表示均勻分布。π證明首先設Y(t)=acos(kt+Θ),其中a為常數(shù)，易求的Y(t)的一維概率密度函數(shù)為πfY(y)=

1 , y<a√ ||a√ ||0, others.rr注意到：Y(t)=X(t)|A=a,由全概率公式和獨立性，可以得到：rrfX(t;x)=

∞fX|A(x|a)dFA(a)=?∞

10fX|A(x|a)da0r1 1 1 （ x ＼xx= π√a2?x2da=?πl(wèi)og

√1?x2+1 .■隨機過程的數(shù)字特征定義2.6.n維特征函數(shù)過程X(t),t∈T}的n維特征函數(shù)定義為ψ(t1,t2,···,tn;θ1,θ2,···,θn)=E(exp(i(θ1X(t1)+θ2X(t2)+···θnX(tn))))稱ψ(t1,t2,···,tn;θ1,θ2,···,θn);t1,t2,···tn,n≥}為X的有限維特征函數(shù)族.?2.3Kolmogorov2.3Kolmogorov定理–38–定義2.7.自相關函數(shù)設X(t),t∈T}是一隨機過程.稱X(t)的期望mX(t)=E[X(t)]為過程的均值函數(shù)(如果存在的話).如果?t∈T,E[X2(t)]存在，則稱隨機過程{X(t),t∈T}為二階矩過程.此E[(X(t1mX(t1))(X(t2mX(t2))]t2T為過程的協(xié)方差函數(shù)；稱Var[X(t)]=γ(t,t)為過程