應(yīng)用隨機(jī)過程課件 ch1 預(yù)備知識(shí)

應(yīng)用隨機(jī)過程第一章預(yù)備知識(shí)中國人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過程第一章預(yù)備知識(shí)中國人民大學(xué)出版社PAGE20/65第一章預(yù)備知識(shí)第一章預(yù)備知識(shí)應(yīng)用隨機(jī)過程中國人民大學(xué)出版社本章內(nèi)容本章內(nèi)容1事件與概率1樣本和樣本空間事件與概率概率空間2概率的基本性質(zhì)隨機(jī)變量和隨機(jī)向量2隨機(jī)變量分布函數(shù)

隨機(jī)向量3隨機(jī)變量之和的性質(zhì)隨機(jī)變量的數(shù)字特征3期望方差矩母函數(shù)45隨機(jī)變量的收斂性隨機(jī)過程的概念45樣本和樣本空間樣本和樣本空間樣本和樣本空間事件與概率通常把按照一定想法去做的事件稱為試驗(yàn)experimen，把試驗(yàn)的可能結(jié)果稱為樣本點(diǎn)（epoint樣本和樣本空間事件與概率舉例：（ee。通常將樣本空間記為?，樣本點(diǎn)記為ω。舉例：一個(gè)均勻的骰子（dice）有六個(gè)面，每次拋出這個(gè)骰子，會(huì)得到相應(yīng)的（236{1236}。事件與概率事件與概率事件與概率事件與概率事件（event）是樣本空間事件與概率事件與概率?是事件；若A是事件，則Ac是事件；若Ai是事件，則∞Ai是事件。骰子的例子i=1骰子的例子3AAc就是“拋出的點(diǎn)數(shù)不為3事件事件事件與概率事件與概率對(duì)于事件A，如果使用P(A)表示事件發(fā)生的概率，則P(A事件與概率事件與概率非負(fù)性：P(A)≥0；完備性：P(?)=1；可列可加性：對(duì)于互不相容的事件A1,A2,...，有：iP/∞A\∞i

P(Ai)i=1 i=1概率空間概率空間概率空間事件與概率對(duì)于樣本空間?和概率P，用概率空間事件與概率(?,F,P)為概率空間probabilityeF稱作σ代數(shù)假設(shè)樣本空間?={1,2,3}，則F假設(shè)樣本空間?={1,2,3}，則F可表示為：F=J?,{},{},{},{,},{,3,2,3,?l舉例：σσ-代數(shù)概率空間事件與概率i對(duì)于σ-代數(shù)F，其中的元素滿足以下條件：若Ai∈F，則Ac∈F概率空間事件與概率i簡言之，對(duì)σ-代數(shù)F中的元素取并集、交集和補(bǔ)集，結(jié)果均在F（σ-）說明：AiAjF,?ijAiAjF；AiAjF,?ij簡言之，對(duì)σ-代數(shù)F中的元素取并集、交集和補(bǔ)集，結(jié)果均在F（σ-）說明：概率的基本性質(zhì)概率的基本性質(zhì)概率的基本性質(zhì)事件與概率對(duì)于事件Ai,i=1,2概率的基本性質(zhì)事件與概率P(?)=0；當(dāng)且僅當(dāng)A1,A2,...,An互不相容時(shí)，下式的等號(hào)成立：//Pi=1

i\≤

i=1

P(Ai)n如果A2?A1，則P(A1)?P(A2)=P(A1?A2)≥0；nP(A1∪A2)=P(A1)+P(A2)?P(A1A2)；條件概率公式：當(dāng)P(A1)>0時(shí)，P(A|A)=P(A1A2)2 1 P(A1)乘法公式乘法公式概率的基本性質(zhì)概率的基本性質(zhì)事件與概率P(B1B2···Bn)=P(B1)P(B2|B1)···P(Bn|B1B2···Bn?1)當(dāng)P(A)>0時(shí)，P(B1B2···Bn|A)=P(B1|A)P(B2|B1A)···P(Bn|B1B2···Bn?1A)全概率公式全概率公式概率的基本性質(zhì)事件與概率概率的基本性質(zhì)事件與概率若事件A1,A2,...,An互不相容，則當(dāng) Ai=?時(shí)，有：i=1n nP(B)=、P(BAi)=、P(B|Ai)P(Ai)當(dāng)P(A)>0時(shí)，有：

i=1n

i=1i=1P(B|A)=、P(B|AiA)P(Ai|Ai=1全概率公式全概率公式(cont.)概率的基本性質(zhì)事件與概率全概率公式的意義在于，當(dāng)直接計(jì)算P(B)較為困難時(shí)，可以通過求小事件的概率，然后相加，從而求得事件B的概率。而將事件B進(jìn)行分割的時(shí)候，則是先找到樣本空間?的某個(gè)劃分（概率的基本性質(zhì)事件與概率{A1,A2,...,An}，進(jìn)而得到相對(duì)應(yīng)的事件B的分解，即：B=BA1+BA2+···+BAn利用條件概率的計(jì)算公式，可得：P(B)=P(BA1)+P(BA2)+···+P(BAn)=P(B|A1)P(A1)+P(B|A2)P(A2)+···+P(B|An)P(An)、 |、 |= P(BAi)P(Ai)i=1貝葉斯公式貝葉斯公式概率的基本性質(zhì)事件與概率若A1,A2,...,An概率的基本性質(zhì)事件與概率 ?Ai=?, P(Ai)>0, ii=1則對(duì)任一事件B，有：n、P(Ai|B)=P(B|Ai)P(Ai) , i=1,2,...,nn、P(B|Ak)P(Ak)k=1貝葉斯公式貝葉斯公式(cont.)概率的基本性質(zhì)事件與概率與全概率公式解決的問題相反，貝葉斯（Bayesian概率的基本性質(zhì)事件與概率P(Ai)(i=1,2,...,n)表示各種原因發(fā)生的可能性大小，故稱先驗(yàn)概率（priorprobabilityP(i|)則反映當(dāng)結(jié)果B發(fā)生之后，再對(duì)產(chǎn)生這一結(jié)果的各種原因的可能概率進(jìn)行推斷，故稱后驗(yàn)概率（posteriorprobability。隨機(jī)變量隨機(jī)變量以金融市場為例隨機(jī)變量隨機(jī)變量和隨機(jī)向量X中的樣ωX(ω是離散型（discrete）隨機(jī)變量；若樣ωX(ω是連續(xù)型（以金融市場為例隨機(jī)變量隨機(jī)變量和隨機(jī)向量{0,1,2,}，不難看出取值是非負(fù)的整數(shù)，此時(shí)所得到的股價(jià)跳躍次數(shù)的隨機(jī)變量就是離散型隨機(jī)變量；若考慮股票在某時(shí)刻的可能價(jià)格的樣本空間，則其R取值為非負(fù)實(shí)數(shù)。隨機(jī)變量隨機(jī)變量(cont.)隨機(jī)變量隨機(jī)變量和隨機(jī)向量、ω1（滿足概率的完備性隨機(jī)變量隨機(jī)變量和隨機(jī)向量、P(X=ω)≥0, P(X=ω)≡1ω∈?連續(xù)型隨機(jī)變量無法得到類似的性質(zhì)，由于樣本點(diǎn)是連續(xù)的，對(duì)應(yīng)ω分布函數(shù)分布函數(shù)分布函數(shù)隨機(jī)變量和隨機(jī)向量對(duì)于連續(xù)型隨機(jī)變量X而言，其分布函數(shù)FX(t)（分布函數(shù)隨機(jī)變量和隨機(jī)向量FX(t)=P(X≤t)=

trfX(s)dsr?∞FX(t[01]。概率密度函數(shù)可以定義在任何連續(xù)隨機(jī)變量上，比如正態(tài)分布、F分布、t分布、χ2分布等。說明：其中，fXFX(t[01]。概率密度函數(shù)可以定義在任何連續(xù)隨機(jī)變量上，比如正態(tài)分布、F分布、t分布、χ2分布等。說明：分布函數(shù)分布函數(shù)(cont.)分布函數(shù)隨機(jī)變量和隨機(jī)向量、對(duì)于離散型隨機(jī)變量Y而言，其分布函數(shù)GY(t分布函數(shù)隨機(jī)變量和隨機(jī)向量、GY(t)=P(Y≤t)= P(Y=ω)ω≤tω∈?此處的P(Y=ω)稱作概率質(zhì)量函數(shù)probabilitymassfunction,pm。概率質(zhì)量函數(shù)可以定義在任何離散型隨機(jī)變量上，比如二項(xiàng)分布、負(fù)二項(xiàng)分布、泊松分布、幾何分布等等。概率質(zhì)量函數(shù)和概率密度函數(shù)概率質(zhì)量函數(shù)和概率密度函數(shù)分布函數(shù)隨機(jī)變量和隨機(jī)向量概率質(zhì)量函數(shù)是對(duì)離散型隨機(jī)變量定義的，本身代表該值的概率；概率密度函數(shù)是對(duì)連續(xù)型隨機(jī)變量定義的，本身不是概率，只有對(duì)連續(xù)型隨機(jī)變量的概率密度函數(shù)在某區(qū)間內(nèi)進(jìn)行積分后才是概率。X[ab這一區(qū)間上的概率，則計(jì)算公分布函數(shù)隨機(jī)變量和隨機(jī)向量r式如下：rP(a≤X≤b)=

bfX(s)dsa隨機(jī)向量隨機(jī)向量隨機(jī)向量隨機(jī)變量和隨機(jī)向量X1X2XnXX1X2Xn稱作隨nRn隨機(jī)向量隨機(jī)變量和隨機(jī)向量FX(x1,x2,...,xn)=P(X1≤x1,X2≤x2,...,Xn≤xn)稱作X=(X1,X2,...,Xn)的分布函數(shù)。與前面類似，對(duì)于連續(xù)型隨機(jī)向量X，其在Rn上的區(qū)域（domain）D的概率為：P(X∈D)=

x1 x2rr?∞?∞r(nóng)r

···

xnrf(x)dx1dx2···dxn=r?∞

rf(x)dx1dx2···dxn、 ,, .,D其中，f(x)=f(x1,x2,...,xn)是X的聯(lián)合密度。D隨機(jī)變量之和的性質(zhì)：離散型隨機(jī)變量之和的概率隨機(jī)變量之和的性質(zhì)：離散型隨機(jī)變量之和的概率隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量設(shè)隨機(jī)變量X和隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量P(X=k)=ak, P(Y=k)=bk, k=0,1,...則Z=X+Y=n，n≥0的概率為：、 ?、 ?P(Z=n)=P(X+Y=n)= P(X=i,Y=n i)i=0n n=、P(X=i)P(Y=n?i)=、aibn?ii=0、n、

i=0令P(Z=n)=cn，則：cn= aibn?i。i=0這里的序列cn}稱作序列{n}和bn}convolution≥0。隨機(jī)變量之和的性質(zhì)：連續(xù)型隨機(jī)變量之和的分布函數(shù)隨機(jī)變量之和的性質(zhì)：連續(xù)型隨機(jī)變量之和的分布函數(shù)隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量設(shè)隨機(jī)變量X和Y獨(dú)立，其分布函數(shù)分別為F(x)和G(y)，則U=X隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量有如下分布函數(shù)：0≤s≤tU(t)=P(X+Y0≤s≤t=rt=00

P(X+Y≤t|Y=s)P(Y=s)rt0F0F(t?s)dG(s)=0P(X≤=0P(X≤t?s)dG(s)=0F(t?s)dG(s)由于X+Y=Y+X，因此：0≤s≤tU(t)=P(X+Y0≤s≤trt00

P(X+Y≤t|X=s)P(X=s)rt??r從而：r

= P(Y≤t?s)dF(s)=

G(t s)dF(s)0t?F(t s)dG(s)=?0

tr?G(t s)dF(s)r?0隨機(jī)變量之和的性質(zhì)：連續(xù)型隨機(jī)變量之和的密度函數(shù)隨機(jī)變量之和的性質(zhì)：連續(xù)型隨機(jī)變量之和的密度函數(shù)隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量設(shè)隨機(jī)變量X和Y獨(dú)立，其概率密度函數(shù)分別為f(x)和g(y)，則U=X+Y有如下概率密度函數(shù)u(t隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量u(t)==

f(t?s)g(s)ds=(f?g)(s)rrt0rrt00g(t?s)f(s)ds=(g?f)(s)0(f?g)(s)稱為函數(shù)f和g的卷積。需要說明的是，卷積運(yùn)算滿足交換律，即f?g=g?f。舉例：舉例：隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量設(shè)隨機(jī)變量X和隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量FX(x)=1?e?λx,x≥0; GY(y)=y/2,0≤y≤2思路求U=X+Y的分布函數(shù)。思路分布函數(shù)求解的公式如下：U(t)=P(X+Y≤t)=

tr?FX(t s)dGY(s)r?0y[02]t的取值分情況來討論。隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)r當(dāng)t<2隨機(jī)變量之和的性質(zhì)rtU(t)=0

FX(t?s)dGY(s)=

rt＿2020

1?e?λ(t?s)l

d(s'=r1rrt=r

ds?

t＼eλsds =＼

1rt?1+

e?λt＼2 0當(dāng)t≥2時(shí)：U(t)U(t)=FX(t?s)dGY(s)=00

0r2＿λ0λ0

2 λ1?eλ()1?eλ()

λ（d(s'（d22=1rr2=

ds?e?

tr2

=1?

e?λt

e2λ?1）因此：

2 0 02?λ+?λt2?λ+?λtU(tU(t)=e

2λλ,<2e?λt＼ tλ,<21?2λ（e ?1）, t≥22λ舉例：舉例：隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量設(shè)隨機(jī)變量X和Y獨(dú)立，其概率密度函數(shù)分別為：fX(x)=λe?λx; fY(y)=λe?隨機(jī)變量之和的性質(zhì)隨機(jī)變量和隨機(jī)向量運(yùn)用卷積求解如下：rt=λ2rrt運(yùn)用卷積求解如下：rt=λ2rrtfU(t)= fX(t?s)fY(s)ds=λe?λ(t?s)λe?λsds00te?λtds=λ2e?λts01s=t1s=0=λ2t·e?λt解答：隨機(jī)變量的數(shù)字特征隨機(jī)變量的數(shù)字特征隨機(jī)變量的數(shù)字特征對(duì)于隨機(jī)變量而言，我們通常關(guān)心它的重要數(shù)字特征，比如期望、方差、偏度、峰度等等。本節(jié)主要介紹期望和方差，以及更一般的矩母隨機(jī)變量的數(shù)字特征期望（expectation）用于反映隨機(jī)變量平均取值的大小。根據(jù)隨機(jī)變量的不同，可以得到離散型隨機(jī)變量和連續(xù)型隨機(jī)變量的期望。離散型隨機(jī)變量的期望離散型隨機(jī)變量的期望期望隨機(jī)變量的數(shù)字特征設(shè)隨機(jī)變量期望隨機(jī)變量的數(shù)字特征pi=P(X=xi), i=1,...,n則：n ni=1i=1i=1i=1E(X)=、xiP(X=xi)=、i=1i=1i=1i=1舉例：泊松分布的期望舉例：泊松分布的期望期望隨機(jī)變量的數(shù)字特征假設(shè)隨機(jī)變量X服從參數(shù)為期望隨機(jī)變量的數(shù)字特征下：P λn?λ(X=n)=

n!e

, λ>0,n=0,1,2,...求泊松分布的期望E(X)。泊松分布的期望泊松分布的期望(cont.)期望期望隨機(jī)變量的數(shù)字特征E(XE(X、n·P(Xn、n·λe?λn=0∞∞

nλ n

n=0=λ

n!∞λn?1∞

e?λ=λn=0(n?1)! n=0(n?1)!注意，這里最后一步化簡用到了ex的泰勒展開式，即：2 3 ∞ n2!3!n=0n!ex=1+x+x+x+···=2!3!n=0n!定理定理期望隨機(jī)變量的數(shù)字特征設(shè)期望隨機(jī)變量的數(shù)字特征、∞、E(X)= P(X≥k)證明思路：k=1證明思路：、、∞P(X≥k)=、、∞∞P(X=i)=、、∞ iP(X=i)k=1k=1i=ki=1k=1= i·P(X=i、∞)=E(X)、i個(gè).,i=1求和符號(hào)交換的圖示求和符號(hào)交換的圖示隨機(jī)變量的數(shù)字特征期望i (k,∞) 隨機(jī)變量的數(shù)字特征期望(k,k) ?

(1,i)

(i,i)(1,1)

k k(1,1)連續(xù)型隨機(jī)變量的期望連續(xù)型隨機(jī)變量的期望期望隨機(jī)變量的數(shù)字特征設(shè)X是有密度函數(shù)fX(x期望隨機(jī)變量的數(shù)字特征FX(a)=P(X≤a)=r則：r

fX(x)dxraraE(X)= ∞xfX(x)dx?∞舉例：指數(shù)分布的期望舉例：指數(shù)分布的期望期望隨機(jī)變量的數(shù)字特征假設(shè)隨機(jī)變量X服從參數(shù)為期望隨機(jī)變量的數(shù)字特征下：fX(x)=λe?λx, λ>0,x≥0求指數(shù)分布的期望E(X)。指數(shù)分布的期望指數(shù)分布的期望(cont.)期望隨機(jī)變量的數(shù)字特征期望隨機(jī)變量的數(shù)字特征r rE(X)= ∞xfX(x)dx= ∞λxe?λxdx0 0記u=?λx，則：λ0λ0λ上式=1r?∞eudu=1＿eu(u?1)l?∞=1λ0λ0λ定理定理期望隨機(jī)變量的數(shù)字特征設(shè)期望隨機(jī)變量的數(shù)字特征證明思路：E(X)=r0∞P(X>x)dx=r0∞＿1?X(x)lx證明思路：rr∞P(X>x)dx=r∞dx fX(y)dy=0r∞r(nóng)∞dy fX(y)dx0x0ry =rfX(y)可從積分中提出∞yfX(y)dy=E(X)、 、.,00積分符號(hào)交換的圖示積分符號(hào)交換的圖示隨機(jī)變量的數(shù)字特征期望(x,x)(y,y)隨機(jī)變量的數(shù)字特征期望(x,x)(y,y)x?(0,y)(0,0)

x(0,0)條件期望條件期望期望隨機(jī)變量的數(shù)字特征假設(shè)有隨機(jī)變量X的取值取決于期望隨機(jī)變量的數(shù)字特征{Z1Z2ZN}n次事件的信息集為條件，得到的隨機(jī)變量期望就是條件期望conditionalexpectatio，記作：En(X)=E(X|Z1,Z2,...,Zn)條件期望的性質(zhì)條件期望的性質(zhì)1期望隨機(jī)變量的數(shù)字特征當(dāng)0≤n≤期望隨機(jī)變量的數(shù)字特征線性性質(zhì)linearit。對(duì)于所有常數(shù)c1和c2，以下等式成立：En(c1X+c2Y)=c1En(X)+c2En(Y)提取已知量takingouttisknow。若X的取值只依賴于n次事件的信息集，則：En(XY)=X·En(Y)在這里，X在n次事件的信息集下是可測的，從而可以從條件期望中提取出來。條件期望的性質(zhì)條件期望的性質(zhì)2期望隨機(jī)變量的數(shù)字特征iteratedconditionin0≤n≤m≤期望隨機(jī)變量的數(shù)字特征En[Em(X)]=En(X)從中可以看出，X的條件期望取決于信息集中最小者。特別是針對(duì)無條件期望而言，有：E[Em(X)]=E(X)independencX取決于第(n+1)次到N次事件所{Zn+1Zn+2ZN}，則有：En(X)=E(X)因?yàn)榇颂幍臈l件與隨機(jī)變量X無關(guān)。條件期望的性質(zhì)條件期望的性質(zhì)3隨機(jī)變量的數(shù)字特征期望?(隨機(jī)變量的數(shù)字特征期望En[?(X)]≥?[En(X)]?(x)x?(x)x1E(x)x2?(x2)E[?(x)]?(x1)?[E(x)]x方差方差方差隨機(jī)變量的數(shù)字特征方差隨機(jī)變量的數(shù)字特征Var(X)=E(X2)?[E(X)]2接下來分別利用這個(gè)恒等式來計(jì)算離散型隨機(jī)變量和連續(xù)型隨機(jī)變量的方差。舉例：泊松分布的方差舉例：泊松分布的方差方差隨機(jī)變量的數(shù)字特征假設(shè)隨機(jī)變量X服從參數(shù)為方差隨機(jī)變量的數(shù)字特征下：P λn?λ(X=n)=

n!e

, λ>0,n=0,1,2,...前面已經(jīng)計(jì)算出泊松分布的期望E(X)=λ，要求出方差，還需要計(jì)算E前面已經(jīng)計(jì)算出泊松分布的期望E(X)=λ，要求出方差，還需要計(jì)算E(X2)。思路：泊松分布的方差泊松分布的方差(cont.)方差隨機(jī)變量的數(shù)字特征方差隨機(jī)變量的數(shù)字特征n=0n=0n!E(X2)=、n2P(X=n)=、n2·λn=0n=0n!∞∞nλn∞∞=

e?λ

=λe?λ

nλn?1因此：

n=0(n?1)!=λe?λ·(λ+1)eλ=λ(λ+1)

n=0(n?1)!Var(X)=E(X2)?[E(X)]2=λ(λ+1)?λ2=λ舉例：指數(shù)分布的方差舉例：指數(shù)分布的方差方差隨機(jī)變量的數(shù)字特征假設(shè)隨機(jī)變量X服從參數(shù)為方差隨機(jī)變量的數(shù)字特征下：fX(x)=λe?λx, λ>0,x≥0E(X)=1，要求出方差，還需要計(jì)算E(X)=1，要求出方差，還需要計(jì)算E(X2)。λ思路：指數(shù)分布的方差指數(shù)分布的方差(cont.)方差隨機(jī)變量的數(shù)字特征00E(X2)=r∞x2fX(x)dx=r∞x2λe?λx方差隨機(jī)變量的數(shù)字特征00=1r∞(λx)2e?λxdxλ0記u=?λx，則：λ20=?1＿eu(2λ20=?1＿eu(2?u+2)l?∞=2因此：

λ2 0 λ2λ2λ2λ2Var(X)=E(X2)?[E(X)]2=2?1λ2λ2λ2矩母函數(shù)矩母函數(shù)矩母函數(shù)隨機(jī)變量的數(shù)字特征r矩母函數(shù)（momentgeneratingfunction,mgf）是一種構(gòu)造函數(shù)。對(duì)于任何滿足概率密度函數(shù)為fX(x)的隨機(jī)變量矩母函數(shù)隨機(jī)變量的數(shù)字特征rMX(t)=E(etX)= ∞etxfX(x)dx?∞根據(jù)泰勒展開式：···2 3 ∞ ···ex=1+x++2!

+ = xk!k=0、∞ k、由此可得：etx= (tx)k!k=0矩母函數(shù)矩母函數(shù)(cont.)矩母函數(shù)隨機(jī)變量的數(shù)字特征矩母函數(shù)隨機(jī)變量的數(shù)字特征∞MX(t)=

∞etxfr?∞r(nóng)

X(x)

dx=

∞fX(x)r∞?∞r(nóng)∞

k=0

(tx)kdxk!k=0?∞∞=k!xfX(x)dk=0?∞∞=k!xfX(x)dx=

、tk kkk=0k=0 ?∞ k=0?∞k=0k!·E(Xk!·E(X)=1+t·E(X)+2!·E(X)+···+n!·E(X)+···由此可見，矩母函數(shù)包含了隨機(jī)變量X的各階矩E(Xn),n=1,2,3,...矩母函數(shù)矩母函數(shù)(cont.)矩母函數(shù)隨機(jī)變量的數(shù)字特征若對(duì)MX(t)關(guān)于矩母函數(shù)隨機(jī)變量的數(shù)字特征類似地：當(dāng)t=0時(shí)：

dt ?∞r(nóng)dMX(t)=rdMX(t)=r∞etx·xfX(x)dxdtn =?∞r(nóng)∞dnMX(tr∞1==

etxn

xfX(x)dxnnndtn

1t=0

xfX(x)dx=E(X)?∞因此，可以通過對(duì)矩母函數(shù)關(guān)于t求n階導(dǎo)的方式，并令t=0，進(jìn)而求出隨機(jī)變量的n階矩。舉例：指數(shù)分布的各階矩舉例：指數(shù)分布的各階矩矩母函數(shù)隨機(jī)變量的數(shù)字特征假設(shè)隨機(jī)變量X服從速率為矩母函數(shù)隨機(jī)變量的數(shù)字特征fX(x)=λe?λx, λ>0,x≥0通過矩母函數(shù)加以求解。思路：求其各階矩。通過矩母函數(shù)加以求解。思路：指數(shù)分布的各階矩指數(shù)分布的各階矩(cont.)矩母函數(shù)矩母函數(shù)隨機(jī)變量的數(shù)字特征0r（ ）MX(t)=Eetx=r∞etxλe?λxd0r（ ）=λ ∞e?(λ?t)xdx0λ=t?λ

x=∞(λ)(λ)x1x=0

λλ?t

, λ>t指數(shù)分布的各階矩指數(shù)分布的各階矩(cont.)矩母函數(shù)矩母函數(shù)隨機(jī)變量的數(shù)字特征dMX(t) λ =

dMX(t) 11? E(X)= =1dt (λ?t)2

dt 1t=0 λ222 2d2MX(t) 2λ

dMX(t)1 222 =

? E(X)= 1 = 33因此：

dt2d3MX(t)dt3

(λ?t)3=2·3λ(λ?t)4

? E(X)=E(Xn)=n!Eλn

dt21d1dM(t)Xdt3 1

t=0 λ26=t=0 λ3矩母函數(shù)的不足矩母函數(shù)的不足矩母函數(shù)隨機(jī)變量的數(shù)字特征通過矩母函數(shù)可以相對(duì)容易地求出服從某個(gè)概率分布的隨機(jī)變量之tn階t0矩母函數(shù)隨機(jī)變量的數(shù)字特征為解決這個(gè)問題，引入特征函數(shù)characteristicfunction,c，其定r義如下：r?X(t)=E(eitx)= ∞eitxfX(x)dx?∞特征函數(shù)的重要用途在于，若隨機(jī)變量X的概率分布fX(x)無法直接算出，可以首先計(jì)算出它的特征函數(shù)?X(t)，再通過傅立葉變換（Fouriertransform）最終算出概率分布fX(x)。依概率收斂依概率收斂隨機(jī)變量的收斂性設(shè){Xn},n∈N是一個(gè)隨機(jī)變量序列。若存在一個(gè)隨機(jī)變量X隨機(jī)變量的收斂性得?ε>0，均有：limn→∞

P（|n?|>ε）=0則稱序列{Xn}依概率收斂（convergenceinprobability）于X，記作：X 或者 plimX XPX 或者 plimX XPn→∞εn取多大，XnXεn足夠大，這種0。弱大數(shù)定律弱大數(shù)定律設(shè)n}是一個(gè)隨機(jī)變量序列，E(n)存在。令ˉn=

n隨機(jī)變量的收斂性n、Xi隨機(jī)變量的收斂性n、i=1ˉn?E(ˉn)P0則稱隨機(jī)變量序列Xn}服從弱大數(shù)定律klawoflagenumbers。以概率以概率1收斂隨機(jī)變量的收斂性/P |X設(shè){Xn},n∈隨機(jī)變量的收斂性/P |Xlimn→∞

∞ii=n

?X|>ε\=0{Xn1（convergencewithprobabilityX也稱almostsurelyconvegenc，記作：Xa.s.nX, 或 Xn→X, a.s.該定義的等價(jià)形式是：(P lim(n→∞

Xn='=1隨機(jī)變量的收斂性以概率以概率1收斂(cont.)1nε，總能Nn>N時(shí)，XnXε。正因如11收斂意味著一定依概率收斂，反之則不然。強(qiáng)大數(shù)定律強(qiáng)大數(shù)定律設(shè)n}是一個(gè)隨機(jī)變量序列，E(n)存在。令ˉn=

n隨機(jī)變量的收斂性n、Xi隨機(jī)變量的收斂性n、i=1n→∞ˉn?E(n)a..0 或 P＿limˉn=E(Xn)l=n→∞則稱隨機(jī)變量序列{n}服從強(qiáng)大數(shù)定律glawoflagenumbers。所謂大數(shù)定律，實(shí)際上是想要說明當(dāng)對(duì)一個(gè)隨機(jī)變量進(jìn)行無限次采樣時(shí)，得到的平均值會(huì)無限接近真實(shí)的期望值。只不過強(qiáng)大數(shù)定律是想說明，采樣的次數(shù)越多，平均值幾乎一定越接近真實(shí)期望值（這意味著不可能出現(xiàn)反方向的偏離；而弱大數(shù)定律則是想說明，采樣的次數(shù)越多，平均值接近真實(shí)期望值的可能性越大（這意味著也有極小的可能出現(xiàn)反方向的偏離。柯爾莫哥洛夫（柯爾莫哥洛夫（Kolmogorov）大數(shù)定律隨機(jī)變量的收斂性、隨機(jī)變量的收斂性、r(X{ } n設(shè)X 是相互獨(dú)立的隨機(jī)變量序列，并且 < ，則k2{Xn服從強(qiáng)大數(shù)定律，即：

k=1∞n→∞nkkP∞n→∞nkk

1、[Xkk=1

?E(X)]=0＼=1柯爾莫哥洛夫大數(shù)定律柯爾莫哥洛夫大數(shù)定律(cont.)隨機(jī)變量的收斂性n、更進(jìn)一步，在柯爾莫哥洛夫大數(shù)定律的基礎(chǔ)上，假設(shè){Xn}