應用隨機過程課件 ch1 預備知識

應用隨機過程第一章預備知識中國人民大學出版社PAGE應用隨機過程第一章預備知識中國人民大學出版社PAGE20/65第一章預備知識第一章預備知識應用隨機過程中國人民大學出版社本章內(nèi)容本章內(nèi)容1事件與概率1樣本和樣本空間事件與概率概率空間2概率的基本性質(zhì)隨機變量和隨機向量2隨機變量分布函數(shù)

隨機向量3隨機變量之和的性質(zhì)隨機變量的數(shù)字特征3期望方差矩母函數(shù)45隨機變量的收斂性隨機過程的概念45樣本和樣本空間樣本和樣本空間樣本和樣本空間事件與概率通常把按照一定想法去做的事件稱為試驗experimen，把試驗的可能結(jié)果稱為樣本點（epoint樣本和樣本空間事件與概率舉例：（ee。通常將樣本空間記為?，樣本點記為ω。舉例：一個均勻的骰子（dice）有六個面，每次拋出這個骰子，會得到相應的（236{1236}。事件與概率事件與概率事件與概率事件與概率事件（event）是樣本空間事件與概率事件與概率?是事件；若A是事件，則Ac是事件；若Ai是事件，則∞Ai是事件。骰子的例子i=1骰子的例子3AAc就是“拋出的點數(shù)不為3事件事件事件與概率事件與概率對于事件A，如果使用P(A)表示事件發(fā)生的概率，則P(A事件與概率事件與概率非負性：P(A)≥0；完備性：P(?)=1；可列可加性：對于互不相容的事件A1,A2,...，有：iP/∞A\∞i

P(Ai)i=1 i=1概率空間概率空間概率空間事件與概率對于樣本空間?和概率P，用概率空間事件與概率(?,F,P)為概率空間probabilityeF稱作σ代數(shù)假設樣本空間?={1,2,3}，則F假設樣本空間?={1,2,3}，則F可表示為：F=J?,{},{},{},{,},{,3,2,3,?l舉例：σσ-代數(shù)概率空間事件與概率i對于σ-代數(shù)F，其中的元素滿足以下條件：若Ai∈F，則Ac∈F概率空間事件與概率i簡言之，對σ-代數(shù)F中的元素取并集、交集和補集，結(jié)果均在F（σ-）說明：AiAjF,?ijAiAjF；AiAjF,?ij簡言之，對σ-代數(shù)F中的元素取并集、交集和補集，結(jié)果均在F（σ-）說明：概率的基本性質(zhì)概率的基本性質(zhì)概率的基本性質(zhì)事件與概率對于事件Ai,i=1,2概率的基本性質(zhì)事件與概率P(?)=0；當且僅當A1,A2,...,An互不相容時，下式的等號成立：//Pi=1

i\≤

i=1

P(Ai)n如果A2?A1，則P(A1)?P(A2)=P(A1?A2)≥0；nP(A1∪A2)=P(A1)+P(A2)?P(A1A2)；條件概率公式：當P(A1)>0時，P(A|A)=P(A1A2)2 1 P(A1)乘法公式乘法公式概率的基本性質(zhì)概率的基本性質(zhì)事件與概率P(B1B2···Bn)=P(B1)P(B2|B1)···P(Bn|B1B2···Bn?1)當P(A)>0時，P(B1B2···Bn|A)=P(B1|A)P(B2|B1A)···P(Bn|B1B2···Bn?1A)全概率公式全概率公式概率的基本性質(zhì)事件與概率概率的基本性質(zhì)事件與概率若事件A1,A2,...,An互不相容，則當 Ai=?時，有：i=1n nP(B)=、P(BAi)=、P(B|Ai)P(Ai)當P(A)>0時，有：

i=1n

i=1i=1P(B|A)=、P(B|AiA)P(Ai|Ai=1全概率公式全概率公式(cont.)概率的基本性質(zhì)事件與概率全概率公式的意義在于，當直接計算P(B)較為困難時，可以通過求小事件的概率，然后相加，從而求得事件B的概率。而將事件B進行分割的時候，則是先找到樣本空間?的某個劃分（概率的基本性質(zhì)事件與概率{A1,A2,...,An}，進而得到相對應的事件B的分解，即：B=BA1+BA2+···+BAn利用條件概率的計算公式，可得：P(B)=P(BA1)+P(BA2)+···+P(BAn)=P(B|A1)P(A1)+P(B|A2)P(A2)+···+P(B|An)P(An)、 |、 |= P(BAi)P(Ai)i=1貝葉斯公式貝葉斯公式概率的基本性質(zhì)事件與概率若A1,A2,...,An概率的基本性質(zhì)事件與概率 ?Ai=?, P(Ai)>0, ii=1則對任一事件B，有：n、P(Ai|B)=P(B|Ai)P(Ai) , i=1,2,...,nn、P(B|Ak)P(Ak)k=1貝葉斯公式貝葉斯公式(cont.)概率的基本性質(zhì)事件與概率與全概率公式解決的問題相反，貝葉斯（Bayesian概率的基本性質(zhì)事件與概率P(Ai)(i=1,2,...,n)表示各種原因發(fā)生的可能性大小，故稱先驗概率（priorprobabilityP(i|)則反映當結(jié)果B發(fā)生之后，再對產(chǎn)生這一結(jié)果的各種原因的可能概率進行推斷，故稱后驗概率（posteriorprobability。隨機變量隨機變量以金融市場為例隨機變量隨機變量和隨機向量X中的樣ωX(ω是離散型（discrete）隨機變量；若樣ωX(ω是連續(xù)型（以金融市場為例隨機變量隨機變量和隨機向量{0,1,2,}，不難看出取值是非負的整數(shù)，此時所得到的股價跳躍次數(shù)的隨機變量就是離散型隨機變量；若考慮股票在某時刻的可能價格的樣本空間，則其R取值為非負實數(shù)。隨機變量隨機變量(cont.)隨機變量隨機變量和隨機向量、ω1（滿足概率的完備性隨機變量隨機變量和隨機向量、P(X=ω)≥0, P(X=ω)≡1ω∈?連續(xù)型隨機變量無法得到類似的性質(zhì)，由于樣本點是連續(xù)的，對應ω分布函數(shù)分布函數(shù)分布函數(shù)隨機變量和隨機向量對于連續(xù)型隨機變量X而言，其分布函數(shù)FX(t)（分布函數(shù)隨機變量和隨機向量FX(t)=P(X≤t)=

trfX(s)dsr?∞FX(t[01]。概率密度函數(shù)可以定義在任何連續(xù)隨機變量上，比如正態(tài)分布、F分布、t分布、χ2分布等。說明：其中，fXFX(t[01]。概率密度函數(shù)可以定義在任何連續(xù)隨機變量上，比如正態(tài)分布、F分布、t分布、χ2分布等。說明：分布函數(shù)分布函數(shù)(cont.)分布函數(shù)隨機變量和隨機向量、對于離散型隨機變量Y而言，其分布函數(shù)GY(t分布函數(shù)隨機變量和隨機向量、GY(t)=P(Y≤t)= P(Y=ω)ω≤tω∈?此處的P(Y=ω)稱作概率質(zhì)量函數(shù)probabilitymassfunction,pm。概率質(zhì)量函數(shù)可以定義在任何離散型隨機變量上，比如二項分布、負二項分布、泊松分布、幾何分布等等。概率質(zhì)量函數(shù)和概率密度函數(shù)概率質(zhì)量函數(shù)和概率密度函數(shù)分布函數(shù)隨機變量和隨機向量概率質(zhì)量函數(shù)是對離散型隨機變量定義的，本身代表該值的概率；概率密度函數(shù)是對連續(xù)型隨機變量定義的，本身不是概率，只有對連續(xù)型隨機變量的概率密度函數(shù)在某區(qū)間內(nèi)進行積分后才是概率。X[ab這一區(qū)間上的概率，則計算公分布函數(shù)隨機變量和隨機向量r式如下：rP(a≤X≤b)=

bfX(s)dsa隨機向量隨機向量隨機向量隨機變量和隨機向量X1X2XnXX1X2Xn稱作隨nRn隨機向量隨機變量和隨機向量FX(x1,x2,...,xn)=P(X1≤x1,X2≤x2,...,Xn≤xn)稱作X=(X1,X2,...,Xn)的分布函數(shù)。與前面類似，對于連續(xù)型隨機向量X，其在Rn上的區(qū)域（domain）D的概率為：P(X∈D)=

x1 x2rr?∞?∞r(nóng)r

···

xnrf(x)dx1dx2···dxn=r?∞

rf(x)dx1dx2···dxn、 ,, .,D其中，f(x)=f(x1,x2,...,xn)是X的聯(lián)合密度。D隨機變量之和的性質(zhì)：離散型隨機變量之和的概率隨機變量之和的性質(zhì)：離散型隨機變量之和的概率隨機變量之和的性質(zhì)隨機變量和隨機向量設隨機變量X和隨機變量之和的性質(zhì)隨機變量和隨機向量P(X=k)=ak, P(Y=k)=bk, k=0,1,...則Z=X+Y=n，n≥0的概率為：、 ?、 ?P(Z=n)=P(X+Y=n)= P(X=i,Y=n i)i=0n n=、P(X=i)P(Y=n?i)=、aibn?ii=0、n、

i=0令P(Z=n)=cn，則：cn= aibn?i。i=0這里的序列cn}稱作序列{n}和bn}convolution≥0。隨機變量之和的性質(zhì)：連續(xù)型隨機變量之和的分布函數(shù)隨機變量之和的性質(zhì)：連續(xù)型隨機變量之和的分布函數(shù)隨機變量之和的性質(zhì)隨機變量和隨機向量設隨機變量X和Y獨立，其分布函數(shù)分別為F(x)和G(y)，則U=X隨機變量之和的性質(zhì)隨機變量和隨機向量有如下分布函數(shù)：0≤s≤tU(t)=P(X+Y0≤s≤t=rt=00

P(X+Y≤t|Y=s)P(Y=s)rt0F0F(t?s)dG(s)=0P(X≤=0P(X≤t?s)dG(s)=0F(t?s)dG(s)由于X+Y=Y+X，因此：0≤s≤tU(t)=P(X+Y0≤s≤trt00

P(X+Y≤t|X=s)P(X=s)rt??r從而：r

= P(Y≤t?s)dF(s)=

G(t s)dF(s)0t?F(t s)dG(s)=?0

tr?G(t s)dF(s)r?0隨機變量之和的性質(zhì)：連續(xù)型隨機變量之和的密度函數(shù)隨機變量之和的性質(zhì)：連續(xù)型隨機變量之和的密度函數(shù)隨機變量之和的性質(zhì)隨機變量和隨機向量設隨機變量X和Y獨立，其概率密度函數(shù)分別為f(x)和g(y)，則U=X+Y有如下概率密度函數(shù)u(t隨機變量之和的性質(zhì)隨機變量和隨機向量u(t)==

f(t?s)g(s)ds=(f?g)(s)rrt0rrt00g(t?s)f(s)ds=(g?f)(s)0(f?g)(s)稱為函數(shù)f和g的卷積。需要說明的是，卷積運算滿足交換律，即f?g=g?f。舉例：舉例：隨機變量之和的性質(zhì)隨機變量和隨機向量設隨機變量X和隨機變量之和的性質(zhì)隨機變量和隨機向量FX(x)=1?e?λx,x≥0; GY(y)=y/2,0≤y≤2思路求U=X+Y的分布函數(shù)。思路分布函數(shù)求解的公式如下：U(t)=P(X+Y≤t)=

tr?FX(t s)dGY(s)r?0y[02]t的取值分情況來討論。隨機變量和隨機向量隨機變量之和的性質(zhì)r當t<2隨機變量之和的性質(zhì)rtU(t)=0

FX(t?s)dGY(s)=

rt＿2020

1?e?λ(t?s)l

d(s'=r1rrt=r

ds?

t＼eλsds =＼

1rt?1+

e?λt＼2 0當t≥2時：U(t)U(t)=FX(t?s)dGY(s)=00

0r2＿λ0λ0

2 λ1?eλ()1?eλ()

λ（d(s'（d22=1rr2=

ds?e?

tr2

=1?

e?λt

e2λ?1）因此：

2 0 02?λ+?λt2?λ+?λtU(tU(t)=e

2λλ,<2e?λt＼ tλ,<21?2λ（e ?1）, t≥22λ舉例：舉例：隨機變量之和的性質(zhì)隨機變量和隨機向量設隨機變量X和Y獨立，其概率密度函數(shù)分別為：fX(x)=λe?λx; fY(y)=λe?隨機變量之和的性質(zhì)隨機變量和隨機向量運用卷積求解如下：rt=λ2rrt運用卷積求解如下：rt=λ2rrtfU(t)= fX(t?s)fY(s)ds=λe?λ(t?s)λe?λsds00te?λtds=λ2e?λts01s=t1s=0=λ2t·e?λt解答：隨機變量的數(shù)字特征隨機變量的數(shù)字特征隨機變量的數(shù)字特征對于隨機變量而言，我們通常關心它的重要數(shù)字特征，比如期望、方差、偏度、峰度等等。本節(jié)主要介紹期望和方差，以及更一般的矩母隨機變量的數(shù)字特征期望（expectation）用于反映隨機變量平均取值的大小。根據(jù)隨機變量的不同，可以得到離散型隨機變量和連續(xù)型隨機變量的期望。離散型隨機變量的期望離散型隨機變量的期望期望隨機變量的數(shù)字特征設隨機變量期望隨機變量的數(shù)字特征pi=P(X=xi), i=1,...,n則：n ni=1i=1i=1i=1E(X)=、xiP(X=xi)=、i=1i=1i=1i=1舉例：泊松分布的期望舉例：泊松分布的期望期望隨機變量的數(shù)字特征假設隨機變量X服從參數(shù)為期望隨機變量的數(shù)字特征下：P λn?λ(X=n)=

n!e

, λ>0,n=0,1,2,...求泊松分布的期望E(X)。泊松分布的期望泊松分布的期望(cont.)期望期望隨機變量的數(shù)字特征E(XE(X、n·P(Xn、n·λe?λn=0∞∞

nλ n

n=0=λ

n!∞λn?1∞

e?λ=λn=0(n?1)! n=0(n?1)!注意，這里最后一步化簡用到了ex的泰勒展開式，即：2 3 ∞ n2!3!n=0n!ex=1+x+x+x+···=2!3!n=0n!定理定理期望隨機變量的數(shù)字特征設期望隨機變量的數(shù)字特征、∞、E(X)= P(X≥k)證明思路：k=1證明思路：、、∞P(X≥k)=、、∞∞P(X=i)=、、∞ iP(X=i)k=1k=1i=ki=1k=1= i·P(X=i、∞)=E(X)、i個.,i=1求和符號交換的圖示求和符號交換的圖示隨機變量的數(shù)字特征期望i (k,∞) 隨機變量的數(shù)字特征期望(k,k) ?

(1,i)

(i,i)(1,1)

k k(1,1)連續(xù)型隨機變量的期望連續(xù)型隨機變量的期望期望隨機變量的數(shù)字特征設X是有密度函數(shù)fX(x期望隨機變量的數(shù)字特征FX(a)=P(X≤a)=r則：r

fX(x)dxraraE(X)= ∞xfX(x)dx?∞舉例：指數(shù)分布的期望舉例：指數(shù)分布的期望期望隨機變量的數(shù)字特征假設隨機變量X服從參數(shù)為期望隨機變量的數(shù)字特征下：fX(x)=λe?λx, λ>0,x≥0求指數(shù)分布的期望E(X)。指數(shù)分布的期望指數(shù)分布的期望(cont.)期望隨機變量的數(shù)字特征期望隨機變量的數(shù)字特征r rE(X)= ∞xfX(x)dx= ∞λxe?λxdx0 0記u=?λx，則：λ0λ0λ上式=1r?∞eudu=1＿eu(u?1)l?∞=1λ0λ0λ定理定理期望隨機變量的數(shù)字特征設期望隨機變量的數(shù)字特征證明思路：E(X)=r0∞P(X>x)dx=r0∞＿1?X(x)lx證明思路：rr∞P(X>x)dx=r∞dx fX(y)dy=0r∞r(nóng)∞dy fX(y)dx0x0ry =rfX(y)可從積分中提出∞yfX(y)dy=E(X)、 、.,00積分符號交換的圖示積分符號交換的圖示隨機變量的數(shù)字特征期望(x,x)(y,y)隨機變量的數(shù)字特征期望(x,x)(y,y)x?(0,y)(0,0)

x(0,0)條件期望條件期望期望隨機變量的數(shù)字特征假設有隨機變量X的取值取決于期望隨機變量的數(shù)字特征{Z1Z2ZN}n次事件的信息集為條件，得到的隨機變量期望就是條件期望conditionalexpectatio，記作：En(X)=E(X|Z1,Z2,...,Zn)條件期望的性質(zhì)條件期望的性質(zhì)1期望隨機變量的數(shù)字特征當0≤n≤期望隨機變量的數(shù)字特征線性性質(zhì)linearit。對于所有常數(shù)c1和c2，以下等式成立：En(c1X+c2Y)=c1En(X)+c2En(Y)提取已知量takingouttisknow。若X的取值只依賴于n次事件的信息集，則：En(XY)=X·En(Y)在這里，X在n次事件的信息集下是可測的，從而可以從條件期望中提取出來。條件期望的性質(zhì)條件期望的性質(zhì)2期望隨機變量的數(shù)字特征iteratedconditionin0≤n≤m≤期望隨機變量的數(shù)字特征En[Em(X)]=En(X)從中可以看出，X的條件期望取決于信息集中最小者。特別是針對無條件期望而言，有：E[Em(X)]=E(X)independencX取決于第(n+1)次到N次事件所{Zn+1Zn+2ZN}，則有：En(X)=E(X)因為此處的條件與隨機變量X無關。條件期望的性質(zhì)條件期望的性質(zhì)3隨機變量的數(shù)字特征期望?(隨機變量的數(shù)字特征期望En[?(X)]≥?[En(X)]?(x)x?(x)x1E(x)x2?(x2)E[?(x)]?(x1)?[E(x)]x方差方差方差隨機變量的數(shù)字特征方差隨機變量的數(shù)字特征Var(X)=E(X2)?[E(X)]2接下來分別利用這個恒等式來計算離散型隨機變量和連續(xù)型隨機變量的方差。舉例：泊松分布的方差舉例：泊松分布的方差方差隨機變量的數(shù)字特征假設隨機變量X服從參數(shù)為方差隨機變量的數(shù)字特征下：P λn?λ(X=n)=

n!e

, λ>0,n=0,1,2,...前面已經(jīng)計算出泊松分布的期望E(X)=λ，要求出方差，還需要計算E前面已經(jīng)計算出泊松分布的期望E(X)=λ，要求出方差，還需要計算E(X2)。思路：泊松分布的方差泊松分布的方差(cont.)方差隨機變量的數(shù)字特征方差隨機變量的數(shù)字特征n=0n=0n!E(X2)=、n2P(X=n)=、n2·λn=0n=0n!∞∞nλn∞∞=

e?λ

=λe?λ

nλn?1因此：

n=0(n?1)!=λe?λ·(λ+1)eλ=λ(λ+1)

n=0(n?1)!Var(X)=E(X2)?[E(X)]2=λ(λ+1)?λ2=λ舉例：指數(shù)分布的方差舉例：指數(shù)分布的方差方差隨機變量的數(shù)字特征假設隨機變量X服從參數(shù)為方差隨機變量的數(shù)字特征下：fX(x)=λe?λx, λ>0,x≥0E(X)=1，要求出方差，還需要計算E(X)=1，要求出方差，還需要計算E(X2)。λ思路：指數(shù)分布的方差指數(shù)分布的方差(cont.)方差隨機變量的數(shù)字特征00E(X2)=r∞x2fX(x)dx=r∞x2λe?λx方差隨機變量的數(shù)字特征00=1r∞(λx)2e?λxdxλ0記u=?λx，則：λ20=?1＿eu(2λ20=?1＿eu(2?u+2)l?∞=2因此：

λ2 0 λ2λ2λ2λ2Var(X)=E(X2)?[E(X)]2=2?1λ2λ2λ2矩母函數(shù)矩母函數(shù)矩母函數(shù)隨機變量的數(shù)字特征r矩母函數(shù)（momentgeneratingfunction,mgf）是一種構(gòu)造函數(shù)。對于任何滿足概率密度函數(shù)為fX(x)的隨機變量矩母函數(shù)隨機變量的數(shù)字特征rMX(t)=E(etX)= ∞etxfX(x)dx?∞根據(jù)泰勒展開式：···2 3 ∞ ···ex=1+x++2!

+ = xk!k=0、∞ k、由此可得：etx= (tx)k!k=0矩母函數(shù)矩母函數(shù)(cont.)矩母函數(shù)隨機變量的數(shù)字特征矩母函數(shù)隨機變量的數(shù)字特征∞MX(t)=

∞etxfr?∞r(nóng)

X(x)

dx=

∞fX(x)r∞?∞r(nóng)∞

k=0

(tx)kdxk!k=0?∞∞=k!xfX(x)dk=0?∞∞=k!xfX(x)dx=

、tk kkk=0k=0 ?∞ k=0?∞k=0k!·E(Xk!·E(X)=1+t·E(X)+2!·E(X)+···+n!·E(X)+···由此可見，矩母函數(shù)包含了隨機變量X的各階矩E(Xn),n=1,2,3,...矩母函數(shù)矩母函數(shù)(cont.)矩母函數(shù)隨機變量的數(shù)字特征若對MX(t)關于矩母函數(shù)隨機變量的數(shù)字特征類似地：當t=0時：

dt ?∞r(nóng)dMX(t)=rdMX(t)=r∞etx·xfX(x)dxdtn =?∞r(nóng)∞dnMX(tr∞1==

etxn

xfX(x)dxnnndtn

1t=0

xfX(x)dx=E(X)?∞因此，可以通過對矩母函數(shù)關于t求n階導的方式，并令t=0，進而求出隨機變量的n階矩。舉例：指數(shù)分布的各階矩舉例：指數(shù)分布的各階矩矩母函數(shù)隨機變量的數(shù)字特征假設隨機變量X服從速率為矩母函數(shù)隨機變量的數(shù)字特征fX(x)=λe?λx, λ>0,x≥0通過矩母函數(shù)加以求解。思路：求其各階矩。通過矩母函數(shù)加以求解。思路：指數(shù)分布的各階矩指數(shù)分布的各階矩(cont.)矩母函數(shù)矩母函數(shù)隨機變量的數(shù)字特征0r（ ）MX(t)=Eetx=r∞etxλe?λxd0r（ ）=λ ∞e?(λ?t)xdx0λ=t?λ

x=∞(λ)(λ)x1x=0

λλ?t

, λ>t指數(shù)分布的各階矩指數(shù)分布的各階矩(cont.)矩母函數(shù)矩母函數(shù)隨機變量的數(shù)字特征dMX(t) λ =

dMX(t) 11? E(X)= =1dt (λ?t)2

dt 1t=0 λ222 2d2MX(t) 2λ

dMX(t)1 222 =

? E(X)= 1 = 33因此：

dt2d3MX(t)dt3

(λ?t)3=2·3λ(λ?t)4

? E(X)=E(Xn)=n!Eλn

dt21d1dM(t)Xdt3 1

t=0 λ26=t=0 λ3矩母函數(shù)的不足矩母函數(shù)的不足矩母函數(shù)隨機變量的數(shù)字特征通過矩母函數(shù)可以相對容易地求出服從某個概率分布的隨機變量之tn階t0矩母函數(shù)隨機變量的數(shù)字特征為解決這個問題，引入特征函數(shù)characteristicfunction,c，其定r義如下：r?X(t)=E(eitx)= ∞eitxfX(x)dx?∞特征函數(shù)的重要用途在于，若隨機變量X的概率分布fX(x)無法直接算出，可以首先計算出它的特征函數(shù)?X(t)，再通過傅立葉變換（Fouriertransform）最終算出概率分布fX(x)。依概率收斂依概率收斂隨機變量的收斂性設{Xn},n∈N是一個隨機變量序列。若存在一個隨機變量X隨機變量的收斂性得?ε>0，均有：limn→∞

P（|n?|>ε）=0則稱序列{Xn}依概率收斂（convergenceinprobability）于X，記作：X 或者 plimX XPX 或者 plimX XPn→∞εn取多大，XnXεn足夠大，這種0。弱大數(shù)定律弱大數(shù)定律設n}是一個隨機變量序列，E(n)存在。令ˉn=

n隨機變量的收斂性n、Xi隨機變量的收斂性n、i=1ˉn?E(ˉn)P0則稱隨機變量序列Xn}服從弱大數(shù)定律klawoflagenumbers。以概率以概率1收斂隨機變量的收斂性/P |X設{Xn},n∈隨機變量的收斂性/P |Xlimn→∞

∞ii=n

?X|>ε\=0{Xn1（convergencewithprobabilityX也稱almostsurelyconvegenc，記作：Xa.s.nX, 或 Xn→X, a.s.該定義的等價形式是：(P lim(n→∞

Xn='=1隨機變量的收斂性以概率以概率1收斂(cont.)1nε，總能Nn>N時，XnXε。正因如11收斂意味著一定依概率收斂，反之則不然。強大數(shù)定律強大數(shù)定律設n}是一個隨機變量序列，E(n)存在。令ˉn=

n隨機變量的收斂性n、Xi隨機變量的收斂性n、i=1n→∞ˉn?E(n)a..0 或 P＿limˉn=E(Xn)l=n→∞則稱隨機變量序列{n}服從強大數(shù)定律glawoflagenumbers。所謂大數(shù)定律，實際上是想要說明當對一個隨機變量進行無限次采樣時，得到的平均值會無限接近真實的期望值。只不過強大數(shù)定律是想說明，采樣的次數(shù)越多，平均值幾乎一定越接近真實期望值（這意味著不可能出現(xiàn)反方向的偏離；而弱大數(shù)定律則是想說明，采樣的次數(shù)越多，平均值接近真實期望值的可能性越大（這意味著也有極小的可能出現(xiàn)反方向的偏離?？聽柲缏宸颍聽柲缏宸颍↘olmogorov）大數(shù)定律隨機變量的收斂性、隨機變量的收斂性、r(X{ } n設X 是相互獨立的隨機變量序列，并且 < ，則k2{Xn服從強大數(shù)定律，即：

k=1∞n→∞nkkP∞n→∞nkk

1、[Xkk=1

?E(X)]=0＼=1柯爾莫哥洛夫大數(shù)定律柯爾莫哥洛夫大數(shù)定律(cont.)隨機變量的收斂性n、更進一步，在柯爾莫哥洛夫大數(shù)定律的基礎上，假設{Xn}