應(yīng)用隨機(jī)過(guò)程 課件全套 方杰 第1-7章 預(yù)備知識(shí)、離散時(shí)間馬氏鏈-布朗運(yùn)動(dòng)

第一章

預(yù)備知識(shí)應(yīng)用隨機(jī)過(guò)程中國(guó)人民大學(xué)出版社應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社1

/

65本章內(nèi)容12事件與概率樣本和樣本空間事件與概率概率空間概率的基本性質(zhì)隨機(jī)變量和隨機(jī)向量隨機(jī)變量分布函數(shù)5隨機(jī)向量隨機(jī)變量之和的性質(zhì)隨機(jī)變量的數(shù)字特征期望方差矩母函數(shù)隨機(jī)變量的收斂性隨機(jī)過(guò)程的概念應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社2

/

65事件與概率樣本和樣本空間樣本和樣本空間舉例：通常把按照一定想法去做的事件稱(chēng)為試驗(yàn)（experiment），把試驗(yàn)的可能結(jié)果稱(chēng)為樣本點(diǎn)（samplepoint），樣本點(diǎn)的集合稱(chēng)為樣本空間（samplespace）。通常將樣本空間記為

?，樣本點(diǎn)記為

ω。一個(gè)均勻的骰子（dice）有六個(gè)面，每次拋出這個(gè)骰子，會(huì)得到相應(yīng)的點(diǎn)數(shù)（比如：3）。這里“拋骰子”就是一個(gè)事件，也就是“試驗(yàn)”；在拋出骰子后得到的“點(diǎn)數(shù)”3

就是“樣本點(diǎn)”ω

=

3；而骰子的可能點(diǎn)數(shù)為1,

2,

3,

.

.

.

,

6，因此對(duì)應(yīng)的樣本空間就是

?

=

{1,

2,

3,

.

.

.

,

6}。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社3

/

65事件與概率事件與概率事件與概率事件（event）是樣本空間

?

的子集，且滿(mǎn)足三個(gè)條件：?

是事件；若

A

是事件，則

Ac

是事件；∞li=1i i若

A

是事件，則 A

是事件。骰子的例子如果“拋出的點(diǎn)數(shù)為

3”是事件

A，則其對(duì)立事件

Ac

就是“拋出的點(diǎn)數(shù)不為

3”；另外，“拋一次骰子”是事件，則“拋無(wú)數(shù)次骰子”組成的所有事件的并集也是事件。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社4

/

65事件與概率事件與概率事件對(duì)于事件

A，如果使用

P(A)

表示事件發(fā)生的概率，則

P(A)

滿(mǎn)足以下條件：非負(fù)性：P(A)

≥0；完備性：P(?)

=

1；可列可加性：對(duì)于互不相容的事件

A1,

A2,

.

.

.，有：/ \∞ ∞

、i=1

i=1i iP A = P(A

)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社5

/

65事件與概率概率空間概率空間舉例：對(duì)于樣本空間

?

和概率

P，用

F

表示全體事件時(shí)，稱(chēng)三位一體的(?,

F,

P)

為概率空間（probability

space）。F

稱(chēng)作

σ-代數(shù)（sigma-algebra），相當(dāng)于樣本空間

?

的子集的集合。假設(shè)樣本空間

?

=

{1,

2,

3}，則

F

可表示為：F

=

J?,

{1},

{2},

{3},

{1,

2},

{1,

3},

{2,

3},

?l應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社6

/

65事件與概率概率空間σ-代數(shù)對(duì)于

σ-代數(shù)

F，其中的元素滿(mǎn)足以下條件：ici若

A

∈

F，則

A

∈

F；說(shuō)明：若Ai,Aj∈F,?i,j，則Ai∩Aj∈

F；若

Ai,

Aj

∈

F,

?i,

j，則

Ai

∪

Aj

∈

F。簡(jiǎn)言之，對(duì)

σ-代數(shù)

F

中的元素取并集、交集和補(bǔ)集，結(jié)果均在

F中。（σ-代數(shù)對(duì)并、交、補(bǔ)運(yùn)算均封閉。）應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社7

/

65事件與概率概率的基本性質(zhì)概率的基本性質(zhì)對(duì)于事件

Ai,

i

=

1,

2,

.

.

.

,

n，其發(fā)生的概率具有如下性質(zhì)：P(?)=

0；當(dāng)且僅當(dāng)

A1,

A2,

.

.

.

,

An

互不相容時(shí)，下式的等號(hào)成立：/ \n n

、P Ai ≤ P(Ai)i=1 i=1如果

A2

?

A1，則

P(A1)

?

P(A2)

=

P(A1

?

A2)

≥

0；P(A1

∪

A2)

=

P(A1)

+

P(A2)

?

P(A1A2)；條件概率公式：當(dāng)

P(A1)

>

0

時(shí)，2 1P(A|A)

=1

2P(A

A

)P(A1)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社8

/

65事件與概率概率的基本性質(zhì)乘法公式乘法公式可看作條件概率公式的直接推論，其表達(dá)式如下：P(B1B2

·

·

·

Bn)

=

P(B1)P(B2|B1)

·

·

·

P(Bn|B1B2

·

·

·

Bn?1)當(dāng)

P(A)

>

0

時(shí)，P(B1B2

·

·

·

Bn|A)

=

P(B1|A)P(B2|B1A)

·

·

·

P(Bn|B1B2

·

·

·

Bn?1A)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社9

/

65事件與概率概率的基本性質(zhì)全概率公式n

i=11 2 n i若事件

A

,

A

,

.

.

.

,

A

互不相容，則當(dāng) A

=

?

時(shí)，有：n n、 、i i iP(B)

= P(BA

)

= P(B|A)P(A

)i=1 i=1當(dāng)

P(A)

>

0

時(shí)，有：n、i=1P(B|A)

=

P(Bii|AA)P(A

|A)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社10

/

65事件與概率概率的基本性質(zhì)全概率公式

(cont.)全概率公式的意義在于，當(dāng)直接計(jì)算

P(B)

較為困難時(shí)，可以通過(guò)求小事件的概率，然后相加，從而求得事件

B

的概率。而將事件

B

進(jìn)行分割的時(shí)候，則是先找到樣本空間

?

的某個(gè)劃分（partition）{A1,

A2,

.

.

.

,

An}，進(jìn)而得到相對(duì)應(yīng)的事件

B

的分解，即：B

=

BA1

+

BA2

+

·

·

·

+

BAn利用條件概率的計(jì)算公式，可得：P(B)

=

P(BA1)

+

P(BA2)

+

·

·

·

+

P(BAn)=

P(B|A1)P(A1)

+

P(B|A2)P(A2)

+

·

·

·

+

P(B|An)P(An)n、i=1i i= P(B|A)P(A

)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社11

/

65事件與概率概率的基本性質(zhì)貝葉斯公式若

A1,

A2,

.

.

.

,

An

為一系列互不相容的事件，并且n

iA

=

?, P(Ai)>0,

?ii=1則對(duì)任一事件

B，有：iP(A|B)

=

P(B|A

)i

iP(A

) n、k=1k kP(B|A)P(A

),i

=

1,

2,

.

.

.

,

n應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社12

/

65事件與概率概率的基本性質(zhì)貝葉斯公式

(cont.)與全概率公式解決的問(wèn)題相反，貝葉斯（Bayesian）公式是建立在條件概率的基礎(chǔ)上，通過(guò)確定的結(jié)果尋找發(fā)生的原因。此處P(Ai)

(i

=

1,

2,

.

.

.

,

n)

表示各種原因發(fā)生的可能性大小，故稱(chēng)先驗(yàn)概率（prior

probability）；P(Ai|B)

則反映當(dāng)結(jié)果

B

發(fā)生之后，再對(duì)產(chǎn)生這一結(jié)果的各種原因的可能概率進(jìn)行推斷，故稱(chēng)后驗(yàn)概率（posteriorprobability）。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社13

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量隨機(jī)變量以金融市場(chǎng)為例隨機(jī)變量

X

是定義在樣本空間

?

上的函數(shù)。若樣本空間

?

中的樣本點(diǎn)

ω

是離散的，則相應(yīng)的

X(ω)

是離散型（discrete）隨機(jī)變量；若樣本點(diǎn)

ω

是連續(xù)的，則相應(yīng)的

X(ω)

是連續(xù)型（continuous）隨機(jī)變量?？紤]股票價(jià)格跳躍次數(shù)的樣本空間，其可能的取值為

?

={0,

1,

2,

.

.

.}，不難看出取值是非負(fù)的整數(shù)，此時(shí)所得到的股價(jià)跳躍次數(shù)的隨機(jī)變量就是離散型隨機(jī)變量；若考慮股票在某時(shí)刻的可能價(jià)格的樣本空間，則其取值應(yīng)當(dāng)為

?

∈

R+

∪

{0}，此時(shí)得到的股價(jià)隨機(jī)變量就是連續(xù)型隨機(jī)變量，因?yàn)閷?duì)應(yīng)的樣本空間

?

取值為非負(fù)實(shí)數(shù)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社14

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量隨機(jī)變量

(cont.)對(duì)于離散型隨機(jī)變量而言，其對(duì)應(yīng)樣本點(diǎn)

ω

的概率是非負(fù)的，并且樣本點(diǎn)所有可能取值下的概率之和等于

1（滿(mǎn)足概率的完備性），即：P(X=ω)

≥

0, 、

P(X=ω)≡1ω∈?連續(xù)型隨機(jī)變量無(wú)法得到類(lèi)似的性質(zhì)，由于樣本點(diǎn)是連續(xù)的，對(duì)應(yīng)的某一個(gè)樣本點(diǎn)

ω

的概率接近于零，因此需要引入新的概念來(lái)刻畫(huà)連續(xù)型隨機(jī)變量的概率等特征，這就是分布函數(shù)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社15

/

65隨機(jī)變量和隨機(jī)向量分布函數(shù)分布函數(shù)對(duì)于連續(xù)型隨機(jī)變量

X

而言，其分布函數(shù)

FX(t)（distributionfunction）定義為：rt說(shuō)明：FX(t)=P(X≤

t)

= fX(s)

ds?∞其中，fX(s)

是

X的概率密度函數(shù)（probabilitydensityfunction,pdf）。分布函數(shù)

FX(t)

是單調(diào)不減的右連續(xù)函數(shù)，并且其取值范圍為

[0,

1]。概率密度函數(shù)可以定義在任何連續(xù)隨機(jī)變量上，比如正態(tài)分布、F

分布、t分布、χ2

分布等。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社16

/

65隨機(jī)變量和隨機(jī)向量分布函數(shù)分布函數(shù)

(cont.)Y對(duì)于離散型隨機(jī)變量

Y

而言，其分布函數(shù)

GY(t)

也有類(lèi)似的定義，只不過(guò)原先的積分符號(hào)變成了求和符號(hào)罷了，公式如下：、G(t)=P(Y≤

t)

= P(Y=

ω)ω≤tω∈?此處的

P(Y

=

ω)

稱(chēng)作概率質(zhì)量函數(shù)（probabilitymassfunction,pmf）。概率質(zhì)量函數(shù)可以定義在任何離散型隨機(jī)變量上，比如二項(xiàng)分布、負(fù)二項(xiàng)分布、泊松分布、幾何分布等等。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社17

/

65隨機(jī)變量和隨機(jī)向量分布函數(shù)概率質(zhì)量函數(shù)和概率密度函數(shù)概率質(zhì)量函數(shù)是對(duì)離散型隨機(jī)變量定義的，本身代表該值的概率；概率密度函數(shù)是對(duì)連續(xù)型隨機(jī)變量定義的，本身不是概率，只有對(duì)連續(xù)型隨機(jī)變量的概率密度函數(shù)在某區(qū)間內(nèi)進(jìn)行積分后才是概率。要想求得連續(xù)型隨機(jī)變量

X

在

[a,

b]

這一區(qū)間上的概率，則計(jì)算公式如下：rbP(a≤X≤

b)

= fX(s)

dsa應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社18

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)向量隨機(jī)向量如果

X1,

X2,

.

.

.

,

Xn

都是隨機(jī)變量，則

X

=

(X1,

X2,

.

.

.

,

Xn)

稱(chēng)作隨機(jī)向量。相應(yīng)地，定義在

n

維實(shí)數(shù)域

Rn

上的

n

元函數(shù)FX(x1,

x2,

.

.

.

,

xn)

=

P

(X1

≤

x1,

X2

≤

x2,

.

.

.

,

Xn

≤

xn)稱(chēng)作

X

=

(X1,

X2,

.

.

.

,

Xn)

的分布函數(shù)。與前面類(lèi)似，對(duì)于連續(xù)型隨機(jī)向量

X，其在

Rn

上的區(qū)域（domain）D

的概率為：r rx x1 2P(X∈

D)

= ··

·rxn?∞

?∞ ?∞、 、,, .,rDf(x)dx1dx2···

dxn

= f(x)dx1dx2···

dxnn個(gè)其中，f(x)

=

f(x1,

x2,

.

.

.

,

xn)

是

X

的聯(lián)合密度。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社19

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)隨機(jī)變量之和的性質(zhì)：離散型隨機(jī)變量之和的概率k

=

0,

1,

.

.

.設(shè)隨機(jī)變量

X

和

Y

獨(dú)立，且滿(mǎn)足：P(X=k)

=

ak, P(Y=k)=

bk,則

Z

=

X

+

Y

=

n，n

≥

0

的概率為：n、P(Z

=

n)

=

P(X

+

Y

=

n)

= P(X

=

i,

Y

=

n

?

i)i=0n n、 、i=0

i=0= P(X=i)P(Y=n?

i)

= a

bi

n?in、令

P(Z

=

n)

=

c

，則：c

= a

bn n i

n?i。i=0這里的序列

{cn}

稱(chēng)作序列

{an}

和

{bn}

的卷積（convolution），其中n

≥

0。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社20

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)隨機(jī)變量之和的性質(zhì)：連續(xù)型隨機(jī)變量之和的分布函數(shù)0≤s≤t設(shè)隨機(jī)變量

X

和

Y

獨(dú)立，其分布函數(shù)分別為

F(x)

和

G(y)，則

U

=

X

+

Y有如下分布函數(shù)：U(t)=P(X+Y≤t)=、

P(X+Y≤t|Y=s)P(Y=s)rrt t= P(X≤t?s)

dG(s)

= F(t?s)

dG(s)0 0由于

X

+

Y

=

Y

+

X，因此：U(t)

=

P(X

+

Y

≤

t)

=、0≤s≤tP(X+Y≤t|X=

s)P(X=

s)rrt t= P(Y≤t?s)

dF(s)

= G(t?s)

dF(s)0 0從而：t0r rt0F(t?s)

dG(s)

= G(t?s)

dF(s)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社21

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)隨機(jī)變量之和的性質(zhì)：連續(xù)型隨機(jī)變量之和的密度函數(shù)設(shè)隨機(jī)變量

X

和

Y

獨(dú)立，其概率密度函數(shù)分別為

f(x)

和

g(y)，則U

=

X

+

Y

有如下概率密度函數(shù)u(t)：rt0u(t)

= f(t?s)g(s)ds=

(f?g)(s)rt= g(t?s)f(s)ds=

(g?f)(s)0(f

?

g)(s)

稱(chēng)為函數(shù)

f

和

g

的卷積。需要說(shuō)明的是，卷積運(yùn)算滿(mǎn)足交換律，即

f

?

g

=

g

?

f。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社22

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)舉例：思路設(shè)隨機(jī)變量

X

和

Y

獨(dú)立，其分布函數(shù)分別為：FX(x)=1?e?λx,x

≥

0; GY(y)=y/2,0≤y≤

2求

U

=

X

+

Y

的分布函數(shù)。分布函數(shù)求解的公式如下：rtU(t)=P(X+

Y≤t)

= FX(t?s)

dGY(s)0這里要特別注意，由于

y

∈

[0,

2]，因此需要根據(jù)

t

的取值分情況來(lái)討論。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社23

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)當(dāng)

t

<

2

時(shí)：rt0U(t)

= FX(t?s)dGY(s)

=r0t

＿1?

e?λ(t?s)d

s2l ('=

120rr rt t0

12＼ r

1ds

?

e?λt eλs

ds

=

t

?

+e?λtλ λ＼當(dāng)

t

≥

2

時(shí)：r20U(t)

= FX(t?s)dGY(s)

=r02

＿1?

e?λ(t?s)d

s2l ('=

120ds?

e?λtrr r2 20s＼eλ

ds =1

?e?λt2λ（e2λ?

1）因此：U(t)

=

12r

1t?λ+e?λtλ＼, t<

21

?e

?λt2λ（e2λ?

1）

, t≥

2應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社24

/

65隨機(jī)變量和隨機(jī)向量隨機(jī)變量之和的性質(zhì)舉例：解答：設(shè)隨機(jī)變量

X

和

Y

獨(dú)立，其概率密度函數(shù)分別為：fX(x)

=

λe?λx; fY(y)=

λe?λy求

U

=

X

+

Y

的概率密度函數(shù)。運(yùn)用卷積求解如下：rt0fU(t)

= fX(t?s)fY(s)ds

=rt0λe?λ(t?s)λe?λs

ds=

λ2rt0e?λt 2e?λt11s=ts=0ds

=

λ s =λ2t

·e?λt應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社25

/

65隨機(jī)變量的數(shù)字特征隨機(jī)變量的數(shù)字特征對(duì)于隨機(jī)變量而言，我們通常關(guān)心它的重要數(shù)字特征，比如期望、方差、偏度、峰度等等。本節(jié)主要介紹期望和方差，以及更一般的矩母函數(shù)和特征函數(shù)。期望（expectation）用于反映隨機(jī)變量平均取值的大小。根據(jù)隨機(jī)變量的不同，可以得到離散型隨機(jī)變量和連續(xù)型隨機(jī)變量的期望。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社26

/

65隨機(jī)變量的數(shù)字特征期望離散型隨機(jī)變量的期望設(shè)隨機(jī)變量

X

有離散的概率分布如下：pi=P(X

=

xi), i

=

1,

.

.

.

,

n則：iin n、 、i=1 i=1E(X)

= xP(X=x

)

= x

pi

i應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社27

/

65隨機(jī)變量的數(shù)字特征期望舉例：泊松分布的期望假設(shè)隨機(jī)變量

X

服從參數(shù)為

λ

的泊松分布，相應(yīng)的概率質(zhì)量函數(shù)如下：λn

?λλ

>

0,

n

=

0,

1,

2,

.

.

.P(X

=

n)

=

n!

e

,求泊松分布的期望

E(X)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社28

/

65隨機(jī)變量的數(shù)字特征期望泊松分布的期望

(cont.)根據(jù)期望的定義，可得：∞、n=0E(X)

=

n∞、n=0·P(X=

n)

= n

·λnn!e?λ=∞?λe =

λ∞、 λn 、λn?1n=0(n

?

1)! n=0(n?

1)!?λe =

λ注意，這里最后一步化簡(jiǎn)用到了

ex

的泰勒展開(kāi)式，即：x2 32! 3!e=1+

x

+ + +

···=∞、

x

x

x

nn!n=0應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社29

/

65隨機(jī)變量的數(shù)字特征期望定理設(shè)

X

為取值是非負(fù)整數(shù)的隨機(jī)變量，其期望值的計(jì)算公式如下：∞、E(X)

= P(X≥

k)k=1證明思路：∞、k=1P(X≥k)

=∞∞、、k=1

i=kP(X=i)

=∞ i、、i=1

k=1P(X=

i)、

i個(gè)P、(,,X=i)

.,∞、i=1= i·P(X=

i)=

E(X)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社30

/

65隨機(jī)變量的數(shù)字特征

期望求和符號(hào)交換的圖示k(1,

1)(k,

k)i (k,

∞) ik(1,

1)(i,

i)? (1,

i)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社31

/

65隨機(jī)變量的數(shù)字特征期望連續(xù)型隨機(jī)變量的期望設(shè)

X

是有密度函數(shù)

fX(x)

的隨機(jī)變量，即密度函數(shù)滿(mǎn)足：raFX(a)=P(X≤

a)

= fX(x)

dx?∞則：E(X)

=r∞?∞Xxf(x)

dx應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社32

/

65隨機(jī)變量的數(shù)字特征期望舉例：指數(shù)分布的期望假設(shè)隨機(jī)變量

X

服從參數(shù)為

λ

的指數(shù)分布，相應(yīng)的概率密度函數(shù)如下：λ>0,x≥

0fX(x)=

λe?λx,求指數(shù)分布的期望

E(X)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社33

/

65隨機(jī)變量的數(shù)字特征期望指數(shù)分布的期望

(cont.)根據(jù)期望的定義，可得：E(X)

=

r

∞

xfX(x)

dx

=

r

∞

λxe?λx

dx0 0記

u

=

?λx，則：上式

=

1λr?∞0

1λu uue

du

= e

(u＿ l?∞0?1) =

1λ應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社34

/

65隨機(jī)變量的數(shù)字特征期望定理設(shè)

X

是非負(fù)的隨機(jī)變量，則：E(X)=r∞P(X>x)dx=r∞1?FX(x)

dx0 0 ＿ l證明思路：r∞0P(X>x)dx

=∞0r∞xdx fX(y)dy

=r∞0ry

0dy fX(y)

dx、 、,,

.,Xf

(y)可從積分中提出=rr∞0yfX(y)dy=

E(X)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社35

/

65隨機(jī)變量的數(shù)字特征

期望積分符號(hào)交換的圖示x(x,

∞)(0,

0)(x,

x)y yx(0,

0)(y,

y)?(0,

y)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社36

/

65隨機(jī)變量的數(shù)字特征期望條件期望假設(shè)有隨機(jī)變量

X

的取值取決于

N

次發(fā)生的事件構(gòu)成的信息集{Z1,

Z2,

.

.

.

,

ZN}。以其中前

n

次事件的信息集為條件，得到的隨機(jī)變量期望就是條件期望（conditional

expectation），記作：En(X)

=

E(X|Z1,

Z2,

.

.

.

,

Zn)應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社37

/

65隨機(jī)變量的數(shù)字特征期望條件期望的性質(zhì)

1當(dāng)

0

≤

n

≤

N

時(shí)，以下性質(zhì)成立：線(xiàn)性性質(zhì)（linearity）。對(duì)于所有常數(shù)

c1

和

c2，以下等式成立：En(c1X

+

c2Y)

=

c1En(X)

+

c2En(Y)提取已知量（taking

outwhatis

known）。若

X

的取值只依賴(lài)于

n次事件的信息集，則：En(XY)=X

·En(Y)在這里，X

在

n

次事件的信息集下是可測(cè)的，從而可以從條件期望中提取出來(lái)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社38

/

65隨機(jī)變量的數(shù)字特征期望條件期望的性質(zhì)

2迭代條件期望（iterated

conditioning）。若

0

≤

n

≤

m

≤

N，則有：En[Em(X)]=

En(X)從中可以看出，X

的條件期望取決于信息集中最小者。特別是針對(duì)無(wú)條件期望而言，有：E[Em(X)]=

E(X)獨(dú)立性（independence）。若

X

取決于第

(n

+

1)

次到

N

次事件所構(gòu)成的信息集

{Zn+1,

Zn+2,

.

.

.

,

ZN}，則有：En(X)=

E(X)因?yàn)榇颂幍臈l件與隨機(jī)變量

X

無(wú)關(guān)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社39

/

65隨機(jī)變量的數(shù)字特征

期望條件期望的性質(zhì)

3(5)

詹森（Jensen）不等式。如果

?(·)

是凸函數(shù)，則下列不等式成立：En[?(X)]≥

?[En(X)]?(x)x?(x)x1x2E(x)?(x2)E[?(x)]?(x1)?[E(x)]應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社40

/

65隨機(jī)變量的數(shù)字特征方差方差方差（variance）是反映隨機(jī)變量離散程度的指標(biāo)。在概率統(tǒng)計(jì)的教科書(shū)中，方差計(jì)算的恒等式如下：Var(X)=E(X2)

?[E(X)]2接下來(lái)分別利用這個(gè)恒等式來(lái)計(jì)算離散型隨機(jī)變量和連續(xù)型隨機(jī)變量的方差。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社41

/

65隨機(jī)變量的數(shù)字特征方差舉例：泊松分布的方差假設(shè)隨機(jī)變量

X

服從參數(shù)為

λ

的泊松分布，相應(yīng)的概率質(zhì)量函數(shù)如下：λn

?λλ

>

0,

n

=

0,

1,

2,

.

.

.P(X

=

n)

=

n!

e

,求泊松分布的方差

Var(X)。思路：前面已經(jīng)計(jì)算出泊松分布的期望

E(X)

=

λ，要求出方差，還需要計(jì)算E(X2)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社42

/

65隨機(jī)變量的數(shù)字特征方差泊松分布的方差

(cont.)2 2∞ ∞、 、n=0

n=0E(X

)

= nP(X=

n)

= n

·λnn!2 e?λ=∞、nλnn=0(n?

1)!e?λ=

λe?λ∞、

nλn?1n=0(n?

1)!=λe?λ·(λ+

1)eλ=λ(λ+

1)因此：Var(X)

=

E(X2)

?

[E(X)]2

=

λ(λ

+

1)

?

λ2

=

λ應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社43

/

65隨機(jī)變量的數(shù)字特征方差舉例：指數(shù)分布的方差假設(shè)隨機(jī)變量

X

服從參數(shù)為

λ

的指數(shù)分布，相應(yīng)的概率密度函數(shù)如下：λ>0,x≥

0fX(x)=

λe?λx,求指數(shù)分布的方差

Var(X)。思路：λ前面已經(jīng)計(jì)算出指數(shù)分布的期望

E(X)

=

1

，要求出方差，還需要計(jì)算E(X2)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社44

/

65隨機(jī)變量的數(shù)字特征方差指數(shù)分布的方差

(cont.)2E(X)

=r∞02Xxf

(x)dx

=r∞02

e?λxx

λ

dx=

1λr∞0(λx)2e?λxdx記

u

=

?λx，則：上式

=

?

1λ2r?∞02

uue

du

1λ2＿u 2=

? e(u?

2u+

2)l?∞0=

2λ2因此：Var(X2)=E(X)?

[E(X2)]

=

?

=

2

1

1λ2 λ2 λ2應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社45

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)矩母函數(shù)矩母函數(shù)（moment

generating

function,

mgf）是一種構(gòu)造函數(shù)。對(duì)于任何滿(mǎn)足概率密度函數(shù)為

fX(x)

的隨機(jī)變量

X，其矩母函數(shù)的定義如下：XtXM(t)=E(e)

=r∞?∞txXef(x)

dx根據(jù)泰勒展開(kāi)式：ex=1+x+

x

2 32! 3!x

+ +

···=∞、k=0k

xk!tx由此可得：e

=∞、k=0

(tx)

kk!應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社46

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)矩母函數(shù)

(cont.)矩母函數(shù)可以相應(yīng)進(jìn)行如下展開(kāi)：txMX(t)

= efX(

)xdx

=r r∞ ∞?∞ ?∞fX(x)∞、k=0(tx)kk!dx=∞、tk!rk ∞?∞∞k=0 k=0、

tkk kxfX(x)

dx

= k!·E(X

)t2 tn2 n=

1

+

t

·

E(X)

+

2!

·

E(X

)

+

·

·

·

+

n!

·

E(X

)

+

·

·

·由此可見(jiàn)，矩母函數(shù)包含了隨機(jī)變量

X

的各階矩

E(Xn),n

=

1,

2,

3,

.

.

.應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社47

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)矩母函數(shù)

(cont.)若對(duì)

MX(t)

關(guān)于

t

求導(dǎo)，可得：X

dM

(t)dt=∞?∞txXe·xf

(x)

dx類(lèi)似地：dnMX(t)dtn=rr∞tx nXe·xf(x)

dx當(dāng)

t

=

0

時(shí)：nXdM

(t)dtn11r?∞∞t=0

?∞= xnfX(x)dx=

E(Xn)因此，可以通過(guò)對(duì)矩母函數(shù)關(guān)于

t

求

n

階導(dǎo)的方式，并令

t

=

0，進(jìn)而求出隨機(jī)變量的

n

階矩。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社48

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)舉例：指數(shù)分布的各階矩思路：假設(shè)隨機(jī)變量

X

服從速率為

λ

的指數(shù)分布，其概率密度函數(shù)為：fX(x)

=

λe?λx, λ>0,x≥

0求其各階矩。通過(guò)矩母函數(shù)加以求解。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社49

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)指數(shù)分布的各階矩

(cont.)由矩母函數(shù)的定義可得：Xtx（ ）M

(t)

=

E

e

=r∞0tx

e?λxe

λ

dx=

λr∞0e?(λ?t)x=

λ

t?

λe?(λ?t)x11dxx=∞x=0=

λλ

?t,λ>

t應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社50

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)指數(shù)分布的各階矩

(cont.)相應(yīng)地：

dMX(t)

λ dt =(λ?

t)2X

dM

(t)dt11t=0

1=λd2MX(t) 2λ dt2 (λ?

t)32

2XdM

(t)dt211t=0

2=

λ2=d3MX(t) 2·

3λdt3 (λ?

t)4? E(X)

=

=

? E(X)

=?E(X3)

=3XdM

(t)dt311t=0=6λ3因此：E(Xn)=

n!λn應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社51

/

65隨機(jī)變量的數(shù)字特征矩母函數(shù)矩母函數(shù)的不足通過(guò)矩母函數(shù)可以相對(duì)容易地求出服從某個(gè)概率分布的隨機(jī)變量之各階矩。但是該方法仍有不足之處，它依賴(lài)于矩母函數(shù)關(guān)于

t

進(jìn)行

n

階求導(dǎo)后，在

t

=0

處有定義，否則會(huì)出現(xiàn)無(wú)法計(jì)算各階矩的問(wèn)題。為解決這個(gè)問(wèn)題，引入特征函數(shù)（characteristicfunction,cf），其定義如下：?(t)=E(e)

=r∞itx itxX Xef(x)

dx?∞特征函數(shù)的重要用途在于，若隨機(jī)變量

X

的概率分布

fX(x)

無(wú)法直接算出，可以首先計(jì)算出它的特征函數(shù)

?X(t)，再通過(guò)傅立葉變換（Fouriertransform）最終算出概率分布

fX(x)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社52

/

65隨機(jī)變量的收斂性依概率收斂設(shè)

{Xn},

n

∈

N

是一個(gè)隨機(jī)變量序列。若存在一個(gè)隨機(jī)變量

X，使得

?ε

>

0，均有：n→∞nlimP|X?

X（ ）|>ε=

0則稱(chēng)序列

{Xn}

依概率收斂（convergence

in

probability）于

X，記作：PXn

?→

X

或者plimXn=

Xn→∞依概率收斂可以理解為：任意指定一個(gè)正數(shù)

ε，無(wú)論

n

取多大，Xn

與

X差距的絕對(duì)值大于

ε

的可能次數(shù)仍然是存在的，但只要

n

足夠大，這種例外情形的次數(shù)占比將逐漸趨于

0。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社53

/

65隨機(jī)變量的收斂性弱大數(shù)定律ˉn n n設(shè)

{X

}

是一個(gè)隨機(jī)變量序列，E(X

)

存在。令

X

=1

nn、i=1iX

，若PXˉn

?E(Xˉn)?→

0則稱(chēng)隨機(jī)變量序列

{Xn}

服從弱大數(shù)定律（weaklawoflarge

numbers）。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社54

/

65隨機(jī)變量的收斂性以概率

1

收斂設(shè)

{Xn},

n

∈

N

是一個(gè)隨機(jī)變量序列，若存在一個(gè)隨機(jī)變量

X，使得n→∞∞

i=ni/ \lim

P |X?X|

>

ε =

0則稱(chēng)序列

{Xn}

以概率

1

收斂（convergence

with

probability

1）于

X,

也稱(chēng)作“幾乎處處收斂”（almost

surely

convergence），記作：a.s.Xn

?→

X,

或

Xn

→

X,

a.s.該定義的等價(jià)形式是：(n→∞P lim

Xn'=X=

1應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社55

/

65隨機(jī)變量的收斂性以概率

1

收斂

(cont.)以概率

1

收斂可以理解為：只要

n

足夠大，任意指定一個(gè)正數(shù)

ε，總能找到一個(gè)

N，使得

n

>

N

時(shí)，Xn

與

X

差距的絕對(duì)值不再大于

ε。正因如此，以概率

1

收斂比依概率收斂的條件強(qiáng)，也就是說(shuō)以概率

1

收斂意味著一定依概率收斂，反之則不然。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社56

/

65隨機(jī)變量的收斂性強(qiáng)大數(shù)定律ˉn n n設(shè)

{X

}

是一個(gè)隨機(jī)變量序列，E(X

)

存在。令

X

=1

nn、i=1iX

，若ˉn na.s.X?E(X)?→

0n→∞ˉn n＿ l或 P limX=E(X)=

1則稱(chēng)隨機(jī)變量序列

{Xn}

服從強(qiáng)大數(shù)定律（stronglawoflarge

numbers）。所謂大數(shù)定律，實(shí)際上是想要說(shuō)明當(dāng)對(duì)一個(gè)隨機(jī)變量進(jìn)行無(wú)限次采樣時(shí)，得到的平均值會(huì)無(wú)限接近真實(shí)的期望值。只不過(guò)強(qiáng)大數(shù)定律是想說(shuō)明，采樣的次數(shù)越多，平均值幾乎一定越接近真實(shí)期望值（這意味著不可能出現(xiàn)反方向的偏離）；而弱大數(shù)定律則是想說(shuō)明，采樣的次數(shù)越多，平均值接近真實(shí)期望值的可能性越大（這意味著也有極小的可能出現(xiàn)反方向的偏離）。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社57

/

65隨機(jī)變量的收斂性柯?tīng)柲缏宸颍↘olmogorov）大數(shù)定律n設(shè)

{X

}

是相互獨(dú)立的隨機(jī)變量序列，并且∞、k=1k

Var(X

)k2<

∞，則{Xn}

服從強(qiáng)大數(shù)定律，即：（P lim

1n→∞

n∞、k=1＼[Xk?E(Xk)]

=

0 =

1應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社58

/

65隨機(jī)變量的收斂性柯?tīng)柲缏宸虼髷?shù)定律

(cont.)n更進(jìn)一步，在柯?tīng)柲缏宸虼髷?shù)定律的基礎(chǔ)上，假設(shè)

{X

}

同分布，ˉn n并且

E(X

)

=

μ，令

X

=1

nn、i=1iX

，則：n→∞ˉn( 'P limX=μ

=

1換句話(huà)說(shuō)，如果隨機(jī)變量序列

{Xn}

獨(dú)立同分布（independent

andidenticallydistributed,iid），則隨著樣本的增大，樣本的均值將以概率

1收斂于總體的均值。這是后面研究隨機(jī)過(guò)程性質(zhì)的重要基礎(chǔ)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社59

/

65隨機(jī)變量的收斂性均方收斂設(shè)

{Xn},

n

∈

N

是一個(gè)隨機(jī)變量序列，X

是一個(gè)隨機(jī)變量。若n→∞nlimE(X?

X2＿ l) =

0則稱(chēng)序列

{Xn}

均方收斂（convergence

in

meansquare）于

X，記作：m.s.Xn?→

X注意：均方收斂是從隨機(jī)變量的二階矩的角度考慮收斂問(wèn)題，其約束很?chē)?yán)格，且不能與以概率

1

收斂互相推導(dǎo)。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社60

/

65隨機(jī)變量的收斂性依分布收斂設(shè)

{Fn(x)}

是隨機(jī)變量序列

{Xn},

n

∈

N

的分布函數(shù)列，如果存在一個(gè)單調(diào)不減函數(shù)

F(x)，使得在

F(x)

所有的連續(xù)點(diǎn)

x

上，有：LlimFn(x)=

F(x)n→∞則稱(chēng)隨機(jī)變量序列

Xn

依分布收斂（convergencewithdistribution）于

X，記作：Xn?→

X稱(chēng)函數(shù)列

{Fn(x)}

弱收斂于

F(x)。依分布收斂的約束非常小，此種形式的收斂并未考慮隨機(jī)變量的值，只考察兩者的分布函數(shù)是否相近。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社61

/

65隨機(jī)變量的收斂性幾種收斂的關(guān)系均方收斂以概率

1

收斂依概率收斂依分布收斂應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社62

/

65隨機(jī)過(guò)程的概念隨機(jī)過(guò)程的概念設(shè)

(?,

F,

P)

是一個(gè)概率空間，T為一個(gè)參數(shù)集。若對(duì)每一個(gè)

t

∈

T，均有定義在概率空間上的一個(gè)隨機(jī)變量

Xt(ω),

ω

∈

?

與之對(duì)應(yīng)，則稱(chēng){Xt

:

t

∈

T}

為

(?,

F,

P)

上的一個(gè)隨機(jī)過(guò)程（stochastic

process）。這里的t

通常理解成時(shí)間，相應(yīng)的參數(shù)集

T

就是時(shí)間參數(shù)；Xt

可看作過(guò)程在時(shí)刻

t

的狀態(tài)。Xt

的取值范圍稱(chēng)作狀態(tài)空間

?。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社63

/

65隨機(jī)過(guò)程的概念隨機(jī)過(guò)程的概念

(cont.)對(duì)于

Xt(ω)，若固定

ω，則

Xt

稱(chēng)為樣本函數(shù)或軌道，是隨機(jī)過(guò)程的一次實(shí)現(xiàn)（realization）；若固定

t，則

X(ω)

稱(chēng)為一個(gè)隨機(jī)變量；所有可能出現(xiàn)的結(jié)果的總體

{X1(ω),

X2(ω),

.

.

.

,

Xn(ω),

.

.

.},

ω

∈

?構(gòu)成一個(gè)隨機(jī)過(guò)程。隨機(jī)過(guò)程這個(gè)詞包含了兩重含義：“隨機(jī)”意味著某時(shí)刻出現(xiàn)結(jié)果的不確定性，但是可能的結(jié)果一定在狀態(tài)空間內(nèi)；“過(guò)程”意味著還要考慮隨機(jī)現(xiàn)象隨時(shí)間的演化規(guī)律。正因如此，隨機(jī)過(guò)程可看作所有樣本函數(shù)的集合（assemble）。應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社64

/

65隨機(jī)過(guò)程的概念以股價(jià)為例說(shuō)明隨機(jī)過(guò)程的含義050100150250300100806040200050100150200250300100806040200200（天）（上）（天）（下）應(yīng)用隨機(jī)過(guò)程第一章

預(yù)備知識(shí)中國(guó)人民大學(xué)出版社65

/

65第二章

離散時(shí)間馬氏鏈

1應(yīng)用隨機(jī)過(guò)程中國(guó)人民大學(xué)出版社應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社1

/

65本章內(nèi)容1

定義和例子馬氏鏈的定義馬氏鏈的例子2多步轉(zhuǎn)移概率多步轉(zhuǎn)移概率的求解多步轉(zhuǎn)移概率舉例3C-K

方程狀態(tài)的分類(lèi)停時(shí)和強(qiáng)馬氏性可達(dá)和互通狀態(tài)的常返性判定狀態(tài)空間的分解狀態(tài)的周期應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社2

/

65簡(jiǎn)介根據(jù)狀態(tài)和時(shí)間的特點(diǎn)，隨機(jī)過(guò)程既有離散狀態(tài)和連續(xù)狀態(tài)，也有離散時(shí)間和連續(xù)時(shí)間。將它們加以組合，便可以得到不同類(lèi)別的隨機(jī)過(guò)程。最簡(jiǎn)單的一類(lèi)隨機(jī)過(guò)程便是狀態(tài)和時(shí)間均離散的離散時(shí)間馬氏鏈（discrete-timeMarkovchain）。該隨機(jī)過(guò)程因俄國(guó)數(shù)學(xué)家安德烈?馬爾可夫而得名。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社3

/

65定義和例子馬氏鏈的定義基本概念考慮一個(gè)離散時(shí)間的隨機(jī)過(guò)程

Xn

(n

=

0,

1,

2,

.

.

.)，Xn

在有限集合

S內(nèi)取值，稱(chēng)

Xn

的所有可能取值為系統(tǒng)的狀態(tài)（state），相應(yīng)的集合

S

稱(chēng)作狀態(tài)空間（statespace）。定義轉(zhuǎn)移概率（transition

probability），其表達(dá)式如下：pn+1(i,j)=P(Xn+1=j|Xn=i,Xn?1=in?1,Xn?2=in?2,...,X0=

i0)可見(jiàn)，轉(zhuǎn)移概率

pn+1(i,

j)

是一個(gè)條件概率，度量的是過(guò)程

Xn

在過(guò)去0

～

n

期狀態(tài)的條件下，第

(n

+

1)

期狀態(tài)為

j

的概率。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社4

/

65定義和例子

馬氏鏈的定義馬氏性和馬氏鏈如果

pn+1(i,

j)

=

P(Xn+1

=

j

|

Xn

=

i)，稱(chēng)這個(gè)過(guò)程

Xn

具有馬氏性（Markov

property），相應(yīng)的過(guò)程稱(chēng)作馬氏鏈（Markov

chain）。即：Xn+1的狀態(tài)

j

只與

Xn

的狀態(tài)

i

有關(guān)，而與之前各期的狀態(tài)

in?1,

.

.

.

,

i0

無(wú)關(guān)?！?過(guò)去 現(xiàn)在 將來(lái) →·

·

Xn?2

Xn?1

Xn

Xn+1

Xn+2馬氏性可以通俗地表述為：已知“現(xiàn)在”Xn

的條件下，“將來(lái)”Xn+1

與“過(guò)去”(Xn?1,

.

.

.

,

X1,

X0)

無(wú)關(guān)的特性。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社5

/

65定義和例子

馬氏鏈的定義馬氏性和馬氏鏈

(cont.)← 過(guò)去 現(xiàn)在 將來(lái) →·

· Xn?2 Xn?1 Xn Xn+1 Xn+2Xn+1

的狀態(tài)只與

Xn

的狀態(tài)有關(guān)；Xn

的狀態(tài)只與

Xn?1

的狀態(tài)有關(guān)；……，各期狀態(tài)只與其前一期的狀態(tài)有關(guān)，如此環(huán)環(huán)相扣，如同鎖鏈一般，這也是該過(guò)程得名“馬氏鏈”的原因。更進(jìn)一步，如果假設(shè)時(shí)刻

n

的取值與轉(zhuǎn)移概率無(wú)關(guān)，即：P(Xn+1=j|Xn=i)=

p(i,

j), ?n則該性質(zhì)稱(chēng)為時(shí)間齊次性（time-homogeneous），簡(jiǎn)稱(chēng)“時(shí)齊”。相應(yīng)的馬氏鏈稱(chēng)作時(shí)齊馬氏鏈。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社6

/

65定義和例子馬氏鏈的例子舉例

1：賭徒破產(chǎn)問(wèn)題賭徒在一次賭博中，贏得

1

元的概率是

0.4；輸?shù)?/p>

1

元的概率是

0.6。賭徒退出賭博的條件為：輸光（財(cái)富為零），或者財(cái)富數(shù)額達(dá)到

N

元。假設(shè)隨機(jī)變量

Xn

表示賭徒在第

n

次賭博后的財(cái)富數(shù)量?？梢?jiàn)，Xn+1只與

Xn

有關(guān)，而與之前的狀態(tài)

(Xn?1,

.

.

.

,

X0)

無(wú)關(guān)，Xn

具有馬氏性，即：P(Xn+1

=

j

|

Xn

=

i,

Xn?1

=

in?1,

Xn?2

=

in?2,

.

.

.

,

X0

=

i0)=P(Xn+1=j|Xn=i)=p(i,

j)這里的

p(i,

j)

就是轉(zhuǎn)移概率。對(duì)于賭徒而言，其第

(n

+

1)

次賭博輸贏的條件概率為：p(i,i?1)=P(Xn+1=i?1|Xn=i)

=

0.6, 輸p(i,

i

+

1)

=

P(Xn+1

=

i

+

1

|

Xn

=

i)

=

0.4, 贏應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社7

/

65定義和例子馬氏鏈的例子轉(zhuǎn)移概率矩陣此處

p(i,

j)

的相應(yīng)數(shù)值，可以標(biāo)注在一個(gè)矩陣的第

i

行、第

j

列。這樣的矩陣

P

稱(chēng)為轉(zhuǎn)移概率矩陣（transition

matrix）。

p(0,

0)p(1,

0)p(0,

1) ·

·

· p(0,

N)p(1,

1) ·

·

· p(1,

N)P

=

...

.p(N,

0)·

·

· p(N,

N)

..

.

..

p(N,

1)應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社8

/

65定義和例子馬氏鏈的例子轉(zhuǎn)移概率矩陣

(cont.)當(dāng)

N

=

5

時(shí)，轉(zhuǎn)移概率矩陣如下：P

=

0

00 1 2 3 4 50

1 0 0 0 01 0.6 0 0.4 0 0 0

2 0 0.6 0 0.4 0 03 0 0 0.6 0 0.44 0 0 0 0.6 0 0.4

5 0 0 0 0 0 1在該問(wèn)題中，馬氏鏈的狀態(tài)空間

S

=

{0,

1,

2,

3,

4,

5}，這是一個(gè)有限狀態(tài)的馬氏鏈。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社9

/

65定義和例子馬氏鏈的例子轉(zhuǎn)移概率圖0

1

23

4

50.60.40.41

1根據(jù)該馬氏鏈的狀態(tài)及各狀態(tài)之間的轉(zhuǎn)移概率，還可以繪制出相對(duì)應(yīng)的轉(zhuǎn)移概率圖。0.60.6

0.60.40.4在該問(wèn)題中，p(0,

0)

=

1,

p(5,

5)

=

1。這意味著當(dāng)前時(shí)刻到達(dá)狀態(tài)0

或

5

時(shí)，下一時(shí)刻將仍然停留在原來(lái)的狀態(tài)。在賭徒破產(chǎn)問(wèn)題中，這意味著賭徒最終破產(chǎn)或贏錢(qián)離開(kāi)，其財(cái)富數(shù)量不再發(fā)生變化。這樣的狀態(tài)（0

和

5）稱(chēng)為吸收態(tài)（absorbing

state）。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社10

/

65定義和例子馬氏鏈的例子舉例

2：埃倫費(fèi)斯特鏈（Ehrenfest

Chain）總共有

N

個(gè)球，且這些球只可能在罐子

A

或

B

中。每次隨機(jī)地從任一罐子中取球一個(gè)，并投入另一罐子中。假設(shè)

n

時(shí)刻罐子

A

中有

i

個(gè)球，則：(n

+

1)

時(shí)刻罐子

A

中有

(i

+

1)

個(gè)球的概率是

(N

?

i)/N；(n

+

1)

時(shí)刻罐子

A

中有

(i

?

1)

個(gè)球的概率是

i/N。即：Np(i,

i

+

1)

=

N

?

i

,

p(i,

i?1)=iN1≤i≤N?

1另外，p(0,

1)

=

1,

p(N,

N

?

1)

=

1

分別表示當(dāng)罐子

A

中沒(méi)有球時(shí)，下一次只可能從罐子

B

中取球放入罐子

A

中；類(lèi)似地，當(dāng)罐子

A

中球滿(mǎn)時(shí)，下一次只可能從罐子

A

中取球放入罐子

B

中。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社11

/

65定義和例子馬氏鏈的例子埃倫費(fèi)斯特鏈

(cont.)當(dāng)球的數(shù)量

N

=

4

時(shí)，可以得到對(duì)應(yīng)的轉(zhuǎn)移概率矩陣如下：0 1 2 3 4

0

0

0

P=

2

1 0.25 0 0.75 0

0

30.25

4010000.500.5000.75000010應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社12

/

65定義和例子馬氏鏈的例子馬氏鏈的轉(zhuǎn)移概率性質(zhì)jp(i,

j)

≥

0，轉(zhuǎn)移概率非負(fù)；∑

p(i,

j)

=

1，轉(zhuǎn)移概率矩陣每行元素之和均為

1?？梢钥闯?，轉(zhuǎn)移概率矩陣

P

每行元素之和一定等于

1，因?yàn)閺囊粋€(gè)狀態(tài)轉(zhuǎn)移到其余所有可能狀態(tài)的概率之和必須滿(mǎn)足概率的完備性。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社13

/

65定義和例子馬氏鏈的例子舉例

3：庫(kù)存鏈假設(shè)有一個(gè)電子產(chǎn)品店，若一天結(jié)束時(shí)，某款游戲的庫(kù)存量為

1

或0，則他們需要訂購(gòu)足夠單位的商品，以使得第二天開(kāi)始時(shí)的庫(kù)存總量為

5。假設(shè)第二天的需求數(shù)量

k

及對(duì)應(yīng)的概率如下：k0123P0.30.40.20.1求庫(kù)存鏈的轉(zhuǎn)移概率矩陣。應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社14

/

65定義和例子馬氏鏈的例子庫(kù)存鏈

(cont.)在該問(wèn)題中，我們關(guān)注的是電子產(chǎn)品店一天結(jié)束時(shí)游戲的庫(kù)存量，其狀態(tài)空間為：S

=

{0,

1,

2,

3,

4,

5}

（因?yàn)閹?kù)存總量不超過(guò)

5）。

1 0

0123450

0000.10.10.20.20.40.40.3

0.3

P

=

2 0.3 0.4 0.3 0 0 0

3 0.1 0.2 0.4 0.3 0 04 0 0.1 0.2 0.4 0.3 0

5 0 0 0.1 0.2 0.4 0.3應(yīng)用隨機(jī)過(guò)程第二章

離散時(shí)間馬氏鏈

1中國(guó)人民大學(xué)出版社15

/

65定義和例子馬氏鏈的例子舉例

4：修復(fù)鏈一臺(tái)機(jī)器有三個(gè)關(guān)鍵零件容易出故障，但只要其中兩個(gè)能工作，機(jī)器就可正常運(yùn)行。當(dāng)有兩個(gè)出故障時(shí)，它們將被替換，并于第二天恢復(fù)正常運(yùn)轉(zhuǎn)，以損壞的零件序號(hào)

{0,

1,

2,

3,

12,

13,

23}

為狀態(tài)空間，并假定沒(méi)有兩個(gè)零件