穩(wěn)態(tài)概率馬氏鏈的兩個(gè)重要類型w與a0無關(guān)Math課件

5.5隨機(jī)狀態(tài)轉(zhuǎn)移模型5.6馬爾可夫鏈的應(yīng)用模型概率方法建模(二）5.5隨機(jī)狀態(tài)轉(zhuǎn)移模型概率方法建模(二）馬氏鏈模型

系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的。

從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移。

下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率，與以前的各時(shí)期狀態(tài)無關(guān)。描述一類重要的隨機(jī)動(dòng)態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時(shí)間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過程已知現(xiàn)在，將來與過去無關(guān)（無后效性）馬氏鏈模型系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的。從一時(shí)期到下人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變，保險(xiǎn)公司要對(duì)投保人未來的健康狀態(tài)作出估計(jì),以制定保險(xiǎn)金和理賠金的數(shù)額。

5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型問題背景通過有實(shí)際背景的例子介紹馬氏鏈的基本概念和性質(zhì)。人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變，保險(xiǎn)公司要對(duì)投例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7。若某人投保時(shí)健康,問10年后他仍處于健康狀態(tài)的概率。問題5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型例1.人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡

狀態(tài)與狀態(tài)轉(zhuǎn)移隨機(jī)變量Xn：第n年的狀態(tài)今年處于狀態(tài)i,來年處于狀態(tài)j的概率:轉(zhuǎn)移概率狀態(tài)概率0.80.20.3120.75.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型狀態(tài)與狀態(tài)轉(zhuǎn)移隨機(jī)變量Xn：第n年的狀態(tài)今年處于狀態(tài)i,Xn+1只取決于Xn和pij,與Xn-1,

…無關(guān)。狀態(tài)轉(zhuǎn)移具有無后效性

狀態(tài)與狀態(tài)轉(zhuǎn)移第n+1年的狀態(tài)概率可由全概率公式得隨機(jī)狀態(tài)轉(zhuǎn)移模型——馬氏鏈模型5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型Xn+1只取決于Xn和pij,與Xn-1,…無關(guān)。狀n0a2(n)0a1(n)1設(shè)投保時(shí)健康設(shè)投保時(shí)疾病a2(n)1a1(n)0n時(shí)狀態(tài)概率趨于穩(wěn)定值,穩(wěn)定值與初始狀態(tài)無關(guān)3…

0.778…

0.222…

∞

7/9

2/9

0.70.770.777…0.30.330.333…

7/9

2/9

10.80.220.780.22，給定a(0),預(yù)測(cè)a(n),n=1,2…注5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型

狀態(tài)與狀態(tài)轉(zhuǎn)移，給定a(0),預(yù)測(cè)a(n),n=1,2…n0a2(n)0a1(1230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病死亡為第3種狀態(tài)，記Xn=3~死亡p11=0.8,p12=0.18,p13=0.02p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1問題5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型1230.10.0210.80.250.180.65例2.n

0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時(shí)處于健康狀態(tài)，預(yù)測(cè)a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3

；一旦a1(k)=a2(k)=0,a3(k)=1,則對(duì)于n>k,a1(n)=0，

a2(n)=0,a3(n)=1,

即從狀態(tài)3不會(huì)轉(zhuǎn)移到其它狀態(tài)。00150

0.12930.0326

0.8381

狀態(tài)與狀態(tài)轉(zhuǎn)移注5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型n01基本方程

馬氏鏈的基本方程Pnana)()1(=+nPana)0()(=5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型基本方程馬氏鏈的基本方程Pnana)()1(=+nPana

正則鏈

:從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率

馬氏鏈的兩個(gè)重要類型w與a(0)無關(guān)正則鏈:從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任

吸收鏈存在吸收狀態(tài)(一旦到達(dá)就不會(huì)離開的狀態(tài)i,pii=1),且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)(如例2)。有r個(gè)吸收狀態(tài)的吸收鏈的轉(zhuǎn)移概率陣標(biāo)準(zhǔn)形式R必有非零元素，Q的特征值絕對(duì)值小于1，所以yi~

表示從第i個(gè)非吸收狀態(tài)出發(fā)，被某個(gè)吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù)。

馬氏鏈的兩個(gè)重要類型吸收鏈存在吸收狀態(tài)(一旦到達(dá)就不會(huì)離開的狀態(tài)i,有r個(gè)設(shè)狀態(tài)i是非吸收狀態(tài)，j是吸收狀態(tài)，則首達(dá)概率fij

(n)實(shí)際上是i經(jīng)n次轉(zhuǎn)移被j吸收的概率。而則是從非吸收狀態(tài)i出發(fā)終將被吸收狀態(tài)j吸收的概率。記則F={fij}F=MR例如，可以算出前面第二種情況中F=MR=(11)T,y=Me=(25.757528.1818)T即，從兩個(gè)非吸收狀態(tài)“健康”和“疾病”出發(fā)終將被吸收狀態(tài)“死亡”吸收的概率是1,且平均轉(zhuǎn)移次數(shù)分別為26次和28次。fij=fij

(1)+fij(2)+…+fij(n)+…

馬氏鏈的兩個(gè)重要類型設(shè)狀態(tài)i是非吸收狀態(tài)，j是吸收狀態(tài)，則首達(dá)概率fij(n鋼琴銷售量很小，商店的庫存量不大以免積壓資金。

一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架。存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時(shí)，才訂購3架鋼琴供下周銷售；否則，不訂購。

失去銷售機(jī)會(huì)的可能性有多大？以及每周的平均銷售量是多少？

背景與問題5.6

馬爾可夫鏈的應(yīng)用模型估計(jì)在這種策略下鋼琴銷售量很小，商店的庫存量不大以免積壓資金。一家商店根據(jù)問題分析

顧客的到來相互獨(dú)立，需求量近似服從泊松分布，其參數(shù)由需求均值為每周1架確定，由此計(jì)算需求概率。存貯策略是周末庫存量為零時(shí)訂購3架周末的庫存量可能是0,1,2,3，周初的庫存量可能是1,2,3。用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。動(dòng)態(tài)過程中每周銷售量不同，失去銷售機(jī)會(huì)（需求超過庫存）的概率不同。

可按穩(wěn)態(tài)情況（時(shí)間充分長以后）計(jì)算失去銷售機(jī)會(huì)的概率和每周的平均銷售量。

5.6

馬爾可夫鏈的應(yīng)用模型問題分析顧客的到來相互獨(dú)立，需求量近似服從泊松分布，其參數(shù)模型假設(shè)1.鋼琴每周需求量服從泊松分布，均值為每周1架。

2.存貯策略：當(dāng)周末庫存量為零時(shí)，訂購3架，下周初到貨；否則，不訂購。

3.以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。4.在穩(wěn)態(tài)情況下計(jì)算該存貯策略失去銷售機(jī)會(huì)的概率，和每周的平均銷售量。5.6

馬爾可夫鏈的應(yīng)用模型模型假設(shè)1.鋼琴每周需求量服從泊松分布，均值為每周1架。模型建立

Dn~第n周需求量，均值為1的泊松分布

狀態(tài)轉(zhuǎn)移規(guī)律

狀態(tài)轉(zhuǎn)移陣

假設(shè)(1)Sn~第n周初庫存量(狀態(tài)變量

)Dn0123>3P0.3680.3680.1840.0610.0195.6

馬爾可夫鏈的應(yīng)用模型模型建立Dn~第n周需求量，均值為1的泊松分布狀態(tài)轉(zhuǎn)移規(guī)……狀態(tài)轉(zhuǎn)移陣

狀態(tài)轉(zhuǎn)移矩陣的計(jì)算模型建立

5.6

馬爾可夫鏈的應(yīng)用模型……狀態(tài)轉(zhuǎn)移陣狀態(tài)轉(zhuǎn)移矩陣的計(jì)算模型建立5.6馬爾狀態(tài)概率

正則鏈

穩(wěn)態(tài)概率分布w滿足wP=w,模型建立

馬氏鏈的基本方程狀態(tài)轉(zhuǎn)移矩陣

n,狀態(tài)概率

已知初始狀態(tài),可預(yù)測(cè)第n周初庫存量Sn=i的概率5.6

馬爾可夫鏈的應(yīng)用模型狀態(tài)概率正則鏈穩(wěn)態(tài)概率分布w滿足wP=w,模型建立模型求解

從長期看，失去銷售機(jī)會(huì)的可能性大約10%。估計(jì)在這種策略下失去銷售機(jī)會(huì)的可能性第n周失去銷售機(jī)會(huì)的概率

Pn充分大5.6

馬爾可夫鏈的應(yīng)用模型模型求解從長期看，失去銷售機(jī)會(huì)的可能性大約10%。估計(jì)在第n周平均售量Rn從長期看，每周的平均銷售量為0.857(架)

。

估計(jì)這種策略下每周的平均銷售量模型求解

n充分大需求不超過存量,銷售需求需求超過存量,銷售存量5.6

馬爾可夫鏈的應(yīng)用模型第n周平均售量Rn從長期看，每周的平均銷售量為0.857(敏感性分析

當(dāng)平均需求在每周1(架)附近波動(dòng)時(shí),最終結(jié)果有多大變化？設(shè)Dn服從均值為的泊松分布

狀態(tài)轉(zhuǎn)移陣

第n周(n充分大)失去銷售機(jī)會(huì)的概率

模型分析

5.6

馬爾可夫鏈的應(yīng)用模型敏感性分析當(dāng)平均需求在每周1(架)附近波動(dòng)時(shí),最終結(jié)果有多0.80.91.01.11.2P0.0730.0890.1050.1220.139當(dāng)平均需求增長（或減少）10%時(shí)，失去銷售機(jī)會(huì)的概率將增長（或減少）約15%~16%

。敏感性分析

當(dāng)平均需求在每周1(架)附近波動(dòng)時(shí),最終結(jié)果有多大變化模型分析

第n周(n充分大)失去銷售機(jī)會(huì)的概率

5.6

馬爾可夫鏈的應(yīng)用模型0.80.91.01.11.2P0.0730.0890.15.5隨機(jī)狀態(tài)轉(zhuǎn)移模型5.6馬爾可夫鏈的應(yīng)用模型概率方法建模(二）5.5隨機(jī)狀態(tài)轉(zhuǎn)移模型概率方法建模(二）馬氏鏈模型

系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的。

從一時(shí)期到下時(shí)期的狀態(tài)按一定概率轉(zhuǎn)移。

下時(shí)期狀態(tài)只取決于本時(shí)期狀態(tài)和轉(zhuǎn)移概率，與以前的各時(shí)期狀態(tài)無關(guān)。描述一類重要的隨機(jī)動(dòng)態(tài)系統(tǒng)（過程）的模型馬氏鏈(MarkovChain)——時(shí)間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過程已知現(xiàn)在，將來與過去無關(guān)（無后效性）馬氏鏈模型系統(tǒng)在每個(gè)時(shí)期所處的狀態(tài)是隨機(jī)的。從一時(shí)期到下人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變，保險(xiǎn)公司要對(duì)投保人未來的健康狀態(tài)作出估計(jì),以制定保險(xiǎn)金和理賠金的數(shù)額。

5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型問題背景通過有實(shí)際背景的例子介紹馬氏鏈的基本概念和性質(zhì)。人的健康狀態(tài)隨著時(shí)間的推移會(huì)隨機(jī)地發(fā)生轉(zhuǎn)變，保險(xiǎn)公司要對(duì)投例1.

人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8,而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7。若某人投保時(shí)健康,問10年后他仍處于健康狀態(tài)的概率。問題5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型例1.人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對(duì)特定年齡

狀態(tài)與狀態(tài)轉(zhuǎn)移隨機(jī)變量Xn：第n年的狀態(tài)今年處于狀態(tài)i,來年處于狀態(tài)j的概率:轉(zhuǎn)移概率狀態(tài)概率0.80.20.3120.75.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型狀態(tài)與狀態(tài)轉(zhuǎn)移隨機(jī)變量Xn：第n年的狀態(tài)今年處于狀態(tài)i,Xn+1只取決于Xn和pij,與Xn-1,

…無關(guān)。狀態(tài)轉(zhuǎn)移具有無后效性

狀態(tài)與狀態(tài)轉(zhuǎn)移第n+1年的狀態(tài)概率可由全概率公式得隨機(jī)狀態(tài)轉(zhuǎn)移模型——馬氏鏈模型5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型Xn+1只取決于Xn和pij,與Xn-1,…無關(guān)。狀n0a2(n)0a1(n)1設(shè)投保時(shí)健康設(shè)投保時(shí)疾病a2(n)1a1(n)0n時(shí)狀態(tài)概率趨于穩(wěn)定值,穩(wěn)定值與初始狀態(tài)無關(guān)3…

0.778…

0.222…

∞

7/9

2/9

0.70.770.777…0.30.330.333…

7/9

2/9

10.80.220.780.22，給定a(0),預(yù)測(cè)a(n),n=1,2…注5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型

狀態(tài)與狀態(tài)轉(zhuǎn)移，給定a(0),預(yù)測(cè)a(n),n=1,2…n0a2(n)0a1(1230.10.0210.80.250.180.65例2.

健康和疾病狀態(tài)同上，Xn=1~健康,Xn=2~疾病死亡為第3種狀態(tài)，記Xn=3~死亡p11=0.8,p12=0.18,p13=0.02p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1問題5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型1230.10.0210.80.250.180.65例2.n

0123a2(n)00.180.1890.1835

a3(n)00.020.0540.0880

a1(n)10.80.7570.7285設(shè)投保時(shí)處于健康狀態(tài)，預(yù)測(cè)a(n),n=1,2…

不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3

；一旦a1(k)=a2(k)=0,a3(k)=1,則對(duì)于n>k,a1(n)=0，

a2(n)=0,a3(n)=1,

即從狀態(tài)3不會(huì)轉(zhuǎn)移到其它狀態(tài)。00150

0.12930.0326

0.8381

狀態(tài)與狀態(tài)轉(zhuǎn)移注5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型n01基本方程

馬氏鏈的基本方程Pnana)()1(=+nPana)0()(=5.5

隨機(jī)狀態(tài)轉(zhuǎn)移模型基本方程馬氏鏈的基本方程Pnana)()1(=+nPana

正則鏈

:從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。w~穩(wěn)態(tài)概率

馬氏鏈的兩個(gè)重要類型w與a(0)無關(guān)正則鏈:從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任

吸收鏈存在吸收狀態(tài)(一旦到達(dá)就不會(huì)離開的狀態(tài)i,pii=1),且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)(如例2)。有r個(gè)吸收狀態(tài)的吸收鏈的轉(zhuǎn)移概率陣標(biāo)準(zhǔn)形式R必有非零元素，Q的特征值絕對(duì)值小于1，所以yi~

表示從第i個(gè)非吸收狀態(tài)出發(fā)，被某個(gè)吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù)。

馬氏鏈的兩個(gè)重要類型吸收鏈存在吸收狀態(tài)(一旦到達(dá)就不會(huì)離開的狀態(tài)i,有r個(gè)設(shè)狀態(tài)i是非吸收狀態(tài)，j是吸收狀態(tài)，則首達(dá)概率fij

(n)實(shí)際上是i經(jīng)n次轉(zhuǎn)移被j吸收的概率。而則是從非吸收狀態(tài)i出發(fā)終將被吸收狀態(tài)j吸收的概率。記則F={fij}F=MR例如，可以算出前面第二種情況中F=MR=(11)T,y=Me=(25.757528.1818)T即，從兩個(gè)非吸收狀態(tài)“健康”和“疾病”出發(fā)終將被吸收狀態(tài)“死亡”吸收的概率是1,且平均轉(zhuǎn)移次數(shù)分別為26次和28次。fij=fij

(1)+fij(2)+…+fij(n)+…

馬氏鏈的兩個(gè)重要類型設(shè)狀態(tài)i是非吸收狀態(tài)，j是吸收狀態(tài)，則首達(dá)概率fij(n鋼琴銷售量很小，商店的庫存量不大以免積壓資金。

一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架。存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時(shí)，才訂購3架鋼琴供下周銷售；否則，不訂購。

失去銷售機(jī)會(huì)的可能性有多大？以及每周的平均銷售量是多少？

背景與問題5.6

馬爾可夫鏈的應(yīng)用模型估計(jì)在這種策略下鋼琴銷售量很小，商店的庫存量不大以免積壓資金。一家商店根據(jù)問題分析

顧客的到來相互獨(dú)立，需求量近似服從泊松分布，其參數(shù)由需求均值為每周1架確定，由此計(jì)算需求概率。存貯策略是周末庫存量為零時(shí)訂購3架周末的庫存量可能是0,1,2,3，周初的庫存量可能是1,2,3。用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。動(dòng)態(tài)過程中每周銷售量不同，失去銷售機(jī)會(huì)（需求超過庫存）的概率不同。

可按穩(wěn)態(tài)情況（時(shí)間充分長以后）計(jì)算失去銷售機(jī)會(huì)的概率和每周的平均銷售量。

5.6

馬爾可夫鏈的應(yīng)用模型問題分析顧客的到來相互獨(dú)立，需求量近似服從泊松分布，其參數(shù)模型假設(shè)1.鋼琴每周需求量服從泊松分布，均值為每周1架。

2.存貯策略：當(dāng)周末庫存量為零時(shí)，訂購3架，下周初到貨；否則，不訂購。

3.以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。4.在穩(wěn)態(tài)情況下計(jì)算該存貯策略失去銷售機(jī)會(huì)的概率，和每周的平均銷售量。5.6

馬爾可夫鏈的應(yīng)用模型模型假設(shè)1.鋼琴每周需求量服從泊松分布，均值為每周1架。模型建立

Dn~第n周需求量，均值為1的泊松分布

狀態(tài)轉(zhuǎn)移規(guī)律

狀態(tài)轉(zhuǎn)移陣

假設(shè)(1)Sn~第n周初庫存量(狀態(tài)變量

)Dn0123>3P0.3680.3680.184