隨機(jī)過(guò)程課件-馬爾可夫鏈

隨機(jī)過(guò)程課件-馬爾可夫鏈馬爾可夫鏈簡(jiǎn)介馬爾可夫鏈的性質(zhì)馬爾可夫鏈的轉(zhuǎn)移概率馬爾可夫鏈的收斂性馬爾可夫鏈的模擬與實(shí)現(xiàn)馬爾可夫鏈的擴(kuò)展與改進(jìn)contents目錄01馬爾可夫鏈簡(jiǎn)介定義馬爾可夫鏈?zhǔn)且环N隨機(jī)過(guò)程，其中下一個(gè)狀態(tài)只依賴于當(dāng)前狀態(tài)，與過(guò)去狀態(tài)無(wú)關(guān)。特性馬爾可夫鏈具有無(wú)記憶性，即未來(lái)狀態(tài)與過(guò)去狀態(tài)獨(dú)立，只與當(dāng)前狀態(tài)有關(guān)。此外，馬爾可夫鏈還具有狀態(tài)空間有限或可數(shù)、轉(zhuǎn)移概率矩陣一致等特性。定義與特性用于詞性標(biāo)注、句法分析等任務(wù)。自然語(yǔ)言處理用于分類、聚類、強(qiáng)化學(xué)習(xí)等任務(wù)。機(jī)器學(xué)習(xí)用于股票價(jià)格預(yù)測(cè)、風(fēng)險(xiǎn)評(píng)估等任務(wù)。金融用于基因序列分析、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)等任務(wù)。生物信息學(xué)馬爾可夫鏈的應(yīng)用領(lǐng)域描述馬爾可夫鏈可能處于的狀態(tài)的集合。狀態(tài)空間描述從當(dāng)前狀態(tài)轉(zhuǎn)移到下一個(gè)狀態(tài)的相對(duì)概率。轉(zhuǎn)移概率描述在馬爾可夫鏈達(dá)到穩(wěn)態(tài)后，各個(gè)狀態(tài)被訪問(wèn)的概率。平穩(wěn)分布描述馬爾可夫鏈從任意狀態(tài)出發(fā)，經(jīng)過(guò)有限步后能夠到達(dá)任意其他狀態(tài)的性質(zhì)。遍歷性馬爾可夫鏈的數(shù)學(xué)模型02馬爾可夫鏈的性質(zhì)馬爾可夫鏈的狀態(tài)集合是有限的，每個(gè)狀態(tài)都有明確的概率轉(zhuǎn)移。有限狀態(tài)空間狀態(tài)空間是可數(shù)的，即存在一個(gè)自然數(shù)集合作為狀態(tài)集合，通常用于離散時(shí)間的馬爾可夫鏈?？蓴?shù)狀態(tài)空間狀態(tài)空間是連續(xù)的實(shí)數(shù)集合，通常用于描述連續(xù)時(shí)間的馬爾可夫過(guò)程。連續(xù)狀態(tài)空間狀態(tài)空間的分類不可約性不可約性是指馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖是一個(gè)不可約圖，即從任意狀態(tài)出發(fā)，經(jīng)過(guò)有限步可以到達(dá)任意其他狀態(tài)。不可約性是馬爾可夫鏈具有唯一平穩(wěn)分布的必要條件。周期性是指馬爾可夫鏈的狀態(tài)轉(zhuǎn)移具有一定的周期性，即存在一個(gè)正整數(shù)d，使得從任意狀態(tài)出發(fā)，經(jīng)過(guò)d步后又回到該狀態(tài)。周期性會(huì)影響馬爾可夫鏈的平穩(wěn)分布的性質(zhì)和計(jì)算。周期性狀態(tài)空間的分解是將狀態(tài)空間劃分為若干個(gè)子集，每個(gè)子集內(nèi)的狀態(tài)具有相似的性質(zhì)和轉(zhuǎn)移概率。通過(guò)狀態(tài)空間的分解，可以簡(jiǎn)化馬爾可夫鏈的分析和計(jì)算，同時(shí)有助于理解和描述馬爾可夫鏈的行為。狀態(tài)空間的分解遍歷性是指馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖是一個(gè)遍歷圖，即從任意狀態(tài)出發(fā)，經(jīng)過(guò)無(wú)數(shù)步后，最終會(huì)以概率1到達(dá)目標(biāo)狀態(tài)。遍歷性是馬爾可夫鏈達(dá)到平穩(wěn)分布的必要條件之一，也是判斷馬爾可夫鏈?zhǔn)欠窬哂形ㄒ黄椒€(wěn)分布的重要依據(jù)。遍歷性03馬爾可夫鏈的轉(zhuǎn)移概率轉(zhuǎn)移概率的定義與性質(zhì)馬爾可夫鏈中，給定當(dāng)前狀態(tài)$i$，未來(lái)狀態(tài)$j$在某個(gè)時(shí)間步長(zhǎng)內(nèi)發(fā)生的概率稱為轉(zhuǎn)移概率，記作$P(i,j)$。定義轉(zhuǎn)移概率具有非負(fù)性、歸一性和時(shí)齊性。非負(fù)性指$P(i,j)geq0$；歸一性指對(duì)于每個(gè)狀態(tài)$i$，所有可能轉(zhuǎn)移到該狀態(tài)的轉(zhuǎn)移概率之和為1，即$sum_{j}P(i,j)=1$；時(shí)齊性指對(duì)于任意狀態(tài)$i,j$和任意時(shí)間步長(zhǎng)$n$，轉(zhuǎn)移概率都相同，即$P(i,j)=P(X_n=j|X_{n-1}=i)$。性質(zhì)將所有狀態(tài)對(duì)的轉(zhuǎn)移概率排列成的矩陣稱為轉(zhuǎn)移概率矩陣，記作$P$。定義根據(jù)實(shí)際數(shù)據(jù)或?qū)嶒?yàn)結(jié)果，統(tǒng)計(jì)從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)的事件數(shù)，然后除以初始狀態(tài)的事件數(shù)，得到轉(zhuǎn)移概率。例如，若初始狀態(tài)為$A$的事件數(shù)為100，其中有30個(gè)事件轉(zhuǎn)移到狀態(tài)$B$，則$P(A,B)=frac{30}{100}=0.3$。計(jì)算方法轉(zhuǎn)移概率矩陣的計(jì)算描述馬爾可夫鏈初始時(shí)刻各個(gè)狀態(tài)的概率分布。通常表示為向量$pi$，其中$pi_i$表示初始時(shí)刻處于狀態(tài)$i$的概率。在馬爾可夫鏈的長(zhǎng)期運(yùn)行中，各個(gè)狀態(tài)出現(xiàn)的概率分布稱為平穩(wěn)分布。若轉(zhuǎn)移概率矩陣為$P$，則平穩(wěn)分布向量$pi$滿足$piP=pi$。初始分布與平穩(wěn)分布平穩(wěn)分布初始分布04馬爾可夫鏈的收斂性

極限分布的概念極限分布定義當(dāng)馬爾可夫鏈的狀態(tài)轉(zhuǎn)移次數(shù)趨于無(wú)窮時(shí)，鏈中各個(gè)狀態(tài)出現(xiàn)的相對(duì)頻率趨于一個(gè)穩(wěn)定的狀態(tài)分布，這個(gè)穩(wěn)定的狀態(tài)分布稱為極限分布。存在性對(duì)于某些特定的馬爾可夫鏈，其極限分布可能不存在。唯一性對(duì)于具有有限狀態(tài)空間的馬爾可夫鏈，其極限分布通常是唯一的。對(duì)于具有有限狀態(tài)空間的馬爾可夫鏈，可以通過(guò)直接計(jì)算每個(gè)狀態(tài)的相對(duì)頻率來(lái)得到極限分布。直接計(jì)算迭代法概率生成函數(shù)法對(duì)于某些馬爾可夫鏈，可以通過(guò)迭代狀態(tài)轉(zhuǎn)移矩陣來(lái)逼近極限分布。通過(guò)計(jì)算概率生成函數(shù)的根來(lái)求解極限分布。030201極限分布的計(jì)算收斂定理定理一對(duì)于具有有限狀態(tài)空間的馬爾可夫鏈，其極限分布存在且唯一。定理二對(duì)于不可約的馬爾可夫鏈，其極限分布是遍歷的，即極限分布與初始狀態(tài)無(wú)關(guān)。05馬爾可夫鏈的模擬與實(shí)現(xiàn)VS使用數(shù)學(xué)公式和種子值生成一系列近似隨機(jī)的數(shù)列。真隨機(jī)數(shù)生成器利用物理現(xiàn)象（如電路噪音）產(chǎn)生真正的隨機(jī)數(shù)。偽隨機(jī)數(shù)生成器隨機(jī)數(shù)生成通過(guò)多次重復(fù)模擬馬爾可夫鏈的路徑來(lái)估計(jì)某個(gè)事件的概率或某個(gè)參數(shù)的值。隨著模擬次數(shù)的增加，估計(jì)值逐漸接近真實(shí)值。采樣分布收斂性馬爾可夫鏈蒙特卡洛方法決策樹(shù)將馬爾可夫鏈應(yīng)用于決策分析中，幫助決策者評(píng)估不同策略的風(fēng)險(xiǎn)和收益。要點(diǎn)一要點(diǎn)二強(qiáng)化學(xué)習(xí)在強(qiáng)化學(xué)習(xí)中，馬爾可夫鏈用于描述環(huán)境狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)函數(shù)。馬爾可夫鏈在決策分析中的應(yīng)用06馬爾可夫鏈的擴(kuò)展與改進(jìn)時(shí)齊馬爾可夫鏈?zhǔn)侵笗r(shí)間參數(shù)為離散的馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移概率不隨時(shí)間而變化。定義時(shí)齊馬爾可夫鏈具有時(shí)間一致性，即在不同時(shí)刻的轉(zhuǎn)移概率相同。特點(diǎn)時(shí)齊馬爾可夫鏈廣泛應(yīng)用于排隊(duì)論、可靠性理論和統(tǒng)計(jì)學(xué)等領(lǐng)域。應(yīng)用時(shí)齊馬爾可夫鏈特點(diǎn)非齊次馬爾可夫鏈的狀態(tài)轉(zhuǎn)移概率與時(shí)間有關(guān)，因此具有時(shí)間依賴性。應(yīng)用非齊次馬爾可夫鏈在物理學(xué)、化學(xué)和生物學(xué)等領(lǐng)域有廣泛應(yīng)用，如放射性衰變、化學(xué)反應(yīng)和生態(tài)種群動(dòng)態(tài)等模型。定義非齊次馬爾可夫鏈?zhǔn)侵笗r(shí)間參數(shù)為連續(xù)的馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移概率隨時(shí)間而變化。非齊次馬爾可夫鏈123時(shí)齊馬爾可夫鏈和非齊次馬爾可夫鏈各有其優(yōu)缺點(diǎn)，選擇哪種模型取決于具體問(wèn)題的特性