【ch09】平穩(wěn)過程與遍歷理論初步

第九章平穩(wěn)過程與遍歷理論初步1.2.略3.4.略5.6.7.8.要證明對有限個(gè)元素的集合上的測度μ，其相對熵h(v,μ)對μ是連續(xù)的，我們可以利用相對熵的定義和連續(xù)性的性質(zhì)進(jìn)行證明。首先，對于兩個(gè)概率分布p和q，它們的相對熵定義為：h(p,q)=Σp(x)log(p(x)/q(x))其中，Σ表示求和運(yùn)算。這里我們將p和q分別替換為μ和v，得到相對熵為：h(v,μ)=Σv(x)log(v(x)/μ(x))現(xiàn)在，我們將證明相對熵h(v,μ)對μ是連續(xù)的。證明思路如下：首先，我們注意到相對熵是一個(gè)求和運(yùn)算。對于有限個(gè)元素的集合上的測度μ和另一個(gè)測度ν，它們的相對熵可以表示為：h(v,μ)=Σv(x)log(v(x)/μ(x))我們可以將相對熵根據(jù)測度μ展開為：h(v,μ)=Σv(x)log(v(x))-Σv(x)log(μ(x))我們需要證明的是，當(dāng)μ趨向于某個(gè)測度μ0時(shí)，相對熵h(v,μ)也趨向于相對熵h(v,μ0)。通過觀察上述公式，我們可以發(fā)現(xiàn)相對熵的每一項(xiàng)都是關(guān)于μ(x)的連續(xù)函數(shù)。因?yàn)棣淌且粋€(gè)測度，它可以視為一個(gè)分布函數(shù)。對于每個(gè)元素x，μ(x)在μ0附近是連續(xù)的。由于v是另一個(gè)概率分布，log(v(x))也是連續(xù)函數(shù)。根據(jù)連續(xù)函數(shù)的性質(zhì)，我們知道在μ趨向于μ0時(shí)，每一項(xiàng)log(μ(x))都會連續(xù)地趨向于log(μ0(x))。因此，在μ趨向于μ0時(shí)，相對熵h(v,μ)的每一項(xiàng)都會連續(xù)地趨向于相對熵h(v,μ0)的每一項(xiàng)。因此，相對熵h(v,μ)對μ是連續(xù)的。綜上所述，對于有限個(gè)元素的集合上的測度μ，其相對熵h(v,μ)對μ是連續(xù)的。9.略10.略11.略12.要證明一切不可約平穩(wěn)馬氏鏈都是遍歷的（ergodic），我們需要分別證明馬氏鏈?zhǔn)强杉s的（irreducible）和平穩(wěn)的（stationary）。首先，證明馬氏鏈?zhǔn)强杉s的。不可約性意味著從馬氏鏈的任意狀態(tài)i可以通過一系列轉(zhuǎn)移概率到達(dá)另一個(gè)狀態(tài)j。如果一個(gè)馬氏鏈?zhǔn)强杉s的，則存在一個(gè)正整數(shù)n，使得在n步之后，從任意狀態(tài)i可以到達(dá)狀態(tài)j。這意味著從狀態(tài)i出發(fā)，在有限步內(nèi)可以到達(dá)狀態(tài)j。根據(jù)可約性的定義，馬氏鏈的所有狀態(tài)都是可比的，從而是可約的。接下來，證明馬氏鏈?zhǔn)瞧椒€(wěn)的。平穩(wěn)性是指在馬氏鏈中的任意時(shí)間步的狀態(tài)分布與初始狀態(tài)分布無關(guān)。假設(shè)狀態(tài)空間為S，馬氏鏈的轉(zhuǎn)移概率矩陣為P，初始狀態(tài)分布為π。如果對于任意的時(shí)間步n，都有πP^n=π，即初始狀態(tài)分布與概率轉(zhuǎn)移矩陣的n次冪的乘積等于初始狀態(tài)分布本身，則稱馬氏鏈?zhǔn)瞧椒€(wěn)的。這意味著在馬氏鏈的演化過程中，狀態(tài)分布會趨于穩(wěn)定，不再隨時(shí)間變化。結(jié)合可約性和平穩(wěn)性，我們可以得出結(jié)論：一切不可約平穩(wěn)馬氏鏈?zhǔn)潜闅v的。遍歷性意味著馬氏鏈的狀態(tài)在長時(shí)間內(nèi)會等概率地訪問所有的狀態(tài)。因?yàn)榭杉s性保證了狀態(tài)之間的可達(dá)性，而平穩(wěn)性