《數(shù)理統(tǒng)計與隨機過程講義》

1、數(shù)理統(tǒng)計與隨機過程講義段法兵復雜性科學研究所第一章 概率論回顧面是數(shù)理統(tǒng)計部分需要的掌握的，許多推導的基礎知識1.1 幾種分布的由來指數(shù)分布 ：服務臺電話呼叫時間， 公交車到達一個車站時間， 這些時間分布的符 合指數(shù)分布。設 q(t )為區(qū)間 t 上沒有事件發(fā)生的概率， x為第一次事件發(fā)生等待 的時間，那么 q(t) P(x t) ，假設不同時間區(qū)間 t1 ， t2相互不重疊且獨立，那么P(x t1)P(x t2) P(x t1 t2)q(t1)q(t2) q(t1 t2)q(t) e t 為非平凡(非零)有界解，這里 為狀態(tài)轉移概率 那么我們有分布函數(shù)F(t) P(x t) 1 P(x t)

2、 1 q(t) 1 e t因此得到指數(shù)分布 Yf(t) dF(t) e t t 0dt 0 other 兩個指數(shù)分布之和的分布？在 x-y 的空間內，滿足 x y z 的區(qū)域如上，那么 z 的累計分布z z yF(z) P x y z 0dy0 fxy(x,y)dx那么fz(z)dF(z)dzz0 fx(x) fy(zx)dx例如 x與 y 為相互獨立的指數(shù)分布， fx(x)x和 fy(y)e 分別為其概率分布函數(shù)，那么 z x+ y的分布為fz(z) fx(x) *fy(y)xdx2 e xe(zx)dx2ez0Gamma 分布 ：N 個指數(shù)分布的隨機變量之和的分布為 Gamma分布。例如

3、x與 y為相互獨立的指數(shù)分布， fx(x) e x 和 fy(y) e y分別為其概率分布函數(shù)，那么 z x+ y的分布為fz(z) fx(x) * fy(y) 0 e x ez xdx z 2e z如此卷積下去， N 個相互獨立的指數(shù)分布相加的概率分布為 Gamma 分布，其概 率密度函數(shù)1x0otherxx /e f ( x)( )0這里參數(shù) , 0 。Gamma 函數(shù)( ) x 1e xdx。0性質 1：利用分部積分法得到遞推公式( 1) ( ) ，當 為整數(shù) n 時，利用分部積分法得到(n 1) n (n) n! ，而非整數(shù) 1/ 2 ，利用變量代換 x y2 /2，得到(1/ 2)所

4、以有1 1 1 1 3 31 1 (2n 1)!(n ) (n ) (n ) (n )(n ) ( ) n 。2 2 2 2 2 2 2 2 2n 性質 2：1 ，Gamma 分布為 1/ 的指數(shù)分布；為整數(shù) n，Gamma 分布為 Erlang 分布，如第一次故障后再次出現(xiàn) n 次故障；2n/2， 1/ 1/ 2 ，Gamma 分布為 2分布，抽樣理論中一種重 要分布。1.2 隨機變量函數(shù)的分布因為我們在后面統(tǒng)計假設， 檢驗時將遇到隨機變量的函數(shù)， 因此求出隨機 變量函數(shù)的分布是一個非常重要的基礎知識。 分為單輸入單輸出和雙輸入單 (雙) 輸出三種類型。如圖所示，在 dy區(qū)間y發(fā)生的概率為

5、fy(y)dy，由于 y g( x)不一定是單調 函數(shù)，dy 區(qū)間 y 對應了多個區(qū)間 dx1，dx2,dx3, ，都滿足 y g(x) y dy ，dy 區(qū)間 y 發(fā)生的概率等于所對應的 x所在區(qū)間發(fā)生的概率：f y(y)dyfx(xi)dxify(y)fx(xi)dxidyf x(xi ) dy / dxi我們設 xi hi(y) 為逆函數(shù)，則fy(y)fx hi ( y) | h'i (y)|ifxhi (y)i | g'hi(y) |1x2x2 的概率分布函數(shù)。例子：設 x的分布 fx(x) 1 e 2 ，求平方律檢波器輸出解： xy 為反函數(shù)兩支，且 dx/dy 1/

6、(2 y) ，則fy(y)dxi1 12y1fx(xi)dyi 2*2 y 2 e 2 21/2yey/2y0這個分布就是 Gamma分布的 (1/ 2,2) ，也是自由度為 1 的 分布。例子：設 x的分布為均勻分布 fx(x)=1/，x /2, /2 ，那么 y arctan( x ) 的分布為柯西分布fy(y)1/1 y2逆問題 1：已知 x 的分布 fx(x) ，如何構造 yg(x) 函數(shù)使得 y符合( 0,1)之間的均勻分布 f y(y) 1 。由上面推導知fy(y)dyfx(x)dx將 fy(y) 1 代入上式，得出dy fx(x)dxyxf x(u)du Fx (x)可以看出我們

7、要找到函數(shù) g(x)就是x的累積分布函數(shù) Fx 。 應用：數(shù)字圖像的直方圖均衡化【 Gonzalez ： 數(shù)字圖像處理】 數(shù)字圖像的直方圖 就是圖像灰度的分布，比如電子顯微鏡下花粉圖像Matlab 代碼：假設你有花粉圖像 pollen.tif>> X=imread('pollen.tif');>> imshow(X)>> imhist(X)>> ylim('auto')原始花粉圖像 灰度的分布直方圖 可以看出圖像較暗，灰度集中在較低的灰度級別 -偏暗端，如果將灰度調節(jié)一下， 使得整個灰度范圍內( 0,255)內大致

8、均勻分布，那么就達到了亮度調諧的目的。 利用上面推導， g(x)就是 x的累積分布函數(shù) Fx ，這里是離散分布，那么就把積分改成加和的方式， 設 px(xj )為不同灰度級 j 1,2, , L灰度的概率，那么均衡化 變換為kykpx(xj )j1k 1,2, ,L， yk就是輸出圖像的灰度值。這樣處理：>> Y=histeq(I,256);>> imshow(Y)>> figure, imhist(Y)>> ylim('auto')可以看出輸出圖像的直方圖在 256 個灰度級都有分布， 比較接近均勻分布， 并不 是完全平坦。但是

9、圖像已經(jīng)比較亮度合適了。逆問題 2：已知 x的分布為( 0,1)之間的均勻分布 fx( x) =1，如何構造 y g(x)函數(shù)使 得 y符合任意分布 fy(y)。同理，由 fy(y)dy fx(x)dx ，得到y(tǒng)xf y(u)du=Fy (y)就是 x h( y)逆函數(shù)為 y 的累積概率密度函數(shù) Fy ，自然 g(x) 就是 Fy的逆函數(shù)：1y Fy (x)例子：求 Rayleigh 分布這個是只對于 r>0 有定義，求 CDF那么如果設 U為均勻分布( x h(y) )1- U 也是均勻分布，即那么得出變換關系R 就是瑞利分布了 Rayleigh 隨機數(shù)程序clear alln = i

10、nput('Enter number of points > ');varR = 3; % set pdf parameteru = rand(1,n); % generate Uy_exp = sqrt(-2*varR*log(u); % transformation N_samp,r = hist(y_exp,20); % get histogram parameters subplot(2,1,1)bar(r,N_samp,1) % plot histogramylabel('Number of Samples')xlabel('Indepe

11、ndent Variable - x')subplot(2,1,2)term1 = r.*r/2/varR; % exponentray = (r/varR).*exp(-term1); % Rayleigh pdfdel_r = r(3)-r(2); % determine bin widthp_hist = N_samp/n/del_r; % probability from histogram plot(r,ray,'k',r,p_hist,'ok') % compare results ylabel('Probability Densit

12、y') xlabel('Independent Variable - x')legend('true pdf','samples from histogram',1)1005000.40.30.20.10true pdfsamples from histogram4Independent Variable - x4 Independent Variable - xselpmaSforebmuytisneDytilbabor類型二： 設 x和 y的聯(lián)合分布 fxy(x,y) ，那么求 z g(x,y)的分布 f z ，這里主要 考慮 z x

13、 y， z xy， z x/ y，以及 z max(x,y)，z min( x, y) ，此類問題 的重要處在于二重積分的積分區(qū)間。例如： z x/ yyz| y 0解： Px/y z Px yz| y 0 Px 上述兩個分割概率可以用圖形表示那么 z 的累積概率密度函數(shù)xFz(z) P x zy按照復合函數(shù)求導法則y0fz(z)yzfxy(x,y)dxdyyzfxy(x,y)dxdydFzdz0 yfxy ( x, y)dy0yf xy(x,y)dy|y| fxy( yz, y)dy同理可得： z x y 對應的分布為fz(z)fxy(z y,y)dy對于 x>0 分布 fx(x) y

14、>0分布 f y ( y)類型，比如前面的指數(shù)分布 zfz(z) 0 fxy(z y, y)dy 因為此時積分區(qū)間為F(z) Fx y z y 0 x 0 f(x,y)dxdy那么dF z z y zfz(z) dz 0( z 0 f ( x, y)dx)dy 0f (z y, y)dy 比如兩個系統(tǒng) x,y 表示其故障發(fā)生時間， 那么備用系統(tǒng)模型 S 的故障時間分布為 x+y 和的分布設x和 y相互獨立， fxy(x,y) fx(x)fy(y)，z max( x, y)的分布為fz(z) Fx(z) fy(z) fx(z)Fy(z)比如并聯(lián)系統(tǒng)z min(x,y) 的分布為fz(z)

15、fx(z) fy(z) Fx(z) fy(z) fx(z)Fy(z)比如串聯(lián)系統(tǒng)類型三：已知 設 x和y的聯(lián)合分布 fxy(x,y)，那么求 z g(x,y)，w h(x,y) 的聯(lián)合分布 f zw( z, w) ，這里設 g 和h 函數(shù)連續(xù)可導，且有可逆函數(shù)x k(z,w)，ywf zw(z,w) z wP z g(x,y) z z,w h(x,y) w 我們將 ABCD 對應的微元映射到 xy 概率空間上的 A'B'C'微D'元 S ，那么fzw(z,w) z w fxy(x,y) S因此，我們可以解出fzw ( z, w) fxy(x,y)zw，問題的關鍵

16、轉化為求zw點(z,w)變換為 A'點( x k(z,w) ， ym(z,w) )，那么 B'點的坐標可以表示為xB',yB' )=( k(zz, w), m(z z,w)k(z,w)k z, m(z,w)zz)=(x kz zz,mz z)z同理 C' 點的坐標可以表示為xC',yC' )=( xw,w 那么 S 的面積可以用平行四邊形面積求出y wm w)wfx,y(x,y)|J(x,y)|這里 Jacobi 矩陣 |J(z,w)|J(x,y)|二者互為逆陣。為什么這么做？因為有時A' B' cosA'C

17、9;sinA'B'sin A' C' coskmmkzwzwzwzwkkzwzwmmzwS A'B' A'C' sin()|J(z,w)| z w代入 fzw(z,w) z w fxy(x,y) S ，我們得到fzw(z,w) |J(z,w)| fxy(x,y)候知道 z g(x,y)， w h(x,y)，已經(jīng)給出，求其反函數(shù)沒有必要了例子：求z xy 的概率分布函數(shù)。解：輔助變量法， z g(x,y) xy,w h(x,y) x ，那么逆函數(shù)為 x k(z,w) w，y m(z,w) z/x z/w，雅克比矩陣行列式| J(x,

18、 y)|J(z,w) |yx|x| |w|10011，那么我們得到|w|1zw2 wgg xy hh yykk zw mm zwfzw(z,w) |J(z,w)| fxy(x,y)fx,y(w,wz )|w|那么邊緣概率密度fz(z)fzw(z,w)dwfx,y(w, wz)|w|dw1.3 特征函數(shù)與矩矩對于研究隨機變量的性質非常重要，Exnmn定義原點矩為 xnf (x)dx定義中心矩為n E( xm1)n(x m1)n f(x)dxnn k 0 kmk ( m1)我們熟悉的一階原點矩就是期望均值，二階中心矩就是方差。例如：正態(tài)隨機變量 f(x) 1 e2x22 2 ，那么0,n 2k 1(2k 1)! n, n 2k對于任意兩個隨機變量 x和 y的聯(lián)系用聯(lián)合矩來衡量，mkr Exk yrxnyr f(x,y)dxdykr E( x mx)k(y my)rkr(x mx) (y my) f (x,y)dxdy這里 mx，my 分別表示各自的均值。那么 協(xié)方差為任意兩個隨機變量 x 和 y 的相關性用相關系數(shù)Cx,y1x,y1xy兩個隨機變量 x和 y線性