概率統(tǒng)計與隨機過程知識點總結最終

1、概率統(tǒng)計與隨機過程知識總結第1章 隨機事件及其概率一、隨機事件與樣本空間1、隨機試驗我們將具有以下三個特征的試驗稱為隨機試驗，簡稱試驗，（1）重復性：試驗可以在相同的條件下重復進行；（2）多樣性：試驗的可能結果不止一個，并且一切可能的結果都已知；（3）隨機性：在每次試驗前，不能確定哪一個結果會出現(xiàn)。隨機試驗一般用大寫字母E表示，隨機試驗中出現(xiàn)的各種可能結果稱為試驗的基本結果。2、樣本空間隨機試驗E的所有可能結果組成的集合稱為試驗的樣本空間，記為S，樣本空間中的元素，即E的每個基本結果，稱為樣本點。3、隨機事件稱隨機試驗E的樣本空間S的子集為E的隨機事件，簡稱事件。隨機事件通常利用大寫字母A、B

2、、C等來表示。在一次試驗中，當且僅當這一子集（事件）中的某個樣本點出現(xiàn)時，稱這一事件發(fā)生。特別地，將只含有一個樣本點的事件稱為基本事件；樣本空間S包含所有的樣本點，它在每次試驗中都發(fā)生，稱S為必然事件；事件（）不包含任何樣本點，它在每次試驗中都不發(fā)生，稱為不可能事件。4、隨機事件間的關系及運算（1）包含關系：若，則稱事件A包含事件B，也稱事件B含在事件A中，它表示：若事件B發(fā)生必導致事件A發(fā)生。（2）相等關系：若且，則稱事件A與事件B相等，記為。（3）事件的和：稱事件或為事件A與事件B的和事件。事件發(fā)生意味著事件A發(fā)生或事件B發(fā)生，即事件A與事件B至少有一件發(fā)生。類似地，稱為n個事件的和事件，

3、稱為可列個事件的和事件。（4）事件的積：稱事件且為事件A與事件B的積事件。事件發(fā)生意味著事件A發(fā)生且事件B發(fā)生，即事件A與事件B都發(fā)生。簡記為AB。類似地，稱為n個事件的積事件，稱為可列個事件的積事件。（5）事件的差：稱事件且為事件A與事件B的差事件。事件發(fā)生意味著事件A發(fā)生且事件B不發(fā)生。（）（6）互不相容（互斥關系）：若，則稱事件A與事件B互不相容，又稱事件A與事件B互斥。事件A與B互不相容意味著事件A與B不可能同時發(fā)生。（7）互逆關系（對立關系）：若且，則稱事件A與事件B互為逆事件，又稱事件A與事件B互為對立事件，記為或。注意：事件A的對立事件記為；基本事件是兩兩互不相容的；對立事件與互

4、斥事件的關系：對立一定互斥，但互斥不一定對立。事件的運算滿足的規(guī)律：交換律： ；結合律： ；分配律： ；對偶律： (德·摩根律)二、隨機事件的概率1、頻率在相同的條件下，將一個試驗重復進行n次，在這n次試驗中，記事件A發(fā)生的次數(shù)為次，稱比值為事件A在這n次試驗中發(fā)生的頻率，記為。頻率描述了事件發(fā)生的頻繁程度。頻率所具有的三個性質(zhì)：性質(zhì)1：非負性 ；性質(zhì)2：規(guī)范性 ；性質(zhì)3：可加性 如果事件兩兩互不相容，則。2、概率的公理化定義設E是隨機試驗, S是它的樣本空間, 對于E的每一事件A賦予一個實數(shù), 記為P(A), 稱為事件A的概率，且滿足以下三條公理：非負性：對于任意事件A, 有P(A

5、)³0;規(guī)范性：對于必然事件S, 有P(S)=1;可列可加性：設A1,A2,.是兩兩互不相容事件, 即對于i¹j, AiAj=f, i,j=1,2,., 則有P(A1ÈA2È.)=P(A1)+P(A2)+.3、概率的性質(zhì)性質(zhì)1 對不可能事件，有P()=0.性質(zhì)2(有限可加性) 若A1,A2,.,An是兩兩互不相容的n個事件, 則有P(A1ÈA2È.ÈAn)=P(A1)+P(A2)+.+P(An)性質(zhì)3(逆事件的概率) 對任意事件A, 有性質(zhì)4 設A,B是兩個事件, 若BÌA, 則有P(A-B)=P(A)-P(B)

6、P(A)³P(B)性質(zhì)5 對于任意事件A, P(A)£1性質(zhì)6(加法公式) 對任意兩個事件A,B有P(AÈB)=P(A)+P(B)-P(AB)性質(zhì)6的推論：性質(zhì)6的推廣：三、古典概率模型1、古典概率模型若隨機試驗滿足下述兩個條件：(1) 它的樣本空間只含有有限個樣本點，即基本事件數(shù)有限；(2) 每個樣本點出現(xiàn)的可能性相同.稱這種試驗為古典概率模型，簡稱古典概型，又稱為等可能概率模型。若事件A包含k個基本事件，即，則有四、條件概率、全概率公式與貝葉斯公式1、條件概率設A、B是兩個事件，且P(B)>0,則稱(1)為在事件B發(fā)生的條件下,事件A的條件概率.2、條件

7、概率的性質(zhì)條件概率具備概率定義的三個條件：（1）非負性：對于任意的事件B，；（2）規(guī)范性：；（3）可列可加性：設是兩兩互斥事件，則有：。3、乘法公式由條件概率的定義： 即得乘法定理： 若P(B)>0，則P(AB)=P(B)P(A|B)； 若P(A)>0 ，則P(AB)=P(A)P(B|A).乘法定理可以推廣到多個事件的積事件的情況，設A、B、C為三個事件，且，且，一般地，設有n個事件并且，則由條件概率的定義可得：4、樣本空間的劃分定義：設S為試驗E的樣本空間, B1,B2,.,Bn為E的一組事件, 若（1）；（2）則稱為樣本空間的一個劃分。5、全概率公式定理：設試驗E的樣本空間為S

8、，A為E的事件，B1,B2,.,Bn為S的一個劃分，且則恒有全概率公式：6、貝葉斯公式定理：設試驗E的樣本空間為S，A為E的事件，B1,B2,.,Bn為S的一個劃分，且則（貝葉斯公式）n=2時，兩個公式的簡化：全概率公式：貝葉斯公式：7、條件概率與積事件概率的區(qū)別表示在樣本空間S中，AB發(fā)生的概率，而表示在縮小的樣本空間中，B發(fā)生的概率，用古典概率公式，則， ，一般來說，比大。五、事件的獨立性1、事件的相互獨立性定義：設A，B是兩事件，如果滿足等式，則稱事件A，B相互獨立，簡稱A，B獨立。說明： (1) 事件 A 與 事件 B 相互獨立,是指事件 A 的發(fā)生與事件 B 發(fā)生的概率無關.(2)

9、兩事件相互獨立與兩事件互斥的關系：兩事件相互獨立與兩事件互斥二者之間沒有必然聯(lián)系（3）事件 A 、B獨立的充要條件為： 或 三事件兩兩相互獨立的概念定義：設是三個事件，如果滿足等式則稱事件兩兩相互獨立。三事件相互獨立的概念定義：設是三個事件，如果滿足等式則稱事件相互獨立。注意：三個事件相互獨立 三個事件兩兩相互獨立推廣：設是n個事件，如果對于任意，任意，具有等式，則稱為相互獨立的事件。結論：若事件相互獨立，則其中任意個事件也是相互獨立的。2、幾個重要定理定理一：設是兩事件，且，若相互獨立，則反之亦然。定理二：若相互獨立，則下列各對事件，與，與，與也相互獨立。推廣：n個事件相互獨立，則將中任意多

10、個事件換成它們的對立事件，所得的n個事件仍相互獨立。3、事件的獨立性在可靠性問題中的應用所謂系統(tǒng)（元件）的可靠性是指系統(tǒng)（元件）正常工作的概率。補充：排列與組合知識1、加法原理設完成一件事有m種方式，第i 種方式有ni 種方法，則完成這件事共有: n1n2nm 種不同的方法。2、乘法原理設完成一件事有m個步驟，第i 種步驟有ni 種方法，則完成這件事共有: n1×n2 ××nm 種不同的方法。3、排列公式（1）從n個不同元素中不放回（不重復）地選取m個元素進行排列，稱為選排列，則所有不同排列的總數(shù)為：（2）當n=m 時，稱為全排列，其計算公式為：（3）有重復排列:

11、 從n個不同元素中有放回（可重復）地取m個元素進行排列，稱為可重排列，其總數(shù)為 nm 。4、組合公式（1）從n個不同元素中不重復地選取m個元素，組成一組(不管其順序)，稱為從n個不同元素中選取m個元素的組合。則所有不同組合的總數(shù)為：選排列與選組合的關系： 說明：選組合也等價于：如果把n個不同的元素分成兩組，一組m個，另一組n-m個，組內(nèi)元素不考慮順序，那么不同分法的總數(shù)為：（2）多組組合：把n個不同元素分成k 組(1 k n) ，使第 i 組有ni 個元素，若組內(nèi)元素不考慮順序，那么不同分法的總數(shù)為：（3）常用組合公式：，第2章 隨機變量及其分布一、隨機變量1、隨機變量的概念定義：設E是隨機試

12、驗，它的的樣本空間為S=e. 如果對于每一個有一個實數(shù)X(e)與之對應，這樣X=X(e)是定義在樣本空間S上的實值單值函數(shù). 稱X=X(e)為隨機變量.說明：(1)隨機變量與普通的函數(shù)不同；(2)隨機變量的取值具有一定的概率規(guī)律； (3)隨機變量與隨機事件的關系2、隨機變量的分類(1)離散型：隨機變量所取的可能值是有限多個或無限可列個, 叫做離散型隨機變量.(2)連續(xù)型：隨機變量所取的可能值可以連續(xù)地充滿某個區(qū)間,叫做連續(xù)型隨機變量.二、離散型隨機變量的概率分布1、離散型隨機變量的分布律定義：設離散型隨機變量X所有可能取的值為xk(k=1,2,.), X取各個可能值的概率，即事件X=xk的概率

13、，為PX=xk=pk, k=1,2,.，稱此為離散型隨機變量X的分布律。說明：（1）； （2）離散型隨機變量的分布律也可表示為：Xx1x2.xn.pkp1p2.pn.2、常見離散型隨機變量的概率分布 （1）兩點分布設隨機變量 X 只可能取0與1兩個值 , 它的分布律為：X01pk1-pp則稱 X 服從 (01) 分布或兩點分布.（2）等可能分布如果隨機變量 X 的分布律為：.其中（），（），則稱X服從等可能分布.（3）二項分布n 重伯努利試驗：設實驗E只有兩個可能結果：及，則稱E為伯努利試驗。設，此時，將E重復地進行n次，則稱這一串重復的獨立試驗為n 重伯努利試驗。用X表示n重伯努利試驗中事件

14、A發(fā)生的次數(shù)，則=，k=0,1, .，n得X的分布律為：01.k.n.稱X 服從參數(shù)為n和p的二項分布，記為Xb(n,p)顯然：注意：當n=1時，二項分布就是(0-1)分布Possion定理設，則對固定的 k，Poisson定理說明若X B( n, p), 則當n 較大， p 較小, 而適中, 則可以用近似公式：（4）泊松分布設隨機變量X所有可能取的值為0 , 1 , 2 , , 且概率分布為：其中>0 是常數(shù),則稱 X 服從參數(shù)為的 泊松分布,記作X().（5）幾何分布若隨機變量 X 的分布律為：12.k.其中，則稱 X 服從幾何分布。說明：幾何分布可作為描述某個試驗 “首次成功”的概

15、率模型.三、隨機變量的分布函數(shù)1、分布函數(shù)的概念定義：設 X 是一個隨機變量，x是任意實數(shù)，函數(shù)為 X 的分布函數(shù)。性質(zhì)：（1）；（2）；（3），；（4），即任一分布函數(shù)處處右連續(xù)，重要公式（1）； （2）四、連續(xù)型隨機變量及其分布1、概率密度的概念與性質(zhì)定義：如果對于隨機變量 X的分布函數(shù)F（x），存在非負函數(shù)，使得對于任意實數(shù)x有則稱X為連續(xù)型隨機變量，其中f (x)稱為X 的概率密度函數(shù)，簡稱為概率密度。性質(zhì)：（1）； （2）；這兩條性質(zhì)是判定一個函數(shù) f(x)是否為某一隨機變量的概率密度的充要條件（3） ；（4）若 f (x) 在點 x 處連續(xù) , 則有；（5）對于任意可能值 a ,連

16、續(xù)型隨機變量取 a 的概率等于零.即：由此（5）可得：連續(xù)型隨機變量取值落在某一區(qū)間的概率與區(qū)間的開閉無關2、常見連續(xù)型隨機變量的分布（1）均勻分布設連續(xù)型隨機變量X具有概率密度： 則稱X在區(qū)間( a, b)上服從均勻分布，記作X U(a, b)均勻分布的意義在區(qū)間(a, b)上服從均勻分布的隨機變量X，落在區(qū)間(a, b)中任意等長度的子區(qū)間內(nèi)的可能性是相同的。概率密度函數(shù)圖形分布函數(shù)(2)指數(shù)分布設連續(xù)型隨機變量X具有概率密度: 其中為常數(shù)，則稱 X 服從參數(shù)為的指數(shù)分布。概率密度函數(shù)圖形注：分布函數(shù)如X 服從指數(shù)分布, 則任給s,t 有 PX>s+t | X > s=PX &

17、gt; t（無記憶性）（3）正態(tài)分布(或高斯分布)設連續(xù)型隨機變量X具有概率密度: 其中為常數(shù)，則稱X服從參數(shù)為的正態(tài)分布或高斯分布，記作。正態(tài)概率密度函數(shù)的幾何特征（1）曲線關于對稱； （2）當時，取得最大值；（3）當時，； （4）曲線在處有拐點；（5）曲線以軸為漸近線；（6）當固定，改變的大小時，圖形的形狀不變，只是沿著軸作平移變換；（7）當固定，改變的大小時，圖形的對稱軸不變，而形狀在改變，越小，圖形越高越瘦，越大，圖形越矮越胖。正態(tài)分布的分布函數(shù)標準正態(tài)分布當正態(tài)分布中的時，這樣的正態(tài)分布稱為標準正態(tài)分布，記為標準正態(tài)分布的概率密度表示為：標準正態(tài)分布的分布函數(shù)表示為：標準正態(tài)分布的圖

18、形常用結論：（1） ； （2）引理：若，則3準則由標準正態(tài)分布的查表計算可以求得，當XN(0,1)時，P(|X|1)=2(1)-1=0.6826；P(|X|2)=2(2)-1=0.9544；P(|X|3)=2(3)-1=0.9974；這說明，X的取值幾乎全部集中在-3,3區(qū)間內(nèi)，超出這個范圍的可能性僅占不到0.3%.將上述結論推廣到一般的正態(tài)分布,當時，0.6826；0.9544；0.9974可見服從正態(tài)分布的隨機變量X之值基本上落在區(qū)間內(nèi)，而幾乎不落在之外，在實際應用中稱為3準則。五、一維隨機變量函數(shù)的分布1、離散型隨機變量函數(shù)的分布如果X是離散型隨機變量，其函數(shù)Y=g（X）也是離散型隨機變

19、量，若X的分布律為：.則Y=g（X）的分布律為：.若中有值相同的，應將相應的合并。2、連續(xù)型隨機變量函數(shù)的分布如果X是連續(xù)型隨機變量，其概率密度為，欲求Y=g（X）的概率密度，一般，我們采用先求分布函數(shù)，再求概率密度的方法，步驟如下：（1）求出Y=g（X）的分布函數(shù)；（2）由關系式求出。定理：設隨機變量X具有概率密度，其中，又設函數(shù)處處可導，且恒有（或恒有），則稱是連續(xù)型隨機變量，其概率密度為：，其中，是的反函數(shù)。第3章 多維隨機變量及其分布一、二維隨機變量及其分布函數(shù)1、二維隨機變量定義：設E是一個隨機試驗，它的樣本空間是，設和是定義在S上的隨機變量，由它們構成的一個向量，叫做二維隨機向量或

20、二維隨機變量。2、二維隨機變量的分布函數(shù)定義：設是二維隨機變量，對于任意實數(shù)，二元函數(shù)稱為二維隨機變量的分布函數(shù)，或稱為隨機變量X和Y的聯(lián)合分布函數(shù)。的函數(shù)值就是隨機點落在如圖所示區(qū)域內(nèi)的概率。性質(zhì)：（1），；（2）對每個變量單調(diào)不減，固定 x , 對任意的 y1< y2 , F (x, y1) £ F (x, y2)；固定 y , 對任意的 x1< x2 , F (x1,y) £ F (x2, y)；（3）對每個變量右連續(xù)F (x0 , y0) = F (x0+ 0 , y0 )，F(xiàn) (x0 , y0) = F (x0 , y0 + 0 )；（4）對于任意 a

21、 < b , c < d ，F(xiàn) (b,d) F (b,c) F (a,d) + F (a,c) ³ 03、二維離散型隨機變量 定義：若二維隨機變量 ( X, Y ) 所取的可能值是有限對或無限可列多對,則稱 ( X, Y ) 為二維離散型隨機變量.4、二維離散型隨機變量的分布律 設二維離散型隨機變量所有可能取的值為，記，稱此為二維離散型隨機變量的分布律，或隨機變量X和Y的聯(lián)合分布律。其中，。二維隨機變量 ( X,Y ) 的分布律也可表示為： XY 5、二維連續(xù)型隨機變量定義：對于二維隨機變量的分布函數(shù)，如果存在非負的函數(shù)使對于任意x，y有，則稱是連續(xù)型的二維隨機變量，函數(shù)

22、稱為二維隨機變量的概率密度，或稱為隨機變量X和Y的聯(lián)合概率密度。性質(zhì)：（1）；（2）；（3）設是平面上的一個區(qū)域，點落在內(nèi)的概率為 ；（4）若在連續(xù)，則有。6、兩個常用的分布 （1）均勻分布定義：設 D 是平面上的有界區(qū)域,其面積為S,若二維隨機變量( X , Y )具有概率密度則稱 ( X , Y ) 在 D 上服從均勻分布.（2）二維正態(tài)分布定義：若二維隨機變量( X,Y )具有概率密度其中均為常數(shù)，且則稱( X,Y )服從參數(shù)為，的二維正態(tài)分布，記為。推廣：n 維隨機變量的概念定義：設E是一個隨機試驗，它的樣本空間是，設，是定義在S上的隨機變量，由它們構成的一個 n 維向量叫做n 維隨機

23、向量或n 維隨機變量。對于任意n個實數(shù)，n元函數(shù)稱為隨機變量的聯(lián)合分布函數(shù)。二、邊緣分布1、邊緣分布函數(shù)定義：設是隨機變量的分布函數(shù)，則，令，稱為隨機變量關于X的邊緣分布函數(shù)，記為。同理令，為隨機變量關于Y的邊緣分布函數(shù)。2、二維離散型隨機變量的邊緣分布律定義：設二維離散型隨機變量( X,Y )的聯(lián)合分布律為，記，分別稱和為( X,Y )關于X和關于Y的邊緣分布律。 XY ； 得離散型隨機變量關于X 和Y 的邊緣分布函數(shù)分別為：；3、二維連續(xù)型隨機變量的邊緣概率密度定義：對于連續(xù)型隨機變量( X,Y )，設它的概率密度為，由于，記，稱其為隨機變量( X,Y ) 關于X的邊緣概率密度。同理可得

24、Y 的邊緣分布函數(shù)，為隨機變量( X,Y ) 關于Y的邊緣概率密度。三、隨機變量的獨立性定義：設及，分別是二維隨機變量( X,Y )的分布函數(shù)及邊緣分布函數(shù)，若對所有x，y有，即，則稱隨機變量X和Y 是相互獨立的。說明：（1）若離散型隨機變量( X,Y )的聯(lián)合分布律為, ,X和Y 相互獨立,即；（2）設連續(xù)型隨機變量( X,Y )的聯(lián)合概率密度為，邊緣概率密度分別為，則有X和Y 相互獨立；（3）X和Y 相互獨立，f（x）與g（y）連續(xù)，則f（X）和g（Y ）也相互獨立。四、二維隨機變量函數(shù)的分布1、二維離散型隨機變量函數(shù)的分布結論：若二維離散型隨機變量的聯(lián)合分布律為，則隨機變量函數(shù)的分布律為

25、，。具有可加性的兩個離散分布（1）設 X B (n1, p), Y B (n2, p), 且獨立，則 X + Y B ( n1+n2, p)（2）設 X (l1), Y (l2), 且獨立，則 X + Y (l1+ l2) 2、連續(xù)型隨機變量函數(shù)的分布 （1）Z=X+Y 的分布設的概率密度為，則的分布函數(shù)為，兩邊求導可得概率密度函數(shù)為：，由于 X 與 Y 對稱, ， 當 X, Y獨立時, 也可表示為，或，稱之為函數(shù) f X ( z)與 f Y ( z)的卷積。（2）及的分布設X,Y是兩個相互獨立的隨機變量，它們的分布函數(shù)分別為和，則有：， 故有：，推廣：設是n個相互獨立的隨機變量，它們的分布函

26、數(shù)分別為，則及的分布函數(shù)分別為，若相互獨立且具有相同的分布函數(shù)，則，第4章 隨機變量的數(shù)字特征一、隨機變量的數(shù)學期望1、離散型隨機變量的數(shù)學期望定義：設離散型隨機變量X的分布律為PX=xk=pk , k=1,2,，若級數(shù)絕對收斂，則稱級數(shù)為隨機變量X的數(shù)學期望，記為，即。2、連續(xù)型隨機變量的數(shù)學期望定義：設連續(xù)型隨機變量X的概率密度為，若積分絕對收斂，則稱積分的值為隨機變量X的數(shù)學期望，記為，即。數(shù)學期望的性質(zhì)（1）設C是常數(shù), 則有；（2）設X 是一個隨機變量,C是常數(shù), 則有；（3）設X, Y是兩個隨機變量, 則有；（4）設X, Y是相互獨立的隨機變量, 則有3、隨機變量函數(shù)的數(shù)學期望（1

27、）離散型隨機變量函數(shù)的數(shù)學期望若Y=g(X), 且，則有（2）連續(xù)型隨機變量函數(shù)的數(shù)學期望若X是連續(xù)型的,它的分布密度為f (x) , 則（3）二維隨機變量函數(shù)的數(shù)學期望設X, Y為離散型隨機變量，為二元函數(shù)，則，其中，的聯(lián)合概率分布為；設X, Y為連續(xù)型隨機變量，為二元函數(shù)，則，其中，的聯(lián)合概率分布為。二、隨機變量的方差1、隨機變量方差的概念定義:設X 是一個隨機變量，若存在，則稱為X 的方差，記為或，即，稱為標準差或均方差，記為。2、隨機變量方差的計算（1）利用定義計算離散型隨機變量的方差 ，其中，是X 的分布律。連續(xù)型隨機變量的方差，其中，是X 的概率密度。（2）利用公式計算3、隨機變量

28、方差的性質(zhì)（1）設C是常數(shù), 則有；（2）設X是一個隨機變量, C 是常數(shù), 則有；（3）；特別地，設X, Y相互獨立, D(X), D(Y)存在, 則；推廣：若相互獨立，則有（4）的充要條件是以概率1取常數(shù)C，即4、重要概率分布的數(shù)學期望及方差（1）兩點分布已知隨機變量 X 的分布律為：X01pk1-pp則有：，（2）二項分布設隨機變量 X 服從參數(shù)為n, p二項分布,其分布律為：，（3）泊松分布設，且分布律為，則有：參照二項分布的計算法可推得：（4）均勻分布設，其概率密度為，則有：結論：均勻分布的數(shù)學期望位于區(qū)間的中點（5）指數(shù)分布設隨機變量X 服從指數(shù)分布，其概率密度為其中則有： （6）

29、正態(tài)分布設，其概率密度為，則有： 令得總結：分布參 數(shù)數(shù)學期望方 差兩點分布二項分布，泊松分布均勻分布指數(shù)分布正態(tài)分布關于正態(tài)分布的一個重要結論:若,且它們相互獨立，則也服從正態(tài)分布， 因此，只要求出期望和方差就可知道它的分布. 三、協(xié)方差與相關系數(shù)1、協(xié)方差定義：設（X，Y）是一個二維隨機變量，若E X-E(X)Y-E(Y) 存在，則稱它為隨機變量X和Y的協(xié)方差，記為Cov(X,Y) ，即Cov(X,Y)=E X-E(X)Y-E(Y) 。 性質(zhì)：（1）Cov(X,a)=0，Cov(X,X)=D（X）；（2）Cov(X,Y)= Cov(Y,X)；（3）Cov(aX,bY) = ab Cov(X

30、,Y) a,b是常數(shù)；（4）Cov(X1+X2,Y)= Cov (X1,Y) + Cov(X2,Y)；（5）D(X+Y)= D(X)+D(Y)+ 2 Cov (X,Y)；（6）Cov (X,Y)=E(XY) -E(X)E(Y)2、相關系數(shù)定義：設（X，Y）是二維隨機變量，若D(X)>0, D(Y)>0，稱為隨機變量 X 和 Y 的相關系數(shù)，記為，即當=0時，稱隨機變量 X 和 Y不相關。性質(zhì)：（1）；（2）是充分必要條件X與Y依概率1線性相關，即存在常數(shù)a，b使定理：若隨機變量X與Y相互獨立，則X與Y不相關。四、矩與協(xié)方差矩陣1、矩定義：設X和Y是隨機變量，若存在，稱它為X的k階原

31、點矩，簡稱 k階矩 。若存在，稱它為X的k階中心矩。定義：設（X，Y）是二維隨機變量，若，k,l=1,2,存在，稱它為 X 和 Y 的 k+l 階混合矩.。若存在，稱它為X 和 Y 的 k+l 階混合中心矩. 由定義知，均值 E(X)是X一階原點矩，方差D(X)是X的二階中心矩，協(xié)方差Cov(X,Y)是X和Y的二階混合中心矩。2、協(xié)方差矩陣定義：將二維隨機變量（X1,X2）的四個二階中心矩，排成矩陣的形式: 稱此矩陣為（X1,X2）的協(xié)方差矩陣.類似定義n 維隨機變量(X1,X2, ,Xn) 的協(xié)方差矩陣，若( i, j=1,2,n )都存在，稱矩陣為n 維隨機變量(X1,X2, ,Xn) 的

32、協(xié)方差矩陣。第5章 大數(shù)定律與中心極限定理一、大數(shù)定律1、切比雪夫不等式定理：設隨機變量X具有數(shù)學期望，方差，則對于任意正數(shù)，不等式成立。2、三個大數(shù)定律定義1：設是隨機變量序列，若存在一個常數(shù)，使得對任意的，有成立，則稱隨機變量序列依概率收斂于，記為。定義2：設是一隨機變量序列，其數(shù)學期望為，且為常數(shù)序列，令，若，則稱服從大數(shù)定律。基本定理定理一（切比雪夫定理的特殊情況）設隨機變量相互獨立，且具有相同的數(shù)學期望和方差：，作前個隨機變量的算術平均，則對于任意正數(shù)有表達式的意義：是一個隨機事件，等式表明，當時這個事件的概率趨于1，即對于任意正數(shù)，當充分大時，不等式成立的概率很大。定理一的另一種敘

33、述:設隨機變量相互獨立，且具有相同的數(shù)學期望和方差：，則序列依概率收斂于，即?！耙栏怕适諗坑凇钡睦斫猓涸O是一個隨機變量序列，是一個常數(shù)，若對于任意正數(shù)有，則稱序列依概率收斂于，記為。定理二（伯努利大數(shù)定理）設是次獨立重復試驗中事件發(fā)生的次數(shù)，是事件在每次試驗中發(fā)生的概率，則對于任意正數(shù)，有。定理三（辛欽定理）設隨機變量相互獨立，服從同一分布，且具有數(shù)學期望，則對于任意正數(shù)，有。二、中心極限定理1、基本定理定理四（獨立同分布的中心極限定理）設隨機變量相互獨立，服從同一分布，且具有數(shù)學期望和方差：，則隨機變量之和的標準化變量的分布函數(shù)對于任意x滿足：定理四表明：獨立同分布的隨機變量之和，當充分大時

34、，隨機變量之和與其標準化變量分別有定理五(德莫佛拉普拉斯定理)設隨機變量服從參數(shù)為的二項分布，則對于任意x，恒有中心極限定理表明，在相當一般的條件下, 當獨立隨機變量的個數(shù)增加時, 其和的分布趨于正態(tài)分布. 第6章 樣本及抽樣分布一、總體和樣本1、總體研究對象全體元素組成的集合稱為總體。所研究的對象的某個(或某些)數(shù)量指標的全體，它是一個隨機變量(或多維隨機變量)，記為X .X 的分布函數(shù)和數(shù)字特征稱為總體的分布函數(shù)和數(shù)字特征。2、個體組成總體的每一個元素稱為個體。即總體的每個數(shù)量指標，可看作隨機變量 X的某個取值.用表示.3、隨機樣本簡單隨機樣本若總體 X 的樣本滿足：（1）與X 有相同的分

35、布；（2）相互獨立；則稱為簡單隨機樣本.簡單隨機抽樣獲得簡單隨機樣本的抽樣方法稱為簡單隨機抽樣.根據(jù)定義得：若為的一個樣本，則的聯(lián)合分布函數(shù)為又若具有概率密度，則的聯(lián)合概率密度為二、抽樣分布1、統(tǒng)計量定義：設是來自總體的一個樣本，是的函數(shù)，若中不含未知參數(shù)，則稱是一個統(tǒng)計量。設是相應于樣本的樣本值，則稱是的觀察值。2、幾個常用統(tǒng)計量設是來自總體的一個樣本，是這一樣本的觀察值，（1）樣本平均值 ；（2）樣本方差 ；（3）樣本標準差 ；（4）樣本 k階(原點)矩 ；（5）樣本 k階中心矩 由以上定義得下述結論：若總體的階矩 存在，則當時，再根據(jù)第五章辛欽定理知，由第五章關于依概率收斂的序列的性質(zhì)知

36、，其中是連續(xù)函數(shù)。3、經(jīng)驗分布函數(shù)設是總體的一個樣本，用表示中不大于的隨機變量的個數(shù)，定義經(jīng)驗分布函數(shù)為，對于一個樣本值，的觀察值容易求得。（的觀察值仍以表示）一般地，設是總體的一個容量為的樣本值，先將按自小到大的次序排列，并重新編號，則經(jīng)驗分布函數(shù)的觀察值為：格里汶科定理對于任一實數(shù)，當時，以概率1一致收斂于分布函數(shù)，即對于任一實數(shù)，當充分大時，經(jīng)驗分布函數(shù)的任一個觀察值與總體分布函數(shù)只有微小的差別，從而實際上可當作來使用。4、常見分布（1）正態(tài)分布若，則特別地，若，則標準正態(tài)分布的 a 分位數(shù)定義：若，則稱z a為標準正態(tài)分布的上a 分位數(shù)。若，則稱為標準正態(tài)分布的雙側(cè) a 分位數(shù)。標準正

37、態(tài)分布的a 分位數(shù)圖形 常用數(shù)字：，-za/2=z1-a/2根據(jù)正態(tài)分布的對稱性知：（2）分布設是來自總體的樣本，則稱統(tǒng)計量服從自由度為的分布，記為。自由度：指中右端包含獨立變量的個數(shù)。分布的性質(zhì)性質(zhì)1（分布的可加性）設，并且獨立，則。此性質(zhì)可以推廣到多個隨機變量的情形：設，并且相互獨立，則，性質(zhì)2（分布的數(shù)學期望和方差）若，則，。分布的分位點對于給定的正數(shù)，稱滿足條件的點為分布的上分位點。對于不同的可以通過查表求得上分位點的值。（3）分布設，且獨立，則稱隨機變量服從自由度為的分布，記為。分布的概率密度函數(shù)為，具有自由度為n的t分布的隨機變量T的數(shù)學期望和方差為: E(T)=0; D(T)=n

38、 / (n-2) , 對n >2 t分布的概率密度曲線為：顯然圖形是關于對稱的，當 n 充分大時, 其圖形類似于標準正態(tài)變量概率密度的圖形。因為，所以當足夠大時t分布近似于分布。但對于較小的，t分布與分布相差很大。t分布的分位點對于給定的正數(shù)，稱滿足條件的點為分布的上分位點。可以通過查表求得上分位點的值，由分布的對稱性知，當時，。（4）分布設，且獨立，則稱隨機變量服從自由度為的分布，記為。分布的概率密度曲線為：根據(jù)定義可知，若，則。分布的分位點對于給定的正數(shù)，稱滿足條件的點為分布的上分位點。分布的上分位點具有如下性質(zhì)：三、正態(tài)總體樣本均值與樣本方差的分布設總體X的均值為，方差為，是來自總

39、體的一個樣本，則樣本均值和樣本方差有： ，當總體為正態(tài)分布時，給出幾個重要的抽樣分布定理。定理一 (樣本均值的分布)：設是來自正態(tài)總體的樣本，是樣本均值，則有：或。注意 :在已知總體，時，可用本定理計算樣本均值。定理二 (樣本方差的分布)：設是來自總體的樣本，分別是樣本均值和樣本方差，則有：（1）； （2）與獨立定理三：設是來自總體的樣本，分別是樣本均值和樣本方差，則有：注意 :在未知總體，時，可用本定理計算樣本均值定理四：設與分別是具有相同方差的兩正態(tài)總體，的樣本，且這兩個樣本相互獨立，設，分別是這兩個樣本的均值，分別是這兩個樣本的方差，則有：（1） (兩總體樣本方差比的分布)；（2）當時，

40、其中， (兩總體樣本均值差的分布)第7章 參數(shù)估計一、點估計設總體X的分布函數(shù)形式已知，但它的一個或多個參數(shù)未知，用總體X是一個樣本值來估計總體未知參數(shù)的值的問題稱為參數(shù)的點估計。1、矩估計法記總體k階矩為，樣本k階矩為，記總體k階中心矩為，樣本k階中心矩為，用相應的樣本矩去估計總體矩的估計方法就稱為矩估計法。設總體的分布函數(shù)中含有k個未知參數(shù)，,那么它的前k階矩一般都是這k個參數(shù)的函數(shù),記為：，i=1,2,k，從這k個方程中解出，j=1,2,k，那么用諸的估計量 Ai分別代替上式中的諸Ai, 即可得諸的矩估計量：，j=1,2,k2、極大似然法設X1,X2,Xn是取自總體X的一個樣本，樣本的聯(lián)

41、合密度(連續(xù)型）或聯(lián)合概率函數(shù)(離散型)為 f (X1,X2,Xn; ) 。當給定樣本X1,X2,Xn時，定義似然函數(shù)為：f (X1,X2,Xn; )看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值X1,X2,Xn的一種度量 .極大似然估計法就是用使達到最大值的去估計. 稱為的極大似然估計（MLE）求極大似然估計(MLE)的一般步驟是：(1)由總體分布導出樣本的聯(lián)合概率函數(shù)(或聯(lián)合密度)；(2)把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到似然函數(shù)L();(3)求似然函數(shù)L() 的最大值點(常常轉(zhuǎn)化為求ln L()的最大值點) ，即的MLE;(4)在最大值點的表達

42、式中, 用樣本值代入就得參數(shù)的極大似然估計值兩點說明：(1)求似然函數(shù)L() 的最大值點，可以應用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL()與L()在的同一值處達到它的最大值，假定是一實數(shù)，且lnL()是的一個可微函數(shù)。通過求解所謂“似然方程”：可以得到的MLE .若是向量，上述方程必須用似然方程組代替 .(2)用上述求導方法求參數(shù)的MLE有時行不通，這時要用極大似然原則來求 .極大似然估計具有下述性質(zhì)：設的函數(shù)g=g()是上的實值函數(shù),且有唯一反函數(shù) .如果是的MLE，則g()也是g()的極大似然估計.二、估計量的評選標準1、無偏性設是未知參數(shù)的估計量，若則稱為的無偏估計。無偏估

43、計的實際意義: 無系統(tǒng)誤差。2、有效性設與都是的無偏估計量，若有，則較有效。定義：設是取自總體X的一個樣本，是未知參數(shù)的一個估計量，若滿足：（1）， 即為的無偏估計；（2），是的任一無偏估計，則稱為的最小方差無偏估計（也稱最佳無偏估計）3、相合性若為參數(shù)的估計量，當時，依概率收斂于，則稱為的相合估計量。相合性是對估計量的一個基本要求, 不具備相合性的估計量是不予以考慮的。三、區(qū)間估計的概念1、置信區(qū)間定義：設總體X的分布函數(shù)含有一個未知參數(shù)，對于給定值，若樣本確定的兩個統(tǒng)計量和滿足，則稱隨機區(qū)間是的置信度為的置信區(qū)間，和分別稱為置信度為的雙側(cè)置信區(qū)間的置信下限和置信上限，為置信度。另外定義中的

44、表達式還可以描述為：若反復抽樣多次(各次得到的樣本容量相等,都是n)每個樣本值確定一個區(qū)間，每個這樣的區(qū)間或包含的真值或不包含的真值，按伯努利大數(shù)定理, 在這樣多的區(qū)間中, 包含真值的約占，不包含的約占。2、求置信區(qū)間的一般步驟（1）尋求一個樣本的函數(shù)：，其中僅包含待估參數(shù)，并且的已知且不依賴于任何未知參數(shù)（包括）；（2）對于給定的置信度，定出兩個常數(shù)，使得；（3）若能從得到等價的不等式，其中，都是統(tǒng)計量，那么就是的一個置信度為的置信區(qū)間。樣本容量固定，置信水平增大，置信區(qū)間長度增大，可信程度增大，區(qū)間估計精度降低；置信水平固定，樣本容量增大，置信區(qū)間長度減小，可信程度不變，區(qū)間估計精度提高。

45、四、正態(tài)總體均值與方差的區(qū)間估計1、單個總體的情況設給定置信水平為，并設為總體的樣本，分別是樣本均值和樣本方差。均值的置信區(qū)間（1）為已知，的一個置信水平為的置信區(qū)間為： （2）為未知，的一個置信水平為的置信區(qū)間為：方差的置信區(qū)間根據(jù)實際需要，只介紹未知的情況，方差的置信水平為的置信區(qū)間為：進一步可得:標準差的一個置信水平為的置信區(qū)間為：注意: 在密度函數(shù)不對稱時, 如分布和分布，習慣上仍取對稱的分位點來確定置信區(qū)間。（如圖）2、兩個總體，的情況設給定置信度為，并設為第一個總體的樣本，為第二個總體的樣本，分別是第一、二個總體的樣本均值，、分別是第一、二個總體的樣本方差，兩個總體均值差的置信區(qū)間

46、（1）和均為已知的一個置信度為的置信區(qū)間為：（2）和均為未知只要和都很大（實際上即可），則有的一個置信度為的近似置信區(qū)間為：（3），但為未知，的一個置信度為的置信區(qū)間為：其中，.兩個總體方差比的置信區(qū)間僅討論總體均值為未知的情況，的一個置信度為的置信區(qū)間為：五、單側(cè)置信區(qū)間1、單側(cè)置信區(qū)間定義：對于給定值，若由樣本確定的統(tǒng)計量，對于任意，滿足，則稱隨機區(qū)間是的置信水平為的單側(cè)置信區(qū)間，稱為的置信水平為的單側(cè)置信下限。又如果統(tǒng)計量，對于任意，滿足，則稱隨機區(qū)間是的置信水平為的單側(cè)置信區(qū)間，稱為的置信水平為的單側(cè)置信上限。2、正態(tài)總體均值與方差的單側(cè)置信區(qū)間設正態(tài)總體的均值是，方差是（均為未知），

47、是一個樣本，由，有，即，于是得的一個置信水平為的單側(cè)置信區(qū)間：，的置信水平為的置信下限為：.又根據(jù)，有，即，于是得的一個置信水平為的單側(cè)置信區(qū)間：，的置信水平為的置信上限為：.第8章 假設檢驗一、假設檢驗的基本概念1、基本概念假設檢驗：根據(jù)樣本的信息檢驗關于總體的某個假設是否正確。原假設H0：根據(jù)實際問題提出的假設。原假設是檢驗前提的假設。備擇假設H1：當原假設被拒絕后而接受的假設。雙邊備擇假設：表示可能大于，也可能小于的備擇假設H1。雙邊假設檢驗：形如H0：，H1：的假設檢驗。2、分類一般說來，按照檢驗所用的統(tǒng)計量的分布, 分為：Z檢驗-用正態(tài)分布； t檢驗-用 t分布； 檢驗-用分布； F

48、檢驗-用 F分布按照對立假設的提法，分為：雙側(cè)檢驗，它的拒絕域取在兩側(cè); 單側(cè)檢驗，它的拒絕域取在左側(cè)或右側(cè) 3、假設檢驗的一般步驟（1）根據(jù)實際問題的要求，提出原假設H0和備擇假設H1；（2）給定顯著性水平以及樣本容量；（3）確定檢驗統(tǒng)計量和拒絕域的形式；（4）按拒絕H0| H0為真=，求出拒絕域；（5）計算檢驗統(tǒng)計量的觀察值，如果它落在拒絕域中則拒絕H0，否則接受H0。二、正態(tài)總體均值和方差的假設檢驗1、單個正態(tài)總體均值的假設檢驗（1）已知，關于均值的檢驗(Z檢驗)H0：，H1：檢驗統(tǒng)計量： N(0,1)拒絕域：（2）未知，關于均值的檢驗(t檢驗)H0：，H1：檢驗統(tǒng)計量： t(n-1)拒

49、絕域：2、兩個正態(tài)總體，均值差的假設檢驗（1），已知(Z檢驗)，檢驗統(tǒng)計量： N(0,1)拒絕域：（2），未知，但(t檢驗)，檢驗統(tǒng)計量： t(n1+n2-2) 其中，拒絕域：3、基于成對數(shù)據(jù)的檢驗(t檢驗)，檢驗統(tǒng)計量：拒絕域：4、單個正態(tài)總體方差的檢驗（檢驗），檢驗統(tǒng)計量：拒絕域：或5、兩個正態(tài)總體，方差比的假設檢驗(F檢驗)，檢驗統(tǒng)計量：拒絕域：或正態(tài)總體均值、方差的檢驗法匯總（顯著性水平為）原假設H0檢驗統(tǒng)計量備擇假設H1拒絕域1234567第9章 隨機過程引論一、隨機過程的概念1、隨機過程的概念定義1：設E是隨機試驗，樣本空間為，若對每個,總有一個時間函數(shù)，與它相對應，這樣對于所有的

50、得到一族時間t的函數(shù)，稱為隨機過程，簡記為。族中的每一個函數(shù)稱為這個隨機過程的樣本函數(shù)或樣本曲線。T是參數(shù)t的變化范圍，稱為參數(shù)集，通常表示時間。二元函數(shù)的含義如下：（1）對于一個特定的試驗結果，則是僅依賴于t的函數(shù)，稱為隨機過程的樣本函數(shù)，它是隨機過程的一次物理實現(xiàn)。隨機過程的樣本函數(shù)用表示，以避免與隨機過程的記號相混.因此隨機過程也可以看作對每個e依某種規(guī)律相對應一個參數(shù)t的函數(shù)即在概率空間上定義了一個隨機函數(shù)。（2）對于每一個固定的時刻，取決于e，所以是定義在S上的隨機變量。工程上有時把稱作隨機過程或系統(tǒng)在時刻所處的狀態(tài)。對于一切，所能取的一切值的集合，稱為隨機過程的狀態(tài)空間,記為I。那

51、么對于所有的，隨機過程可以看成是依賴時間t的一族隨機變量。定義2：給定參數(shù)集，如果對于每個，對應有隨機變量，則稱隨機變量族為隨機過程。稱為時間參數(shù)集，稱為時刻時過程的狀態(tài)，而說成是時過程處于狀態(tài)。對于一切所能取的一切值組成的集合，稱為過程的狀態(tài)空間。2、隨機過程的分類（1）如果一個隨機過程對于任意的都是連續(xù)型隨機變量，則稱此隨機過程為連續(xù)型隨機過程；若對任意的是離散型隨機變量，稱此隨機過程為離散型隨機過程。（2）當參數(shù)T為有限區(qū)間或無限區(qū)間時，則稱是連續(xù)參數(shù)隨機過程。若參數(shù)集為可列個數(shù)，則稱為隨機序列；若隨機序列的狀態(tài)空間還是離散的，則稱為離散參數(shù)鏈。二、隨機過程的統(tǒng)計描述1、隨機過程的分布給定隨機過程，對于固定的，隨機變量的分布函數(shù)一般與有關，記為，即為隨機過程的一維分布函數(shù)，為一維分布函數(shù)族。設，則為兩個隨機變量，稱的聯(lián)合分布函數(shù):為隨機過程的二維分布函數(shù)，變動就得到一族二維分布函數(shù)，稱為隨機過程的二維分布函數(shù)族。對同樣可定義的n維分布函數(shù):和n維分布函數(shù)族: 隨機過程的一維分布函數(shù)族、二維分布函數(shù)族、n維分布函數(shù)族、n+1維分布函數(shù)族等等,其全體稱為隨機過程的有限維分布函數(shù)族。2、隨機過程的數(shù)字特征給定隨機過程，對固定的，隨機變量的均值一般與有關，記為，稱為隨機過程的均值函數(shù)。是隨機