概率論與數(shù)理統(tǒng)計的基本概念

1、概率論與數(shù)理統(tǒng)計 112/7/20212u第一章 概率論的基本概念 1.1 隨機試驗 1.2 樣本空間 1.3 概率和頻率 1.4 等可能概型（古典概型） 1.5 條件概率 1.6 獨立性u第二章 隨機變量及其分布 2.1 隨機變量 2.2 離散型隨機變量及其分布 2.3 隨機變量的分布函數(shù) 2.4 連續(xù)型隨機變量及其概率密度 2.5 隨機變量的函數(shù)的分布u第三章 多維隨機變量及其分布 3.1 二維隨機變量 3.2 邊緣分布 3.3 條件分布 3.4 相互獨立的隨機變量 3.5 兩個隨機變量的函數(shù)的分布 3u 第四章 隨機變量的數(shù)字特征 4.1 數(shù)學(xué)期望 4.2 方差 4.3 協(xié)方差及相關(guān)系數(shù)

2、 4.4 矩、協(xié)方差矩陣 第五章 大數(shù)定律和中心極限定理 5.1 大數(shù)定律 5.2 中心極限定理 u 第六章 數(shù)理統(tǒng)計的基本概念 6.1 總體和樣本 6.2 常用的分布4u 第七章 參數(shù)估計 7.1 參數(shù)的點估計 7.2 估計量的評選標(biāo)準(zhǔn) 7.3 區(qū)間估計 u 第八章 假設(shè)檢驗 8.1 假設(shè)檢驗 8.2 正態(tài)總體均值的假設(shè)檢驗 8.3 正態(tài)總體方差的假設(shè)檢驗 8.4 置信區(qū)間與假設(shè)檢驗之間的關(guān)系 8.5 樣本容量的選取 8.6 分布擬合檢驗 8.7 秩和檢驗u 第九章 方差分析及回歸分析 9.1 單因素試驗的方差分析 9.2 雙因素試驗的方差分析 9.3 一元線性回歸 9.4 多元線性回歸5u

3、 第十章 隨機過程及其統(tǒng)計描述 10.1 隨機過程的概念 10.2 隨機過程的統(tǒng)計描述 10.3 泊松過程及維納過程 第十一章 馬爾可夫鏈 11.1 馬爾可夫過程及其概率分布 11.2 多步轉(zhuǎn)移概率的確定 11.3 遍歷性u 第十二章 平穩(wěn)隨機過程 12.1 平穩(wěn)隨機過程的概念 12.2 各態(tài)歷經(jīng)性 12.3 相關(guān)函數(shù)的性質(zhì) 12.4 平穩(wěn)過程的功率譜密度6第五章 大數(shù)定律和中心極限定理 關(guān)鍵詞：契比雪夫不等式大數(shù)定律中心極限定理71 大數(shù)定律背景 本章的大數(shù)定律，對第一章中提出的 “頻率穩(wěn)定性”，給出理論上的論證為了證明大數(shù)定理，先介紹一個重要不等式8 222225.1 ,0, 1ZE ZD

4、 ZP ZE ZP ZE Z 定理契比雪夫不等式 ：設(shè)隨機變量 具有數(shù)學(xué)期望方差 則對于任意都有：定理的為：等價形式 ,ZZf x證明： 僅就 為連續(xù)型時證之 設(shè) 的概率密度為 xP Zf x dx則 22xxf x dx 221xf x dx 222D Z( )f x9 例1：在n重貝努里試驗中，若已知每次試驗事件A出 現(xiàn)的概率為0.75，試?yán)闷醣妊┓虿坏仁焦烙媙,使A出現(xiàn)的頻率在0.74至0.76之間的概率不小于0.90。nAZ解：設(shè)在 重貝努里試驗中，事件 出現(xiàn)的次數(shù)為 ，,0.75Zb n則, 0.75 ,0.1875 ,E Znpn D Znpqn nZfAn又 0.740.760

5、.750.01ZPP Znnn而20.187510.01nn 187510.90n 18750n10 隨機變量序列依概率收斂的定義 1235.1,0,0,nnnZ ZZlim P ZZpZn 。定義：設(shè)隨機變量序列若存在某常數(shù) ， 使得均有： 則稱隨機變量序列依概率收斂于常數(shù) ， 記為：122115.2,110limlim1nnnkknnknnkZ ZZnYZnP YPZn 定理契比雪夫不等式的特殊情形 ：設(shè)隨機變量序列相互獨立， 且具有相同的數(shù)學(xué)期望 和相同的方差， 作前 個隨機變量的算術(shù)平均： 則，有：111,nnkkE YEZnnn證明：由于11nnkkD YDZn211nkkD Zn2

6、221nnn22111nkknPZn 由契比雪夫不等式得：111nknklim PZn11大數(shù)定律的重要意義：貝努里大數(shù)定律建立了在大量重復(fù)獨立試驗中事件出現(xiàn)頻率的穩(wěn)定性，正因為這種穩(wěn)定性，概率的概念才有客觀意義，貝努里大數(shù)定律還提供了通過試驗來確定事件概率的方法，既然頻率nA/n與概率p有較大偏差的可能性很小，我們便可以通過做試驗確定某事件發(fā)生的頻率并把它作為相應(yīng)的概率估計，這種方法即是在第7章將要介紹的參數(shù)估計法，參數(shù)估計的重要理論基礎(chǔ)之一就是大數(shù)定理。5.3 ,0,1AAnApnnnAlim Ppn 定理貝努里大數(shù)定理 設(shè)事件 在每次試驗中發(fā)生的概率為 ，記為 次獨立重復(fù)試驗 中 發(fā)生的

7、次數(shù) 則有：,Anb n p證明：利用契比雪夫不等式，因故：11,AAnEE nnppnnn20,1AnpqPpnn 于是，有2211AAnpqDD nnpqnnnn1Annlim Ppn即得：122 中心極限定理背景：有許多隨機變量，它們是由大量的相互獨立的隨機變量的綜合影響所形成的，而其中每個個別的因素作用都很小，這種隨機變量往往服從或近似服從正態(tài)分布，或者說它的極限分布是正態(tài)分布，中心極限定理正是從數(shù)學(xué)上論證了這一現(xiàn)象，它在長達(dá)兩個世紀(jì)的時期內(nèi)曾是概率論研究的中心課題。 5.4 定理獨立同分布的中心極限定理2212112,1,2,1,20,1niiniinnitxinnnnZ ZZE Z

8、D ZiZnnYnZnxRlim P Yxlim PxedtnnYN 設(shè)隨機變量相互獨立同分布，則前 個變量的和的標(biāo)準(zhǔn)化變量為：有： 證明略。此定理表明，當(dāng) 充分大時，近似服從135.5 定理德莫佛-拉普拉斯定理2215.4,2tbAnannpnlim P abedtnpq 由定理當(dāng)時，1 0 iiAZiA第 次試驗時 發(fā)生證明：令第 次試驗時 未發(fā)生 2201 ,1,lim,12AtbAnannAP Appnnpa bP abedtqpnpq 設(shè)為 次貝努里試驗中 發(fā)生的次數(shù)，則對任何區(qū)間，有：其中12,nZ ZZ則相互獨立同分布12,1,2,iiAnE Zp D Zpq inZZZ且因14

9、 例2：設(shè)某種電器元件的壽命服從均值為100小時的指數(shù)分布，現(xiàn)隨機取得16只，設(shè)它們的壽命是相互獨立的，求這16只元件的壽命的總和大于1920小時的概率。121616,Z ZZ解：記只電器元件的壽命分別為16116iiZZ則只電器元件的壽命總和為,2100,100iiE ZD Z由題設(shè)16116 10016000,14 100400iiZZzN根據(jù)獨立同分布的中心極限定理: 近似服從 192011920P ZP Z 16001920 16001400400ZP 10.80.2119 15 例3：某保險公司的老年人壽保險有1萬人參加，每人每年交200元,若老人在該年內(nèi)死亡，公司付給受益人1萬元。

10、設(shè)老年人死亡率為0.017，試求保險公司在一年內(nèi)這項保險虧本的概率。200P Z,10000,0.017ZZb n pnp解：設(shè) 為一年中投保老人的死亡數(shù)，則由德莫佛-拉普拉斯中心極限定理，保險公司虧本的概率為：1000010000 200PZ 20011ZnpnpPnppnpp2.3211ZnpPnpp12.3210.01 16 例4：設(shè)某工廠有400臺同類機器，各臺機器發(fā)生故障的概 率都是0.02，各臺機器工作是相互獨立的，試求機 器出故障的臺數(shù)不小于2的概率。400 0.02 0.982.8022102188668 110.9852.82.8npqnpZnpnpP Z

11、PZPnpqnpqnpqZP ,400,0.02 ZZb解：設(shè)機器出故障的臺數(shù)為則，分別用三種方法計算：1. 用二項分布計算40039921011 0.98400 0.02 0.980.9972P ZP ZP Z 2. 用泊松分布近似計算400 0.028 21011 0.0003350.0026840.9969npP ZP ZP Z 查表得3. 用正態(tài)分布近似計算17第六章 數(shù)理統(tǒng)計的基本概念關(guān)鍵詞： 樣 本 總 體 個 體 統(tǒng) 計 量 2分布t 分布F 分布18引言：數(shù)理統(tǒng)計學(xué)數(shù)理統(tǒng)計學(xué)是一門關(guān)于數(shù)據(jù)收集、整理、分析 和推斷的科學(xué)。在概率論中已經(jīng)知道，由于大量的隨機試驗中各種結(jié)果的出現(xiàn)必然

12、呈現(xiàn)它的規(guī)律性，因而從理論上講只要對隨機現(xiàn)象進(jìn)行足夠多次觀察，各種結(jié)果的規(guī)律性一定能清楚地呈現(xiàn)，但是實際上所允許的觀察永遠(yuǎn)是有限的，甚至是少量的。例如：若規(guī)定燈泡壽命低于1000小時者為次品，如何確定次品率？由于燈泡壽命試驗是破壞性試驗，不可能把整批燈泡逐一檢測，只能抽取一部分燈泡作為樣本進(jìn)行檢驗，以樣本的信息來推斷總體的信息，這是數(shù)理統(tǒng)計學(xué)研究的問題之一。191 總體和樣本總體：研究對象的全體。如一批燈泡。個體：組成總體的每個元素。如某個燈泡。抽樣：從總體Z中抽取有限個個體對總體進(jìn)行觀察的取值過程。隨機樣本：隨機抽取的n個個體的集合(Z1,Z2,Zn), n為樣本容量簡單隨機樣本：滿足以下兩

13、個條件的隨機樣本(Z1,Z2,Zn)稱 為簡單隨機樣本。1. 每個Zi與Z同分布2. Z1,Z2,Zn是相互獨立的隨機變量說明：后面提到的樣本均指簡單隨機樣本，由概率論知，若總體Z 具有概率密度f(x)， 則樣本（Z1,Z2,Zn）具有聯(lián)合密度函數(shù)： 121,nnniifx xxf x20統(tǒng)計量：樣本的不含任何未知參數(shù)的函數(shù)。常用統(tǒng)計量：設(shè)（Z1,Z2,Zn）為取自總體Z的樣本 221231232123323121, 1 2 2 3 max, 1 4 5 ZiiNZ ZZZZZZZ ZZZZ 思考題：設(shè)在總體中抽取樣本其中 已知，未知 指出在中哪些是統(tǒng)計量，哪些不是統(tǒng)計量， 為什么？111.

14、niiZZn樣本均值1113. 1,2,1 () 1,2,nkkiinkkiikAZknkBZZkn樣本矩階矩：階中心矩：22112. () ,1niiSZZSn樣本方差為樣本標(biāo)準(zhǔn)差21 隨機變量獨立性的兩個定理 112111211112112211, , 1,2, 6. 1 iikinninnnnnkknknnZ ZZnygxxxxRikknnYgZZYgZZYgnnkZZ設(shè)是相互獨立的 個隨機變量， 又設(shè)是 個連續(xù)函數(shù)， 且有則 個隨機變量： 是相互定 理： 獨立的。11111111111,1,2, ,6,2,. titntntnn tin ititZZZZit nZZZZZZ設(shè) 個隨機變

15、量是相互獨立的， 又設(shè)對每一個個隨機變量是相互獨立的， 定理：隨機變量是相互 則獨立的。222 常用的分布 12222221,0,1 1,2, 11nniniiZ ZZZnZNinn設(shè)隨機變量相互獨立， 則稱 服從自由度為 的， 定 指式右端包含分布記為自的獨立變度義：由量的個數(shù) 2212101 02 22 0 6 0.3nynxyeynfynyxe dx分布的概率密度為： 其理中定：2分布x( )f x010n 1n 4n 2分布的概率密度函數(shù)23 2分布的一些重要性質(zhì)： 22221. ,2nEn Dn設(shè)則有22211221212122. ,YnYnY YYYnn設(shè)且相互獨立，則有22分布的

16、可加性性質(zhì) 稱為，可推廣到有限個的情形： 221211,mmiimiiiiYnY YYYn設(shè)且相互獨立，則 22222,01,nnfdynynn為分布的上 分對給定的概率稱滿足條件的點上 分位數(shù)的值可查位數(shù)分布表 2n02分布的分位數(shù)x( )f x24221()niiZ由此得統(tǒng)計量的密度函數(shù)為： 2122211, ,() nniiZNZ ZZZZ 例：設(shè)總體已知。是取自總體 的樣本 求統(tǒng)計量 的分布。 1,2,iiZYin解：作變換 12,0,1 1,2,niY YYYNin顯然相互獨立，且 2222211()nniiiiZXYn于是 2221221 02 0 0nnxnnexxf xx25

17、20,1 ,ZNYnZ YZTntTt nY n設(shè)并且相互獨立， 服從自由度為 的 分布，記 則稱隨變量為機定義： , 01,tnf t n dttnt ntt對給定的稱滿足條件的點為分布的上。 分布的上 分位數(shù)可位數(shù)查分分布表t分布 1212226.4 ,1, nnntt nf t ntnn 定理：分布的概率密度為： tn f xx0t分布的分位數(shù)10n 313x( )f x1n 4n 2021t分布的密度函數(shù)26 221211212212, ,/,/ ZnYnZ YZ nFn nFFF n nY nnn設(shè)且獨立， 則稱隨機變量服定義：從自由度的 分布，記為 其中 稱為第一自由度，稱為第二自

18、由度F分布 12121222121212122122121110 ,1 0, ;, 0 6., 05 1nnnnnnnbF n nn nxnn xxBf x n nxabB a bxxdx分定理：布的概率密度為： 其中ab 27121212,1212, 01,;,Fn nf x n ndxFn nF n nFn nF 對于給定的稱滿足條件的點為分布的上 分位數(shù)。的值可查 分布表0 x12 f x21,20nn 225n 210n F分布的密度函數(shù)0 x12,Fn n( )f xF分布的分位數(shù)28z,0,1 ,01XNZP XZZ此外 設(shè)若滿足條件 則稱點為標(biāo)準(zhǔn)正態(tài)分布的上 分位數(shù)。29 正態(tài)總

19、體樣本均值和方差的分布222122222 , 1. ,-1 2. 1 3. 6.6 nnZ ZZNZ SZNnSnZS 設(shè)是總體的樣本，分別是樣本均值和樣本方差，則有：和定理：相互獨立221/11/tn ZnSZnt nSn且兩者獨立，由 分布定義得：2216.,7,1 nZZNZSn Zt nS 設(shè)是總體的樣本， 和分別是樣本 均值和樣本方差，則有：定理：22216.60,1 ,1/nSXNnn證明：由定理知，302111222121122222212222111,111FnSnSF nnnSSn且兩者獨立，由 分布的定義，有：22111122221222211222121222212121

20、2 , 1 1,1 2 211 6 .8nnWXXYYNNSSSFF nnSXYt nnSnn 設(shè)樣本和分別來自總體和 并且它們相互獨立，其樣本方差分別為則：當(dāng)時，定理：221122221211 ,2WWWnSnSSSSnn其中 22112222122212116.61 ,1nSnSnn證明： 1 由定理知，3112120,111XYUNnn即有： 221212122 ,XYNnn易知2,且它們相互獨立 故有分布的可加性知：22112222122211 1 ,1nSnSnn又由給定條件知：6.1,UV由定理知： 與 相互獨立2211222122112nSnSVnn121212122211wtX

21、YUt nnVnnSnn從而按 分布定義知： 復(fù)習(xí)思考題復(fù)習(xí)思考題 6 61.什么叫總體？什么叫簡單隨機樣本？總體X的樣本X1,X2,Xn有 哪兩個主要性質(zhì)？2.什么是統(tǒng)計量？什么是統(tǒng)計量的值？3.樣本均值和樣本方差如何計算？4.N(0,1)分布,t分布,2分布和F分布的雙側(cè)、下側(cè)、上側(cè)分位點是 如何定義的？怎樣利用附表查這些分位點的值？5.對一個正態(tài)總體的三個常用統(tǒng)計量及其分布是什么？6.對兩個正態(tài)總體的三個常用統(tǒng)計量及其分布是什么？33第七章 參數(shù)估計關(guān)鍵詞： 矩估計法 極大似然估計法 置信區(qū)間 置信度34222222 ,1 ; , 2,xXXf xex 參數(shù)估計是統(tǒng)計推斷的基本問題之一，

22、實際工作中碰到的總體它的分布類型往往是知道的，只是不知道其中的某些參數(shù)，例如：產(chǎn)品的質(zhì)量指標(biāo) 服從正態(tài)分布，其概率密度為：但參數(shù)的值未知，要求估計，有時還希望以一定的可靠性來估計 值是在某個范圍內(nèi)或者不低于某個數(shù)。參數(shù)估計問題就是要求問題的提出：通過樣本估計總體分布所包含的未知參數(shù)的值。參數(shù)估計的兩種方法：點估計法和區(qū)間估計法351 參數(shù)的點估計1212,1,2,niiiniXXXikXXXi 點估計的問題就是根據(jù)樣本，對每一個未知參數(shù)，構(gòu)造出一個統(tǒng)計量，作為參數(shù) 的估計，稱為。的估計量 點估計有兩種方法： 矩估計法和極大似然估計法36 121212121;, 1,2, ,1 1,2, ,11

23、21,212kkkvvknnvviiXF xXkE XE XvkXXXXvAXvkkAknA 設(shè)總體 的分布函數(shù)為是待估計的未知參數(shù)，假定總體 的 階原點矩存在，則有：對于樣用樣本矩作為總體矩的估計，即本其 階樣本：矩是：令 12122 ,12kkAkkk 解此方程即得的一個矩估計量一 矩估計法：矩估計法：371210, ,nXXXXX 2222例：設(shè)總體 的均值 和方差都存在，且，均未知，是取自 的一個樣本，試求的矩估計。 11221 1()niiXAAXXn2令解：先求總體矩：22212, E XE XD XEX22121111, nniiiiAXXAXnn再求樣本矩：38 1122 01

24、 0 0 ,nXxxf xXXXX例 ：設(shè)總體 的密度為：為未知參數(shù)，其他，為取自 的樣本，求 的矩估計。 E Xxf x dx解：110 xdx1XE XX令21XX39極大似然估計法極大似然估計法 極大似然估計的原理介紹極大似然估計的原理介紹考察以下例子： 假設(shè)在一個罐中放著許多白球和黑球，并假定已經(jīng)知道兩種球的數(shù)目之比是1:3，但不知道哪種顏色的球多。如果用返回抽樣方法從罐中任取n個球，則其中黑球的個數(shù)為x的概率為：若取n=3，如何通過x來估計p值先計算抽樣的可能結(jié)果x在這兩種p值之下的概率：31;, 1,44xn xnP x pp qqppx 其中由假設(shè)知，或 0 1 2 334,P

25、xx1 649 6427 64 27 641 6427 6427 649 6414,P x二 400,0,4644644 1 932731 2,2 0,2,46446441 2 33,xPPpxxPPxpxxxp從上表看到： 取更合理；類似；,取更合理； 類似； ： 于是有41 ,; ,xp xP x p xP x pPp x極大似然原 對每個 取,使是不同于理：的另一值； 1122211 , , , ,nnininlnL x xxln f xlnLL x xxLL x xx說明 在求的最大值時，通常轉(zhuǎn)稱為對數(shù)似然函換為求：數(shù)通常的最大，記為，值121212,knnX

26、f xx xxXXX 設(shè)總體 的概率密度為為未知參數(shù)，為參數(shù)空間，即 的取值范圍。設(shè)是樣本極大的一似然估計法：個觀察值：121121. 2. , nniinL x xxf xL x xx作似然函數(shù)求使 達(dá) 稱為 的極大到最大的 值，似然估計量4232例 ：求矩估計部分的例 中 的極大似然估計量。 221 niinlnX的極大似然估計值為： 211111,nnnniiiiiiLf xxx解：似然函數(shù) 112niinlnLlnlnX 1110 22niidlnLnlnXd令1niinlnX 即： 43 11 4,0, , 0 , xnexXf xXXX 例 ：設(shè)總體 的概率密度為：其中是未知常量其

27、它為 的樣本，求的矩估計與極大似然估計。 1 矩估計解： E Xxf x dx221xE Xxedx21 1()niiE XXD XXXn令D X21211() 1()niiniiXXnXXXn1xxedx22xxedx2222222E XEX44 2 極大似然估計11,inxiLe 此處不能通過求偏導(dǎo)數(shù)獲得 的極大似然估計量，111,niinxnLeL 另一方面，是 的增函數(shù)， 取到最大值時， 達(dá)到最大。12,inxxmin x xx故 的取值范圍最大不超過111 niixinex 12110niidlnLnXXd 令 121,nXmin XXX故 1XX 11niilnLnlnX 又451

28、250,0 ,nXx xx例 ：設(shè)總體 服從上的均勻分布，未知， 試由樣本求出 的極大似然估計和矩估計。 1 極解：大似然估計 1 0;0 xXf x因 的概率密度為：其它 121 0,0 nnx xxL故參數(shù) 的似然函數(shù)為：其它 0,Ldlnnd 由于不能用微分法求:L從義發(fā)以下定出求 120,innxxmax x xx因為故 的取值范圍最小為 1LnnnLxLxL又對的 是減函數(shù)， 越小， 越大，故時， 最大；012E XxdxX由 2 矩估計 12,LnnXmax x xx所以 的極大似然估計量為2X46表表1 1 例例2 2，例，例4 4，例，例5 5中兩種估計方法所得結(jié)果中兩種估計方

29、法所得結(jié)果 例例 題題 矩估計量矩估計量極大似然估計量極大似然估計量 例 2 例 4 例 521211()1()niiniiXXnXXXn2X nX 11XXX221LniinlnX21XX472 估計量的評選標(biāo)準(zhǔn) 從表1看到，對總體的未知參數(shù)可用不同方法求得不同的估計量，如何評價好壞？ 通常用三條標(biāo)準(zhǔn)檢驗：無偏性無偏性，有效性有效性，相合性相合性 無偏性無偏性 ,nEliEm E若那么若則稱為估計量 的偏差漸近稱 是 的無偏估計量 12,nEXXX滿足 則稱定義是 的一若參數(shù) 的估計個無偏量：估計量。482226,XE XD XXS例 ：設(shè)總體 的一階和二階矩存在，分布是任意的，記 證明：樣

30、本均值 和樣本方差分別是 和的無偏估計。 12,nXXXX證：因與 同分布，故有：X故 是 的無偏估計11niiE XEXn2211()1niiSXXn2211()1niiE SEXXn2211()1niiEXn Xn22211nn22S故是的無偏估計11niiE Xn1nn211()1niiEXXn111niiD XnD Xn49 752LnXX例 ：檢驗例 的矩估計量與極大似然估計量的無偏性。 0, ,2XUE X解：1,nXXX由于與 同分布 2EEX12niiE Xn22nn 2X因此是 的無偏估計 LnnXX為考察的無偏性，先求的分布，5由第三章第 節(jié)知： ,nnXFxF x 1 0

31、 0 nnnXnxxfx于是 其它10nnx nxdx LnEE X因此有：1nn LnX所以是有偏的。50 糾偏方法 1,0117,nnnnEaba babanXXXnXX如果 其中是常數(shù)，且則是 的無偏估計。在例 中，取則是 的無偏估計 無偏性是對估計量的一個最常見的重要要求，是“好”估計的標(biāo)準(zhǔn)之一。 無偏性的統(tǒng)計意義是指在大量重復(fù)試驗下，由所作的估計值的平均恰是 ，從而無偏性保證了 沒有系統(tǒng)誤差。51 有效性有效性 121212,DD 設(shè)是 的兩個無偏估計， 如果對一切成立 則稱：比定義有效。52 1121280, ,12, 72nXUXXXnXX nnn例 ：設(shè)總體是取自 的樣本，已知

32、 的兩個無偏估計 為見例，判別 與哪個有效時 ？ 22142123DDXnn解： 1 0 0 nnnXnxxfx由 其它 222221nnnDE XE Xn于是221221 32DDnn n因為比 更有效 1220 2nnnnxnE Xdxn22n n53相合性相合性1,0, 0nnnnnXXnlim P 設(shè)為參數(shù) 的估計量， 若對于任意，當(dāng)時， 依概率收斂于 ， 定義：則稱為 即的相有：成立， 合估計量或一 致估計量54 12,EE證： 11290, ,1 2nnXUXXXnXXn例 ：設(shè)總體是取自 的樣本， 證明：和是 的相合估計。0,n 由契比雪夫不等式，當(dāng)時， 112DP有：2203n

33、12所以 和都是 的相合估計。 21,3Dn222Dn n222DP同理：2220n n553 區(qū)間估計 111221112,nnnXXXXXXX 點估計是由樣本求出未知參數(shù) 的一個估計值 ， 而區(qū)間估計則要由樣本給出參數(shù) 的一個估計范圍，并指出 該區(qū)間包含 的可靠程度。假設(shè)是總體 的一個樣本， 區(qū)間估計的方法是給出兩個統(tǒng)計量 使區(qū)間以一定的可靠程度引：蓋住言。56 置信區(qū)間置信度 1122111121121;01 , ,11 , ,1 7 1nnnnXF xXXXXPXXXX 定義：設(shè)總體 的分布函數(shù)含有一個未知參數(shù) ，對給定的值如果有兩個統(tǒng)計量， 使得： 隨機區(qū)間是 的雙側(cè)置信區(qū)間 則；稱

34、稱為置信度；和2分別稱為雙側(cè)置信下限和雙側(cè)置信上限。57 單側(cè)置信區(qū)間11111 7 1, 7,1, 2,1,nnXXPXX 為 的單側(cè)置信下限在以上定義中，若將式改為：則稱隨機區(qū)間是 的置信度為單側(cè)置 的 。信區(qū)間 。2221172,1, , , 731nnXXPXX 又若將式改為：則稱隨機區(qū)間是 的置信度為 為 的的單側(cè)置信上限單。側(cè)置信區(qū)間 。58 正態(tài)總體均值方差的區(qū)間估計2 ,N 一 單個正態(tài)總體的情形2212, 1nXXXNXS 來自和分別為樣本均值和方差 置信度為1. 均值 的置信區(qū)間 21 已知時, 0,1XXNn是 的無偏估計 由 21XPZn 有221P XZXZnn 即2

35、2,XZXZnn置信區(qū)間為： 59 22 未知時1Xt nSn由 22111XPtntnSn 有22111SSP XtnXtnnn 即221 ,1SSXtnXtnnn置信區(qū)間為： 0t1220t 6022. 方差的置信區(qū)間設(shè) 未知22211nSn由 22212221111nSPnn 有2222221211111nSnSPnn 即222221211,11nSnSnn置信區(qū)間為： 2221212261 222210,36,15. ,95 116; 2,16;X cmNcmS 例 ：設(shè)某種植物的高度服從正態(tài)分布隨機選取棵 其平均高度為就以下兩種情形 求 的雙側(cè)置信區(qū)間：未知 36,15,4nX解：

36、11.961.960.95P XXnn由1.96 41.961513.69336Xn得：1.96 41.961516.30736Xn13.693,16.307的置信區(qū)間為 2 36,15,16nXS20.250.251 0.05SSP XtXtnn 由0.25352.0301t查表得：2.0301 42.0301 4 1513.647,1516.35366又：13.647,16.353的置信區(qū)間為 9912求置信度為 時 兩種情況下 的置信區(qū)間？62 12比較兩種情形下 的置信區(qū)間：22,16,13.693,16.307已知置信區(qū)間：22,16,13.647,16.353S未知置信區(qū)間：, ,

37、tX S n2但第二種情形更實用,因為多數(shù)時候,未知用 分布求 的置信區(qū)間只依賴于樣本數(shù)據(jù)及統(tǒng)計量區(qū)間短精度高區(qū)間長精度低 1 13.333,16.667 2 13.184,16.815?答案：63置信區(qū)間的含義：, 若反復(fù)抽樣多次 每個樣本值確定一個區(qū)間每個這樣的區(qū)間或者包含 的真值 或者不包含 的真值。見下圖10,0.05,95%0.01,99%在例 中 當(dāng)即置信水平為時,20個區(qū)間中只有大約1個不包含 值； 當(dāng)即置信水平為時,100個區(qū)間中將有99個包含 值；ba0 .9 90 .0 0 50 .0 0 5642211,25,4.25.9599S例 ：一個園藝科學(xué)家正在培養(yǎng)一個新品種的蘋

38、果 這種蘋果除了口感好和 顏色鮮艷以外 另一個重要特征是單個重量差異不大。為了評估新蘋果 她隨機挑選了個測試重量 單位：克其樣本方差為 試求的置信度為 和的的置信區(qū)間。 95%解：置信度為時222221 0.0250.025111 0.05nSnSP 220.9750.0252439.4,2412.4;查表得：25 14.2525 14.25 2.59,8.2339.412.4又：2.59,8.232的置信區(qū)間為220.9950.00599%,25 14.2525 14.252445.6,249.89,2.24,10.3145.69.89置信度為時2.24,10.312的置信區(qū)間為652211

39、22 ,NN 二 兩個正態(tài)總體的情形122221211122222111, , 1.nnnnijijXXXNY YYNXX YYSS 來自來自和分別為第一 二個總體的樣本方差 置信度為121. 的置信區(qū)間 22121 ,已知時22121212,XYNnn由 122212120,1XYNnn有 2212212XYZnn置信區(qū)間為： 66 2222122 ,未知1212126.8, 211wXYt nnSnn此時由第六章定理221122221211 ,2wwwnSnSSSSnn其中12212112wXYtnnSnn置信區(qū)間為： 6721222. 的置信區(qū)間12, 設(shè)未知22121222121,1S

40、SF nn由 2212121222122121,11,11SSP FnnFnn 有 22112212122212211,1,11,1SSFnnFnnSS置信區(qū)間為： 22211122212122221221111,11,1SSPFnnFnnSS 即 68 例12：兩臺機床生產(chǎn)同一個型號的滾珠，從甲機床生產(chǎn)的滾 珠中抽取8個，從乙機床生產(chǎn)的滾珠中抽取9個，測得這 些滾珠得直徑(毫米)如下: 甲機床 15.0 14.8 15.2 15.4 14.9 15.1 15.2 14.8 乙機床 15.2 15.0 14.8 15.1 14.6 14.8 15.1 14.5 15.0 22112212121

41、212211222, ,1 0.18,0.24,0.902 0.904 ,0.90X YXNYN 設(shè)兩機床生產(chǎn)的滾珠直徑分別為且求的置信度為的置信區(qū)間；若未知，求的置信度為的置信區(qū)間；若未知，求的置信度為的置信區(qū)間；69221122 8, 15.05, 0.04578, 14.9, 0.0575nxSnyS解：； 12122 0.90當(dāng)時，的置信度為的未知置信區(qū)間為： 11221 ,0.0.18,0.2490當(dāng)時 求的置信度為的 置信區(qū)間為：2212212 XYZnn0.051.645,0.018,0.318Z查表得：從而所求區(qū)間為0.051211151.7531,0.228,0.486WtS

42、nn21212112WXYtnnSnn0.044,0.344從而所求區(qū)間為70說明 置信區(qū)間包含兩方面含義 1.置信水平 2.區(qū)間長度置信水平越高，區(qū)間越大，但區(qū)間精確度差置信區(qū)間越小，精確度高，但置信水平差 2112223 ,0.90 當(dāng)時， 的置信度為的置未知信區(qū)間為：22112221212122211,1,11,1SSFnnFnnSS0.050.950.05117,83.50,7,80.2683.738,7FFF由21220.900.227,2.965得的置信度為的置信區(qū)間為7121221222已知2212,已知22122未知12, 未知2XZn21SXtnn222221211,11nS

43、nSnn122未知未知2212212XYZnn2122122212121221,1,111,1SFnnSSFnnS21212112wX Y tnnSnn 0,1XZNn1Xtt nSn222211nSn122212120,1XYZNnn22121222121,1SSFF nn121212211wXYtt nnSnnXZnXZn11SXtnnSXtnn22212221111nSnnSn2212121222121212XYZnnXYZnn22112211222221122122211,111,1SFnnSSFnnS121212121212112112wwX Y t n nSn nX Y t n n

44、Sn n 正態(tài)總體均值、方差的置信區(qū)間與單側(cè)置信限1置信度復(fù)習(xí)思考題復(fù)習(xí)思考題 7 71.總體未知參數(shù)矩估計的思想方法是什么？試寫出0-1分布、 二項分布b(m,p)、泊松分布()、均勻分布U(a,b)、正態(tài)分布N(,2)中有關(guān)參數(shù)的矩估計式2.極大似然估計的主要步驟是什么？3.未知參數(shù)的估計量與估計值有什么區(qū)別？5.估計量的三個基本評價標(biāo)準(zhǔn)是什么？你能理解它們的含義嗎？6.求參數(shù)置信區(qū)間的一般方法是什么？對正態(tài)總體，試從有關(guān) 的統(tǒng)計量自行導(dǎo)出幾類參數(shù)的置信區(qū)間？7.置信度的含義是什么？置信度、區(qū)間長度和樣本容量的關(guān)系怎樣？122121,1() ,1 (),4. ,niiniiXnXXnSXX

45、nE XE XE SD X總體 有容量為 的樣本 樣本均值 樣本方差有性質(zhì)這是否只對正態(tài)總體成立？復(fù)習(xí)思考題復(fù)習(xí)思考題 8 81.假設(shè)檢驗的基本思想是什么？其中使用了一條什么原理？2.檢驗的顯著性水平的意義是什么？3.比較雙邊、左邊和右邊檢驗的拒絕域。4.使用U檢驗法可以進(jìn)行哪些假設(shè)檢驗？5.使用t檢驗法可以進(jìn)行哪些假設(shè)檢驗？6.使用2檢驗法可以進(jìn)行哪些假設(shè)檢驗？7.使用F檢驗法可以進(jìn)行哪些假設(shè)檢驗？8.正態(tài)總體期望與方差的區(qū)間估計和假設(shè)檢驗兩者之間有什么 相似之處？9.成對數(shù)據(jù)差的t檢驗適用于哪些特殊場合？10.分布擬合的2檢驗的基本步驟是什么？74關(guān)鍵詞： 隨機過程 狀態(tài)和狀態(tài)空間 樣本函

46、數(shù) 有限維分布函數(shù) 均值函數(shù) 方差函數(shù) 自相關(guān)函數(shù) 自協(xié)方差函數(shù) 互相關(guān)函數(shù) 互協(xié)方差函數(shù) 正態(tài)過程 獨立增量過程 泊松過程 維納過程第十章 隨機過程及其統(tǒng)計描述751 隨機過程的概念 隨機過程隨機過程被認(rèn)為是概率論的“動力學(xué)”部分，即它的研究對象是隨時間演變的隨機現(xiàn)象，它是從多維隨機變量向一族(無限多個)隨機變量的推廣。 給定一隨機試驗E，其樣本空間S=e，將樣本空間中的每一元作如下對應(yīng)，便得到一系列結(jié)果：( ), ( ),eX e Y e12( ),( ),( ),neX e XeXe12( ),( ),),eX e Xe( ),eX e( , ) (,),eX e tt X一維即隨機變量

47、(, )X Y即二維隨機變量12(,)XX 即隨機序列12(,)nXXXn維即隨機變量( ),(,)X t t 即隨機過程76 一維、二維或一般的多維隨機變量的研究是概率論的研究內(nèi)容，而隨機序列、隨機過程則是隨機過程學(xué)科的研究內(nèi)容。從前面的描述中看到，它的每一樣本點所對應(yīng)的，是一個數(shù)列或是一個關(guān)于t的函數(shù)。 ( , ),( , ),TX e t eS tTetSTtT X e tX e t eS tT設(shè) 是一無限實數(shù)集，是對應(yīng)于 和 的實數(shù)， 即為定義在 和 上的二元函數(shù)。 若此函數(shù)對任意固定的是一個隨機變量， 定義： 則稱是隨機過程；,( , )Tet X e t為參數(shù)集，對固過程定的 和稱

48、為的狀態(tài)；( , )X e t 所有可能的值狀的全體稱為態(tài)空間；( , )( )X e tX t今后將簡記為( , ),tX e t eS tTe對于隨機過程進(jìn)行一次試驗，即 給定，它是 的函數(shù)，稱為隨機過程的樣本函數(shù)。77 例1：拋擲一枚硬幣的試驗，樣本空間是S=H,T，現(xiàn)定義： 1( ) ,()( )2 ( ),cos tHX ttP HP TtTX t t 當(dāng)出現(xiàn)，其中當(dāng)出現(xiàn)則是一隨機過程。,( )t X tcos tt解：對任意固定的是隨機變量，取值為和1234( )X t1( )X t2( )Xtt1( )( )2P X tcos tP X tt12( ),( )X tcos t X

49、tt此隨機過程的樣本函數(shù)只有兩個，即782 ( )(),(0,2 ),( )() ,(0,2 ),( )(), X tcosttt X tcostx tcost 例 ：考慮式中 和 是 正常數(shù), 是在上服從均勻分布的隨機變量, 這是一個隨機過程。 對每一固定的時刻是隨機變量 的函數(shù),從而也是隨機變量。它的狀態(tài)空間是-, 在內(nèi)隨機取一數(shù)相應(yīng)的就得到一個樣本函數(shù) 這族樣本函數(shù)的差異在于它們相位 的不同, 故這一過程稱隨機相位為正弦波。 793( ) , 0,1( ) ( ) 0,1( ).X tVcos ttVX ttX tVcos tVcos tvx tvcos t 例 ：設(shè)其中 是常數(shù)；在上服

50、從均勻分布,則是一個隨機過程。對每一固定的 ，是隨機變量 乘以常數(shù)，故也是隨機變量,對上隨機變量取一 值, 就得到相應(yīng)的一個樣本函數(shù) 804120( )0,0( )( ),00,1,2,.X tttX tX t t例 ：設(shè)某城市的急救中心電話臺遲早會接到用戶的呼叫。 以表示時間間隔內(nèi)接到的呼叫次數(shù)， 它是一個隨機變量，且對于不同的，是不同 的隨機變量，于是是一隨機過程，且它的 狀態(tài)空間是1t2t3t4t1t2t4t3t14231( )x t2( )x t( )x tt 81 例5：考慮拋擲一顆骰子的試驗：16(1)(1)1,2, (),1,2,3,4,5,6,1nnnnXnnnXP XiiXn

51、 設(shè)是第 次拋擲的點數(shù)，對于的不同值，是隨機變量，服從相同的分布， 因而構(gòu)成一隨機過程，稱為伯努利過程或伯努利隨機序列, 它的狀態(tài)空間為 1,2,3,4,5,6 。(2) ,11,2,3,4,5,6nnYnY n設(shè)是前 次拋擲中出現(xiàn)的最大點數(shù),也是 一隨機過程，它的狀態(tài)空間仍是。 下面分別給出它們的一條樣本函數(shù)：n87654321nx321654nx(1)(2)n87654321ny321654ny4隨機過程的分類：隨機過程的分類： 隨機過程可根據(jù)參數(shù)集T和任一時刻的狀態(tài)分為四類，參數(shù)集T可分為離散集和連續(xù)集兩種情況，任一時刻的狀態(tài)分別為離散型隨機變量和連續(xù)型隨機變量兩種：1. 連續(xù)參數(shù)連續(xù)型

52、的隨機過程，如例2，例32. 連續(xù)參數(shù)離散型的隨機過程，如例1，例43. 離散參數(shù)離散型的隨機過程，如例54. 離散參數(shù)連續(xù)型的隨機過程，如隨機相位正弦波12,2,( ),()nnTttn tX tXXXXX n t對于隨機相位正弦波， 若只在時間集上觀察，就得到 例子 隨機序列是連續(xù)型隨如下：機變量。832 隨機過程的統(tǒng)計描述分布函數(shù)兩種描述特征數(shù)() 一隨機過程的分布函數(shù)族121212121122121(2,3,), ,( ),( ),( ) ,( , ,)( ),( ),( ),1,2,( ),( ,;nnXnnnniXnn nt ttTnX tX tX tFx xxt ttP X tx

53、 X txX txxR inX t tTFxxnxt 為了描述隨機過程在不同時刻狀態(tài)之間的統(tǒng)計聯(lián)系，一般地，對任意個不同的時刻，引入 維隨機變量它的分布函數(shù)記為：；，稱為隨機變分量的 維布函數(shù)2, ,) ( ),nitttTX t tTn稱為的 維分布函數(shù)族1212( ,; , ,),1,2, ( ),XnniFx xx t ttntTX t tT有限維分布一般地，稱為隨機過程的它完全確定了隨機過程函數(shù)族的統(tǒng)計特性( ),( )( , )( )( ),( , ),XXX t tTtTX ttFx tP X txxRX t tTFx t tT 設(shè)隨機過程對每一固一維分布函數(shù)定的隨機變量的分布函數(shù)

54、與 有關(guān)，記為，稱它為隨機過程的稱為一維分布函數(shù)族84 例1：拋擲一枚硬幣的試驗，定義一隨機過程：12cos 1( ) ,()( ),2 ( )(1)( ;0)( ;1); (2) ( ,;0,1);tHX ttP HP TtTX tF xF xF x x 出現(xiàn)，設(shè)出現(xiàn)試確定的： 一維分布函數(shù) ，二維分布函數(shù) 1 (0)0 HXT出現(xiàn)解：出現(xiàn) 0 01( ;0) 012 1 1xF xxx故1 (1)1 HXT出現(xiàn)出現(xiàn) 0 11( ;0) 112 1 1xF xxx 故1, 1 (0),(1)0, 1 HXXT出現(xiàn)出現(xiàn)12121212120 11 01( ,;0,1)1 11xxxxF x x

55、xx 且或故且 其他852( ),0,130,( )442X tVcos t tVtX t 例 ：設(shè)隨機過程， 在上均勻分布 求在時的密度函數(shù)。 ,0,tcos tacos t解：對給定的 若記，( )X taV則的密度函數(shù)為： 1 011 ;0 XVxxaafx tfaa其他01acos1 01;00 Xxfx于是 其他2,42acos22 0;240 Xxfx其他23,42acos 22 03;240 Xxfx其他1,acos 1 10;0 Xxfx 其他0,2acos012P X8622222( ),( ) ( )( ) ( )( )( )( ) ( )( )XXXXXXXX t tTt

56、X ttE XttDtEX tttttE X t給定隨機過程記稱為隨機過程的。一般與 值有關(guān)，表示了隨機過程在各個時刻的擺動中心-均值函數(shù)均方值函數(shù)-方差函數(shù)標(biāo)-準(zhǔn)差函數(shù)各數(shù)字特征之間的關(guān)系如下：(二二) 隨機過程的數(shù)字特征隨機過程的數(shù)字特征12121121122212,( )( , )( ),( ) ( )( )( , )( )( )( )( )XXXXXXRt tE X t X tt tTCt tCov X tX tEX ttX tt又設(shè)任意自 相關(guān)函數(shù)自 協(xié)方差函數(shù) 2,XXtRt t 121212,XXXXCt tRt ttt 2212,XXXXtCt tRt tt872( ), (

57、)( )X t tTtT E XtX t隨機過程，如果對每一都存在， 則稱是， 二階矩過程的均值函數(shù)和相關(guān)二階函數(shù)定總義：是程 矩過存在的。1212( ),1, , ( ),( ),( )( ),nnX t tTnt ttTX tX tX tnX t tT 是一隨機過程，若它的每一個有限維分布 都是正態(tài)分布，即對任意整數(shù)及任意服從 維正態(tài)分布， 則稱是正態(tài)過程的全部統(tǒng)計特性完全由它的均值函數(shù)和自協(xié)方差正函定義：態(tài)過程數(shù)所確定。883, ( ), ,0,1 ,0,2 ,( ) A BX tAtB tTA BANBUX t 例 ：設(shè)是兩個隨機變量，試求隨機過程:的均值函數(shù)和自相關(guān)函數(shù)。如果相互獨立

58、，且問的均值函數(shù)和自相關(guān)函數(shù)又是怎樣的？ ( )( )XtE X t解： ( )( )tE AE B1212( , )( )( )XRt tE X t X t221 21212()() ()() ,t t E AttE ABE Bt tT0,1 ,0,2ANBU當(dāng)時，224( )0,()1,( )1,()3E AE AE BE B,A B又因為獨立，()( ) ( )0E ABE A E B故121 2124( )1,( , ) ,3XXtRt tt tt tT89( )() , (0,2 )X tacostt 例4：求隨機相位正弦波在上均勻分布 的均值函數(shù)、方差函數(shù)和自相關(guān)函數(shù)。 解：由假設(shè)

59、 的概率密度為：1212( , )( )( )XRt tE X t X t 1 022 0 f 其他( )( )XtE X t于是E acost20102acostd 212()()E a costcost221()2acostt221201()()2acostcostd 2122t ttacos t22( )( , )( )XXXtRt tt2( , )2XaRt t9025( ),(0,)( )X tAcos tBsin t tA BNX t 例 ：設(shè)其中是相互獨立,且 都服從正態(tài)分布的隨機變量， 是實常數(shù)， 試證明是正態(tài)過程,并求它的均值函數(shù)和自相關(guān)函數(shù)。 ( )X t解：是正態(tài)過程12

60、1122,( )( )( )nnnu uu u X tu X tu X t對任意一組數(shù) 服從一維正態(tài)分布112211( )( )( )nnnniiiiiiu X tu X tu X tAu cos tBu sin t而,( , )A BA B因為是相互獨立的正態(tài)變量，故是二維正態(tài)變量，( )X t所以是正態(tài)過程1212, ,( ),( ),( )nnt ttTX tX tX tn對任意一組實數(shù)服從 維正態(tài)分布11,nniiiiiiAu cos tBu sin tA B是的線性組合，因此它服從一維正態(tài)分布，續(xù)續(xù)91下面計算均值函數(shù)和自相關(guān)函數(shù):( )( )()0,E AE BE AB因為222(