Appendix A概率論統(tǒng)計(jì)學(xué)復(fù)習(xí)

1、概率論統(tǒng)計(jì)學(xué)復(fù)習(xí)摘要：本課程要求學(xué)生具有微積分、概率論和線性代數(shù)的基礎(chǔ)。本章只對(duì)其中概率論統(tǒng)計(jì)學(xué)的重要概念進(jìn)行簡(jiǎn)單的復(fù)習(xí)。閱讀材料： Wooldrige的Appendix A、B、C1、概率論的復(fù)習(xí)在現(xiàn)實(shí)生活中，我們常常遇到許多事先不能確定結(jié)果的現(xiàn)象，例如拋硬幣，拋之前無(wú)法確定是正面還是負(fù)面。世界的許多方面都存在隨機(jī)性，所謂“隨機(jī)性”就是事前無(wú)法知道結(jié)果，而一旦被揭示就會(huì)取定一個(gè)實(shí)現(xiàn)值，概率理論提供了有用的數(shù)學(xué)工具對(duì)隨機(jī)性進(jìn)行描述和定量分析。1.1 隨機(jī)變量與概率分布l 樣本空間所有可能結(jié)果組成的集合，通常記為；在樣本空間的每一個(gè)可能結(jié)果稱為基本事件，記為w。l 隨機(jī)變量定義在樣本空間上的單值

2、函數(shù)，即C(w)，通常簡(jiǎn)化為C。l 事件樣本空間的一個(gè)子集，即一個(gè)可能結(jié)果或多個(gè)可能結(jié)果組成的集合就稱為隨機(jī)事件，簡(jiǎn)稱事件。樣本空間是其本身的子集，稱為必然事件；空集Æ也是的子集，稱Æ為不可能事件。通常用隨機(jī)變量的取值或者取值范圍表示隨機(jī)事件，例如。l 概率描述事件發(fā)生可能性大小的數(shù)量指標(biāo)。事件A的概率記為P(A)。通常研究隨機(jī)變量各種取值情況的概率。隨機(jī)變量的全部概率特征稱為隨機(jī)變量的概率分布。l 離散隨機(jī)變量的概率分布通常用一個(gè)二維表格直觀描述離散隨機(jī)變量X的概率分布XP其中，伯努尼分布l 連續(xù)隨機(jī)變量的概率分布用密度函數(shù)描述；累計(jì)分布函數(shù) ；l 概率分布的數(shù)字特征期望

3、 記為或 對(duì)于離散變量，；對(duì)于連續(xù)變量，。方差 記為或 運(yùn)算規(guī)則：給定任意常數(shù)，；.標(biāo)準(zhǔn)差 或 矩 稱為變量X的階矩，時(shí)就是X的期望。1.2 聯(lián)合分布、條件分布與獨(dú)立性本課程的計(jì)量經(jīng)濟(jì)學(xué)就是以客觀經(jīng)濟(jì)系統(tǒng)中具有隨機(jī)性質(zhì)的經(jīng)濟(jì)關(guān)系為研究對(duì)象，也就是說(shuō)我們研究的是帶有隨機(jī)性的經(jīng)濟(jì)變量的關(guān)系。那么如何描述隨機(jī)變量之間的關(guān)系呢？l 聯(lián)合分布兩個(gè)隨機(jī)變量的聯(lián)合分布的密度函數(shù)為；X的邊際密度函數(shù)定義為；Y的邊際密度函數(shù)定義為。注意：如果是離散變量，則積分變?yōu)榍蠛?，密度函?shù)變?yōu)殡x散變量的概率分布即可。l 條件分布給定X，Y的條件密度函數(shù)定義為；同理給出X的條件密度函數(shù)。l 獨(dú)立性若，那么稱這兩個(gè)變量獨(dú)立。l

4、 聯(lián)合分布的數(shù)字特征協(xié)方差用于度量?jī)蓚€(gè)變量的線性相關(guān)程度，記為或； .意味著兩個(gè)變量同方向變動(dòng)，稱之為正相關(guān)；稱之為負(fù)相關(guān)；稱之為不相關(guān)。相關(guān)系數(shù) ；.如果獨(dú)立，那么，.l 條件分布的數(shù)字特征條件期望（重點(diǎn)！）協(xié)方差和相關(guān)系數(shù)衡量的是兩個(gè)隨機(jī)變量之間的線性相關(guān)關(guān)系，兩個(gè)變量在協(xié)方差和相關(guān)系數(shù)的定義公式中是對(duì)稱的。在經(jīng)濟(jì)學(xué)研究中，我們更感興趣的是用一個(gè)變量X去解釋另一個(gè)變量Y；而且Y和X的關(guān)系很有可能是非線性的。在前面已經(jīng)引入了“給定一個(gè)變量X，Y的條件密度函數(shù)”的概念，從條件分布我們可以知道變量X的變動(dòng)如何影響變量Y的分布。然而，研究變量的分布很復(fù)雜，一個(gè)好的辦法就是用一個(gè)簡(jiǎn)單的數(shù)字特征“給定

5、X，Y的條件期望”來(lái)總結(jié)出這個(gè)分布。條件期望在現(xiàn)代計(jì)量分析中扮演了一個(gè)很重要的角色，本課程的全部?jī)?nèi)容都是講解如何在條件期望上進(jìn)行系數(shù)估計(jì)和假設(shè)檢驗(yàn)。給定X，Y的條件期望定義為 .條件期望的性質(zhì)：1）對(duì)于任意的函數(shù)，；2）對(duì)于任意的函數(shù)和，；3）若X和Y獨(dú)立，那么；4)若，那么5）若以及某一函數(shù)有，那么；其中6）（迭代期望法則，LIE）.條件方差如果X和Y獨(dú)立，那么.1.3 各種常見分布l 正態(tài)分布通常記為xN(m,s)，其密度函數(shù)為；令，那么服從標(biāo)準(zhǔn)正態(tài)分布N(0,1)，l 卡方分布假設(shè)n個(gè)變量XiN(0,1)，那么；l t-分布假設(shè)兩個(gè)獨(dú)立的隨機(jī)變量ZN(0,1)， y ，那么l F-分布假

6、設(shè)和是兩個(gè)獨(dú)立的卡方分布，那么3、統(tǒng)計(jì)學(xué)的復(fù)習(xí)3.1 基本概念l 總體、參數(shù)、隨機(jī)樣本所謂總體就是一個(gè)隨機(jī)變量X（或一個(gè)隨機(jī)向量）；X的分布函數(shù)通常記為；其中就是待估計(jì)的參數(shù)。在計(jì)量經(jīng)濟(jì)學(xué)中，也稱數(shù)據(jù)生成過(guò)程。在進(jìn)行n次重復(fù)獨(dú)立實(shí)驗(yàn)后，得到總體X的n個(gè)觀察值，而在實(shí)驗(yàn)之前，實(shí)際上是相互獨(dú)立均與總體X同分布的n個(gè)隨機(jī)變量。稱為總體X的容量為n的簡(jiǎn)單隨機(jī)樣本，簡(jiǎn)稱樣本；稱為樣本的觀察值，簡(jiǎn)稱樣本值。l 統(tǒng)計(jì)量如果是的連續(xù)函數(shù)，且其中不含有任何未知參數(shù)，則稱為一個(gè)統(tǒng)計(jì)量。常見的統(tǒng)計(jì)量有：樣本均值 ；樣本方差；樣本標(biāo)準(zhǔn)差；樣本k階原點(diǎn)矩 ；樣本k階中心矩。假設(shè)，是某個(gè)X和Y聯(lián)合分布的樣本，那么樣本協(xié)方

7、差 樣本相關(guān)系數(shù) 注意! 相關(guān)系數(shù)只衡量了X和Y的線性關(guān)系，不能反映非線性關(guān)系。可以先用散點(diǎn)圖觀察兩者的大概關(guān)系。圖1 圖2圖3 圖4l 樣本分布任何一個(gè)統(tǒng)計(jì)量W都是一組隨機(jī)變量的函數(shù)，因此W也是一個(gè)隨機(jī)變量，對(duì)應(yīng)著某一特定的概率分布，把這些概率分布稱為樣本分布?？傮w為正態(tài)分布的統(tǒng)計(jì)量的樣本分布假設(shè)總體X服從正態(tài)分布，那么樣本均值的樣本分布就是，而且可以推出：1）， 2）3）4）5）假設(shè)是總體X的隨機(jī)樣本，是總體Y的隨機(jī)樣本，并且X和Y獨(dú)立；那么隨機(jī)變量。l 點(diǎn)估計(jì)構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量，當(dāng)樣本獲得觀察值時(shí)，用統(tǒng)計(jì)量的觀察值作為未知參數(shù)的估計(jì)值，則稱這樣的估計(jì)方法為點(diǎn)估計(jì)，并稱為的估計(jì)量。2.2點(diǎn)估計(jì)的估計(jì)方法和評(píng)價(jià)指標(biāo)l 最小二乘法舉例：設(shè)為總體X的樣本，求出m，使得最小化，求得。l 矩估計(jì)設(shè)為總體X的樣本，為X的分布函數(shù)，為k個(gè)未知參數(shù)。如果總體矩存在，則不妨設(shè)，并令，j=1,2,.,k。由此k個(gè)方程解出k個(gè)未知參數(shù)，其解就是的矩估計(jì)量。例子：假設(shè)總體，利用樣本求出參數(shù)和的矩估計(jì)量?？傮w矩 樣本矩 令總體矩等于樣本矩，求出，l 極大似然函數(shù)估計(jì)設(shè)為總體X的樣本，為X的分布密度函數(shù)，為k維未知參數(shù)向量。記，稱為的似然函數(shù)，稱使得取得最大值的為的最大似然估計(jì)量。l 點(diǎn)估計(jì)的有限樣本評(píng)價(jià)指標(biāo)（無(wú)偏）設(shè)=是的一個(gè)估計(jì)量，若對(duì)的任意值，都有，則稱是的無(wú)偏估