計(jì)量經(jīng)濟(jì)學(xué)數(shù)學(xué)基礎(chǔ)

1、計(jì)量經(jīng)濟(jì)學(xué)數(shù)學(xué)基礎(chǔ)數(shù)學(xué)基礎(chǔ) (Mathematics)第一節(jié) 矩陣(Matrix)及其二次型(Quadratic Forms)第二節(jié) 分布函數(shù)(Distribution Function)，數(shù)學(xué)期望(Expectation)及方差(Variance)第三節(jié) 數(shù)理統(tǒng)計(jì)（Mathematical Statistics）第一節(jié) 矩陣及其二次型(Matrix and its Quadratic Forms)1.1 矩陣的基本概念與運(yùn)算一個(gè)m×n矩陣可表示為：矩陣的加法較為簡(jiǎn)單，若C=A+B，cij=aij+bij但矩陣的乘法的定義比較特殊，若A是一個(gè)m×n1的矩陣，B是一個(gè)n1&#

2、215;n的矩陣，則C=AB是一個(gè)m×n的矩陣，而且，一般來(lái)講，ABBA，但如下運(yùn)算是成立的：l 結(jié)合律（Associative Law） (AB)C=A（BC）l 分配律（Distributive Law） A(B+C)=AB+AC問(wèn)題：(A+B)2=A2+2AB+B2是否成立？向量（Vector）是一個(gè)有序的數(shù)組，既可以按行，也可以按列排列。 行向量(row vector)是只有一行的向量，列向量(column vector)只有一列的向量。如果是一個(gè)標(biāo)量，則A=aij。矩陣的轉(zhuǎn)置矩陣(transpose matrix)記為，是通過(guò)把的行向量變成相應(yīng)的列向量而得到。顯然()=，而

3、且（+）=+，l 乘積的轉(zhuǎn)置（Transpose of production ） ，。l 可逆矩陣（inverse matrix），如果n級(jí)方陣(square matrix)A和B，滿足AB=BA=I。則稱A、B是可逆矩陣，顯然，。如下結(jié)果是成立的：。1.2 特殊矩陣1）恒等矩陣(identity matrix)對(duì)角線上元素全為1，其余全為0，可記為I；2）標(biāo)量矩陣(scalar matrix)即形如I的矩陣，其中是標(biāo)量；3）冪等矩陣(idempotent matrix)如果矩陣具有性質(zhì)，這樣的矩陣稱為冪等矩陣。定理：冪等矩陣的特征根要么是1，要么是零。4）正定矩陣（positive defi

4、nite）和負(fù)定矩陣（negative definite），非負(fù)定矩陣(nonnegative)或半正定矩陣（positive semi-definite ），非正定矩陣(nonpositive definite)或半負(fù)定矩陣（negative semi-definite）；對(duì)于任意的非零向量，如有0（0），則稱A是正（負(fù)）定矩陣；如有0（0），非負(fù)（非正）定矩陣。如果A是非負(fù)定的，則記為A0；如果是正定的，則記為A0。協(xié)方差矩陣是半正定矩陣，幾個(gè)結(jié)論：a）恒等矩陣或單位矩陣是正定的；b）如果是正定的，則也是正定的；c）如果是正定的，是可逆矩陣，則是正定的；d）如果是一個(gè)n×m矩陣，

5、且nm，則是正定的，是非負(fù)定矩陣。5）對(duì)稱矩陣（symmetric matrix）；如果=，則稱為對(duì)稱矩陣。1.3 矩陣的跡（trace）一個(gè)n×n矩陣的跡被定義為它的對(duì)角線上的元素之和，記為，則，如下結(jié)論是顯然的。1） （是標(biāo)量） 特例2）3）4），特例）循環(huán)排列原則tr(ABCD)=tr(BCDA)=tr(CDAB)=tr(DABC)定理：實(shí)對(duì)稱矩陣A的跡等于它的特征根之和。因?yàn)锳是實(shí)對(duì)稱矩陣，故有在矩陣C，使得，其中，所以，。1.4 矩陣的秩(rank)一個(gè)矩陣A的行秩和列秩一定相等，一個(gè)矩陣的秩就可以定義為它的行秩或列秩，記為r(A)，不加證明，我們給出如下結(jié)果：1）（行數(shù)、

6、列數(shù)）2），其中A、B分別為m×n1、n1×n矩陣，特例：如果A、B為n×n矩陣，而且AB=0，則3），其中是n×n的方陣4）5）設(shè)是n×n矩陣，且，則6）設(shè)是n×n矩陣，且，則1.5 統(tǒng)計(jì)量的矩陣表示向量可理解為特殊的矩陣。是一個(gè)其元素都為1的n維列向量，即=（1，1，1），如果我們?cè)偌俣?，?jì)量經(jīng)濟(jì)模型中的許多統(tǒng)計(jì)量就可以用矩陣的形式表示出來(lái)，很方便進(jìn)行數(shù)學(xué)推導(dǎo)。顯而易見(jiàn)，樣本的均值與方差的矩陣表示如下：1）樣本均值矩陣表示；事實(shí)上即，而，；2）樣本方差矩陣表示易知：。其中矩陣是一個(gè)每個(gè)元素都為的階方陣，從而。矩陣的對(duì)角線上的元素為

7、，非對(duì)角線的元素為，是一個(gè)對(duì)稱矩陣。故樣本方差： 。定理：矩陣是冪等矩陣。1.6 矩陣的二次型與多元正態(tài)分布1）矩陣的二次型（Quadratic Forms）和線性變換（lineartransferring）設(shè)P是一數(shù)域，一個(gè)系數(shù)在數(shù)域P中的的二次齊次多項(xiàng)式 （1）稱為數(shù)域P上的一個(gè)n元二次型，或者，在不致引起混淆時(shí)簡(jiǎn)稱二次型。例如就是有理數(shù)域上的一個(gè)三元二次型，為了以后討論上的方便，在（1）中，的系數(shù)寫在。而不簡(jiǎn)單地寫成。和在幾何中一樣，在處理許多其它問(wèn)題時(shí)也常常希望通過(guò)變量的線性替換簡(jiǎn)化有關(guān)的二次型，為此，我們引入定義1 設(shè)；是兩組文字，系數(shù)在數(shù)域P中的一級(jí)關(guān)系式 （2）稱為由，到的一個(gè)線

8、性替換，或簡(jiǎn)稱線性替換，如果系數(shù)行列式那么線性替換（2）就稱為非退化的。在討論二次型時(shí)，矩陣是一個(gè)有力的工具，因此我們先把二次型與線性替換用矩陣來(lái)表示。令， 由于所以二次型（1）可以寫成 （3）把（3）的系數(shù)排成一個(gè)n×n矩陣 （4）它就稱為二次型（3）的矩陣，因?yàn)椋晕覀儼堰@樣的矩陣稱為對(duì)稱矩陣，因此，二次型的矩陣都是對(duì)稱的。令于是，二次型可以用矩陣的乘積表示出來(lái)，故 應(yīng)該看到，二次型（1）的矩陣的元素正是它的項(xiàng)的系數(shù)的一半，因此二次型和它的矩陣是相互唯一決定的，由此還能得到，若二次型且，則。令于是線性替換（2）可以寫成或者我們知道，經(jīng)過(guò)一個(gè)非退化的線性替換，二次型還是變成二次型

9、，現(xiàn)在就來(lái)看一下，替換后的二次型與原來(lái)的二次型之間有什么關(guān)系，也就是說(shuō)，找出替換后的二次的矩陣與原二次型的矩陣之間的關(guān)系。設(shè) （5）是一個(gè)二次型，作非退化線性替換 （6）我們得到一個(gè)的二次型現(xiàn)在來(lái)看矩陣B與A的關(guān)系。把（6）代入（5），有 容易看出，矩陣也是對(duì)稱的，事實(shí)上，由此，即得這就是前后兩個(gè)二次型的矩陣的關(guān)系，與之相應(yīng)，我們引入定義2 數(shù)域P上n×n矩陣A，B稱為合同的，如果有數(shù)域P上可逆的n×n矩陣C，使合同是矩陣之間的一個(gè)關(guān)系，不難看出，合同關(guān)系具有1）反身性：；2）對(duì)稱性：由即得；3）傳遞性：由即得因之，經(jīng)過(guò)非退化的線性替換，新二次型的矩陣與原二次型的矩陣是合同

10、的。這樣，我們就把二次型的變換通過(guò)矩陣表示出來(lái)，為以下的探討提供了有力的工具。最后指出，在變換二次型時(shí)，我們總是要求所作的線性替換是非退化的。從幾何上看，這一點(diǎn)是自然的，因?yàn)樽鴺?biāo)變換一定是非退化的，一般地，當(dāng)線性替換是非退化時(shí)，由上面的關(guān)系即得這也是一個(gè)線性替換，它把所得的二次型還原。這樣就使我們從所得二次型的性質(zhì)可以推知原來(lái)二次型的一些性質(zhì)。定理：若A是實(shí)對(duì)稱矩陣，則存在可逆矩陣C，滿足：。2）多元正態(tài)分布a）二元正態(tài)分布直觀上，二元正態(tài)分布是兩個(gè)正態(tài)隨機(jī)變量的聯(lián)合分布。如果兩個(gè)隨機(jī)變量X1和X2的聯(lián)合密度函數(shù)為這里，0，0，1，我們稱X1和X2服從二元正態(tài)分布。通過(guò)計(jì)算可得X1和X2的邊際

11、分布分別為和。上式中的參數(shù)是X1和X2的相關(guān)系數(shù)。如果X1和X2服從二元正態(tài)分布，那么在給定的條件下X2的條件分布也是正態(tài)的。它的條件密度函數(shù)為這里條件均值是的線性函數(shù)。并且，二元正態(tài)分布具有一個(gè)獨(dú)特的性質(zhì)，那就是如果，那么X1和X2是相互獨(dú)立的。這是由于當(dāng)時(shí)，我們有。這對(duì)于一般的兩個(gè)隨機(jī)變量是不對(duì)的。有時(shí)如果把聯(lián)合概率密度函數(shù)寫成矩陣的形式，則從形式上來(lái)看就簡(jiǎn)單多了。記，那么二元正態(tài)概率密度函數(shù)可以寫成如下的簡(jiǎn)單形式這里b）多元正態(tài)分布，這就是均值為協(xié)方差矩陣為的多元正態(tài)分布，記為。c）多元正態(tài)分布的二次型的分布如果，那么這里n是X的維數(shù)。我們可以簡(jiǎn)單地證明這個(gè)結(jié)果。由于是對(duì)稱可逆矩陣，那么

12、存在一個(gè)可逆的矩陣A，使得。我們有，所以。1.7 冪等矩陣與二次型1、冪等矩陣滿足A2=A的矩陣稱為冪等矩陣。冪等矩陣可以是對(duì)稱的，也可以是非對(duì)稱的，但在我們計(jì)量統(tǒng)計(jì)學(xué)中，所研究的冪等矩陣都是對(duì)稱的。與冪等矩陣的有關(guān)的結(jié)果有：1）冪等矩陣的特征根要么是1，要么是零。證明：設(shè)是A的特征根，則AE=，同時(shí)=A=A2=，故，從而或。2）唯一滿秩的對(duì)稱冪等矩陣是單位矩陣。證明：A2=A即除了單位矩陣外，所有冪等矩陣是奇異的。3）A是冪等矩陣，則IA也是冪等矩陣，且秩（A）+秩（IA）=n。4）對(duì)稱冪等矩陣的秩等于它的跡。從而我們很容易知道M0的秩。因M0的每個(gè)對(duì)角元素都是，因此。5）的服從分布（如果這

13、是因?yàn)椋汉汀?） X是一個(gè)n×m的矩陣，秩（X）=m則M是冪等矩陣。1.8 微分及其矩陣的微分表示1）微分的應(yīng)用微分的應(yīng)用在經(jīng)濟(jì)學(xué)領(lǐng)域中被廣泛地用來(lái)作近似計(jì)算。為了說(shuō)明這種技巧如何運(yùn)作，考慮一個(gè)例子。設(shè)P代表GDP平減指數(shù)，Y代表實(shí)際GDP，則名義GDP為P×Y，于是有：（P×Y）變動(dòng)的百分比的（P變動(dòng)的百分比）+（Y變動(dòng)的百分比）；同樣一個(gè)比率變動(dòng)的百分比近似地是分子變動(dòng)的百分比減去分母變動(dòng)的百分比。例如：設(shè)Y代表GDP，而L代表人口數(shù)，則人均GDP為，則：（Y/L）變動(dòng)的百分比（Y變動(dòng)的百分比）（L變動(dòng)的百分比）問(wèn)題1：1）上述2個(gè)近似公式在什么條件下成立？2

14、）推導(dǎo)上述兩個(gè)公式3）宏觀經(jīng)濟(jì)中，GDP的確定由4個(gè)組成部分，即：GDP=C+I+G+NX。能否按如下公式計(jì)算GDP變動(dòng)百分比：GDP變動(dòng)的百分比（消費(fèi)C變動(dòng)的百分比）+（投資I變?yōu)榈陌俜直龋?（政府購(gòu)買G變動(dòng)的百分比）+（凈出口NX變動(dòng)百分比）。如果不能，哪邊的值較大？為什么？2）計(jì)量模型的推導(dǎo)帶技術(shù)進(jìn)步的Solow模型假定生產(chǎn)函數(shù)為?？怂梗℉icks）中性技術(shù)進(jìn)步條件下的產(chǎn)出增長(zhǎng)型函數(shù)，其一般形式Solow模型為： （1）對(duì)A（t）作進(jìn)一步假定，令，這里A0為基本的技術(shù)水平，表示由于技術(shù)進(jìn)步而使產(chǎn)出增長(zhǎng)的部分，稱為技術(shù)進(jìn)步增長(zhǎng)率。于是（1）式變?yōu)椋?（2）對(duì)（2）式兩邊取對(duì)數(shù)并求導(dǎo)得到：

15、（3）由于Y、L、K的實(shí)際數(shù)據(jù)都是離散的，故對(duì)（3）進(jìn)行離散化，并令年，于是有： （4）表示產(chǎn)出的勞動(dòng)力彈性，表示產(chǎn)出的資本彈性。于是（4）式實(shí)際上就是我們的科技進(jìn)步貢獻(xiàn)率的測(cè)算模型，注意到：這里表示科技進(jìn)步對(duì)產(chǎn)出增長(zhǎng)的貢獻(xiàn)率，表示勞動(dòng)力增長(zhǎng)對(duì)產(chǎn)出增長(zhǎng)的貢獻(xiàn)率，表示資本增長(zhǎng)對(duì)產(chǎn)出增長(zhǎng)的貢獻(xiàn)率。從而有： （5）（5）式就給出了技術(shù)進(jìn)步貢獻(xiàn)率的測(cè)算公式。通過(guò)假定一定規(guī)模報(bào)酬不變，即這一條件，比較合理有效地預(yù)防或克服了變量間可能出現(xiàn)的共線性。由（4）式，根據(jù)，有：設(shè)，則有： （6）一般來(lái)講，只要D1序列不存在異方差性，（6）式就是測(cè)算科技進(jìn)步增長(zhǎng)率所用的最終模型。3）矩陣的微分如果或?qū)懗?，那么梯度?/p>

16、量為二階偏導(dǎo)數(shù)矩陣為特別地，如果，那么同樣地可得如果A是對(duì)稱矩陣，那么一般地，有4）矩陣的分塊（partitioned matrix）在表述一個(gè)矩陣的元素時(shí)如構(gòu)造一個(gè)方程組將一些元素以子矩陣的形式進(jìn)行分組有時(shí)是有用的，例如，我們可以寫 A稱為一個(gè)分塊矩陣，子矩陣的下標(biāo)和矩陣中的元素的下標(biāo)按同樣方式定義，一個(gè)普通的特殊情形是分塊對(duì)角矩陣。其中A11和A22都是方陣。分塊矩陣的加法和乘法加法和乘法可以推廣到分塊矩陣，對(duì)一致的分塊矩陣A和B有： （1）和 （2）其中所有矩陣必須適于所用運(yùn)算，對(duì)于加法，Aij和Bij的階數(shù)必須相同；在乘法中，對(duì)所有的數(shù)對(duì)i和j，Aij的列數(shù)必須等于Bij的行數(shù)，即矩陣

17、相乘所必需的條件都要得到滿足。兩個(gè)經(jīng)常遇到的情況是如下的形式： （3）和 （4）分塊矩陣的行列式類似于對(duì)角矩陣的行列式，分塊對(duì)角矩陣的行列式可以得到 （5）一個(gè)一般的2×2分塊矩陣的結(jié)果為： （6）大于2×2分塊矩陣的結(jié)果極其繁瑣，且在我們的工作中也不必要。分塊矩陣的逆分塊對(duì)角矩陣的逆是： （7）這可由直接相乘證實(shí)。對(duì)一般的2×2分塊矩陣，分塊逆的一個(gè)形式是： （8）其中這可以最簡(jiǎn)單地用逆去乘A來(lái)證實(shí)。由于計(jì)算的對(duì)稱性，左上塊可以寫作：?jiǎn)栴}：請(qǐng)推倒上面的公式（5）、（6）、（7）和（8）。對(duì)均值的偏差上述內(nèi)容的一個(gè)有用的應(yīng)用是如下的計(jì)算：假設(shè)我們從一個(gè)n個(gè)元素的列

18、向量x開(kāi)始。且令 我們關(guān)心的是A-1中的右下角元素，根據(jù)（8）中F2的定義，這將是 所以，逆矩陣中的右下角值是現(xiàn)在，假設(shè)以含有若干列的矩陣X代替只有一列的x，我們要求ZZ-1中的右下塊，這里Z=i,X，類似的結(jié)果是這暗示著ZZ-1的右下塊，K×K矩陣是第jk元素為的K×K矩陣的逆，這樣，當(dāng)一個(gè)數(shù)據(jù)矩陣含有一列1時(shí)，平方和及交叉積矩陣的逆的元素將用原始數(shù)據(jù)以對(duì)其相對(duì)應(yīng)列均值的離差的形式計(jì)算得出。第二節(jié) 分布函數(shù)(Distribution function)、數(shù)學(xué)期望(Expectation)與方差(Variance)本節(jié)主要介紹概率及其分布函數(shù)，數(shù)學(xué)期望，方差等方面的基礎(chǔ)知識(shí)

19、。一、概率(Probability)1、概率定義(Definition of Probability)在自然界和人類社會(huì)中有著兩類不同的現(xiàn)象，一類是決定性現(xiàn)象，其特征是在一定條件必然會(huì)發(fā)生的現(xiàn)象；另一類是隨機(jī)現(xiàn)象，其特征是在基本條件不變的情況下，觀察到或試驗(yàn)的結(jié)果會(huì)不同。換句話說(shuō)，就個(gè)別的試驗(yàn)或觀察而言，它會(huì)時(shí)而出現(xiàn)這種結(jié)果，時(shí)而出現(xiàn)那樣結(jié)果，呈現(xiàn)出一種偶然情況，這種現(xiàn)象稱為隨機(jī)現(xiàn)象。隨機(jī)現(xiàn)象有其偶然性的一面，也有其必然性的一面，這種必然性表現(xiàn)為大量試驗(yàn)中隨機(jī)事件出現(xiàn)的頻率的穩(wěn)定性，即一個(gè)隨機(jī)事件出現(xiàn)的頻率常在某了固定的常數(shù)附近變動(dòng)，這種規(guī)律性我們稱之為統(tǒng)計(jì)規(guī)律性。頻率的穩(wěn)定性說(shuō)明隨機(jī)事件發(fā)生

20、可能性大小是隨機(jī)事件本身固定的，不隨人們意志而改變的一種客觀屬性，因此可以對(duì)它進(jìn)行度量。對(duì)于一個(gè)隨機(jī)事件A，用一個(gè)數(shù)P（A）來(lái)表示該事件發(fā)生的可能性大小，這個(gè)數(shù)P（A）就稱為隨機(jī)事件A的概率，因此，概率度量了隨機(jī)事件發(fā)生的可能性的大小。對(duì)于隨機(jī)現(xiàn)象，光知道它可能出現(xiàn)什么結(jié)果，價(jià)值不大，而指出各種結(jié)果出現(xiàn)的可能性的大小則具有很大的意義。有了概率的概念，就使我們能對(duì)隨機(jī)現(xiàn)象進(jìn)行定量研究，由此建立了一個(gè)新的數(shù)學(xué)分支概率論。概率的定義定義在事件域F上的一個(gè)集合函數(shù)P稱為概率，如果它滿足如下三個(gè)條件：（i）P（A）0，對(duì)一切F（ii）P（）=1；（iii）若，i=1,2，且兩兩互不相容，則性質(zhì)（iii）

21、稱為可列可加性（conformable addition）或完全可加性。推論1：對(duì)任何事件A有；推論2：不可能事件的概率為0，即；推論3：。2、條件概率(Conditional Probability)如果P（B）0，記，稱P（A|B）為在事件B發(fā)生的條件下事件A發(fā)生的條件概率。轉(zhuǎn)化后有：如果（P（A）0），稱為概率的乘法原理。推廣后的乘法原理：其中0。3、全概率公式與貝葉斯（Bayes）公式設(shè)事件A1，A2，An是樣本空間的一個(gè)分割，即AiAj=，ij，而且：。從而，這里AiB也兩兩互不相容。則。這個(gè)公式稱為全概率公式。由于故再利用全概率公式即得這個(gè)公式稱為貝葉斯公式。貝葉斯公式在概率論和數(shù)

22、理統(tǒng)計(jì)中有著多方面的應(yīng)用，假定A1，A2，是導(dǎo)致試驗(yàn)結(jié)果的“原因”，P（Ai）稱為先驗(yàn)概率，它反映了各種“原因”發(fā)生的可能性大小，一般是以往經(jīng)驗(yàn)的總結(jié)，在這次試驗(yàn)前已經(jīng)知道，現(xiàn)在若試驗(yàn)產(chǎn)生了事件B，這個(gè)信息將有助于探討事件發(fā)生的“原因”，條件概率P（Ai|B）稱為后驗(yàn)概率，它反映了試驗(yàn)之后對(duì)各種“原因”發(fā)生的可能性大小的新知識(shí)。4、事件(Random event)獨(dú)立性(Independence)1）兩個(gè)事件的獨(dú)立性定義 對(duì)事件A及B，若P（AB）=P（A）P（B）則稱它們是統(tǒng)計(jì)獨(dú)立的，簡(jiǎn)稱獨(dú)立的。推論1 若事件獨(dú)立，且P（B）0，則P（A|B）=P（A）證明由條件概率定義因此，若事件A，B相

23、互獨(dú)立，由A關(guān)于B的條件概率等于無(wú)條件概率P（A），這表示B的發(fā)生對(duì)于事件A是否發(fā)生沒(méi)有提供任何消息，獨(dú)立性就是把這種關(guān)系從數(shù)學(xué)上加以嚴(yán)格定義。推論2 若事件A與B獨(dú)立，則下列各對(duì)事件也相互獨(dú)立：證明 由于 所以與B相互獨(dú)立，由它立刻推出與相互獨(dú)立，由又推出A，相互獨(dú)立。2）多個(gè)事件的獨(dú)立性定義 對(duì)n個(gè)事件A1，A2，An，若對(duì)于所有可能的組合1ijn成立著則稱A1，A2，An相互獨(dú)立。這里第一行有個(gè)式子，第二行有個(gè)式子，等等，因此共應(yīng)滿足個(gè)等式。二、隨機(jī)變量(Random Variable)和概率分布函數(shù)(Probability Distribution Function)1、隨機(jī)變量(Ra

24、ndom Variable)如果A為某個(gè)隨機(jī)事件，則一定可以通過(guò)如下示性函數(shù)使它與數(shù)值發(fā)生聯(lián)系：這樣試驗(yàn)的結(jié)果就能有一個(gè)數(shù)來(lái)表示，這個(gè)數(shù)是隨著試驗(yàn)的結(jié)果的不同而變化，也即它是樣本點(diǎn)的一個(gè)函數(shù)，這種量以后稱為隨機(jī)變量，隨機(jī)變量可分為離散型隨機(jī)變量和連續(xù)型隨機(jī)變量。2、概率分布函數(shù)（p.d.f=probability density function）稱F（x）=Px，x為隨機(jī)變量的分布函數(shù)cdf，對(duì)于連續(xù)型隨機(jī)變量，存在可能函數(shù)f(x)，使，f（x）稱為隨機(jī)變量的（分布）密度函數(shù)（density function）。3、隨機(jī)向量（Random Vector）及其分布在有些隨機(jī)現(xiàn)象中，每次試驗(yàn)的結(jié)

25、果不能只用一個(gè)數(shù)來(lái)描述，而要同時(shí)用幾個(gè)數(shù)來(lái)描述。試驗(yàn)的結(jié)果將是一個(gè)向量（1，2，n），稱n維隨機(jī)向量。隨機(jī)向量的聯(lián)合分布函數(shù)也有離散型與連續(xù)型的分別，在離散型場(chǎng)合，概率分布集中在有限或可列個(gè)點(diǎn)上，多項(xiàng)分布，就是一個(gè)例子；在連續(xù)型場(chǎng)合，存在著非負(fù)函數(shù)f(x1,x2,xn)，使這里的f(x1，xn)稱為密度函數(shù)，滿足如下兩個(gè)條件0一般地，若(,)是二維隨機(jī)向量，其分布函數(shù)為F(x,y)，我們能由F(x,y)得出或的分布函數(shù)，事實(shí)上，同理F1(x)及F2(y)稱為F(x,y)的邊際分布函數(shù)（Marginal Distribution Function）。例 若F(x,y)是連續(xù)型分布函數(shù)，有密度函數(shù)

26、f(x,y)，那么因此F1(x)是連續(xù)型分布函數(shù)，其密度函數(shù)為同理F2(x)是連續(xù)型分布函數(shù)，其密度函數(shù)為f1(x)及f2(y)的邊際分布密度函數(shù)。二元正態(tài)分布 函數(shù)這里a,b,，r為常數(shù)，0，0，|r|1，稱為二元正態(tài)分布密度函數(shù)。定理：二元正態(tài)分布的邊際分布仍為正態(tài)分布。條件分布(Conditional Distribution)離散型：若已知=xi，（p1(xi)0）則事件=yi的條件概率為這式子定義了隨機(jī)變量關(guān)于隨機(jī)變量的條件分布。連續(xù)型：在給定=x的條件下，的分布密度函數(shù)為同理可行在給定=y的條件下，的分布密度函數(shù)為這里當(dāng)然也要求f2(y)0定理：二元正態(tài)分布的條件分布仍然是正態(tài)分布

27、其均值 是x的線性函數(shù)，這個(gè)結(jié)論在一些統(tǒng)計(jì)問(wèn)題中很重要。4、隨機(jī)變量的獨(dú)立性定義 設(shè)1，n為n個(gè)隨機(jī)變量，若對(duì)于任意的x1，xn成立 （1）則稱是相互獨(dú)立的。若的分布函數(shù)為，它們的聯(lián)合分布函數(shù)為，則（1）等價(jià)于對(duì)一切x1,xn成立在這種場(chǎng)合，由每個(gè)隨機(jī)變量的（邊際）分布函數(shù)可以唯一地確定聯(lián)合分布函數(shù)(Joint Distribution Function)。對(duì)于離散型隨機(jī)變量，（1）等價(jià)于任何一組可能取的值（x1,xn）成立對(duì)于連續(xù)型隨機(jī)變量，條件（1）的等價(jià)形式是對(duì)一切x1,xn成立這里f(x1,xn)是聯(lián)合分布密度函數(shù)(Joint density function)，而fi(xi)是各隨機(jī)

28、變量的密度函數(shù)。此外，注意到若相互獨(dú)立，則其中的任意r(2rn）個(gè)隨機(jī)變量也相互獨(dú)立，例如，我們證明相互獨(dú)立。隨機(jī)變量的獨(dú)立性概念是概率論中最基本的概念之一，也是最重要的概念之一。5、隨機(jī)向量變換(Transformation)及其分布若的密度函數(shù)為，求的分布，這時(shí)有 （1）若對(duì)存在唯一的反函數(shù)，且的密度函數(shù)為，那么 （2）比較（1）與（2）可知其中J為坐標(biāo)變換的雅可比行列式(Jacobian Determinant)這里，我們假定上述偏導(dǎo)數(shù)存在而且連續(xù)。隨機(jī)變量的函數(shù)的獨(dú)立性定理 若1，n是相互獨(dú)立的隨機(jī)變量，則也是相互獨(dú)立的，這里是任意的一元函數(shù)。三、數(shù)字期望及方差1、數(shù)學(xué)期望一般地，如果

29、X是隨機(jī)變量，它的概率密度函數(shù)為f(x)，那么它的期望值為在許多問(wèn)題中我們不僅需要知道EX，而且還想知道X的某個(gè)函數(shù)g(X)的數(shù)學(xué)期望。我們可以用同樣的方法定義多元隨機(jī)變量的函數(shù)的數(shù)學(xué)期望。假設(shè)隨機(jī)變量X1，X2，Xn的聯(lián)合概率密度函數(shù)為，那么如果隨機(jī)變量是離散的，那么上面公式里的積分號(hào)用和號(hào)代替。利用這個(gè)定義我們可以得到下列結(jié)果（1）如果a0,a1,an是常數(shù)，那么（2）如果X1，X2，Xn是相互獨(dú)立的隨機(jī)變量，那么2、方差(Variance)與協(xié)方差(Covariance)一個(gè)隨機(jī)變量X的r階中心矩被定義為記為。如果被稱為X的分布的方差或X的方差，常常記為。的正平方根被稱為X的標(biāo)準(zhǔn)差。關(guān)于

30、方差，我們有一個(gè)有用的公式X和Y之間的協(xié)方差，記為或X和Y之間的協(xié)方差是對(duì)它們之間的相關(guān)性的一個(gè)測(cè)度。如果X和Y是相互獨(dú)立的，那么=0。這導(dǎo)致下面的相關(guān)系數(shù)的定義，X和Y之間的相關(guān)系數(shù)記為被定義為由這個(gè)定義，的取值一定在-1和1之間。如果X和Y是相互獨(dú)立的，那么=0。如果Y=aX+b，這里a,b是不等于0的常數(shù)，那么|XY|=1，此時(shí)，我們說(shuō)X和Y是完全相關(guān)的。X和Y的值越接近線性關(guān)系，|XY|值接近1。利用這些定義，我們可以得到下面的結(jié)果：如果a0,a1,an是常數(shù)，X1，X2，Xn是隨機(jī)變量，那么特別地，有3、隨機(jī)向量的協(xié)方差矩陣對(duì)于隨機(jī)向量而言，我們可以相似地定義它的期望和協(xié)方差矩陣。用

31、X表示隨機(jī)變量組成的向量，即假設(shè)。那么X的期望值為也即是一個(gè)隨機(jī)向量的期望值等于它的各個(gè)分量的期望值組成的向量。我們定義一個(gè)隨機(jī)向量X的協(xié)方差矩陣(Covariance Matrix)如下X的協(xié)方差矩陣常常記為，它是一個(gè)正定矩陣，如下是證明：對(duì)于任意的不為零的向量， 我們構(gòu)造一個(gè)變量那么Y的方差，即證明了是非負(fù)定的。線性變換后的向量的均值與協(xié)方差如果P是一個(gè)m×n常數(shù)矩陣，mn，那么Z=PX是一個(gè)m維隨機(jī)向量，可以得到a）b） 四、條件分布(Conditional Distribution)、條件數(shù)學(xué)期望(Conditional Expectation)及其條件方差（Conditio

32、nal Variance）條件均值（Conditional Mean）是條件分布的均值，其定義為條件均值函數(shù)。條件方差（Conditional Variance）條件方差是條件分布的方差： 或（離散時(shí)）利用下式可以簡(jiǎn)化計(jì)算并且有： 記號(hào)Ex·表示對(duì)X的值的期望。幾個(gè)重要的公式1）、思考：是否成立？2）、3）、方差分解公式(Decomposition of Variance ) 推導(dǎo)：分兩步，先證明i）這是因?yàn)椋?進(jìn)而有 我們考察 ii）對(duì)于任意Y有：因?yàn)閄與E（Y|X）是不相關(guān)，故而 我們得到方差分解公式：方差分解結(jié)果表明，在雙變量分布中，y的變差出自兩個(gè)來(lái)源：1、由于Ey|x隨x變

33、化的事實(shí)所產(chǎn)生的變差為回歸方差（Regression Variance）：回歸方差=VarxEy|x2、由于在每一條件分布中，y都圍繞條件均值變化而產(chǎn)生的變差為殘差方差(Residual Variance)：殘差方差=ExVary|x這樣， Vary=回歸方差 + 殘差方差。由方差分解公式，我們得到，這個(gè)是非常重要的公式，它常被應(yīng)用到尋求最小方差估計(jì)量的方法中.我們可以看一個(gè)實(shí)際的例子。例子 設(shè)X和Y服從二元正態(tài)分布聯(lián)合分布，我們已經(jīng)知道，在給定X的條件下，其條件分布仍然是正態(tài)分布，并且則，然而 =在11條件下，。滿足方差分解公式，并且我們很容易知道，。六、極限分布理論(Limit Distr

34、ibution Theory)1 幾個(gè)極限的定義1）分布函數(shù)的弱收斂(Weak Convergence of the Distribution Function)定義1 對(duì)于分布函數(shù)列Fn(x)，如果存在一個(gè)非降函數(shù)F(x)使在F(x)的每一連續(xù)點(diǎn)上都成立，則稱Fn(x)弱收斂于F(x)，并記為。中心極限定理就是一個(gè)分布函數(shù)弱收斂的例子。2）隨機(jī)變量的收斂性(Convergence of the Random Variable)概率論中的極限定理研究的是隨機(jī)變量序列的某種收斂性，對(duì)隨機(jī)變量收斂性的不同定義將導(dǎo)致不同的極限定理，而隨機(jī)變量的收斂性的確可以有各種不同的定義，理解這些不同的極限定義，

35、對(duì)于我們分析線性回歸的大樣本結(jié)果很重要。現(xiàn)在就來(lái)討論這個(gè)問(wèn)題。a）依分布收斂(Convergence in Distribution)分布函數(shù)弱收斂的討論啟發(fā)我們引進(jìn)如下定義。定義2（依分布收斂） 設(shè)隨機(jī)變量n、的分布函數(shù)分別為Fn(x)及F(x)，如果，則稱n依分布收斂于，并記為。b）依概率收斂(Convergence in Probability)定義3（依概率收斂） 如果對(duì)任意的0成立，則稱依概率收斂于，并記為。c）r-階收斂定義4（r-階收斂） 設(shè)對(duì)隨機(jī)變量，其中r0為常數(shù)，如果 ，則稱-階收斂于，并記為。下面定理揭示了r-階收斂與依概率收斂的關(guān)系。定理8 。2）極限的應(yīng)用貝努里分布與

36、普松分布a）近似計(jì)算在n次貝努里試驗(yàn)中正好出現(xiàn)k次成功的概率b（k;n,p）：其中q=1-p。b(k;n,p)，k=0,1,2,，n稱為二項(xiàng)分布。在很多應(yīng)用問(wèn)題中，我們常常遇到這樣的貝努里試驗(yàn)，其中，相對(duì)地說(shuō)，n大，p小，而乘積大小適中，在這種情況下，有一個(gè)便于使用的近似公式。定理（普松） 在貝努里試驗(yàn)中，以pn代表事件A在試驗(yàn)中出現(xiàn)的概率，它與試驗(yàn)總數(shù)n有關(guān)，如果，則當(dāng)時(shí)，b) 中心極限定理(Central Limit Theorem)若X1，X2，Xn，是一串相互獨(dú)立相同分布的隨機(jī)變量序列，且我們來(lái)討論標(biāo)準(zhǔn)化隨機(jī)變量和的極限分布。林德貝格與勒維（Lindeberg and Levy）建立了

37、下列中心極限定理。定理2（林德貝格-勒維） 若0，則2 契比雪夫（Chebyshevs Inequality）不等式對(duì)于任何具有有限方差的隨機(jī)變量X，都有 （1）其中是任一正數(shù)。證明 若F(x)是X的分布函數(shù)，則顯然有 （2）這就證得了不等式（1），有時(shí)把（1）改寫成或 （3）契比雪夫不等式利用隨機(jī)變量X的數(shù)學(xué)期望EX及方差=對(duì)X的概率分布進(jìn)行估計(jì)。例如（3）斷言不管X的分布是什么，X落在中的概率不小于，因?yàn)槠醣妊┓虿坏仁街焕脭?shù)學(xué)期望及方差就描述了隨機(jī)變量的變化情況，因此它在理論研究及實(shí)際應(yīng)用中很有價(jià)值。3、大數(shù)定律定義 若1,2,n,是隨機(jī)變量序列，令如果存在這樣的一個(gè)常數(shù)序列a1,a2,

38、an,，對(duì)任意的0，恒有則稱序列n服從大數(shù)定律（或大數(shù)法則）。契比雪夫大數(shù)定律 設(shè)X1，X2，Xn，是由兩兩不相關(guān)的隨機(jī)變量所構(gòu)成的序列，每一隨機(jī)變量都有有限的方差，并且它們有公共上界C，即C，C，C，則對(duì)任意的0，皆有=1 （4）證明 因?yàn)閗兩兩不相關(guān)，故再由契比雪夫不等式得到所以1于是，當(dāng)時(shí)有（4），因此定理得證。貝努里大數(shù)定律 設(shè)是n次貝努里試驗(yàn)中事件A出現(xiàn)的次數(shù)，而p是事件A在每次試驗(yàn)中出現(xiàn)的概率，則對(duì)任意0，都有=1證明 定義隨機(jī)變量，則， 而貝努里大數(shù)定律建立了在大量重復(fù)獨(dú)立試驗(yàn)中事件出現(xiàn)頻率的穩(wěn)定性，正因?yàn)檫@種穩(wěn)定性，概率的概念才有客觀意義，貝努里大數(shù)定律還提供了通過(guò)試驗(yàn)來(lái)確定事

39、件概率的方法，既然頻率與概率p有較大偏差的可能性很小，那么我們便可以通過(guò)做試驗(yàn)確定某事件發(fā)生的頻率并把它作為相應(yīng)概率的估計(jì)，這種方法稱為參數(shù)估計(jì)，它是數(shù)理統(tǒng)計(jì)中的主要研究課題之一，參數(shù)估計(jì)的重要理論基礎(chǔ)就是大數(shù)定律。第三節(jié) 數(shù)理統(tǒng)計(jì)（Mathematical Statistics）數(shù)理統(tǒng)計(jì)的方法及考慮的問(wèn)題不同于一般的資料統(tǒng)計(jì)，它更側(cè)重于應(yīng)用隨機(jī)現(xiàn)象本身的規(guī)律性來(lái)考慮資料的收集、整理和分析，從而找出相應(yīng)的隨機(jī)變量的分布律或它的數(shù)字特征。由于大量的隨機(jī)試驗(yàn)必能呈現(xiàn)出它的規(guī)律性，因而從理論上講，只要對(duì)隨機(jī)現(xiàn)象進(jìn)行足夠多次觀察，被研究的隨機(jī)現(xiàn)象的規(guī)律性一定能清楚地呈現(xiàn)出來(lái)，但是實(shí)際上所允許的觀察永遠(yuǎn)

40、只能是有限的，有時(shí)甚至是少量的。因此我們所關(guān)心的問(wèn)題是怎樣有效地利用有限的資料，便能去掉那些由于資料不足所引起的隨機(jī)干擾，而把那些實(shí)質(zhì)性的東西找出來(lái)，一個(gè)好的統(tǒng)計(jì)方法 就在于能有效地利用所獲得的資料，盡可能作出精確而可靠的結(jié)論。1、數(shù)理統(tǒng)計(jì)的基本概念1）母體和子樣我們把所研究的全部元素組成的集合稱為母體或總體，而把組成母體的每個(gè)元素稱為個(gè)體。為了對(duì)母體的分布律進(jìn)行各種研究，就必需對(duì)母體進(jìn)行抽樣觀察。一般來(lái)說(shuō)，我們還不止進(jìn)行一次抽樣觀察，而要進(jìn)行幾次觀察。設(shè)X1，X2，Xn是所觀察到的結(jié)果，顯然它是隨機(jī)變量，稱它為容量是n的子樣。把X1，X2，Xn所取值的全體稱為子樣空間。我們抽取子樣的目的是為

41、了對(duì)母體的分布律進(jìn)行各種分析推斷，因而要求抽取的子樣能很好地反映母體的特性，這就必須對(duì)隨機(jī)抽樣的方法提出一定的要求。通常提出下面兩點(diǎn)：（i）代表性：要求子樣的每個(gè)分量Xi與所考察的母體X具有相同的分布F(x)；（ii）獨(dú)立性：X1，X2，Xn為相互獨(dú)立的隨機(jī)變量，也就是說(shuō)，每個(gè)觀察結(jié)果即不影響其它觀察結(jié)果，也不受其它觀察結(jié)果的影響。滿足上述兩點(diǎn)性質(zhì)的子樣稱為簡(jiǎn)單隨機(jī)子樣，獲得簡(jiǎn)單隨機(jī)子樣的抽樣方法稱為簡(jiǎn)單隨機(jī)抽樣。對(duì)于簡(jiǎn)單隨機(jī)子樣X(jué)=（X1，X2，Xn），其分布可以由母體的分布函數(shù)F（x）完全決定，X的分布函數(shù)是。2）統(tǒng)計(jì)量一般來(lái)說(shuō)，子樣的某種不含任何未知參數(shù)的函數(shù)，在統(tǒng)計(jì)學(xué)中都可以稱為統(tǒng)計(jì)量

42、。統(tǒng)計(jì)量：非統(tǒng)計(jì)量：3）常用的統(tǒng)計(jì)量子樣矩r階矩（或r階原點(diǎn)矩）：為子樣均值。r階中心矩：為子樣方差?？偨Y(jié)：對(duì)于母體，我們有母體均值，母體方差，母體的k階原點(diǎn)矩和k階中心矩；對(duì)于子樣，我們有子樣均值，子樣方差，子樣的r階矩Ar和r階中心矩Br。我們可以得到如下結(jié)論：定理1 設(shè)母體服從分布F(x)，X=（X1，Xn）是從該母體中抽得的一個(gè)簡(jiǎn)單隨機(jī)子樣，如果F(x)的二階矩陣存在，則對(duì)子樣均值，有和證明 思考：是否存在更簡(jiǎn)單的證明方法？定理2 對(duì)于子樣方差，其均值證明：因?yàn)?，所?（其中） 4）順序統(tǒng)計(jì)量、經(jīng)驗(yàn)分布函數(shù)與子樣矩設(shè)（X1，Xn）是從母體 中抽取的一個(gè)子樣，記（x1,x2,xn）是子樣

43、的一個(gè)觀察值，將觀察值的各分量按大小遞增次序排列，得到當(dāng)（X1，Xn）取值為（x1,xn）時(shí)，我們定義取值為。稱由此得到的為（X1，Xn）的一組順序統(tǒng)計(jì)量。顯然，即的觀察值是子樣觀察值中最小的一個(gè)，而，的觀察值是子樣觀察值中最大的一個(gè)。記顯然01，且作為x的函數(shù)是一非減左連續(xù)函數(shù)，把看作為x的函數(shù)，它具備分布函數(shù)所要求的性質(zhì)，故稱為經(jīng)驗(yàn)分布函數(shù)（或子樣分布函數(shù)）。經(jīng)驗(yàn)分布函數(shù)也是子樣的函數(shù)，它與子樣矩之間具有下列關(guān)系：設(shè)（x1,x2,xn）是子樣觀察值，是對(duì)應(yīng)的經(jīng)驗(yàn)分布函數(shù)，則有：2、正態(tài)母體子樣的線性函數(shù)的分布定理1 設(shè)X1，Xn是抽自正態(tài)母體的一個(gè)子樣，統(tǒng)計(jì)量U是子樣的任一確定的線性函數(shù)

44、（1）則U也是正態(tài)隨機(jī)變量，均值、方差分別為 （2） （3）在（1）式中，特別地取，此時(shí)行到的U是子樣均值。由此可見(jiàn)，具有與X相同的均值，但是它更向數(shù)學(xué)期望集中，集中程度與子樣容量n的大小有關(guān)。定理2 設(shè)（1）X1，X2，Xn是獨(dú)立同分布隨機(jī)變量，同服從于正態(tài)分布；（2）矩陣，記則Y1，Yp也是正態(tài)隨機(jī)變量，均值、方差、協(xié)方差分別為：。特別地，當(dāng)，且A是一n×n正交矩陣時(shí)，Y1，Y2，Yp也是相互獨(dú)立且同服從于分布的隨機(jī)變量。3、幾種與正態(tài)分布N(0,1)有關(guān)的常用分布1）x2-分布定義 設(shè)X1，X2，Xn是相互獨(dú)立，且同服從于N(0,1)分布的隨機(jī)變量，所服從的分布為x2-分布，稱

45、為自由度為n的x2-變量。定理 設(shè)和，且X1，X2相互獨(dú)立，則。2）t-分布設(shè)，且X和Y相互獨(dú)立，則稱隨機(jī)變量所服從的分布為t-分布。n稱為它的自由度，且記Tt(n)。3）F-分布定義 設(shè)X和Y是相互獨(dú)立的x2-分布隨機(jī)變量，自由度分別為m和n，則稱隨機(jī)變量所服從的分布為F-分布，（m,n）稱為它的自由度，且通常寫為FF（m,n）。推論 如果，且相互獨(dú)立，則分布。推論 如果XF(m,n)分布，則1/XF(n,m)分布。結(jié)論 設(shè)X1，Xm和Y1，Yn分別是從正態(tài)母體中所抽取的獨(dú)立子樣。則服從于t(m+n2)分布。*練習(xí) 設(shè)X1，Xn是從正態(tài)分布的母體中抽取的簡(jiǎn)單子樣，分別表示它的子樣均值和子樣方

46、差。又設(shè)，且與X1，Xn獨(dú)立。試求統(tǒng)計(jì)量（提示：服從t(n-1)分布）4、統(tǒng)計(jì)量的分布與獨(dú)立性定理 若xN0,I且的兩個(gè)冪等二次型，則時(shí)是獨(dú)立的。證明 由于A和B都是對(duì)稱的和冪等的，所以二次型是：和 兩個(gè)向量都有零均值向量，所以X1和X2協(xié)方差矩陣是由于AX和BX都是一個(gè)正態(tài)分布隨機(jī)向量的線性函數(shù)，因而它們也都服從正態(tài)分布，零協(xié)方差矩陣暗示它們是統(tǒng)計(jì)上獨(dú)立的。所以，它們的函數(shù)形式是獨(dú)立的，這就證明了兩個(gè)二次型統(tǒng)計(jì)量的獨(dú)立性。例 易知因?yàn)?故 是相互獨(dú)立的。5、線性變換及二次型的獨(dú)立性定理 標(biāo)準(zhǔn)正態(tài)向量的一個(gè)線性函數(shù)Lx和一個(gè)冪等二次型，當(dāng)LA=0時(shí)兩個(gè)統(tǒng)計(jì)量是獨(dú)立的。證明遵循與對(duì)兩個(gè)二次型的證

47、明同樣的邏輯，將寫作，變量Lx和Ax的協(xié)方差矩陣是LA=0，這證實(shí)了這兩個(gè)隨機(jī)向量的獨(dú)立性，線性函數(shù)和二次型的獨(dú)立性就可以立即推導(dǎo)。例 所以上面兩個(gè)統(tǒng)計(jì)量是相互獨(dú)立的。從而 總結(jié)：設(shè)X1,X2,Xn是從正態(tài)母體中抽取的一個(gè)簡(jiǎn)單子樣。記則有 （1）； （2）； （3）證明 因?yàn)樗苑淖杂啥葹閚1的t-分布。6、參數(shù)估計(jì)的常用方法在參數(shù)估計(jì)問(wèn)題中，我們總是首先假設(shè)母體X具有一族可能的分布F，且F的函數(shù)形式是已知的，僅包含有幾個(gè)未知參數(shù)，記是支配這分布的未知參數(shù)（可以是向量），在統(tǒng)計(jì)學(xué)上，我們把分布F的未知參數(shù)的全部可容許值組成的集合稱為參數(shù)空間，記為。我們用F(·；)表示X的分布，又稱

48、集合F(·；),為X的分布函數(shù)族。類似地，如果X是連續(xù)型隨機(jī)變量，我們有概率密度函數(shù)族，如果X是離散型隨機(jī)變量，我們有概率分布族。一個(gè)參數(shù)估計(jì)問(wèn)題就是要求通過(guò)子樣估計(jì)母體分布所包含的未知參數(shù)。一般地，設(shè)母體具有分布族F(·；),，X1，X2，Xn是它的一個(gè)子樣。點(diǎn)估計(jì)問(wèn)題就是要求構(gòu)造一個(gè)統(tǒng)計(jì)量T（X1，Xn）作為參數(shù)的估計(jì)（T的維數(shù)與的維數(shù)相同）。在統(tǒng)計(jì)學(xué)上，我們稱T為的估計(jì)量。1）矩方法設(shè)F(·；),是母體X的可能分布族，=（1，k）是待估計(jì)的未知參數(shù)，假定母體分布的k階矩存在，則母體分布的v階矩 1vk是=（1，k）的函數(shù)。對(duì)于子樣X(jué)=（X1，Xn），其v階子

49、樣矩是 1vk現(xiàn)在用子樣矩作為母體矩的估計(jì)，即令 （1）這樣，（1）式確定了包含k個(gè)未知參數(shù)=（1，k）的k個(gè)方程式。例 母體均值和方差的矩估計(jì)。設(shè)X1，Xn是一子樣，設(shè)母體的二階矩存在，則有。用矩方法得方程組解之得 所以母體均值和方差的矩估計(jì)分別是子樣均值和子樣方差。運(yùn)用以前的有關(guān)定理有和 由此可見(jiàn)，作為的估計(jì)它是在的真值的周圍波動(dòng)，且其平均值恰好是真值，這一性質(zhì)在統(tǒng)計(jì)學(xué)上稱為無(wú)偏性。2）最大似然估計(jì)方法一般地，設(shè)母體具有分布密度族F(x;),，其中=（1，2，k）是一個(gè)未知的k維參數(shù)向量，需待估計(jì)，又設(shè)（x1，xn）是子樣（X1，Xn）的一個(gè)觀察值，那么子樣（X1，Xn）落在點(diǎn)（x1，xn）的鄰域里的概率是。為方便起見(jiàn)，記（可以是向量）它看作為的函數(shù)稱為的似然函數(shù)。如果選取使下式 （2）成立的作為的估計(jì)，則稱是的最大似然估計(jì)。由于logx是x的單調(diào)函數(shù)，所以（2）式可等價(jià)地寫為：如果是開(kāi)集，且關(guān)于可微，則滿足（4）式的解也一定滿足下列似然方程例 設(shè)X=（X1，Xn）是取自均勻分布（0）0x0的子樣，試求的最大似然估計(jì)。此時(shí) （注意：條件0xi，i=1,n和條件0是等價(jià)的。顯然當(dāng)取到最大值，所以是的最大似然*估計(jì)。可以計(jì)算出。7、估計(jì)的有效性1）無(wú)偏估計(jì)定義 一般地，如果T(X)是未知參數(shù)的一個(gè)估計(jì)量，且滿足下面的關(guān)系式，則