對(duì)比分析最小二乘法與回歸分析

1、對(duì)比分析最小二乘法與回歸分析摘要最小二乘法是在模型確定的情況下對(duì)未知參數(shù)由觀測(cè)數(shù)據(jù)來(lái)進(jìn) 行估計(jì)，而回歸分析則是研究變量間相關(guān)關(guān)系的統(tǒng)計(jì)分析方法。關(guān)鍵詞：最小二乘法回歸分析數(shù)據(jù)估計(jì)目錄摘要 錯(cuò)誤!目錄 錯(cuò)誤!一：最小二乘法 錯(cuò)誤!主要內(nèi)容 錯(cuò)誤!基本原理 錯(cuò)誤!二：回歸分析法 錯(cuò)誤!回歸分析的主要內(nèi)容 錯(cuò)誤!回歸分析原理 錯(cuò)誤!三：分析與總結(jié) 錯(cuò)誤!二最小二乘法主要內(nèi)容最小二乘法又稱最小平方法是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)定義殘差平方和的方式，最小化殘差的平方和以求尋找數(shù)據(jù)的最佳函數(shù)匹配，可以從一組測(cè)定的數(shù)據(jù)中尋求變量之間的依賴關(guān)系, 這種函數(shù)關(guān)系稱為經(jīng)驗(yàn)公式. 利用最小二乘法可以十分簡(jiǎn)便地求得未知

2、的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問(wèn)題也可通過(guò)最小化能量或最大化熵用最小二乘法來(lái)表達(dá)。基本原理考慮超定方程組（超定指未知數(shù)大于方程個(gè)數(shù)）：其中m代表有m個(gè)等式，n代表有n個(gè)未知數(shù)（mn ;將其進(jìn)行向量化后為：顯然該方程組一般而言沒(méi)有解，所以為了選取最合適的讓該等式“盡量成立，引入殘差平方和函數(shù)S（在統(tǒng)計(jì)學(xué)中，殘差平方和函數(shù)可以看成 n倍的均方誤差當(dāng) 時(shí)，取最小值，記作：通過(guò)對(duì) 進(jìn)行微分求最值，可以得到：如果矩陣非奇異則有唯一解:二：回歸分析法回歸分析是確定兩種或兩種以上變量間相互依賴的相關(guān)關(guān)系的一種統(tǒng)計(jì)分析方法?；貧w分析是應(yīng)用

3、極其廣泛的數(shù)據(jù)分析方法之一。它基于觀測(cè)數(shù)據(jù)建立變量間適當(dāng)?shù)囊蕾囮P(guān)系，建立不同的回歸模型，確立不同的未知參數(shù)，之后使用最小二乘法等方法來(lái)估計(jì)模型中的未知參數(shù)， 以分析數(shù)據(jù)間的內(nèi)在聯(lián)系。當(dāng)自變量的個(gè)數(shù)等于一時(shí)稱為一元回歸， 大于 1 時(shí)稱為多元回歸，當(dāng)因變量個(gè)數(shù)大于1 時(shí)稱為多重回歸， 其次按自變量與因變量之間是否呈線性關(guān)系分為線性回歸與非線性回歸。 最簡(jiǎn)單的情形是一個(gè)自變量和一個(gè)因變量，且它們大體上有線性關(guān)系，叫一元線性回歸。回歸分析的主要內(nèi)容從一組數(shù)據(jù)出發(fā)，確定某些變量之間的定量關(guān)系式，即建立數(shù) 學(xué)模型并估計(jì)其中的未知參數(shù)。估計(jì)參數(shù)的常用方法是最小二乘法。對(duì)這些關(guān)系式的可信程度進(jìn)行檢驗(yàn)。在許多

4、自變量共同影響著一個(gè)因變量的關(guān)系中，判斷哪個(gè)（或哪些）自變量的影響是顯著的，哪些自變量的影響是不顯著的，將影響顯著的自變量加入模型中，而剔除影響不顯著的變量，通常用逐步回歸、向前回歸和向后回歸等方法。利用所求的關(guān)系式對(duì)某一生產(chǎn)過(guò)程進(jìn)行預(yù)測(cè)或控制?；貧w分析原理(1在回歸分析中自變量x函，X2，%)是影響因變量丫的主要因素，是 人們能控制或能觀察的，而y還受到隨機(jī)因素的干擾，可以合理地假 設(shè)這種干擾服從零均值的正態(tài)分布，于是模型記作y 01x1mxm2 N(0, 2)其中 未知。現(xiàn)得到n個(gè)獨(dú)立觀測(cè)數(shù)據(jù)(yi，Xii，Xim), i 1, ,n,n m,由上式得yi01xi 1m ximii N(0

5、, 2), i 1, ,n記1X11X1 my1X，Y1Xn 1Xnmyn1nT，01mT表為YX N (0, 2)參數(shù)估計(jì) 用最小二乘法估計(jì)模型中的參數(shù) 由這組數(shù)據(jù)的誤差平方和為n2TQ( )i2 (Y X )T(Y X )i1求 使 Q( ) 最小，得到的最小二乘估計(jì)，記作?，可以推出? (XTX) 1XTY將？代回原模型得到y(tǒng)的估計(jì)值 0 1 x1mxm而這組數(shù)據(jù)的擬合值為Y X?,擬合誤差e Y Y?稱為殘差，可作為 隨機(jī)誤差的估計(jì)，而nn_22Q e(yi %)i 1i 1為殘差平方和(或剩余平方和)，即Q(?)(3統(tǒng)計(jì)分析 不加證明地給出以下結(jié)果:(i) .是 的線性無(wú)偏最小方差估

6、計(jì)。指的是 .是Y的線性函數(shù); 的期望等于；在 的線性無(wú)偏估計(jì)中，？的方差最小。(ii ) ?服從正態(tài)分布?N( , 2(XTX) 1)2(iii )對(duì)殘差平方和Q, EQ (n m 1)，且-Q2- 2(n m 1)由此得到2的無(wú)偏估計(jì)?2S2是剩余方差(殘差的方差)，S稱為剩余標(biāo)準(zhǔn)差n(iv)對(duì)丫的樣本方差S(yi y)2進(jìn)行分解，有i 1nS Q U , U(?i y)2i 1其中Q殘差平方和，反映隨機(jī)誤差對(duì)y的影響，U稱為回歸平方和,反映自變量對(duì)y的影響?；貧w模型的假設(shè)檢驗(yàn)因變量y與自變量Xi, ,Xm之間是否存在如模型所示的線性關(guān)系是需要檢驗(yàn)的，顯然，如果所有的|?j| (j 1, ,m)都很小，y與Xi, ,Xm的線性關(guān)系就不明顯，所以可令原假設(shè)為Ho： j 0(j1, ,m)當(dāng)H。成立時(shí)由分解式定義的U,Q滿足U / mQ /(n m 1) F(m,nm 1)在顯著性水平下有1分位數(shù)(m,n m 1),若FF1 (m,n m 1),接受H。；否則，拒絕。三：分析與總結(jié)最小二乘法是基于既定模型對(duì)未知參數(shù)的一種估計(jì)方法，以函數(shù)殘差和最小的條件對(duì)未知參數(shù)進(jìn)行估計(jì)。回歸分析包括：建立帶有參數(shù)的函數(shù)模型（即經(jīng)驗(yàn)公式），通過(guò)最小二乘法、最大似然估計(jì)法等方法對(duì)模型參