回歸分析方法PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1回歸分析方法回歸分析方法2021-10-15第1頁(yè)/共52頁(yè)2021-10-15第2頁(yè)/共52頁(yè)2021-10-15第3頁(yè)/共52頁(yè)2021-10-15iy (1,2,.,)xyxyiN數(shù)學(xué)上判定直線合理的原則：如果直線與全部觀測(cè)數(shù)據(jù)的離差平方和，比任何其它直線與全部觀測(cè)數(shù)據(jù)的離差平方和更小，該直線就是代表 與 之間關(guān)系較為合理的一條直線，這條直線就是 和 之間的回歸直線。第4頁(yè)/共52頁(yè)2021-10-15*,)(1,2,.,)xy()iiiiiiiiiiiiyabxx yiNxyabxyabxyxyyyyabxy設(shè)是平面上的一條任意直線，(是變量 ， 的一組觀測(cè)數(shù)據(jù)。那么，對(duì)于每一

2、個(gè) ，在直線上確可以確定一個(gè)的值，與 處實(shí)際觀測(cè)值 的差：就刻畫了 與直線偏離度第5頁(yè)/共52頁(yè)2021-10-15xy1x( ,)iix y( ,)iix yyabx第6頁(yè)/共52頁(yè)2021-10-15*2211(1,2,.,)(1,2,.,)()()(1,2,.,),abQiiNNiiiiiiiy iNyiNQyyyabxQy iNQx y全部觀測(cè)值與直線上對(duì)于的的離差平方和則為：反映了全部觀測(cè)值對(duì)直線的偏離程度，顯然，離差平方和 越小，愈能較好地表示之間的關(guān)系。用最小二乘法原理，通過選擇合適的系數(shù) ， ，使 最小第7頁(yè)/共52頁(yè)2021-10-1511_1111_22211_2()0(6

3、1)2()0(62)1()()(63)1()()(64)NiiiNiiiiNNNNiiiiiiiiiiNNiiiiiQyabxaQyabx xbxxyyx yxyNxxxxNay bx Ni=1聯(lián)合求解得：b=第8頁(yè)/共52頁(yè)2021-10-15_1111,(65)ab(66)bNNiiiixx yyNNyabx此處求得 ， 后，回歸方程為：便可以確定， 稱為回歸系數(shù)第9頁(yè)/共52頁(yè)2021-10-15第10頁(yè)/共52頁(yè)2021-10-15_22_22( ,)(1,2,.,)xyxy()()()()()iiiiiiyyiiiiiiix yiNxyxyabxyLyyyyyyyyyy_NNi=1i

4、=1Ni=1i=1設(shè)為變量 ， 間的一組觀測(cè)數(shù)據(jù)，為觀測(cè)點(diǎn)， 為 處的觀測(cè)之，為這組觀測(cè)數(shù)據(jù)求得的變量 ， 間的回歸方程，在回歸問題中，觀測(cè)數(shù)據(jù)總的波動(dòng)情況，用各觀測(cè)值 與總平均y之間的平方和即總變動(dòng)平方和表示_2()()iiiyyyyNNi=1第11頁(yè)/共52頁(yè)2021-10-152_2()()(68)xyy(69)iiiQyyQUyyUQUNi=1Ni=1yy第一項(xiàng)是觀測(cè)值與回歸直線的離差平方和，反映了誤差的大小第二項(xiàng)反映了總變動(dòng)中，由于 與 的線性關(guān)系而引起 變化的一部分，稱為回歸平方和第三項(xiàng)為零L第12頁(yè)/共52頁(yè)2021-10-15UQUQNN2UQfffffffyyyy總總總每一個(gè)

5、變動(dòng)平方和（即L 、 、 ）都有一個(gè)“自由度”和它們對(duì)應(yīng)，L 自由度稱為總自由度，記做 。觀測(cè)值個(gè)數(shù)1 11 三者之間仍然有：第13頁(yè)/共52頁(yè)2021-10-15aaF(2)2a0.050.01F(1,2)FFF FUNQNuQa可用 檢驗(yàn)考察回歸直線的顯著性：U/f（1）計(jì)算F=Q/f（ ）對(duì)于選定的顯著性水平 （或），從 分布上找出臨界值F（3）比較 與 的大小。若 ，則回歸方程有意義，反之則說明方程意義不大第14頁(yè)/共52頁(yè)2021-10-15_22_22_2_222_22()()()()()()()()1(611)()()iiiyyiiiiiiiiUyyUabxabxbxxLyyyy

6、yyxxbyyyy NNi=1i=1Ni=1Ni=1NNi=1i=1NNi=1i=1由代入整理后可得第15頁(yè)/共52頁(yè)2021-10-15_2222_22_2_2()()1(612)()()()()iiiiiiixxyyrbyyyyxxrbyy NNi=1i=1NNi=1i=1Ni=1Ni=1令第16頁(yè)/共52頁(yè)2021-10-15_2_21 yx(),1,()iiiiyyyy rbxxNi=1Ni=1下面存在三種情形：（） 與 有嚴(yán)格函數(shù)關(guān)系時(shí)xy1r xy1r 第17頁(yè)/共52頁(yè)2021-10-15_2yx,0,0yy rb（ ） 與 無任何依賴關(guān)系時(shí)xy0r xy0r 第18頁(yè)/共52頁(yè)

7、2021-10-153yxr（ ） 與 存在相關(guān)關(guān)系時(shí)0| |1xy10r xy01r第19頁(yè)/共52頁(yè)2021-10-15_21_22211yxr()()()()()()NiiiiNNiiiiixyxx yyxxyyxxrbyyxxyyll lNi=1Ni=1檢驗(yàn) 與 是否相關(guān)的步驟：（1）按下式計(jì)算 ：第20頁(yè)/共52頁(yè)2021-10-15,2fn23| | |xy| |xya fa fa fa frrrrrrr（ ）給定顯著行水平 ，按自由度 ，由相關(guān)系數(shù)臨界表中查處臨界值。（ ）比較與的大小。若，認(rèn)為 與 之間存在線性相關(guān)關(guān)系；若，認(rèn)為 與 之間不存在線性相關(guān)關(guān)系。第21頁(yè)/共52頁(yè)2

8、021-10-15n-2123456789100.05 0.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708n-2111213141516171819200.05 0.010.5530.5320.5140.4790.4820.4680.4560.4440.4330.4130.6840.6610.6410.6230.6060.5900.5750.5610.5490.537n-2212223242526272829300.05 0.010.41

9、30.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相關(guān)系數(shù)臨界值表第22頁(yè)/共52頁(yè)2021-10-15第23頁(yè)/共52頁(yè)2021-10-150000002yxyyyyyQSN（一）預(yù)報(bào)問題一般來說，對(duì)于固定 處的觀測(cè)值 ，其取值是以為中心而對(duì)稱分布的。愈靠近的地方，出現(xiàn)的機(jī)會(huì)愈大，離愈元的地方，出現(xiàn)的機(jī)會(huì)少，而且 的取值范圍與量有下述關(guān)系：第24頁(yè)/共52頁(yè)2021-10-1500000000000000322222yyyyyyyyyyySyySyyS

10、xxxyySySySyySSS落在范圍內(nèi)的可能性為99.7落在范圍內(nèi)的可能性為95落在范圍內(nèi)的可能性為68利用此關(guān)系，對(duì)于指定的 ，我們有95的把握說，在處的實(shí)際觀測(cè)值 介于與之間即：這樣，預(yù)報(bào)問題就得到了解決量稱為剩余標(biāo)準(zhǔn)差。用來衡量預(yù)報(bào)的精確度第25頁(yè)/共52頁(yè)2021-10-15010211112222212120122323yyyyyyyaSbxyaSbxyaSbxyaSbxyxxxxxyyy（二）控制問題控制問題只不過是預(yù)報(bào)的反問題。若要求觀測(cè)值在范圍內(nèi)取值，則可從（或）及（或）中分別解出 、 ，只要將 的取值控制在 與 之間，我們就能以95（或99.7）的把握保證， 在 與范圍內(nèi)取

11、值。第26頁(yè)/共52頁(yè)2021-10-15122(617)2(618)yyyabxSyabxS進(jìn)行預(yù)報(bào)和控制，通常也采用圖解法。其作法是：在散點(diǎn)圖上作兩條平行與回歸直線的直線xy2yyabxSyabx1x2x1y2y2yyabxS0b xy2yyabxS2yyabxSyabx1x2x1y2y0b 第27頁(yè)/共52頁(yè)2021-10-151295xyyxx可以預(yù)測(cè)在 附近的一系列觀測(cè)值中，將落在這兩條直線所夾成的帶行趨于中，若要求在 與 范圍內(nèi)取值，則只需要圖中虛線所示的對(duì)于關(guān)系，可在 軸上找到值的控制范圍。第28頁(yè)/共52頁(yè)2021-10-15腐蝕時(shí)間x（秒）腐蝕深度y（）5 5 10 20 3

12、0 40 50 60 65 90 1204 6 8 13 16 17 19 25 25 29 46第29頁(yè)/共52頁(yè)2021-10-15ii作散點(diǎn)圖，即（x ,y）圖40302010yx10 20 30 40 50 60 70 80 90 100 110 120 xy可見 與 之間無確定的函數(shù)關(guān)系，而表現(xiàn)為相關(guān)關(guān)系第30頁(yè)/共52頁(yè)2021-10-15_222111_222111_1111_211()()1()()1()()()()(619)(620)(621)NNNxxiiiiiiNNNyyiiiiiiNNNNxyiiiiiiiiiixyxxxyxyxxxx yyLxxxxNLyyyyNLx

13、xyyx yxyNLay bxbLlLrULl l（）求回歸直線記第31頁(yè)/共52頁(yè)2021-10-15序號(hào)1234567891011xy2x2yxy5510203040506065901204954681316171925252946208252510040090016002500360042258100144003587516366416925628936162562584121165398203080260480680950150016252610552013755第32頁(yè)/共52頁(yè)2021249520811111483451375549520811111

14、149600358754951111NNNNNiiiiiiiiiiiiiiixyxxxyx yxyxyx yxyLL 具體計(jì)算格式如下：列表計(jì)算、以及，第33頁(yè)/共52頁(yè)2021-10-15_,0.05,9,483450.3281496002084950.3234.3711114.37.32320.521|xyxxxyxx yyffLbLaybxyxlrl lrrrr回歸方程為：（ ）顯著性檢驗(yàn)相關(guān)系數(shù)0.98回歸方程有意義第34頁(yè)/共52頁(yè)20212490.754.37.3234.370.32.7528.6( )228.622.2424.12( )228.62

15、2.2433.08( )yyysNQxyxysys（ ）預(yù)報(bào)與控制首先計(jì)算現(xiàn)在可以來回答兩個(gè)問題1）預(yù)測(cè)當(dāng)腐蝕時(shí)間秒時(shí)的腐蝕深度由回歸方程第35頁(yè)/共52頁(yè)2021-10-1501212950.7524.1233.082)102021022031.334.5yyxyxsxsxx故有的把握回答：秒的腐蝕深度范圍為：若要求克現(xiàn)深度在之間，應(yīng)將腐蝕時(shí)間控制在什么范圍：解方程4.37+0.3234.37+0.323得秒秒故知應(yīng)將腐蝕時(shí)間控制在3234秒內(nèi)第36頁(yè)/共52頁(yè)2021-10-15第37頁(yè)/共52頁(yè)2021-10-15121121121222212ijij01 112211101 12221

16、.x ,xY(;,)(;,)(;,)xxjyYjkknnnknkky xxxy xxxyxxxbb xb xb xbb xb xk01 1kk112模型設(shè)因變量, ,x ,有關(guān)系；b +b x +b x + (7-24)其中 是隨機(jī)項(xiàng)，現(xiàn)有幾組數(shù)據(jù)：（其中是自變量 的第 個(gè)值； 是 的第 個(gè)觀察值）假設(shè)： y y22201 1220112n, ,N01kknnkknnkb xbb xb xb xb bbn y其中是待估參數(shù)；而 ，相互獨(dú)立且服從相同的標(biāo)準(zhǔn)正態(tài)分布 （ ， ），（ 未知）第38頁(yè)/共52頁(yè)2021-10-1512k12ktk22.Ykxxx,;),1,2 726yxxy727Q(

17、)ttttxxxytNyy101122kk01k01k最小二乘法與正規(guī)方程設(shè)影響因變量 的自變量共有 個(gè)， ，通過實(shí)驗(yàn)得到以下幾組觀測(cè)數(shù)據(jù)（ ）根據(jù)這些數(shù)據(jù)，在 與之間欲配線性回歸方程b +b x +b x +b x （ ）用最小二乘法，選擇參數(shù)b ,bb ,使離差平方和達(dá)最小，即使b ,bb )=2t011tkkt1yb +b x +b x 728NtNt=1（ ）最小 第39頁(yè)/共52頁(yè)2021-10-1501kQ0bQ0b 729Q0b729 1111221kk1y2112222kk2y由數(shù)學(xué)分析中求極小值原理得（ ）化簡(jiǎn)并整理（ ）可得下列方程組l b +l b +l b =ll b

18、+l b +l b =l11121k11y21222k22yk1k2kkky011 730730l 1 lll l ll (730 l l llkkkbbbbyb xb x k11k22kkkky（ ）l b +l b +l b =l將（ ）寫成矩陣形勢(shì)為） 731（ ）第40頁(yè)/共52頁(yè)2021-10-15 11Nijjiitijtjt=1Nitjtt=11111 y=,n i=1,2,k l =l =xx xx i,j=1,2k1 =x x 730 a NNiiitttNNitjttty xxnxxn其中-（ ）Niytt=1Nittt=111k l =,1,21 =x y 73 0bn7

19、30QbbbitiNNittttxxyyikxy01n01n01（ ）方程組（ ）稱為正規(guī)方程解正規(guī)方程，可得使b ,bb 達(dá)最小參數(shù)b ,bb ，其中為常數(shù)項(xiàng)，為回歸系數(shù)第41頁(yè)/共52頁(yè)2021-10-15yy222113.lQU (7-32)1NNttttyynNyytt=1多元線性回歸方差分析與一元線性回歸情形類似，對(duì)多元線性回歸我們有平方和分解公式： 其中 l =y -y第42頁(yè)/共52頁(yè)2021-10-152121122UQUE Q/ (7-33)Q/rNttNNti iytiQyyUyybl i01it22tkkt11y22ykky而 y =b +b x +b x +b x t=

20、1,2n還稱 為回歸平方和， 為剩余平方和。跟一元線性回歸類似，我們有 b l +b l +b l具體計(jì)算時(shí)，用這個(gè)公式比較方便的。我們有 n-k-1實(shí)際上，可以證明服從自由222221 Q/ S2S (7-34)Snk度為的分布記n-k-1式（733）表明是的無扁估計(jì)，實(shí)際中常用來表示。 Q/(n-k-1)又叫剩余標(biāo)準(zhǔn)差。第43頁(yè)/共52頁(yè)2021-10-1520.10.050.01FYkFF (7-35)F (k,n-k-1),F(k,n-k-1),F(k,n-k-1)735UkS12k可以利用 檢驗(yàn)對(duì)整個(gè)回歸進(jìn)行顯著性檢驗(yàn)，即 與所考慮的 個(gè)自變量x ,xx 之間的線性關(guān)系究竟是否顯著，檢驗(yàn)方法與一元線性回歸的檢驗(yàn)相同。只是這里僅能對(duì)總回歸作出檢驗(yàn)U/k=Q/(n-k-1)檢驗(yàn)的時(shí)候，分別查出臨界值，并與（ 0.010.050.010.10.050.1FFF(k,n-k-1),0.01F(k,n-k-1)FF(k,n-k-1)0.05F (k,n-k-1)FF(k,n-k-1)FF (k,n-k-1)Yk）計(jì)算的 值比較。若認(rèn)為回歸高度顯著或稱在水平上顯著。認(rèn)為回歸在水平上顯著則稱回歸在0.01水平上顯著。