直線回歸法的公式推導

關于直線回歸法的公式推導第1頁，共16頁，2022年，5月20日，13點22分，星期五主要內容

回歸直線法的原理回歸直線的公式推導一二第2頁，共16頁，2022年，5月20日，13點22分，星期五0x業(yè)務量（件）y

成本（元）y=a+bx一、直線回歸法的原理直線回歸發(fā)的原理——微積分極值原理第3頁，共16頁，2022年，5月20日，13點22分，星期五

從散布圖法可以看出，我們總能設法找到一條盡可能通過所有坐標點，也就是所有誤差最小的惟一直線y=a+bx。設ei為當業(yè)務量為xi時，實際值（又稱觀測值）yi與計算值（a+bxi）的誤差，即

ei=yi–(a+bxi)二、直線回歸法公式推導第4頁，共16頁，2022年，5月20日，13點22分，星期五

怎樣判斷一條直線方程就是我們所要找的所有誤差最小的那條直線y=a+bx呢？可以考慮的辦法有三：第一，判斷所有誤差的代數(shù)和是否最小。即：Σei=0

但由于誤差有正有負，可能相互抵消，會存在無數(shù)滿足上述條件的直線，因而無法據(jù)此作出最終判斷。二、直線回歸法公式推導第5頁，共16頁，2022年，5月20日，13點22分，星期五所有誤差的代數(shù)和是否最小示意圖？0x業(yè)務量（件）y

成本（元）滿足Σei=0的條件滿足Σei=0的條件二、直線回歸法公式推導第6頁，共16頁，2022年，5月20日，13點22分，星期五

第二，判斷所有誤差絕對值的合計是否最小。即：Σ│ei│=0

但上式展開后，涉及到絕對數(shù)運算，非常麻煩：

Σ│ei│=±e1±e2±e3±…±en-1±en

因而也無法據(jù)此作出判斷。二、直線回歸法公式推導第7頁，共16頁，2022年，5月20日，13點22分，星期五

第三，判斷所有誤差平方和是否最小。即：Σei2=0

這種方法既排除了正負誤差的符號問題，又避免了絕對值運算的麻煩。因此，可以根據(jù)誤差的平方和是否達到最小，來判斷直線方程y=a+bx的總誤差是否達到最小。此法又稱最小二乘法或最小平方法。二、直線回歸法公式推導第8頁，共16頁，2022年，5月20日，13點22分，星期五

根據(jù)上述道理，回歸直線法就是求能使Σei2=0成立的回歸系數(shù)a和b的值。因為ei=yi–(a+bxi)

所以Σei2=Σ[yi–(a+bxi)]2

按照微分極值原理，令上式=0，并分別對a和b求偏導數(shù)，就可以求出能滿足Σei2

達到極小值的a和b。按照此法推導的a，b計算公式，稱為

公式法。二、直線回歸法公式推導第9頁，共16頁，2022年，5月20日，13點22分，星期五Σe2=Σ[y

–(a+bx)]2=Σ[y

2–2y

(a+bx)+(a+bx)2]=Σ[y

2–2ay–2bxy+a2+2abx+b2x2]=Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2令：Σy

2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2=0對上式求a的偏導數(shù)，得：

–2Σy+2na+2bΣx=0整理得Σy=na+bΣx（1）式1.按公式法推導a，b計算公式的過程第10頁，共16頁，2022年，5月20日，13點22分，星期五對Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2=0求b的偏導數(shù)，得：

–2Σxy+2aΣx+2bΣx2=0整理得

Σxy=aΣx+bΣx2

（2）式解聯(lián)立方程，即可求出a，b的值。1.按公式法推導a，b計算公式的過程Σy=na+bΣxΣxy=aΣx+bΣx2第11頁，共16頁，2022年，5月20日，13點22分，星期五2.用行列式求二元一次方程組中a和b的解Σy=na+bΣxΣxy=aΣx+bΣx2因為下列聯(lián)立方程中，未知數(shù)為a和b，Σy,Σxy為已知常數(shù)，n,Σx和Σx2分別為a和b的系數(shù)，則有常數(shù)列

ΣyΣxy用行列式的方法解法如下：第12頁，共16頁，2022年，5月20日，13點22分，星期五Δ==nΣx2-(Σx)2Δa==ΣyΣx2-ΣxΣxy

nΣxΣxΣx2ΣyΣxyΣxΣx2Δb==nΣxy-ΣxΣynΣxΣyΣxy

nΣx2.用行列式求二元一次方程組中a和b的解第13頁，共16頁，2022年，5月20日，13點22分，星期五a=ΔaΔb=ΔbΔnΣx2-(Σx)2ΣyΣx2-ΣxΣxy=nΣxy-ΣxΣy=nΣx2-(Σx)2∵Σy=na+bΣx可以同時計算出a和bΣy-bΣxn∴a=必須先計算出b，然后才能計算a2.用行列式求二元一次方程組中a和b的解第14頁，共16頁，2022年，5月20日，13點22分，星期五

上述聯(lián)立方程也可以不用求偏導數(shù)的方法來建立，可利用一種所謂簡捷法來實現(xiàn)?！遹=a+bx∴Σy=Σ(a+bx)=na+bΣx（1）式又∵xy=x