Python金融數(shù)據(jù)分析與挖掘（微課版） 課件 5-2.線性回歸

第5章機器學習與實現(xiàn)一元線性回歸多元線性回歸線性回歸應(yīng)用舉例一元線性回歸第5章

引例1：有一則新聞：預計20××年中國旅游業(yè)總收入將超過3000億美元。這個數(shù)據(jù)是如何預測出來的呢？引例2：身高預測問題：子女的身高（y），父母的身高（x）旅游總收入（y）居民平均收入（x）……變量之間的相互關(guān)系，主要有3種：①確定的函數(shù)關(guān)系，。②不確定的統(tǒng)計相關(guān)關(guān)系，。③沒有關(guān)系，不用分析。以上兩個例子均屬于第（2）種情況。一元線性回歸第5章

一元線性回歸模型y為因變量（隨機變量），x為自變量（確定的變量），

為模型系數(shù)，

每給定一個x，就得到y(tǒng)的一個分布。一元線性回歸第5章

對回歸模型兩邊取數(shù)學期望，得到以下回歸方程：每給定一個x，便有y的一個數(shù)學期望值與之對應(yīng)，它們是一個函數(shù)關(guān)系。一般地，通過樣本觀測數(shù)據(jù)，可以估計出以上回歸方程的參數(shù)，一般形式為：其中為對期望值及兩個參數(shù)的估計一元線性回歸第5章

對總體(x,y)進行n次獨立觀測，獲得n個樣本觀測數(shù)據(jù)，即(x1,y1),(x2,y2),…,(xn,yn)，將其繪制在圖像上。如何對這些觀測值給出最合適的擬合直線呢？使用最小二乘法。其基本思路是真實觀測值與預測值（均值）總的偏差平方和最小，計算公式如下：求解以上最優(yōu)化問題，即得到：其中最后得到了基于經(jīng)驗的回歸方程一元線性回歸第5章

總離差平方和TSS、回歸平方和RSS、殘差平方和ESS，計算公式分別如下：可以證明：回歸方程的線性關(guān)系是否顯著，可以用一個指標公式來計算：稱為擬合優(yōu)度（判定系數(shù)），值越大表明直線擬合程度越好。多元線性回歸第5章

前文介紹了只有一個自變量和一個因變量的一元線性回歸模型，然而在現(xiàn)實中自變量通常包含多個，這時稱它為多元線性回歸模型對于總體的n個觀測值，滿足以下公式：其中

相互獨立，且記，則其矩陣形式為其中

即為待估計的向量多元線性回歸第5章

對

兩邊取期望值，即得到以下回歸方程：其一般的形式如下其中

分布為期望值及回歸系數(shù)的估計的參數(shù)估計（最小二乘法，過程略）為的參數(shù)估計（推導過程略）為其中，H稱為對稱冪等矩陣與一元線性回歸模型類似，擬合優(yōu)度（判定系數(shù)）公式為：線性回歸應(yīng)用舉例第5章

在發(fā)電場中電力輸出（PE）與溫度（AT）、壓力（V）、濕度（AP）、壓強（RH）有關(guān)，相關(guān)測試數(shù)據(jù)（部分）如表所示ATVAPRHPE8.3440.771010.8490.01480.4823.6458.491011.474.2445.7529.7456.91007.1541.91438.7619.0749.691007.2276.79453.09…………………………需實現(xiàn)的功能如下：（1）利用線性回歸分析命令，求出PE與AT、V、AP、RH之間的線性回歸關(guān)系式系數(shù)

向量（包括常數(shù)項）和擬合優(yōu)度（判定系數(shù)），并在命令窗口輸出。（2）現(xiàn)有某次測試數(shù)據(jù)AT=28.4、V=50.6、AP=1011.9、RH=80.54，試預測其PE值。線性回歸應(yīng)用舉例第5章

1．讀取數(shù)據(jù)，確定自變量x和因變量yimportpandasaspddata=pd.read_excel('發(fā)電場數(shù)據(jù).xlsx')x=data.iloc[:,0:4].valuesy=data.iloc[:,4].values線性回歸應(yīng)用舉例第5章

（1）導入線性回歸模塊（簡稱LR）。

fromsklearn.linear_modelimportLinearRegressionasLR（2）利用LR創(chuàng)建線性回歸對象lr。

lr=LR()（3）調(diào)用lr對象中的fit()方法，對數(shù)據(jù)進行擬合訓練。

lr.fit(x,y)（4）調(diào)用lr對象中的score()方法，返回其擬合優(yōu)度，觀察線性關(guān)系是否顯著。

Slr=lr.score(x,y)#判定系數(shù)R2（5）取lr對象中的coef_、intercept_屬性，返回x對應(yīng)的回歸系數(shù)和回歸系數(shù)常數(shù)項。

c_x=lr.coef_#x對應(yīng)的回歸系數(shù)

c_b=ercept_#回歸系數(shù)常數(shù)項2.線性回歸分析線性回歸應(yīng)用舉例第5章

（1）可以利用lr對象中的predict()方法進行預測。

importnumpyasnp

x1=np.array([28.4,50.6,1011.9,80.54])

x1=x1.reshape(1,4)

R1=lr.predict(x1)（2）也可以利用線性回歸方程式進行預測，這個方法需要自行計算。

r1=x1*c_x

R2=r1.sum()+c_b#計算預測值print('x回歸系數(shù)為：',c_x)print('回歸系數(shù)常數(shù)項為：',c_b)print('判定系數(shù)為：',Slr)print('樣本預測值為：',R1)3．利用線性回歸模型進行預測執(zhí)行結(jié)果