《機(jī)器學(xué)習(xí)-Python實(shí)戰(zhàn)（微課版）》課件 綜合案例2 線性回歸

綜合案例2第十四章：實(shí)戰(zhàn)案例（二）1.簡(jiǎn)介2.

計(jì)算回歸準(zhǔn)確率3.

保存數(shù)據(jù)模型4.創(chuàng)建嶺回歸器準(zhǔn)備工作

線性回歸的目標(biāo)是提取輸入變量與輸出變量的關(guān)聯(lián)線性模型，這就要求實(shí)際輸出與線性方程預(yù)測(cè)的輸出的殘差平方和（sumofsquaresofdifferences）最小化。這種方法被稱為普通最小二乘法（OrdinaryLeastSquares，OLS）。詳細(xì)步驟

步驟一：創(chuàng)建一個(gè)Python文件regressor.pyimportsysimportnumpyasnpfilename=sys.argv[1]X=[]y=[]withopen(filename,'r')asf:forlineinf.readlines():xt,yt=[float(i)foriinline.split(',')]X.append(xt)y.append(yt)詳細(xì)步驟

步驟二：把數(shù)據(jù)分成訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集：num_training=int(0.8*len(X))num_test=len(X)-num_training#訓(xùn)練數(shù)據(jù)X_train=np.array(X[:num_training]).reshape((num_training,1))y_train=np.array(y[:num_training])#測(cè)試數(shù)據(jù)X_test=np.array(X[num_training:]).reshape((num_test,1))y_test=np.array(y[num_training:])詳細(xì)步驟

步驟三：創(chuàng)建一個(gè)回歸器對(duì)象fromsklearnimportlinear_model#創(chuàng)建線性回歸對(duì)象linear_regressor=linear_model.LinearRegression()#用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型linear_regressor.fit(X_train,y_train)詳細(xì)步驟

步驟四：擬合importmatplotlib.pyplotasplty_train_pred=linear_regressor.predict(X_train)plt.figure()plt.scatter(X_train,y_train,color='green')plt.plot(X_train,y_train_pred,color='black',linewidth=4)plt.title('Trainingdata')plt.show()詳細(xì)步驟

步驟五：在命令行工具中執(zhí)行$pythonregressor.pydata_singlevar.txt詳細(xì)步驟

步驟六：在前面的代碼中，我們用訓(xùn)練的模型預(yù)測(cè)了訓(xùn)練數(shù)據(jù)的輸出結(jié)果，但這并不能說(shuō)明模型對(duì)未知的數(shù)據(jù)也適用，因?yàn)槲覀冎皇窃谟?xùn)練數(shù)據(jù)上運(yùn)行模型。這只能體現(xiàn)模型對(duì)訓(xùn)練數(shù)據(jù)的擬合效果。從步驟五中可以看到，模型訓(xùn)練的效果很好。詳細(xì)步驟

步驟七：用模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行預(yù)測(cè)y_test_pred=linear_regressor.predict(X_test)plt.scatter(X_test,y_test,color='green')plt.plot(X_test,y_test_pred,color='black',linewidth=4)plt.title('Testdata')plt.show()第十四章：1.簡(jiǎn)介2.

計(jì)算回歸準(zhǔn)確率3.

保存數(shù)據(jù)模型4.創(chuàng)建嶺回歸器準(zhǔn)備工作平均絕對(duì)誤差（meanabsoluteerror）：這是給定數(shù)據(jù)集的所有數(shù)據(jù)點(diǎn)的絕對(duì)誤差平均值。均方誤差（meansquarederror）：這是給定數(shù)據(jù)集的所有數(shù)據(jù)點(diǎn)的誤差的平方的平均值。中位數(shù)絕對(duì)誤差（medianabsoluteerror）：這是給定數(shù)據(jù)集的所有數(shù)據(jù)點(diǎn)的誤差的中位數(shù)。解釋方差分（explainedvariancescore）：這個(gè)分?jǐn)?shù)用于衡量我們的模型對(duì)數(shù)據(jù)集波動(dòng)的解釋能力。詳細(xì)步驟importsklearn.metricsassmprint"Meanabsoluteerror=",round(sm.mean_absolute_error(y_test,y_test_pred),2)print"Meansquarederror=",round(sm.mean_squared_error(y_test,y_test_pred),2)print"Medianabsoluteerror=",round(sm.median_absolute_error(y_test,y_test_pred)2)print"Explainedvariancescore=",round(sm.explained_variance_score(y_test,y_test_pred),2)print"R2score=",round(sm.r2_score(y_test,y_test_pred),2)

每個(gè)指標(biāo)都描述得面面俱到是非常乏味的，因此只選擇一兩個(gè)指標(biāo)來(lái)評(píng)估我們的模型。通常的做法是盡量保證均方誤差最低，而且解釋方差分最高。第十四章：1.簡(jiǎn)介2.

計(jì)算回歸準(zhǔn)確性3.

保存模型數(shù)據(jù)4.創(chuàng)建嶺回歸器詳細(xì)步驟

步驟一：在Python文件regressor.py中加入以下代碼：importcPickleaspickleoutput_model_file='saved_model.pkl'withopen(output_model_file,'w')asf:pickle.dump(linear_regressor,f)詳細(xì)步驟

步驟二：回歸模型會(huì)保存在saved_model.pkl文件中withopen(output_model_file,'r')asf:model_linregr=pickle.load(f)y_test_pred_new=model_linregr.predict(X_test)print"\nNewmeanabsoluteerror=",round(sm.mean_absolute_error(y_test,y_test_pred_new),2)

步驟三：把回歸模型從Pickle文件加載到model_linregr變量中第十四章：1.簡(jiǎn)介2.

計(jì)算回歸準(zhǔn)確率3.

保存模型數(shù)據(jù)4.創(chuàng)建嶺回歸器準(zhǔn)備工作

普通最小二乘法在建模時(shí)會(huì)考慮每個(gè)數(shù)據(jù)點(diǎn)的影響，因此，最終模型就會(huì)像左圖顯示的直線那樣。顯然，我們發(fā)現(xiàn)這個(gè)模型不是最優(yōu)的。為了避免這個(gè)問(wèn)題，我們引入正則化項(xiàng)的系數(shù)作為閾值來(lái)消除異常值的影響。這個(gè)方法被稱為嶺回歸。詳細(xì)步驟

步驟一：

你可以從data_multi_variable.txt文件中加載數(shù)據(jù)。這個(gè)文件的每一行都包含多個(gè)數(shù)值。除了最后一個(gè)數(shù)值外，前面的所有數(shù)值構(gòu)成輸入特征向量。步驟二：把下面的代碼加入regressor.py文件中，用一些參數(shù)初始化嶺回歸器：ridge_regressor=linear_model.Ridge(alpha=0.01,fit_intercept=True,max_iter=10000)詳細(xì)步驟

步驟三：alpha參數(shù)控制回歸器的復(fù)雜程度。當(dāng)alpha趨于0時(shí)，嶺回歸器就是用普通最小二乘法的線性回歸器。因此，如果你希望模型對(duì)異常值不那么敏感，就需要設(shè)置一個(gè)較大的alpha值。這里把a(bǔ)lpha值設(shè)置為0.01。詳細(xì)步驟

步驟四：訓(xùn)練嶺回歸器ridge_regressor.fit(X_train,y_train)y_test_pred_ridge=ridge_regressor.predict(X_test)print"Meanabsoluteerror=",round(sm.mean_absolute_error(y_test,y_test_pred_ridge),2)print"Meansquarederror=",round(sm.mean_squared_error(y_test,y_test_pred_ridge),2)print"Medianabsoluteerror=",round(sm.median_absolute_error(