機器學(xué)習(xí)課件-機器學(xué)習(xí)基本方法 回歸分析

回歸分析議程公安應(yīng)用案例：從足長和步幅預(yù)測身高預(yù)習(xí)總結(jié)：中國大學(xué)MOOC課程回歸章節(jié)翻轉(zhuǎn)搶答回歸分析的深入認識：討論（企業(yè)專家點評）應(yīng)用拓展研討：中天集團質(zhì)量管理案例（企業(yè)專家點評）小組作業(yè)從一個實際問題談起——身高預(yù)測根據(jù)樣本的足長和步幅數(shù)據(jù)，擬合它們與身高的關(guān)系？可用于公安刑偵議程問題回歸分析與分類方法有什么區(qū)別？回歸方程的自變量怎么確定？回歸分析前需要對自變量做哪些預(yù)處理？在回歸分析時，自變量的相關(guān)性對分析結(jié)果有何影響？如何減少回歸方程的過擬合問題？噪聲數(shù)據(jù)對回歸問題有什么影響？非線性回歸如何轉(zhuǎn)化為線性回歸問題？統(tǒng)計分析回歸分析是統(tǒng)計學(xué)的重要方法。統(tǒng)計學(xué)是研究如何搜集資料、整理資料和進行量化分析、推斷的一門科學(xué)，在科學(xué)計算、工業(yè)和金融等領(lǐng)域有著重要應(yīng)用，統(tǒng)計分析是機器學(xué)習(xí)的基本方法。與統(tǒng)計分析相關(guān)的基本概念有以下幾個總體：根據(jù)定目的確定的所要研究事物的全體樣本：從總體中隨機抽取的若干個體構(gòu)成的集合推斷：以樣本所包含的信息為基礎(chǔ)對總體的某些特征作出判斷、預(yù)測和估計推斷可靠性：對推斷結(jié)果從概率上的確認，作為決策的重要依據(jù)議程回歸分析分析一個變量與其他一個（或幾個）變量之間的相關(guān)關(guān)系的統(tǒng)計方法就稱為回歸分析。常見的回歸分析包括線性回歸、多元回歸、非線性回歸、廣義線性回歸（對數(shù)回歸、泊松回歸）等?；貧w分析主要內(nèi)容包括確定連續(xù)值變量之間的相關(guān)關(guān)系，建立回歸模型，檢驗變量之間的相關(guān)程度，應(yīng)用回歸模型對變量進行預(yù)測等。$0$10$20利潤年齡206040minimize客戶利潤和年齡的關(guān)系議程損失函數(shù)

議程參數(shù)估計參數(shù)估計是用樣本統(tǒng)計量去估計總體的參數(shù)，即根據(jù)樣本數(shù)據(jù)選擇統(tǒng)計量去推斷總體的分布或數(shù)字特征。參數(shù)估計是統(tǒng)計推斷的種基本形式，其中除了最基本的最小二乘法和極大似然法、貝葉斯估計、極大后驗估計，還有極小化極大熵法等。議程線性回歸線性回歸是種通過擬合自變量與因變量之間最佳線性關(guān)系，來預(yù)測目標(biāo)變量的方法?；貧w過程是給出一個樣本集，用函數(shù)擬合這個樣本集，使樣本集與擬合函數(shù)間的誤差最小?；貧w分析包括以下內(nèi)容：從眾多的輸入變量中，判斷哪些變量對目標(biāo)變量的影響是顯著的如何做？確定輸入變量與目標(biāo)變量間的回歸模型根據(jù)樣本估計并檢驗回歸模型及未知參數(shù)模型檢驗與預(yù)測精度評估線性回歸和多元線性回歸議程一元線性回歸一元線性回歸是描述兩個變量之間線性相關(guān)關(guān)系的最簡單的回歸模型，如下圖。在散點圖中兩個變量呈線性關(guān)系。一元線性回歸模型表示為，其中a和b是系數(shù)，是隨機變量。在這個線性模型中，自變量x是非隨機變量。隨機變量要求服從正態(tài)分布。發(fā)現(xiàn)一條擬合樣本數(shù)據(jù)的直線，使得樣本點盡量靠近直線。議程一元線性回歸梯度下降法：也可以使用梯度下降法求解回歸系數(shù)，尤其是多元回歸和非線性回歸問題尤其適合。議程線性回歸舉例已知一個貿(mào)易公司某幾個月的廣告費用和銷售額，如下表所示可見隨著廣告費用的增加，公司的銷售額也在增加，但是它們并非絕對的線性關(guān)系，而是趨向于平均，如下圖所示上述線性回歸模型的公司為：y=1.38*x+30.6，其中x表示廣告費用，y表示銷售額，通過線性回歸的公式就可以預(yù)測企業(yè)的銷售額了廣告費（萬元）10132237454859656668687184888989銷售額（萬元）196071746989146130153144128123127125154150議程線性回歸檢驗

梯度下降法求回歸系數(shù)通過圖片識別PM2.5預(yù)測城市PM2.5（1）應(yīng)用創(chuàng)新從衡量圖像清晰程度的角度出發(fā)，對圖像特征進行觀察和分析，得到4個解釋性變量：灰度差分的方差、清晰度、飽和度、高頻含量等預(yù)測城市PM2.5（2）多元線性回歸的擬合優(yōu)度為0.82預(yù)測城市PM2.5（4）議程多元線性回歸（1））議程多元線性回歸（2）n》k議程多元線性回歸（3）問題：可逆？議程多元線性回歸案例（1）下表所示我國1988–1998年的城鎮(zhèn)居民人均全年耐用消費品支出、人均全年可支配收入和耐用消費品價格指數(shù)的統(tǒng)計資料，試建立城鎮(zhèn)居民人均全年耐用消費品支出y關(guān)于人均全年可支配收入x1和耐用消費品價格指數(shù)x2的回歸模型。年份人均耐用消費品支出

y人均全年可支配收入x1耐用消費品價格指數(shù)x21988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133.351998327.265425.1126.39議程多元線性回歸案例（2）估計的回歸方程自變量之間相關(guān)怎么辦？嶺回歸、LASSO回歸和彈性網(wǎng)絡(luò)模型誤差=偏差（Bias）+方差（Variance）+數(shù)據(jù)本身的誤差嶺回歸LASSO回歸彈性網(wǎng)絡(luò)通過正則化防止過擬合fromsklearn.linear_modelimportRidge,RidgeCVrigdeCV=RidgeCV(alphas=Lambdas,normalize=True,scoring='neg_mean_squared_error',cv=15)rigdeCV.fit(X_train,Y_train)predictedResult=rigdeCV.predict(X_test)

lasso_cv=LassoCV(alphas=Lambdas,normalize=True,cv=10,max_iter=10000)議程非線性回歸模型在統(tǒng)計學(xué)中，非線性回歸是回歸分析的一種形式，非線性模型是由一個或多個自變量非線性組合。一些常見非線性模型分段函數(shù)樣條曲線多項式函數(shù)其他議程非線性回歸議程非線性回歸思考：如果多個自變量之間是相互獨立或弱相關(guān)的，能否分別研究因變量與各個自變量的關(guān)系，然后加權(quán)求和，求出整個非線性回歸方程？分段函數(shù)求解或許是一種可行的選擇。Logistic回歸實戰(zhàn)案例研討耐熱導(dǎo)線工廠質(zhì)量管理數(shù)據(jù)分析桿的抗拉強度和絲的直徑的關(guān)系（1）上述經(jīng)驗公式失靈了？業(yè)界經(jīng)驗估計桿的抗拉強度和絲的直徑的關(guān)系（2）使用區(qū)間概念近似桿材強度與單線線徑之間的非線性關(guān)系。

回歸方