“1+X”(中級(jí))07-回歸分析

回歸分析課程目錄7.1.回歸分析概述

7.1.1.回歸分析的定義

7.1.2.回歸分析提出的背景

7.1.3.回歸分析的原理7.1.4.回歸分析的應(yīng)用場(chǎng)景7.2.一元回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題回歸分析的定義變量間關(guān)系的度量：最典型的兩類變量關(guān)系——函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系函數(shù)關(guān)系是人們比較熟悉的。設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x，當(dāng)變量x取某個(gè)數(shù)值時(shí)，y依據(jù)確定的關(guān)系取出相應(yīng)的值，則稱y是x的函數(shù)，記為y=f（x），其中x稱為自變量，y稱為因變量。設(shè)某種產(chǎn)品的銷售額為y，銷售量為x，銷售價(jià)格為p，則x與y之間的關(guān)系可表示為y=px。這就是說，在銷售價(jià)格不變的情況下，對(duì)于該商品的某一銷售量，總有一個(gè)銷售額與之對(duì)應(yīng)，即銷售額完全由銷售量所確定，二者之間為線性函數(shù)關(guān)系。回歸分析的定義變量間關(guān)系的度量：最典型的兩類變量關(guān)系——函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系函數(shù)關(guān)系是人們比較熟悉的。設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x，當(dāng)變量x取某個(gè)數(shù)值時(shí)，y依據(jù)確定的關(guān)系取出相應(yīng)的值，則稱y是x的函數(shù)，記為y=f（x），其中x稱為自變量，y稱為因變量。

回歸分析的定義變量間關(guān)系的度量：最典型的兩類變量關(guān)系——函數(shù)關(guān)系與相關(guān)關(guān)系相關(guān)關(guān)系函數(shù)關(guān)系是一一對(duì)應(yīng)的確定關(guān)系，但在實(shí)際問題中，變量之間的關(guān)系往往并不簡單。考察居民儲(chǔ)蓄與居民家庭收入這兩個(gè)變量，它們之間就不存在完全確定的關(guān)系。比如：對(duì)于收入水平相同的家庭，他們的儲(chǔ)蓄額往往不同；相反，儲(chǔ)蓄額相同的家庭，他們的收入水平也可能不同。居民儲(chǔ)蓄并不完全由居民家庭收入確定，因?yàn)榧彝ナ杖氡M管與家庭儲(chǔ)蓄有密切的關(guān)系，但它并不是影響儲(chǔ)蓄的唯一因素，還有銀行利率、消費(fèi)水平等其他影響因素。變量之間存在的不確定的數(shù)量關(guān)系稱為相關(guān)關(guān)系?；貧w分析的定義回歸是處理變量之間關(guān)系的一種統(tǒng)計(jì)方法，主要用來處理數(shù)值型自變量和數(shù)值型因變量之間的關(guān)系。從所處理的變量多少來看，如果研究的是兩個(gè)變量之間的關(guān)系，則稱為簡單回歸分析；如果研究的是兩個(gè)以上變量之間的關(guān)系，則稱為多元回歸分析。從變量之間的關(guān)系形態(tài)來看，有線性回歸分析及非線性回歸分析?；貧w分析的定義回歸分析估計(jì)了兩個(gè)或多個(gè)變量之間的關(guān)系。比如說：在當(dāng)前的經(jīng)濟(jì)條件下，你要估計(jì)一家公司的銷售額增長情況?，F(xiàn)在，你有公司最新的數(shù)據(jù)，這些數(shù)據(jù)顯示出銷售額增長大約是經(jīng)濟(jì)增長的2.5倍。那么使用回歸分析，就可以根據(jù)當(dāng)前和過去的信息來預(yù)測(cè)未來公司的銷售情況。使用回歸分析的好處它表明自變量和因變量之間的顯著關(guān)系它表明多個(gè)自變量對(duì)一個(gè)因變量的影響強(qiáng)度回歸分析的定義回歸分析類型選擇因變量數(shù)值型分類型一個(gè)自變量多個(gè)自變量直線回歸多元線性回歸因變量為二分類因變量為有序的多分類因變量為無序的多分類因變量為多分類、同時(shí)為配對(duì)資料二分類Logistics回歸有序Logistics回歸多分類Logistics回歸條件Logistics回歸課程目錄7.1.回歸分析概述

7.1.1.回歸分析的定義

7.1.2.回歸分析提出的背景

7.1.3.回歸分析的原理7.1.4.回歸分析的應(yīng)用場(chǎng)景7.2.一元回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題回歸分析提出的背景課程目錄7.1.回歸分析概述

7.1.1.回歸分析的定義

7.1.2.回歸分析提出的背景

7.1.3.回歸分析的原理

7.1.4.回歸分析的應(yīng)用場(chǎng)景7.2.一元回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題回歸的數(shù)學(xué)原理回歸的數(shù)學(xué)原理指數(shù)族分布廣義線性回歸廣義線性模型是把自變量的線性預(yù)測(cè)函數(shù)當(dāng)做因變量的預(yù)測(cè)值，廣義線性模型是基于指數(shù)族分布的。從指數(shù)族分布表達(dá)式角度來看：從概率密度圖的角度上，概率密度分布圖的形狀與指數(shù)函數(shù)的圖形有一定的類似，說明了概率密度的分布可以用指數(shù)函數(shù)框架來表示。伯努利分布（Bernoullidistribution）與高斯分布（Gaussiandistribution）的指數(shù)族分布標(biāo)準(zhǔn)表達(dá)式。常見回歸分析模型一元線性回歸多元線性回歸Logistic線性回歸只有一個(gè)變量X與因變量Y有關(guān)，X與Y都是連續(xù)型變量，因變量Y或其殘差必須服從正態(tài)分布分析多個(gè)變量與因變量Y的關(guān)系，X與Y都是連續(xù)型變量，因變量Y或其殘差必須服從正態(tài)分布分析多個(gè)變量與因變量Y的關(guān)系，Y通常是離散型或定性變量，該模型對(duì)因變量Y的分布無要求課程目錄7.1.回歸分析概述

7.1.1.回歸分析的定義

7.1.2.回歸分析提出的背景

7.1.3.回歸分析的原理7.1.4.回歸分析的應(yīng)用場(chǎng)景7.2.一元回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題回歸分析的應(yīng)用場(chǎng)景回歸分析特別適用于定量地描述與解釋變量之間相互關(guān)系或者估測(cè)或預(yù)測(cè)因變量的值。機(jī)場(chǎng)客流量分布預(yù)測(cè)音樂流行趨勢(shì)預(yù)測(cè)需求預(yù)測(cè)與倉儲(chǔ)規(guī)劃方案新浪微博互動(dòng)量預(yù)測(cè)貨幣基金資金流入流出預(yù)測(cè)電影票房預(yù)測(cè)農(nóng)產(chǎn)品價(jià)格預(yù)測(cè)分析基于多源數(shù)據(jù)的青藏高原湖泊面積預(yù)測(cè)微博傳播規(guī)模和傳播深度預(yù)測(cè)鮑魚年齡預(yù)測(cè)學(xué)生成績排名預(yù)測(cè)網(wǎng)約車出行流量預(yù)測(cè)紅酒品質(zhì)評(píng)分搜索引擎的搜索量和股價(jià)波動(dòng)中國人口增長分析農(nóng)村居民收入增長預(yù)測(cè)房地產(chǎn)銷售影響因素分析股價(jià)走勢(shì)預(yù)測(cè)全國綜合運(yùn)輸總量預(yù)測(cè)地震預(yù)報(bào)例如：課程目錄7.1.回歸分析概述7.2.一元回歸7.2.1一元線性回歸7.2.2一元非線性回歸7.2.3一元多項(xiàng)式回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題一元線性回歸原理與方法建立一元回歸模型

一元線性回歸原理與方法回歸模型成立的四個(gè)假設(shè)正態(tài)性假設(shè)零均值性假設(shè)等方差性假設(shè)獨(dú)立性假設(shè)要求總體誤差項(xiàng)服從正態(tài)分布。如果違反這一假設(shè)，則最小二乘估計(jì)不再是最佳無偏估計(jì)，不能進(jìn)行區(qū)間估計(jì)。如果不涉及假設(shè)檢驗(yàn)和區(qū)間估計(jì)，則此假設(shè)可以忽略。即在自變量取一定值的條件下，其總體各誤差項(xiàng)的條件平均值為零。如果違反這一假設(shè)，則由最小二乘估計(jì)得到的估計(jì)不再是無偏估計(jì)。誤差項(xiàng)之間相互獨(dú)立（不相關(guān)），誤差項(xiàng)與自變量之間應(yīng)相互獨(dú)立。如果違反這一假設(shè)，則誤差項(xiàng)之間可能出現(xiàn)序列相關(guān)，最小二乘估計(jì)不再是有效估計(jì)。即在自變量取一定值的條件下，其總體各誤差項(xiàng)的條件方差為一個(gè)常數(shù)。如果違反這一假設(shè)，則由最小二乘估計(jì)不再是有效估計(jì)，不能進(jìn)行區(qū)間估計(jì)。一元線性回歸原理與方法一元線性回歸方程及求法

一元線性回歸原理與方法一元線性回歸方程及求法

一元線性回歸python實(shí)現(xiàn)一元線性回歸模型的python實(shí)現(xiàn)，核心代碼如下：機(jī)器學(xué)習(xí)PAI中對(duì)應(yīng)的組件機(jī)器學(xué)習(xí)PAI中對(duì)應(yīng)的組件為線性回歸組件課程目錄7.1.回歸分析概述7.2.一元回歸7.2.1一元線性回歸7.2.2一元非線性回歸7.2.3一元多項(xiàng)式回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題一元非線性回歸實(shí)際問題中，變量之間常常不是直線。這時(shí)，通常是選配一條比較接近的曲線，通過變量替換把非線性方程加以線性化，然后按照線性回歸的方法進(jìn)行擬合。常見的可轉(zhuǎn)化一元線性回歸的模型包括：許多曲線都可以通過變換化為直線，于是可以按直線擬合的方法來處理。對(duì)變換后的數(shù)據(jù)進(jìn)行線性回歸分析，之后將得到的結(jié)果再代回原方程。因而，回歸分析是對(duì)變換后的數(shù)據(jù)進(jìn)行的，所得結(jié)果僅對(duì)變換后的數(shù)據(jù)來說是最佳擬合，當(dāng)再變換回原數(shù)據(jù)坐標(biāo)時(shí)，所得的回歸曲線嚴(yán)格地說并不是最佳擬合，不過，其擬合程度通常是令人滿意的。課程目錄7.1.回歸分析概述7.2.一元回歸7.2.1一元線性回歸7.2.2一元非線性回歸7.2.3一元多項(xiàng)式回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題一元多項(xiàng)式回歸不是所有的一元非線性函數(shù)都能轉(zhuǎn)換成一元線性方程，但任何復(fù)雜的一元連續(xù)函數(shù)都可用高階多項(xiàng)式近似表示，因此對(duì)于那些較難直線化的一元函數(shù)，可用下式來擬合。如果令則上式可以轉(zhuǎn)化為多元線性方程。

雖然多項(xiàng)式的階數(shù)越高，回歸方程與實(shí)際數(shù)據(jù)擬合程度越高，但階數(shù)越高，回歸計(jì)算過程中的舍入誤差的積累也越大，所以當(dāng)階數(shù)nnn過高時(shí)，回歸方程的精確度反而會(huì)降低，甚至得不到合理的結(jié)果。故一般取n=3～4。課程目錄7.1.回歸分析概述7.2.一元回歸7.3.多元回歸7.2.1多元線性回歸7.2.2多元多項(xiàng)式回歸7.4.本章小結(jié)7.5.本章習(xí)題多元線性回歸原理與方法

其表達(dá)式為:

多元線性回歸模型e表示去除m個(gè)自變量對(duì)Y影響后的隨機(jī)誤差。多元線性回歸原理與方法多元線性回歸模型的應(yīng)用需要滿足如下條件

多元線性回歸原理與方法多元線性回歸方程

（最小二乘法）

多元線性回歸原理與方法多元線性回歸方程的建立

……

多元線性回歸原理與方法多元線性回歸方程的假設(shè)檢驗(yàn)及其評(píng)價(jià)將回歸方程所有自變量作為一個(gè)整體來檢驗(yàn)它們與因變量之間是否有線性關(guān)系（方差分析法、復(fù)相關(guān)系數(shù)）；對(duì)回歸方程的預(yù)測(cè)或解釋能力作出綜合評(píng)價(jià)（決定系數(shù)）；在此基礎(chǔ)上進(jìn)一步對(duì)各個(gè)自變量的重要性作出評(píng)價(jià)（偏回歸平方和、t檢驗(yàn)、標(biāo)準(zhǔn)回歸系數(shù)）多元線性回歸python實(shí)現(xiàn)多元線性回歸模型的python實(shí)現(xiàn)，核心代碼如下：機(jī)器學(xué)習(xí)PAI中對(duì)應(yīng)的組件機(jī)器學(xué)習(xí)PAI中對(duì)應(yīng)的組件為線性回歸組件課程目錄7.1.回歸分析概述7.2.一元回歸7.3.多元回歸7.2.1多元線性回歸7.2.2多元多項(xiàng)式回歸7.4.本章小結(jié)7.5.本章習(xí)題多元多項(xiàng)式回歸課程目錄7.1.回歸分析概述7.2.一元回歸7.3.多元回歸7.4.本章小結(jié)7.5.本章習(xí)題本章小結(jié)回歸分析類型選擇回歸分析應(yīng)用場(chǎng)景回歸分析概述常見回歸分析模型一元線性回歸方程及求法一元回歸模型一元回歸一元非線性回歸