一元線性回歸分析課件

1、第八章相關與回歸分析. 相關分析. 一元線性回歸分析. 相關分析. 相關分析的概念加拿大的一位科學家 ( ) 猜測: 嚴重暴力罪犯是否在生理結構上就與正常人有區(qū)別? 之后， 他研究了監(jiān)獄內幾十名嚴重暴力罪犯的血樣， 發(fā)現其中一種叫作 的物質只相當于正常人的 / ， 而且暴力犯罪越嚴重， 含量越低。 西班牙的一位科學家對斗牛士進行了相似的實驗， 也得到相似的結果。 同樣也對一些膽子很小、 “ 不惜一切， 避免任何風險” 的人進行了相似的實驗， 發(fā)現 含量偏高。 于是， 他著手研制一種能夠降低某些膽小的人血液中的 含量的藥， 以使他們能與普通人同樣生活。 這是一種現象: 暴力傾向強的人， 同時血液

2、中 的含量也低; 相反， 膽子小的人， 含量高。 人們會很自然地猜測 是否決定了一個人的暴力傾向?下一頁返回. 相關分析諸如此類的情況， 都存在這樣的過程: 人們發(fā)現某種現象的變化經常會引起另一現象的變化， 這可以被視為不太明確的規(guī)律; 人們?yōu)榱蓑炞C、 利用這些規(guī)律， 會進一步實驗， 篩選出最主要的變量， 再進行理論論證， 直至形成一種比較穩(wěn)定的、 可控的操作模式。 這個過程用統(tǒng)計術語來表述就是: 通過大量觀察， 發(fā)現某兩個變量之間的相關關系， 再對這兩個變量的一系列觀測值進行有效的統(tǒng)計技術處理 ( 下面將要介紹的回歸分析方法是主要的手段) ，形成具有一定概率的統(tǒng)計規(guī)律。 如何驗證或解釋統(tǒng)計規(guī)

3、律則是統(tǒng)計方法以外的事業(yè)， 前述三個事例都屬于生物學、 生理學領域。 經濟現象中的 “ 恩格爾定律” 也有類似的情形。上一頁下一頁返回. 相關分析“ 事物間是普遍聯系的” ， 一種現象的變化總是依賴或影響著其他現象的變化， 運用統(tǒng)計方法的目的之一就是從數量上測度事物之間的 “ 聯系及其程度” 。 事物之間存在依存關系， 從統(tǒng)計學的視角看， 可以把事物間的關系視為變量間的關系。 為了簡化討論， 假設相互聯系發(fā)生在兩個事物或兩個變量之間， 則兩者間關系的緊密程度即統(tǒng)計學要探索和度量的對象。例如， 一瓶純凈水價格為 元錢， 我們每多買一瓶， 就需要多花費 元錢， 將購買數量(瓶) 記為 ， 支付總額

4、記為 ， 則 。 這種關系說明， 一個變量的變化完全能夠決定另一個變量的變化。 其他的類似情況很多， 其基本特點是: 當自變量取某一個值時， 因變量有確定的值與之對應， 這就是 “ 函數關系” 。 因此， 函數關系是指事物之間客觀存在的， 并且在數量關系上是嚴格的確定性的關聯。上一頁下一頁返回. 相關分析然而， 現實世界中還有許多情況是現象之間存在著客觀聯系， 但在數量上表現為不確定的相互關系。 例如， 一般地， 一個人的身高越高， 他的體重也應該越重， 但我們會發(fā)現有些身高為 米的人較身高為 米的人體重重; 又如， 單位生產成本的高低與利潤的多少的關系; 廣告費支出與產品銷售量之間的關系等。

5、 類似的情況很多， 其基本特點是: 當一種現象發(fā)生數量上的變化時， 另一現象也會相應地發(fā)生變化， 但其變化是不確定的。 眾多現象所形成的復雜性和認識的局限性， 或者實驗誤差、 測量誤差等偶然因素， 使得當一個變量發(fā)生變化時， 另一個變量與之對應的數值變化會有多種可能， 或分布于平均值周圍， 或在一定區(qū)間內隨機波動。 統(tǒng)計學中， 把這種現象之間在數量上非確定性的對應關系叫作 “ 相關關系” 或 “ 統(tǒng)計關系” 。 因此， 我們把相關看作現象或變量之間的數量關聯， 從而有() 完全確定的關聯函數關系。上一頁下一頁返回. 相關分析從以上的分析可以看出， 探討現象之間的相關關系是發(fā)現事物內在相關性的一

6、種捷徑，有時甚至能夠指明研究方向的重要信息， 而且許多現象也證實了這種機制。 例如， 天花是一種毀壞性很強的傳染病， 但有人發(fā)現， 牧場里擠牛奶的姑娘幾乎從來不染天花， 經過多次的“ 試錯” 活動， 牛痘誕生了， 天花不再肆虐， 以至于現在， 天花病毒在某些范圍內成為瀕臨滅絕的需要保護的生物物種; 再如， 風濕性關節(jié)炎是一種頑疾， 但人們發(fā)現， 養(yǎng)蜂人幾乎不患關節(jié)炎， 與產生牛痘的艱難過程相似， 治療關節(jié)炎的 “ 蜂毒” 出現了。上一頁下一頁返回. 相關分析. . 相關分析的分類感知某種事物的存在， 人們很自然地就要去理解、 解釋這種事物。 現象間存在著相關關系， 這些 “ 關系” 成為認識的

7、對象， 我們不禁要問: 這些關系是怎樣的? 從科學方法的角度看， 對研究對象進行適當的分類是必要的?，F象間的相關關系可以按照不同的標準進行分類。() 按相關的程度劃分為完全相關、 不完全相關和不相關。 完全相關是指一個變量的變動必然會引起另一個變量的確定性變動的相關關系， 如圓的面積與其半徑的相關關系。 完全相關即函數關系。 不相關是指一個變量的變動完全不受另一個變量數量變動的影響， 彼此間相互獨立。 不完全相關是指一個變量發(fā)生有規(guī)律的變動， 能引起另一變量對應的規(guī)律性變動， 但變動關系不確定。上一頁下一頁返回. 相關分析() 按相關的變化方向是否相同可以分為正相關和負相關。 當一個變量的數量

8、變動與另一個變量的數量變動方向一致時， 稱為正相關。 如政府財政收入增加， 則下撥給各預算單位的財政撥款也會隨之增加。 當一個變量的數量變動與另一個變量的數量變動方向相反時，稱為負相關。 如勞動生產率提高， 則單位產品所消耗的時間會減少。() 按相關關系中所涉及變量的多少可以分為單相關和復相關。 單相關又稱簡相關，是指兩個變量之間的相關關系， 即只有一個自變量和一個因變量之間的相關， 如投入與產出之間的關系。 復相關又稱多元相關， 是指三個或三個以上變量之間的相關關系， 如商品銷售額與居民人均可支配收入、 商品價格之間的相關關系。上一頁下一頁返回. 相關分析() 按相關的表現形式不同可以分為直

9、線相關和曲線相關。 直線相關又稱線性相關，是指當一個變量變動時， 另一個變量隨之發(fā)生大致均等的變動的相關關系。 曲線相關又稱非線性相關， 是指當一個變量變動時， 另一個變量也隨之發(fā)生變動， 但這種變動不是均等的。在平面直角坐標圖中， 前者是變量間變化所對應數值的散點分布近似地表現為一條直線; 而后者對應數值的散點分布近似地表現為一條曲線， 如拋物線、 指數曲線等。 如產品產量與單位產品的生產成本之間的關系， 當產品產量在合理范圍內增加時， 單位產品的生產成本會降低， 一旦產品增加超過經濟規(guī)模， 則產量越多， 單位產品成本反而會上升。 這就是非線性相關關系。上一頁下一頁返回. 相關分析. . 相

10、關關系的度量在研究現象間的相關關系時， 常常采用統(tǒng)計分析指標相關系數來表明變量之間的相關關系。相關系數 ( ) 是在直線相關的條件下， 用于表明兩個變量之間相關關系密切程度的統(tǒng)計分析指標。 變量 和 的相關系數定義為上一頁下一頁返回. 相關分析相關系數的計算方法有很多種， 實際應用中常用積差法計算。 其中， ( ， ) 常用 表示; ( ， ) 是協方差; ( ) 和( ) 分別是變量 和 的方差。 相關系數( ， ) 具有以下性質:()( ， ) ，()( ，) 當且僅當 。相關系數 ( ， ) 的數值總是介于 與 之間。 若 ( ， ) 為正數或負數， 則表示兩變量為正相關或負相關; (

11、， ) 的絕對值越接近 ， 說明兩個變量間線性相關關系越密切; 反之， ( ， ) 越接近 ， 說明兩個變量間線性相關關系越弱， 但這并不表示兩變量間不存在其他形式的相關關系， 如曲線相關; 特別地， 當 ( ， ) 時，稱 和 不相關， 表示兩變量間無線性相關關系。 可見， 相關系數是判斷變量間線性關系的重要指標。上一頁下一頁返回. 相關分析【例 】 對紅星公司生產的八種產品的銷售額和銷售利潤進行調查， 將調查得到的原始數據按產品銷售額從小到大的順序排列后， 編制相關報表， 如表 所示?，F在利用相關系數公式進行計算， 將各數據代入公式求得相關系數， 如表 所示。從求得的相關系數可知， 產品的

12、銷售額和銷售利潤之間存在高度正相關關系。上一頁返回. 一元線性回歸分析相關分析與回歸分析都是處理變量之間相關關系的一種統(tǒng)計方法。相關分析是確定變量相關關系的具體形式， 但無法從一個變量的變化來推測出另一個變量的變化情況。 因此， 相關分析需要利用回歸分析來表明現象數量關系的具體形式， 回歸分析則應該建立在相關分析的基礎上。 回歸分析和相關分析是互相補充、 密切聯系的?；貧w分析是研究兩種或兩種以上變量之間相互依賴的定量關系的統(tǒng)計分析方法， 在很多行業(yè)都有廣泛的應用。 無論是銀行、 保險、 電信等服務行業(yè)的業(yè)務分析人員在進行數據庫營銷、 欺詐風險偵測， 還是半導體、 電子、 化工、 醫(yī)藥、 鋼鐵等

13、制造行業(yè)的研發(fā)技術人員在進行新產品實驗設計與分析、 流程優(yōu)化與過程監(jiān)控， 或者更廣義地說， 不同類型的企業(yè)在開展質量管理和六項目時， 都會用到回歸分析?；貧w分析可以幫助我們判斷哪些因素的影響是顯著的， 哪些因素的影響是不顯著的， 還可以利用求得的回歸方程進行預測和控制。下一頁返回. 一元線性回歸分析相關分析與回歸分析的主要聯系是:() 研究有一定聯系的兩個變量之間是否存在直線關系以及如何求得直線回歸方程等問題， 需進行直線相關和回歸分析。() 從研究目的來說， 若僅僅為了了解兩變量之間呈直線關系的密切程度和方向， 則宜選用線性相關分析; 若僅僅為了建立由自變量推算因變量的直線回歸方程， 則宜選

14、用直線回歸分析。() 作相關分析時要求兩變量都是隨機變量 ( 如人的身高與體重) ; 作回歸分析時要求因變量是隨機變量， 自變量可以是隨機的， 也可以是一般變量 ( 即可以事先指定變量的取值， 如用藥的劑量) 。() 在實際應用中， 當兩變量都是隨機變量時， 常需同時給出這兩種方法分析的結果;另外， 若用計算器來實現統(tǒng)計分析， 則可用對相關系數的檢驗取代對回歸系數的檢驗， 以達到化繁為簡的目的。上一頁下一頁返回. 一元線性回歸分析相關分析與回歸分析的主要差別是:() 在回歸分析中， 被稱為因變量， 處在被解釋的特殊地位， 而在相關分析中， 與 處于平等的地位， 即研究 與 的密切程度和研究 與

15、 的密切程度是一致的。() 相關分析中， 與 都是隨機變量， 而在回歸分析中， 是隨機變量， 可以是隨機變量， 也可以是非隨機的。 通常在回歸模型中， 總是假定 是非隨機的。() 相關分析研究的主要是兩個變量之間的密切程度， 而回歸分析不僅可以揭示 對 的影響大小， 還可以由回歸方程進行數量上的預測和控制。上一頁下一頁返回. 一元線性回歸分析. . 一元線性回歸分析的概念如果兩個變量呈現直線相關關系 ( 即兩變量的增長比率為常數) ， 則其變動的規(guī)律可用一條直線來說明， 即 。 基于兩變量之間的數量變化常常是采用近似于一條直線的方式變動， 因此， 回歸分析可以利用數學上的線性分析法， 即采用一

16、條直線進行統(tǒng)計分析，這條關于 與 的回歸直線稱為估計回歸線， 采用的回歸線的方程式稱為回歸方程式， 一元線性回歸方程式表示為: ， 其中表示 的估計值， 表示直線在縱軸上的截距， 表示直線的斜率， 在回歸分析中稱為回歸系數。 當 為正時， 表明自變量和因變量按相同方向變動; 當 為負時， 表明自變量和因變量按相反方向變動。 和 都叫待定參數， 可根據實際資料求解其數值， 最后確定回歸直線方程式。回歸分析的主要步驟有:上一頁下一頁返回. 一元線性回歸分析() 確定相關關系的數學表達式。 如果變量之間表現為直線相關， 則采用直線方程的方法; 如果變量之間表現為曲線相關， 則采用曲線方程的方法。 回

17、歸方程的構建是進行回歸預測和計算的依據。() 根據回歸方程， 利用自變量的數值對因變量的相應值進行估計。 假定變量在未來某一時間內仍以回歸方程為規(guī)律進行變化， 則根據直線方程或曲線方程可以得出自變量的若干數值， 代入回歸方程， 計算出因變量的估計值或預測值。() 確定應變量估計值的誤差。 采用數學方程式來表達變量間的變化關系后， 根據此關系式可以用給定的自變量值計算出因變量的估計值。 因變量估計值與實際值誤差越大， 說明建立的數學方程式的代表性越小; 反之， 因變量估計值與實際值誤差越小， 則說明數學方程式的代表性越大。上一頁下一頁返回. 一元線性回歸分析. . 一元直線回歸模型的建立及應用在

18、進行相關分析時， 如果自變量與因變量對應的點大致分布在一條直線周圍或計算出相關系數具有顯著的直線相關關系， 那么都可擬合一條回歸直線。 由于根據分布的散點可以連接成若干條直線， 其中每一條直線都能在一定程度上代表這些散點， 且每一條直線都與這些散點之間存在不同程度的誤差， 因此， 對兩個變量進行一元線性回歸分析的任務就是在分散的、 具有線性關系的相關點之間擬合一條最優(yōu)直線， 以表明兩變量之間的變動關系。 一元線性回歸方程建立相關分析是以線性關系為樣板， 討論變量 和 的相關程度， 這一程度用相關系數表示。 我們不禁要問: 這個樣板是什么? 也就是把這個做樣板的線性表達式上一頁下一頁返回. 一元

19、線性回歸分析給出來， 即相當于把系數 和 估計出來。 這樣， 變量 和 的關系就可以表示為式中， 為誤差， 是一個隨機變量。 顯然， 相關系數絕對值越大， 誤差 在表達式中占的比例就越小， 也就是線性部分占的比例越大， 這就有可能用線性表達式 ( ) 近似表達變量 和 的關系。 稱線性表達式 ( ) 為變量 對于 的一元線性回歸方程?；貧w分析的主要任務是回答:() 回歸方程 ( ) 能否近似代表變量 和 的關系。 這實際是對線性部分與誤差部分各占比例的估量。() 怎樣估計回歸方程 ( ) ， 也就是怎樣估計參數 和 。 顯然， 在任務 () 完成前， 任務 () 無從開始。上一頁下一頁返回.

20、一元線性回歸分析 回歸的基本假設解決回歸分析的主要任務還是需要從樣本入手。 套用式 ( ) ， 可將式 ( ) 寫成以下所有分析推導都從式 ( ) 出發(fā)。 顯然， 需要用到一些數學方法。 為此提出以下基本假設:上一頁下一頁返回. 一元線性回歸分析 回歸系數 、 的最小二乘估計這一步驟實際是估計回歸方程。 作為變量 和 實際關系的近似， 自然要求回歸方程( ) 計算出的 值與樣本觀察值具有最小誤差， 即把 代入式 ( ) 計算出的 值與實際觀察到的 誤差最小。 為此， 取誤差的平方和在求 ( ， ) 最小值過程中， 得到 、 的估計。 數學上把這一方法叫作最小二乘法。利用多元函數求極值方法， 令上一頁下一頁返回. 一元線