化學試驗設計法中的回歸分析

化學試驗設計法中的回歸分析1第一頁，共三十一頁，編輯于2023年，星期五多元回歸有多種，除了多元線性、非線性回歸外，其他如化學計量學中的主成分分析、偏最小二乘法、聚類分析等也是比較常用的回歸分析方法。多元線性回歸是一種使用非常廣泛的校正方法，在均勻設計中就要用到。2第二頁，共三十一頁，編輯于2023年，星期五對于一個多因素（X1、X2、…Xn）的試驗，試驗響應指標為Y，如果Y與各因素之間為線性關系，則有：

（11）

這里，b0為常數項，b1、…bn稱為多元線性回歸的偏回歸系數。和一元線性回歸方法類似，用最小二乘法來確定建立模型的系數，從而可以建立起Y對Xi的線性回歸方程。

3第三頁，共三十一頁，編輯于2023年，星期五當Xi取不同水平（如m個水平）時，經過試驗可以得到不同的響應指標值Yi：

…（12）

注意這里m≥n＋1，想一想為什么？

方程組（12）可以用最小二乘法來確定b0~bn的值。4第四頁，共三十一頁，編輯于2023年，星期五即：

（13）

同樣的，為了得到極小值，對（13）式求導：

…（14）

5第五頁，共三十一頁，編輯于2023年，星期五方程組（14）可變形為：

…(14)’(14)’稱為正規(guī)方程組，其方程數目與未知數數目相等。

6第六頁，共三十一頁，編輯于2023年，星期五方程組(14)’右邊的系數矩陣為：

＝XTXm…………而左邊為：

＝XTY…7第七頁，共三十一頁，編輯于2023年，星期五因此(14)’式的矩陣形式就是：

XTY＝XTXB（15）

如果XTX的逆矩陣(XTX)-1存在，則系數矩陣為：

B＝(XTX)-1XTY(16)

如果將（16）式代入（12）式，則有：

Y’＝XB＝X(XTX)-1XTY(17)(17)式表示了實驗值Yi與擬和值Yi’的關系，可能很接近，也可能不相符，甚至相差很大。因而也需要對擬和結果進行檢驗。8第八頁，共三十一頁，編輯于2023年，星期五對于多元回歸分析，通常采用復相關系數r來評價擬和值Yi’和實驗值Yi之間的關系。

根據方差分析的思想，將Y的總差方和ssT（total）分解為兩部分，一部分是由自變量的變化引起的Y的波動，即回歸差方和ssReg（regression）；另一部分是隨機誤差或其他未知因素引起的波動，即殘余差平方和ssRes（residual）。

9第九頁，共三十一頁，編輯于2023年，星期五（18）

ssT、ssReg、ssRes的自由度分別是m-1,n,和m-n-1。

（19）

r越接近1，說明Y與自變量的相關性越好。

r在回歸分析中是非常重要的指標。但是應注意：r不僅是回歸方程中自變量個數n的函數，還與觀測水平數m有關。當m相對于n不很大時，常有較大的r，特別是當m＝n+1時，即使n個自變量與y不相關，也恒有r=1(Q=0)。因而在實際計算中，要注意m和n的比例問題。

一般認為，m至少為n的5倍。10第十頁，共三十一頁，編輯于2023年，星期五6．5多元非線性回歸

多元非線性回歸是另一個很常用的回歸方法，其回歸原理也和一元非線性回歸相似。一般有兩種方法：（1）

變量代換法。（2）非線性最小二乘法，它就是采用最小二乘法估計非線性模型中的參數，從而建立非線性回歸模型。

一般的，當我們不知道回歸模型時，則多元非線性回歸可轉化成多元多次多項式進行擬合，這是基于泰勒展開的基礎。通過這樣的轉換即可對其進行多元非線性擬合。11第十一頁，共三十一頁，編輯于2023年，星期五6．6逐步回歸分析法介紹（stepwiseregression）

在上一節(jié)中討論了多元回歸分析。當我們不知道指標（因變量）和多個因素（自變量）之間的關系模型時，如何進行回歸分析？還有，在某些實際問題中可能有這樣的情況：參加回歸的n個變量x1、x2、…xn中，單獨觀察，有些因素與因變量y的相關程度很密切，但當綜合觀察n個因素與y的相關性時，這些因素可能顯得不太重要。12第十二頁，共三十一頁，編輯于2023年，星期五若把這些變量保留，不僅增加計算工作量，而且會增加回歸方程的不穩(wěn)定性，因此希望從n個變量中選出與y最密切、最具代表性的變量來描述y變化的情況。即希望所得回歸方程包含一切對y作用顯著的因素，不包含對y不顯著的變量。原因：這些因素與n個變量中的其他變量之間本來就有相關關系，當做回歸時，它們對y的作用被其他因子替代了。這時候就要用到逐步回歸分析法。逐步回歸分析是在多元回歸基礎上派生出來的一種算法技巧。13第十三頁，共三十一頁，編輯于2023年，星期五逐步回歸方法的基本思想：對全部的自變量x1,x2,...,xn,按它們對Y貢獻的大小進行比較，并通過F檢驗法，選擇偏回歸平方和顯著的變量進入回歸方程，每一步只引入一個變量，同時建立一個偏回歸方程。當一個變量被引入后，對原已引入回歸方程的變量，逐個檢驗他們的偏回歸平方和。如果由于引入新的變量而使得已進入方程的變量變?yōu)椴伙@著時，則及時從偏回歸方程中剔除。上面介紹的是“逐步引入”的方法。另外還有“逐步剔除”、“有進有出”等方法。14第十四頁，共三十一頁，編輯于2023年，星期五自變量x的顯著性如何檢驗？假定在n個自變量中已經建立了x1、x2、…、xL對y的回歸方程，對各變量的貢獻進行比較，找出最小貢獻xj，要檢驗xj的顯著性，則可由xj對y的方差貢獻Qj來衡量。通常用Qj與x1、x2、…、xL的整體方差Q之比Qj/Q來量度。采用F檢驗：F>Fa，說明xj貢獻較大，保留；F≤Fa，則剔除xj。15第十五頁，共三十一頁，編輯于2023年，星期五在引入了兩個自變量以后，便開始考慮是否有需要剔除的變量。只有當回歸方程中的所有自變量對Y都有顯著影響而不需要剔除時，再考慮從未選入方程的自變量中，挑選對Y有顯著影響的新的變量進入方程。不論引入還是剔除一個變量都稱為一步。這一過程不斷被重復，直至無法剔除已引入的變量，也無法再引入新的自變量時，逐步回歸過程結束。一般逐步回歸分析都需要借助專用軟件完成。

16第十六頁，共三十一頁，編輯于2023年，星期五逐步回歸分析邏輯結構圖輸入基本參數、讀入原始數據計算各變量均值、離差矩陣、相關矩陣開始逐步計算是否為前三步？是否引入處理剔除處理是否剔除？是否是否引入？否結束處理，打印計算結果對相關陣進行變換是否有待預報樣品？否結束預報計算是17第十七頁，共三十一頁，編輯于2023年，星期五多元線性回歸舉例。例14.已知水泥在凝固過程中放出的熱量y(J/g)與以下四種成分的含量有關：x1:3CaO·SiO2;x2:2CaO·SiO2;x3:3CaO·Al2O3;x4:4CaO·Al2O3·Fe2O3;原始數據如下表：具體處理見EXCEL表。18第十八頁，共三十一頁，編輯于2023年，星期五試驗號mx1x2x3x4y(J/g)172666078.52129155274.331156820104.34113184787.6575263395.961155922105.27371176102.78131224472.59254182293.1102147426115.911140233483.8121160912113.3131068812109.419第十九頁，共三十一頁，編輯于2023年，星期五6．7回歸分析法常用軟件介紹

1.EXCEL2.Origin3.SPSS5.MatLab4.Dab/20第二十頁，共三十一頁，編輯于2023年，星期五21第二十一頁，共三十一頁，編輯于2023年，星期五22第二十二頁，共三十一頁，編輯于2023年，星期五23第二十三頁，共三十一頁，編輯于2023年，星期五24第二十四頁，共三十一頁，編輯于2023年，星期五25第二十五頁，共三十一頁，編輯于2023年，星期五26第二十六頁，共三十一頁，編輯于2023年，星期五27第二十七頁，共三十一頁，編輯于2023年，星期五28第二十八頁，共三十一頁，編輯于2023年，星期五SPSS(StatisticalPackagefortheSocialScience)社會科學應用軟件包是世界上著名的統(tǒng)計分析軟件之一。它和SAS（StatisticalAnalysisSystem，統(tǒng)計分析系統(tǒng)）、BMDP（BiomedicalPrograms，生物醫(yī)學程序）并稱為國際上最有影響的三大統(tǒng)計軟件。Dab/浙江大學，唐啟義29第二十九頁，共三十一頁，編輯于2023年，星期五MatLab

Matlab是一種廣泛應用于工程計算及數值分析領域的新型高級語言。自1984年推向市場以來，歷經二十多年的發(fā)展與競爭，現已成為國際公認的最優(yōu)秀的工程應用開發(fā)環(huán)境。

在歐美各高等院校，Matlab已經成為線性代數、數值分析、數理統(tǒng)計、自動控制理論、數字信號處理、時間序列分析、動態(tài)系統(tǒng)仿