化學(xué)試驗(yàn)設(shè)計(jì)法中的回歸分析

化學(xué)試驗(yàn)設(shè)計(jì)法中的回歸分析1第一頁，共三十一頁，編輯于2023年，星期五多元回歸有多種，除了多元線性、非線性回歸外，其他如化學(xué)計(jì)量學(xué)中的主成分分析、偏最小二乘法、聚類分析等也是比較常用的回歸分析方法。多元線性回歸是一種使用非常廣泛的校正方法，在均勻設(shè)計(jì)中就要用到。2第二頁，共三十一頁，編輯于2023年，星期五對(duì)于一個(gè)多因素（X1、X2、…Xn）的試驗(yàn)，試驗(yàn)響應(yīng)指標(biāo)為Y，如果Y與各因素之間為線性關(guān)系，則有：

（11）

這里，b0為常數(shù)項(xiàng)，b1、…bn稱為多元線性回歸的偏回歸系數(shù)。和一元線性回歸方法類似，用最小二乘法來確定建立模型的系數(shù)，從而可以建立起Y對(duì)Xi的線性回歸方程。

3第三頁，共三十一頁，編輯于2023年，星期五當(dāng)Xi取不同水平（如m個(gè)水平）時(shí)，經(jīng)過試驗(yàn)可以得到不同的響應(yīng)指標(biāo)值Yi：

…（12）

注意這里m≥n＋1，想一想為什么？

方程組（12）可以用最小二乘法來確定b0~bn的值。4第四頁，共三十一頁，編輯于2023年，星期五即：

（13）

同樣的，為了得到極小值，對(duì)（13）式求導(dǎo)：

…（14）

5第五頁，共三十一頁，編輯于2023年，星期五方程組（14）可變形為：

…(14)’(14)’稱為正規(guī)方程組，其方程數(shù)目與未知數(shù)數(shù)目相等。

6第六頁，共三十一頁，編輯于2023年，星期五方程組(14)’右邊的系數(shù)矩陣為：

＝XTXm…………而左邊為：

＝XTY…7第七頁，共三十一頁，編輯于2023年，星期五因此(14)’式的矩陣形式就是：

XTY＝XTXB（15）

如果XTX的逆矩陣(XTX)-1存在，則系數(shù)矩陣為：

B＝(XTX)-1XTY(16)

如果將（16）式代入（12）式，則有：

Y’＝XB＝X(XTX)-1XTY(17)(17)式表示了實(shí)驗(yàn)值Yi與擬和值Yi’的關(guān)系，可能很接近，也可能不相符，甚至相差很大。因而也需要對(duì)擬和結(jié)果進(jìn)行檢驗(yàn)。8第八頁，共三十一頁，編輯于2023年，星期五對(duì)于多元回歸分析，通常采用復(fù)相關(guān)系數(shù)r來評(píng)價(jià)擬和值Yi’和實(shí)驗(yàn)值Yi之間的關(guān)系。

根據(jù)方差分析的思想，將Y的總差方和ssT（total）分解為兩部分，一部分是由自變量的變化引起的Y的波動(dòng)，即回歸差方和ssReg（regression）；另一部分是隨機(jī)誤差或其他未知因素引起的波動(dòng)，即殘余差平方和ssRes（residual）。

9第九頁，共三十一頁，編輯于2023年，星期五（18）

ssT、ssReg、ssRes的自由度分別是m-1,n,和m-n-1。

（19）

r越接近1，說明Y與自變量的相關(guān)性越好。

r在回歸分析中是非常重要的指標(biāo)。但是應(yīng)注意：r不僅是回歸方程中自變量個(gè)數(shù)n的函數(shù)，還與觀測(cè)水平數(shù)m有關(guān)。當(dāng)m相對(duì)于n不很大時(shí)，常有較大的r，特別是當(dāng)m＝n+1時(shí)，即使n個(gè)自變量與y不相關(guān)，也恒有r=1(Q=0)。因而在實(shí)際計(jì)算中，要注意m和n的比例問題。

一般認(rèn)為，m至少為n的5倍。10第十頁，共三十一頁，編輯于2023年，星期五6．5多元非線性回歸

多元非線性回歸是另一個(gè)很常用的回歸方法，其回歸原理也和一元非線性回歸相似。一般有兩種方法：（1）

變量代換法。（2）非線性最小二乘法，它就是采用最小二乘法估計(jì)非線性模型中的參數(shù)，從而建立非線性回歸模型。

一般的，當(dāng)我們不知道回歸模型時(shí)，則多元非線性回歸可轉(zhuǎn)化成多元多次多項(xiàng)式進(jìn)行擬合，這是基于泰勒展開的基礎(chǔ)。通過這樣的轉(zhuǎn)換即可對(duì)其進(jìn)行多元非線性擬合。11第十一頁，共三十一頁，編輯于2023年，星期五6．6逐步回歸分析法介紹（stepwiseregression）

在上一節(jié)中討論了多元回歸分析。當(dāng)我們不知道指標(biāo)（因變量）和多個(gè)因素（自變量）之間的關(guān)系模型時(shí)，如何進(jìn)行回歸分析？還有，在某些實(shí)際問題中可能有這樣的情況：參加回歸的n個(gè)變量x1、x2、…xn中，單獨(dú)觀察，有些因素與因變量y的相關(guān)程度很密切，但當(dāng)綜合觀察n個(gè)因素與y的相關(guān)性時(shí)，這些因素可能顯得不太重要。12第十二頁，共三十一頁，編輯于2023年，星期五若把這些變量保留，不僅增加計(jì)算工作量，而且會(huì)增加回歸方程的不穩(wěn)定性，因此希望從n個(gè)變量中選出與y最密切、最具代表性的變量來描述y變化的情況。即希望所得回歸方程包含一切對(duì)y作用顯著的因素，不包含對(duì)y不顯著的變量。原因：這些因素與n個(gè)變量中的其他變量之間本來就有相關(guān)關(guān)系，當(dāng)做回歸時(shí)，它們對(duì)y的作用被其他因子替代了。這時(shí)候就要用到逐步回歸分析法。逐步回歸分析是在多元回歸基礎(chǔ)上派生出來的一種算法技巧。13第十三頁，共三十一頁，編輯于2023年，星期五逐步回歸方法的基本思想：對(duì)全部的自變量x1,x2,...,xn,按它們對(duì)Y貢獻(xiàn)的大小進(jìn)行比較，并通過F檢驗(yàn)法，選擇偏回歸平方和顯著的變量進(jìn)入回歸方程，每一步只引入一個(gè)變量，同時(shí)建立一個(gè)偏回歸方程。當(dāng)一個(gè)變量被引入后，對(duì)原已引入回歸方程的變量，逐個(gè)檢驗(yàn)他們的偏回歸平方和。如果由于引入新的變量而使得已進(jìn)入方程的變量變?yōu)椴伙@著時(shí)，則及時(shí)從偏回歸方程中剔除。上面介紹的是“逐步引入”的方法。另外還有“逐步剔除”、“有進(jìn)有出”等方法。14第十四頁，共三十一頁，編輯于2023年，星期五自變量x的顯著性如何檢驗(yàn)？假定在n個(gè)自變量中已經(jīng)建立了x1、x2、…、xL對(duì)y的回歸方程，對(duì)各變量的貢獻(xiàn)進(jìn)行比較，找出最小貢獻(xiàn)xj，要檢驗(yàn)xj的顯著性，則可由xj對(duì)y的方差貢獻(xiàn)Qj來衡量。通常用Qj與x1、x2、…、xL的整體方差Q之比Qj/Q來量度。采用F檢驗(yàn)：F>Fa，說明xj貢獻(xiàn)較大，保留；F≤Fa，則剔除xj。15第十五頁，共三十一頁，編輯于2023年，星期五在引入了兩個(gè)自變量以后，便開始考慮是否有需要剔除的變量。只有當(dāng)回歸方程中的所有自變量對(duì)Y都有顯著影響而不需要剔除時(shí)，再考慮從未選入方程的自變量中，挑選對(duì)Y有顯著影響的新的變量進(jìn)入方程。不論引入還是剔除一個(gè)變量都稱為一步。這一過程不斷被重復(fù)，直至無法剔除已引入的變量，也無法再引入新的自變量時(shí)，逐步回歸過程結(jié)束。一般逐步回歸分析都需要借助專用軟件完成。

16第十六頁，共三十一頁，編輯于2023年，星期五逐步回歸分析邏輯結(jié)構(gòu)圖輸入基本參數(shù)、讀入原始數(shù)據(jù)計(jì)算各變量均值、離差矩陣、相關(guān)矩陣開始逐步計(jì)算是否為前三步？是否引入處理剔除處理是否剔除？是否是否引入？否結(jié)束處理，打印計(jì)算結(jié)果對(duì)相關(guān)陣進(jìn)行變換是否有待預(yù)報(bào)樣品？否結(jié)束預(yù)報(bào)計(jì)算是17第十七頁，共三十一頁，編輯于2023年，星期五多元線性回歸舉例。例14.已知水泥在凝固過程中放出的熱量y(J/g)與以下四種成分的含量有關(guān)：x1:3CaO·SiO2;x2:2CaO·SiO2;x3:3CaO·Al2O3;x4:4CaO·Al2O3·Fe2O3;原始數(shù)據(jù)如下表：具體處理見EXCEL表。18第十八頁，共三十一頁，編輯于2023年，星期五試驗(yàn)號(hào)mx1x2x3x4y(J/g)172666078.52129155274.331156820104.34113184787.6575263395.961155922105.27371176102.78131224472.59254182293.1102147426115.911140233483.8121160912113.3131068812109.419第十九頁，共三十一頁，編輯于2023年，星期五6．7回歸分析法常用軟件介紹

1.EXCEL2.Origin3.SPSS5.MatLab4.Dab/20第二十頁，共三十一頁，編輯于2023年，星期五21第二十一頁，共三十一頁，編輯于2023年，星期五22第二十二頁，共三十一頁，編輯于2023年，星期五23第二十三頁，共三十一頁，編輯于2023年，星期五24第二十四頁，共三十一頁，編輯于2023年，星期五25第二十五頁，共三十一頁，編輯于2023年，星期五26第二十六頁，共三十一頁，編輯于2023年，星期五27第二十七頁，共三十一頁，編輯于2023年，星期五28第二十八頁，共三十一頁，編輯于2023年，星期五SPSS(StatisticalPackagefortheSocialScience)社會(huì)科學(xué)應(yīng)用軟件包是世界上著名的統(tǒng)計(jì)分析軟件之一。它和SAS（StatisticalAnalysisSystem，統(tǒng)計(jì)分析系統(tǒng)）、BMDP（BiomedicalPrograms，生物醫(yī)學(xué)程序）并稱為國(guó)際上最有影響的三大統(tǒng)計(jì)軟件。Dab/浙江大學(xué)，唐啟義29第二十九頁，共三十一頁，編輯于2023年，星期五MatLab

Matlab是一種廣泛應(yīng)用于工程計(jì)算及數(shù)值分析領(lǐng)域的新型高級(jí)語言。自1984年推向市場(chǎng)以來，歷經(jīng)二十多年的發(fā)展與競(jìng)爭(zhēng)，現(xiàn)已成為國(guó)際公認(rèn)的最優(yōu)秀的工程應(yīng)用開發(fā)環(huán)境。

在歐美各高等院校，Matlab已經(jīng)成為線性代數(shù)、數(shù)值分析、數(shù)理統(tǒng)計(jì)、自動(dòng)控制理論、數(shù)字信號(hào)處理、時(shí)間序列分析、動(dòng)態(tài)系統(tǒng)仿