篩選逐步回歸

篩選逐步回歸第1頁，共75頁，2023年，2月20日，星期六0引言

回歸分析是確定變數(shù)間量化關(guān)系的統(tǒng)計分析方法，一元及多元線性回歸廣為應(yīng)用。但廣泛應(yīng)用并不等于普遍適用，有些情況下可能存在較大的問題。這些情形包括：自變數(shù)（項）很多甚至多于觀察值組數(shù)、自變數(shù)對依變數(shù)有復(fù)雜效應(yīng)、結(jié)構(gòu)矩陣列間存在共線性等情形時，傳統(tǒng)的回歸分析或難于實施、或失去應(yīng)有功效。嶺回歸、MINQUE法、主成分回歸等提供了部分解決此類問題的方法。但這些方法有一定的局限性，分析結(jié)果并非總是合理有效的。新的回歸方法——篩選逐步回歸先進行基本自變數(shù)回歸，然后采用剔1選1方式對其余自變數(shù)項進行循環(huán)篩選，鑒別最主要的效應(yīng)分量，獲得優(yōu)化回歸方程。第2頁，共75頁，2023年，2月20日，星期六1多元線性回歸模型及回歸方法

1.1多元線性回歸模型若自變數(shù)與依變數(shù)具有線性關(guān)系，則一個m元線性回歸模型為：這里i=1,2,…,n

表示第i組觀察值，j=1,2,…,m表示第j個自變數(shù)。用矩陣表示為：第3頁，共75頁，2023年，2月20日，星期六其中

Y為依變數(shù)觀察值向量；X

陣為結(jié)構(gòu)矩陣或稱設(shè)計矩陣；B為偏回歸系數(shù)向量(習(xí)慣上也可用等式右端表示)；E為誤差向量，它們分別表示如下：第4頁，共75頁，2023年，2月20日，星期六值得指出的是，自變數(shù)對Y的作用可能還存在非線性主效（k=2~3）及互作效應(yīng)(u，v=1，2,…,q，最常見的q是1~3)。在多元線性回歸分析中，需將該效應(yīng)項按數(shù)據(jù)轉(zhuǎn)換的方式轉(zhuǎn)化成一個新的自變數(shù)，模型增加一項，結(jié)構(gòu)矩陣中增加相應(yīng)一列（數(shù)據(jù)變換列），并增加一個偏回歸系數(shù)?？偟淖宰償?shù)項相應(yīng)增加至p(p>m)個，從而采用前述過程進行線性回歸分析。第5頁，共75頁，2023年，2月20日，星期六1.2偏回歸系數(shù)B的求解及測驗

回歸統(tǒng)計數(shù)的估計采用最小二乘法，即目標(biāo)函數(shù)離回歸平方和Q(RSS)為最小：將上述目標(biāo)函數(shù)對偏回歸系數(shù)向量求導(dǎo)，并使其為0：在matlab中：>>B=X’*X\X’*Y,或>>B=A\K，B=X\Y第6頁，共75頁，2023年，2月20日，星期六

其中

為信息陣，

為常數(shù)陣，C=inv(A)為信息陣的逆陣，該矩陣的對角線元素是相應(yīng)偏回歸系數(shù)標(biāo)準(zhǔn)化的誤差方差，非對角線元素是兩個偏回歸系數(shù)標(biāo)準(zhǔn)化的協(xié)方差。所謂標(biāo)準(zhǔn)化的含義是將離回歸方差視為1，即回歸系數(shù)方差與標(biāo)準(zhǔn)差：j=2,3,…,p+1第7頁，共75頁，2023年，2月20日，星期六其中為離回歸平方和，對H0:Bj=0假設(shè)的t測驗為：對H0:Bj=0假設(shè)的F測驗為：其中，為Xj的偏回歸平方和，具自由度1。偏回歸關(guān)系的t測驗和F測驗等價(t2=F)，鑒于F測驗的形式略簡單，下文將用F測驗進行偏回歸關(guān)系的測驗，判斷各自變數(shù)對依變數(shù)的作用顯著性。第8頁，共75頁，2023年，2月20日，星期六1.3逐步回歸

一個多變數(shù)資料，往往既有對依變數(shù)有顯著線性效應(yīng)的自變數(shù)，也含有沒有顯著效應(yīng)的自變數(shù)。在多元線性回歸分析時，需將沒有顯著效應(yīng)的自變數(shù)予以剔除，使所得多元回歸方程比較簡化而又能較準(zhǔn)確地分析和預(yù)測

Y的反應(yīng)。這一過程稱為多元回歸自變數(shù)的統(tǒng)計選擇。逐步回歸有兩種基本方法—逐個選入法與逐個剔除法。第9頁，共75頁，2023年，2月20日，星期六1.3.1逐個選入法逐個選入法以全模型相關(guān)系數(shù)陣為基礎(chǔ)，其中M為包括依變數(shù)在內(nèi)的所有變數(shù)（項）的個數(shù)，其最后1行1列是各自變數(shù)（項）與依變數(shù)的相關(guān)系數(shù)。每次選入一個對依變數(shù)有顯著作用且偏回歸平方和最大的自變數(shù)，采用求解求逆的方式對相關(guān)系數(shù)矩陣進行變換，并對先前已入選的自變數(shù)進行測驗，若有變?yōu)椴伙@著的，將其中偏回歸平方和最小的一個自變數(shù)予以剔除。不斷重復(fù)此過程，直至所有對依變數(shù)有顯著作用的自變數(shù)均已選入。若已進行了k-1步，且有p-1個自變數(shù)選入，則逐個選入法第k步有下列4個步驟：第10頁，共75頁，2023年，2月20日，星期六1）需進一步計算未入選自變數(shù)對依變數(shù)作用的統(tǒng)計數(shù)——偏決定系數(shù)：2）比較并找出具有最大偏決定系數(shù)的自變數(shù)Xl，其i是指尚未被選入的一個自變數(shù)；第11頁，共75頁，2023年，2月20日，星期六

3）對Xl的偏回歸顯著性進行測驗：若F測驗不顯著，則沒有Xi可供選入，逐個選入法逐步回歸到此結(jié)束；若F測驗顯著，則將Xl選入，并對

陣進行如下求解求逆變換成第12頁，共75頁，2023年，2月20日，星期六4）求算在Xl選入的條件下，其他先前入選的自變數(shù)Xi的偏決定系數(shù)：，對于Xl,此值必與式（10）計算所得相同。對前面已經(jīng)入選的自變數(shù)Xi進行F測驗:其實為標(biāo)準(zhǔn)離回歸平方和。對先前已入選的Xi進行測驗若均為顯著，則保留所有已入選的自變數(shù)，程序回復(fù)至步驟1）。若有不顯著的，將其中偏決定系數(shù)最小的自變數(shù)定義為Xl并予以剔除，按式(11)將陣重新變換，程序回復(fù)至步驟1）。第13頁，共75頁，2023年，2月20日，星期六

上述過程循環(huán)往復(fù)，直至所有對依變數(shù)有顯著作用的自變數(shù)均已選入，對依變數(shù)沒有顯著作用的自變數(shù)均已剔除，從而獲得簡化而又較準(zhǔn)確反應(yīng)自變數(shù)與依變數(shù)關(guān)系的多元回歸方程。

第14頁，共75頁，2023年，2月20日，星期六1.3.2逐個剔除法

先將全部自變數(shù)對依變數(shù)作全模型回歸分析，按式（5）求算回歸統(tǒng)計數(shù)，并按式（8）進行偏回歸關(guān)系的假設(shè)測驗，剔除一個對依變數(shù)偏回歸平方和最小且不顯著的自變數(shù)，回歸模型的設(shè)計矩陣中相應(yīng)減少一列。此后繼續(xù)進行子模型的回歸分析和偏回歸測驗，直至所有的自變數(shù)項都對依變數(shù)有顯著的偏回歸作用。

第15頁，共75頁，2023年，2月20日，星期六1.3.3兩種逐步回歸方法的比較

逐步回歸的統(tǒng)計分析方法比較成熟，大多數(shù)統(tǒng)計軟件都有這樣的模塊和命令，便于應(yīng)用者使用。用這兩種逐步回歸方法分別處理同一多變數(shù)資料時，在大多數(shù)情況下得到相同的結(jié)果，即最終的回歸模型中包含的自變數(shù)項是一樣的。但也有一些情況兩者所得的結(jié)果并不完全相同。一般地說，如能預(yù)期要剔除的自變數(shù)不多，可用逐個剔除法；反之，如果傾向于選入較少自變數(shù)時，可用逐個選入法。這樣相對簡單且正確。第16頁，共75頁，2023年，2月20日，星期六1.4回歸分析的基本假定及主要存在問題

多元線性回歸分析除了假定誤差是正態(tài)分布外，還假定每一自變數(shù)對依變數(shù)的作用僅為線性。假定不滿足會對回歸結(jié)果產(chǎn)生較大影響。同時，回歸分析僅適用于自變數(shù)(項)的個數(shù)(p)少于觀察值組數(shù)(n)，并且自變數(shù)間不存在共線性的情形。否則結(jié)構(gòu)陣不滿秩，信息陣是奇異的或病態(tài)的，逆陣不存在或有很大偏差，無法求解回歸系數(shù)或有很大誤差，難于對回歸模型及回歸統(tǒng)計數(shù)進行客觀真實的假設(shè)測驗。在多變數(shù)復(fù)雜效應(yīng)回歸分析時，結(jié)構(gòu)陣不滿秩，經(jīng)典的逐個剔除法或逐個選入法均以信息陣為基礎(chǔ)，逐步回歸無法進行，或所得結(jié)果不可信。第17頁，共75頁，2023年，2月20日，星期六1.5回歸分析中上述問題的解決辦法

回歸分析應(yīng)用廣泛，在多數(shù)情況下能得到理想的效果。但回歸分析中上述問題的存在比較普遍，傳統(tǒng)的回歸分析方法將失效、或結(jié)果難于反映客觀實際，誤用情形很普遍。對解決此類問題有一定效果的方法有嶺回歸法、MINQUE法、主成分法、Bayesian皺縮法等。下面對此略作簡介。第18頁，共75頁，2023年，2月20日，星期六1.5.1嶺回歸法

嶺回歸(ridgeregression)是一種改進的最小二乘估計方法。回歸系數(shù)的嶺估計是在信息陣中引入一個嶺參數(shù)，將它加到主對角線元素上，即：嶺回歸的統(tǒng)計數(shù)估計是有偏的，隨著k的增加，B的絕對值趨于不斷變小。與普通最小二乘估計相比，嶺回歸估計量有較小的均方誤差，X變數(shù)的微小變動對回歸統(tǒng)計數(shù)的影響相對較小。缺點是：1、離回歸平方和即離回歸均方將隨著k的增加而增加；2、k的選擇沒有一個確定的標(biāo)準(zhǔn)，因人而異，主觀性較強。第19頁，共75頁，2023年，2月20日，星期六1.5.2MINQUE法

Rao(1971)提出的最小范數(shù)二階無偏估算(MinimumNormQuadrateUnbiasedEstimation)法,即MINQUE法。MINQUE法是基于使歐氏范數(shù)(Eudclideannorm)為最小。如果混合線性模型用矩陣簡式表達：使歐氏范數(shù)為最?。ㄆ渲械?0頁，共75頁，2023年，2月20日，星期六

MINQUE法的優(yōu)缺點：1、方差分量估計值有時取決于人為選擇的先驗值；2、可將估計值替代先驗值重新估算，重復(fù)迭代，直到前后兩輪的估計值非常接近為止；3、對數(shù)據(jù)有太多的假定；有時不一定切合實際；4、MINQUE法估計的不是模型中各項的效應(yīng)分量，而是其方差，再由其算術(shù)平方根估計相應(yīng)的分量。由于信息陣非滿秩所帶來的問題，有時所估方差分量是負數(shù)。由于方差分量總和應(yīng)與依變數(shù)總方差相等，這也意味著其它分量方差估計的不準(zhǔn)確性。常存在所估分量與實際情形相差較大的問題。第21頁，共75頁，2023年，2月20日，星期六1.5.3主成分回歸

先將X

變數(shù)進行主成分分析，選取能包含原有信息約80-90%的前若干個主成分(在自變數(shù)很多的情況下，大部分將被剔除)。將Y

依這些主成分進行回歸分析。這些自變數(shù)相互獨立，其信息陣A為對角陣，必不可能奇異，回歸分析得以正常進行，且回歸方程比較簡潔—包含的主成分一般較少。

PC回歸的缺陷是難于對結(jié)果進行解釋，大多數(shù)主成分是原X變數(shù)的綜合，不能清晰了解各個自變數(shù)對依變數(shù)的線性、互作效應(yīng)及其顯著性，大部分情況下仍是一筆糊涂帳。第22頁，共75頁，2023年，2月20日，星期六2新回歸方法—篩選逐步回歸

非經(jīng)典回歸方法對解決自變數(shù)間存在共線性問題有一定的效果。而自變數(shù)（項）遠多于觀察值組數(shù)(p>n)的復(fù)雜回歸問題，上述方法將失效，甚至根本行不通。在有限的觀察數(shù)據(jù)條件下鑒別有顯著作用的重要效應(yīng)，是許多研究面臨的問題。如考察20(m=20)個農(nóng)藝性狀與作物產(chǎn)量之間的量化關(guān)系，除了20個線性主效外，還有20個(僅考慮2次冪主效時)2次冪響應(yīng)，更有190個兩性狀之間的線性互作效應(yīng)。建立產(chǎn)量與自變數(shù)間簡明而準(zhǔn)確的量化關(guān)系，采用最簡單的多元多項式模型，共有230個自變數(shù)（項）的效應(yīng)需要鑒別。當(dāng)考慮存在高次冪響應(yīng)以及自變數(shù)間二次及高次冪互作的較復(fù)雜模型時，自變數(shù)項將會迅速增多甚而遠遠超過觀察數(shù)組數(shù)。第23頁，共75頁，2023年，2月20日，星期六其中，模型中線性主效有m項，2次冪主效有m項，線性互作有m(m-1)/2項，模型中需要考慮的項數(shù)(總自變數(shù))p=m(3+m)/2項。若考慮其它效應(yīng)，在模型中增加相應(yīng)的分量，p值將迅速增加。觀察值組數(shù)n(m<n<p)。上述問題可用篩選逐步回歸(screeningstepwiseregression)。為方便闡述，我們將試驗研究中觀察記載的m個自變數(shù)稱為初級自變數(shù)或基本自變數(shù)，而將其它（冪效應(yīng)、互作效應(yīng)等）項稱為次級自變數(shù)(項)。如用最簡單的多元多項式回歸即只考慮線性和2次冪主效及線性互作響應(yīng)時，其回歸模型可表示為：第24頁，共75頁，2023年，2月20日，星期六2.1篩選回歸分析步驟：1）基礎(chǔ)回歸步先選擇一部分自變數(shù)(項)進行回歸分析，先行選擇的部分往往是基本自變數(shù)即線性主效項。設(shè)選擇的基本自變數(shù)有X1,X2,…,Xj,…,Xm,對基本自變數(shù)進行常規(guī)的多元線性回歸分析，如式(3)構(gòu)建結(jié)構(gòu)矩陣X，此時的自變數(shù)(項)數(shù)p=m。按式(5)求算出各個基本分量（自變數(shù)）的回歸系數(shù)Bj(其中B1為回歸截距a)，及偏回歸平方和以及離回歸方差。第25頁，共75頁，2023年，2月20日，星期六

2）逐個剔除、逐個選入步在基礎(chǔ)回歸的基礎(chǔ)上，本階段采用剔1選1的方式每次在已入選自變數(shù)（項）中剔除1個偏回歸平方和最小且不顯著的自變數(shù)（項），順次選入1個次級自變數(shù)（項）進行回歸分析。以上過程反復(fù)進行直至所有的次級自變數(shù)（項）均已試選。因此，本階段有下列3小步：第26頁，共75頁，2023年，2月20日，星期六（1）計算并比較所有已選入自變數(shù)（項）的偏回歸平方和，找出其中偏回歸平方和最小的自變數(shù)（項）Xl

(l=1,2,…,p)，即：（2）該自變數(shù)Xl是否剔除需測驗：若Fl≤Fα，則剔除該Xl，在結(jié)構(gòu)陣中將Xl列去除。在模型中的自變數(shù)（項）數(shù)p減1。若Fl＞Fα，則保留該自變數(shù)，結(jié)構(gòu)陣X及p值保持不變。第27頁，共75頁，2023年，2月20日，星期六（3）順次選入1個次級自變數(shù)，將其加至結(jié)構(gòu)陣最后一列，自變數(shù)(項)p增加1。若新選入的自變數(shù)(項)已使結(jié)構(gòu)陣不滿秩，將其剔除，順次選入下一個次級自變數(shù)。繼續(xù)求算在選入自變數(shù)情況下的回歸統(tǒng)計數(shù)及其離回歸信息。以上3步反復(fù)進行，直至所有的次級自變數(shù)（項）均已試選。該階段有兩點值得注意：1、用來測驗的顯著水平應(yīng)該是較低的，不使可能有一定作用的自變數(shù)過早地被剔除；2、被剔除的自變數(shù)（項）應(yīng)予記錄，以便為后續(xù)階段的重新選入做好準(zhǔn)備。第28頁，共75頁，2023年，2月20日，星期六

3)重新篩選步一個自變數(shù)剔除或選入，可能對與之相關(guān)的其它自變數(shù)的效應(yīng)及顯著性有較大程度的改變。自變數(shù)選擇與剔除是否得當(dāng)還有賴于誤差信息的客觀真實性。第一步、甚至第二步初期的誤差信息不是最合理的。上一階段逐個剔除及逐個選入過程很可能存在誤剔、誤選的情況，單有上述過程是難于獲得最優(yōu)回歸方程的。因此，需將被剔除的所有自變數(shù)（項）重新進行篩選。該過程類似于2.2，在第二步回歸基礎(chǔ)上，剔除偏回歸平方和最小且不顯著的自變數(shù)(項)，將原先被剔除的自變數(shù)順次重新試選入，直至所有被剔除自變數(shù)均獲重新篩選。第29頁，共75頁，2023年，2月20日，星期六

該步驟也有兩個注意點：

1、為避免誤選誤剔具有顯著作用的自變數(shù)（項），這一過程需經(jīng)多輪次篩選。研究表明，循環(huán)篩選約需3-5輪，前后兩輪選入（剔除）的自變數(shù)不再變化作為結(jié)束標(biāo)志。

2、此階段的顯著水平應(yīng)略低于最終的顯著少平，避免一些可能有效的自變數(shù)（項）被誤剔除。第30頁，共75頁，2023年，2月20日，星期六4)再次逐步回歸步

將過程2.3最終所選的全部自變數(shù)（項），在較小顯著水平α條件下，采用逐個剔除法逐步回歸過程，剔除對Y作用較小的自變數(shù)（項），以使最終得到的回歸方程較簡明且減少假陽性自變數(shù)的比例。第31頁，共75頁，2023年，2月20日，星期六

以上四個過程即為篩選逐步回歸的主要步驟。該方法有效地解決了自變數(shù)遠大于觀察值組數(shù)的復(fù)雜回歸分析中存在的主要問題，獲取優(yōu)化的回歸方程。該方法較其他方法有較好的優(yōu)越性，在解決實際問題中有很好的效果。第32頁，共75頁，2023年，2月20日，星期六3實例驗證3.1敏感度與特異度

在討論篩選逐步回歸的功效之前，我們先介紹敏感度與特異度兩個概念。若在某一模擬或?qū)嶋H數(shù)據(jù)資料中存在一定項數(shù)的真實效應(yīng)，若用統(tǒng)計分析方法進行檢測，a是能檢測出來的真實效應(yīng)的項數(shù)；而b則為未能檢測出來的真實效應(yīng)的項數(shù);c是能檢測出來但為非真實效應(yīng)的項數(shù)亦即假陽性的數(shù)量。第33頁，共75頁，2023年，2月20日，星期六表1敏感度與特異度說明表敏感度(Sensitivity，Ss)是指真實效應(yīng)項數(shù)能被檢測出來的比例特異度(Specificity，Sc)是指所檢測出的項數(shù)中真實效應(yīng)項數(shù)的比例

敏感度和特異度是反映檢測方法真實可靠性的兩個重要指標(biāo)。敏感度反映了檢測方法的能力，特異度反映了檢測結(jié)果的信賴度。毫無疑問，靈敏度和特異度這兩個值越高，那么該方法的功效就越大。檢測真值檢出項數(shù)未檢出項數(shù)真實效應(yīng)項數(shù)ab非真效應(yīng)項數(shù)c-第34頁，共75頁，2023年，2月20日，星期六該數(shù)據(jù)有10項真實線性主效應(yīng)(Xj)。其誤差E分別按4u和10u產(chǎn)生，u~N(0,1)，即E服從平均數(shù)為0，方差為16和100的正態(tài)分布，其真實的決定系數(shù)(ρ2)分別為0.9893和0.9381。每一誤差條件產(chǎn)生100組數(shù)據(jù)。3.2例13.2.1數(shù)據(jù)的產(chǎn)生例1設(shè)定有20個基礎(chǔ)自變數(shù)(X1~X20)，Xj~U(5,25/3),即每一自變數(shù)是在0~10之間均勻分布的隨機數(shù)，觀察值組數(shù)有100個，Y值由下式產(chǎn)生：第35頁，共75頁，2023年，2月20日，星期六分別采用模型(20)（模型I，簡單逐步回歸）和模型（22）(模型III,篩選逐步回歸)分析。用模型（21）（模型II，篩選逐步回歸）第36頁，共75頁，2023年，2月20日，星期六表2100組數(shù)據(jù)回歸檢測的平均敏感度與特異度方法、誤差與顯著水平檢出真項

數(shù)(a)未檢出

真項數(shù)(b)檢出非真

項數(shù)(c)敏感度特異度決定系數(shù)R2模型IE=4u

ρ2=.9893α=.05100005510.9480.9925α=.0110000910.9910.9923α=.00110000210.9980.9923E=10u

ρ2=.9381α=.0597822570.9780.9450.9547α=.019505090.950.9910.9527α=.0019168420.9160.9980.9507模型IIE=4u

ρ2=.9893α=.05932686630.9320.5840.995α=.01933673850.9330.7080.9941α=.001948521170.9480.890.9928E=10u

ρ2=.9381α=.0571428617290.7140.2920.9837α=.017342669490.7340.4360.9737α=.0017552453440.7550.6870.9588模型IIIE=4u

ρ2=.9893α=.059128815930.9120.3640.9973α=.01918827970.9180.5350.9955α=.001925751970.9250.8240.993E=10u

ρ2=.9381α=.0566433618970.6640.2590.9853α=.0166533510700.6650.3830.9747α=.0016683324630.6680.5910.9593第37頁，共75頁，2023年，2月20日，星期六

4點結(jié)果：1）簡單逐步回歸的敏感度和特異度均接近于1，說明了經(jīng)典方法檢測線性主效的可行性。模型II篩選回歸的敏感度（0.840）較高，特異度（0.529）較低。模型III篩選回歸的敏感度（0.801）和特異度（0.496）最低。離回歸誤差偏小，決定系數(shù)偏大，更易導(dǎo)致第二類(β)錯誤的發(fā)生，特異度變小。2）誤差增大，敏感度與特異度均有降低。當(dāng)E=4u時，敏感度和特異度分別為0.953和0.717；10u時分別為0.795和0.617。3）隨著顯著水平的提高（α變?。舾卸冉档?，特異度提高。敏感度降低不明顯，特異度提升幅度大。使用新回歸方法需以較高的顯著水平為標(biāo)準(zhǔn)，減少假陽性比例。4）假陰性項集中于那些效應(yīng)較小的自變數(shù)項，效應(yīng)大的自變數(shù)項檢出能力都較高。檢出的非真項隨機散布。第38頁，共75頁，2023年，2月20日，星期六表3例1數(shù)據(jù)檢測自變數(shù)項的分布（模型II，4u,α=0.01）*:對角線上為線性主效，黑體數(shù)字對應(yīng)于真效項；對角線右上為互作。a=933,b=67,c=385第39頁，共75頁，2023年，2月20日，星期六

3.2.3平均效應(yīng)分析

效應(yīng)估計平均數(shù)能較好反映回歸方法的功效。平均效應(yīng)值有兩種計算方法，一是將回歸分析獲得的效應(yīng)值總和除以該效應(yīng)實際檢測次數(shù)，另一種是將效應(yīng)值總和除以100。若該效應(yīng)不能百分百檢出，后一種平均效應(yīng)將偏低，但更能反映估計值與真值的偏差。表4即為效應(yīng)真值與3種模型在各種條件下100次回歸檢測的平均效應(yīng)值。第40頁，共75頁，2023年，2月20日，星期六表43種不同回歸效應(yīng)估計平均數(shù)方法、誤差與顯著水平X0X1X4X5X8X10X12X13X16X17X203-12-33-54-65-76模型I4uEα=.052.84-1.002.01-3.013.02-5.014.03-6.005.02-7.015.99α=.012.84-1.002.01-3.013.02-5.024.03-6.005.02-7.015.99α=.0012.91-1.002.01-3.023.02-5.024.03-5.995.02-7.015.9910uEα=.052.41-1.141.94-2.922.99-4.973.97-5.924.98-7.066.05α=.010.91-1.281.93-2.843.00-4.993.92-5.915.01-7.026.03α=.001-0.77-1.491.97-2.723.01-5.033.85-5.915.07-6.986.02模型II4uEα=.052.25-0.501.89-2.962.99-4.773.91-5.984.96-6.995.97α=.011.48-0.501.88-2.943.03-5.003.93-5.974.98-6.966.00α=.0011.65-0.551.99-2.963.02-4.983.96-5.964.97-6.995.9910uEα=.054.24-0.401.22-2.482.36-4.633.71-5.604.52-7.206.65α=.014.98-0.211.05-2.442.37-4.563.44-5.684.74-7.296.44α=.0013.86-0.071.10-2.352.21-4.763.34-5.734.74-7.106.20模型III4uEα=.051.48-0.602.03-2.833.05-5.063.89-5.945.04-7.015.99α=.011.87-0.621.89-2.933.10-5.053.99-5.945.02-6.995.97α=.0011.90-0.481.85-2.853.01-5.003.93-5.964.97-6.995.9810uEα=.054.14-0.531.06-2.412.37-4.433.50-5.664.62-7.486.31α=.016.72-0.410.67-2.112.22-4.662.99-5.964.54-7.086.11α=.0016.47-0.230.58-1.881.73-4.532.78-5.624.45-6.935.83第41頁，共75頁，2023年，2月20日，星期六

例1平均效應(yīng)分析的4點結(jié)論：1）簡單逐步回歸效應(yīng)值與真值最接近，說明其檢測線性主效的可行性。其它兩種方法有一定偏差，模型III篩選回歸的偏差最大；2）當(dāng)真實效應(yīng)較大時，效應(yīng)都能估計且較接近，而當(dāng)真實效應(yīng)較小時，后兩種回歸方法，尤其是模型III篩選回歸的估計量偏小，估計標(biāo)準(zhǔn)誤增大（在不同的數(shù)據(jù)組中變異度大）；3）誤差增大，回歸統(tǒng)計數(shù)的估計偏差增大；4）顯著水平α減小，效應(yīng)小的自變數(shù)項不能百分百檢出，其平均效應(yīng)偏小。第42頁，共75頁，2023年，2月20日，星期六圖1例1數(shù)據(jù)3種回歸方法不同條件下的平均效應(yīng)第43頁，共75頁，2023年，2月20日，星期六3.3例23.3.1數(shù)據(jù)產(chǎn)生自變數(shù)設(shè)定同上，Y值由下式產(chǎn)生：該回歸關(guān)系真實效應(yīng)有14項,其中線性主效應(yīng)(Xj)6項,線性互作效應(yīng)(XiXj)8項，不包括2次冪主效項(Xj2)，這在基因效應(yīng)分析等數(shù)據(jù)資料中較常見。誤差E同例1，其決定系數(shù)真值ρ2分別為0.9994和0.9965，兩種誤差各產(chǎn)生100組數(shù)據(jù)。仍采用模型(20)進行簡單逐步回歸分析和用模型(21、22)進行篩選逐步回歸分析。第44頁，共75頁，2023年，2月20日，星期六3.3.2敏感度特異度分析

表5列出了在不同誤差及顯著水平情況下對100組例2數(shù)據(jù)用3種模型得到的敏感度、特異度等值。結(jié)果表明：誤差和顯著水平的改變對敏感度和特異度的影響與前述結(jié)果基本相同。而3種模型回歸的敏感度、特異度的順次關(guān)系發(fā)生了很大的改變。簡單逐步回歸的敏感度和特異度均接近于0。在有互作干擾情況下，就連線性主效也難于檢出。模型II篩選回歸的敏感度(0.828)、特異度(0.593)最高，模型III篩選回歸的敏感度(0.800)、特異度(0.523)略低。第45頁，共75頁，2023年，2月20日，星期六表5100組例2數(shù)據(jù)3種模型的平均敏感度與特異度方法與顯著水平檢測真項數(shù)(a)未檢出真項數(shù)(b)檢出非真項數(shù)(c)敏感度特異度決定系數(shù)R2模型IE=4u

ρ2=.9994α=.0520012001157.143(.333)0.1470.9193α=.0110013001100.071(.167)0.0830.9125α=.0010140010000(0)00.8925E=10u

ρ2=.9965α=.0517812221143.127(.297)0.1350.9162α=.0110013001100.071(.167)0.0830.9106α=.0010140010010(0)00.8909模型IIE=4u

ρ2=.9994α=.051379211170.9850.9220.9996α=.01138020390.9860.9730.9996α=.001134852360.9630.9740.9995E=10u

ρ2=.9965α=.0511622383350.830.7760.9978α=.0111422582030.8160.8490.9974α=.00110973031650.7840.8690.997模型IIIE=4u

ρ2=.9994α=.051332682360.9510.8490.9997α=.01134258950.9590.9340.9996α=.001134951520.9640.9630.9996E=10u

ρ2=.9965α=.05104235812890.7440.4470.9989α=.0110513498120.7510.5640.9984α=.00110623384480.7590.7030.9978第46頁，共75頁，2023年，2月20日，星期六3.3.3效應(yīng)的定量分析

表6是對6個線性主效的估計?；プ鞔嬖跁r，傳統(tǒng)方法的參數(shù)估計面目全非。6項線性主效只檢測出了一項（X17），其效應(yīng)值也偏離甚遠。篩選逐步回歸對線性主效基本得以檢出，只是對于真效較小項的估計量偏小，其原因在于它們的效應(yīng)僅比誤差略大，不能百分百地檢出。在大誤差情況下平均效應(yīng)更小，這些效應(yīng)接近于回歸分析效應(yīng)檢測的低限。對于效應(yīng)較大的自變數(shù)項，分段回歸能夠百分之百地檢出，回歸估值非常接近真值。第47頁，共75頁，2023年，2月20日，星期六表63種模型對例2數(shù)據(jù)線性主效應(yīng)的檢測方法與顯著水平X0X1X5X10X14X17X203135-24-4模型I4uEα=.05-84.95006.7104.460α=.01-56.32007.41000α=.001-83.6200000010uEα=.05-54.97007.39000α=.01-77.89006.8304.590α=.001-81.18000000模型II4uEα=.053.69.802.954.97-2.013.97-4.01α=.014.03.852.904.99-2.003.90-3.97α=.0014.17.732.804.93-1.833.78-3.7310uEα=.057.47.231.594.20-1.033.17-3.02α=.019.53.121.514.14-1.183.27-2.87α=.00110.31-.031.374.19-1.042.87-2.68模型III4uEα=.053.84.492.855.05-1.773.87-3.94α=.013.83.592.844.97-1.853.96-3.94α=.0013.24.702.854.97-1.803.97-3.8510uEα=.058.72.001.453.50-0.702.75-2.41α=.014.94.111.663.90-0.372.90-2.16α=.0015.16.071.534.10-0.452.95-2.04第48頁，共75頁，2023年，2月20日，星期六表7例2數(shù)據(jù)檢測自變數(shù)項的分布（模型II，4u,α=0.01）*:對角線上為線性主效，黑體數(shù)字對應(yīng)于真效項；對角線右上為互作。a=1380,b=20,c=39第49頁，共75頁，2023年，2月20日，星期六

表7是對例2數(shù)據(jù)互作效應(yīng)的檢測結(jié)果。同理，對那些互作效應(yīng)較小(如X1X7)項的參數(shù)估計受誤差的影響而偏小。而對于互作較大的自變數(shù)項，篩選逐步回歸的估計非常接近真值。相對線性主效而言，互作效應(yīng)估計的準(zhǔn)確性更高。當(dāng)多個變數(shù)存在復(fù)雜效應(yīng)時，模型II篩選回歸能夠區(qū)分各種效應(yīng)，并能較準(zhǔn)確地加以估計。第50頁，共75頁，2023年，2月20日，星期六表8例2數(shù)據(jù)互作效應(yīng)的檢測結(jié)果方法與顯著水平X1X7X2X19X3X9X4X12X6X16X8X11X9X15X11X18-.50-31-232.5-3.54模型II4uEα=.05-.49-3.001.01-2.003.002.50-3.514.00α=.01-.48-3.001.01-2.003.002.50-3.504.00α=.001-.45-3.001.01-2.003.002.50-3.504.0010uEα=.05-.48-3.031.00-2.002.992.51-3.493.98α=.01-.41-3.020.99-1.992.992.51-3.493.97α=.001-.35-3.011.00-2.002.982.50-3.483.98模型III4uEα=.05-.49-3.001.01-2.003.002.50-3.514.00α=.01-.50-3.001.01-1.993.002.50-3.504.00α=.001-.50-3.001.01-1.993.002.50-3.504.0010uEα=.05-.43-3.001.01-1.982.972.52-3.493.94α=.01-.46-3.001.02-2.002.992.52-3.503.96α=.001-.46-3.021.00-1.992.982.49-3.493.97第51頁，共75頁，2023年，2月20日，星期六

圖2是模型I篩選回歸1在4uE,α=0.001條件下效應(yīng)真值與估計值比較圖。圖中左側(cè)為效應(yīng)真值，右側(cè)影像位置為回歸估計值。方柱位置代表基本自變數(shù)或互作項，前后對角線為主效，其他部分為互作。方柱的高度為效應(yīng)值（以方柱頂上的數(shù)值表示）。可以看出，其中X1主效(0.340),X1X7互作(0.468)比真值有所偏低外，其他效應(yīng)估值非常接近真值。雖然還有217個非真效應(yīng)自變數(shù)項，但它們散布其間，平均效應(yīng)很小，效應(yīng)方柱很矮，幾乎不能察覺。其它誤差與顯著水平條件下模型II的分析結(jié)果與此接近，模型III篩選回歸的情形與之相仿。這充分說明這些方法對自變數(shù)項定性檢測和效應(yīng)定量估計的可信度。第52頁，共75頁，2023年，2月20日，星期六第53頁，共75頁，2023年，2月20日，星期六

該回歸關(guān)系真實效應(yīng)有18項，其中線性主效應(yīng)(Xj)6項，2次冪主效項(Xj2)4項，線性互作效應(yīng)(XiXj)8項。其誤差E同實例1，其決定系數(shù)真值ρ2分別為0.9995和0.9970。兩種誤差各產(chǎn)生100組數(shù)據(jù)。仍采用模型（20）進行簡單逐步回歸分析和用模型（21、22）進行兩種篩選逐步回歸分析。3.4例33.4.1數(shù)據(jù)產(chǎn)生例3自變數(shù)設(shè)定同上，Y值由下式產(chǎn)生：第54頁，共75頁，2023年，2月20日，星期六3.4.2敏感度特異度分析在不同誤差及顯著水平情況下對例3數(shù)據(jù)用3種模型分析得到的敏感度、特異度等見表8。其敏感度、特異度的順次關(guān)系又發(fā)生了變化。簡單逐步回歸的敏感度和特異度非常低，大多數(shù)線性主效不能檢測，決定系數(shù)偏低；模型II篩選回歸由于不能檢測2次冪響應(yīng)，其敏感度(0.481)、特異度(0.435)均不超過50%。模型III篩選回歸的敏感度(0.827)、特異度(0.680)為最高，真實效應(yīng)大多能夠檢出，而檢出項中也大多是真實效應(yīng)。當(dāng)減小顯著水平α?xí)r，提高特異度的效果更加明顯。第55頁，共75頁，2023年，2月20日，星期六表9例3數(shù)據(jù)回歸檢測的平均敏感度與特異度方法與顯著水平檢出真項數(shù)(a)未檢出真項數(shù)(b)檢出非真項數(shù)(c)敏感度特異度決定系數(shù)R2模型IE=4uρ2=.9995α=.0530015001100.167(.500).214.9146α=.0130015001071.167(.500).219.9126α=.00120215981000.112(.337).168.8960E=10uρ2=.9970α=.0530015001106.167(.500).213.9129α=.0130015001047.167(.500).223.9092α=.00120215981000.112(.337).168.8960模型IIE=4uρ2=.9995α=.059248761330.513.410.9949α=.01966834890.537.520.9934α=.001984816415.547.703.9901E=10uρ2=.9970α=.059178831498.509.380.9947α=.018649361071.480.447.9896α=.001940860453.522.675.9879模型IIIE=4uρ2=.9995α=.05172476195.958.898.9996α=.011684116109.936.939.9995α=.001160919193.894.945.9994E=10uρ2=.9970α=.0512545461341.697.483.9988α=.011261539724.701.635.9981α=.0011228572377.682.765.9973第56頁，共75頁，2023年，2月20日，星期六3.4.3效應(yīng)的定量分析

表9是3種方法對6個線性響應(yīng)和4個2次冪響應(yīng)的估計，當(dāng)存在互作與2次冪響應(yīng)的情況下，簡單逐步回歸參數(shù)估計與真值大相徑庭。在不同誤差與顯著水平條件下，6項線性主效只檢出了2項(X17，X20)，由于在X17，X20兩項上存在2次冪效應(yīng)干擾，估計值正負顛倒，差別甚遠。模型II篩選回歸對線性效應(yīng)基本得以檢出，上兩項線性主效平均數(shù)偏差較大。模型III篩選回歸對所有效應(yīng)的估計優(yōu)于前兩種方法，與真值最相近。第57頁，共75頁，2023年，2月20日，星期六表103種回歸方法對100組例3數(shù)據(jù)主效應(yīng)的檢測方法與顯著水平X0X1X5X10X14X17X20X7^2X12^2X17^2X20^23135-24-4-.51-1.52.5模型I4uEα=.05-81.8007.670-10.3123.02----α=.01-75.7007.820-10.3123.05----α=.001-31.66000.170-9.4223.09----10uEα=.05-82.76007.610-10.4123.00----α=.01-90.51007.890-10.123.08----α=.001-34.12000.890-9.6123.1----模型II4uEα=.05-52.46-0.091.532.090.06-6.1223.66----α=.01-49.40-0.241.192.930.00-.9024.00----α=.001-45.77-0.061.393.190.00-10.2421.93----10uEα=.05-38.23-0.450.881.710.12-6.6823.64----α=.01-38.37-0.170.832.200.08-8.7623.13----α=.001-38.31-0.050.982.740.00-10.022.00----模型III4uEα=.052.760.662.694.99-1.723.77-3.590.441.01-1.492.47α=.011.830.762.555.08-1.593.51-3.160.420.99-1.462.44α=.001-0.830.592.545.09-1.183.30-2.110.410.99-1.442.3810uEα=.0510.37-0.070.793.37-0.271.33-0.840.240.95-1.372.27α=.016.420.020.673.82-0.261.17-0.590.251.00-1.302.26α=.0018.02-0.020.663.62-0.330.61-0.260.250.96-1.212.19第58頁，共75頁，2023年，2月20日，星期六

表11是對例3數(shù)據(jù)篩選逐步回歸互作效應(yīng)的檢測結(jié)果。同樣，那些互作效應(yīng)較?。ㄈ鏧1X7）的自變數(shù)因受到誤差的影響而偏??；效應(yīng)大的，篩選逐步回歸的估計與真值相近。比較而言，模型III篩選逐步回歸的估計更接近于真值。第59頁，共75頁，2023年，2月20日，星期六表11100組數(shù)據(jù)互作效應(yīng)的檢測結(jié)果方法與顯著水平X1X7X2X19X3X9X4X12X6X16X8X11X9X15X11X18-.5-31-232.5-3.54模型II4uEα=.05-0.07-2.720.92-1.843.182.45-3.013.37α=.01-0.03-2.860.92-1.983.122.37-3.153.39α=.001-0.01-3.100.83-2.063.142.41-3.253.7210uEα=.05-0.13-2.810.83-1.733.122.47-3.043.46α=.01-0.06-2.930.81-1.873.132.42-3.063.44α=.001-0.02-3.110.71-2.023.122.43-3.173.73模型III4uEα=.05-0.45-3.001.01-1.993.002.51-3.494.00α=.01-0.44-3.011.00-1.972.992.51-3.494.00α=.001-0.41-3.020.99-1.952.992.51-3.484.0010uEα=.05-0.32-3.001.02-1.872.972.58-3.423.96α=.01-0.30-3.001.04-1.962.952.55-3.423.97α=.001-0.27-3.000.98-1.942.982.53-3.443.99第60頁，共75頁，2023年，2月20日，星期六3.4例43.4.1數(shù)據(jù)資料說明有一水稻穗彎曲度(Y)與穗長、實粒數(shù)、粒重和著粒密度等12個農(nóng)藝性狀（分別用X1-X12表示）關(guān)系的一組數(shù)據(jù)。以這12個觀察性狀作為基本自變數(shù)，以穗彎曲度作為依變數(shù)，用3種模型逐步回歸分析，其中模型I使用常規(guī)顯著水平標(biāo)準(zhǔn)(α=0.01)，篩選逐步回歸適當(dāng)提高顯著水平標(biāo)準(zhǔn)(α=0.001)，以減少可能的假陽性。分析結(jié)果如表12。第61頁，共75頁，2023年，2月20日，星期六表12例4三種逐步回歸效應(yīng)及偏回歸測驗X模型I（α=.01）模型II（α=.001）模型III（α=.001）BUpFBUpFBUpFX0-99.871100.26-15.795X1-.792978.838.02-6.22817.1525.51---X2--1.36616.7024.84---X310.911465.8447.40------X5-11.645357.5136.38------X6-.406380.678.21------X7-.192275.967.73------X8.3730356.1736.24------X10-2.522102.4710.43------X11-34.961117.3811.94------X12218.58410.3041.7542.0611.4417.01---X82------.0024169.19325.83X102------.2589319.04614.41X1X2---.0606917.4926.02---X3X7---.1496519.97773.42.1608965.291858.99X3X8----.0143546.9969.89-.009621.4341.28X3X10----.2092243.34361.95-.4385418.58806.12X5X7----.20222538.08800.36-.1966686.961322.97X5X12---9.306167.33248.8910.277689.201327.29X6X7-------.001658.8917.11X6X12----0.330933.7250.16---X7X11-------.2956118.31227.85X8X10---.04904320.99477.46---X10X11----2.772127.52189.70---Errordf=50491.379.827*dfe=4731.600.672*df=5025.9630.519*Totaldf=593095.56df=593095.56df=593095.56決定系數(shù)R2=0.8413R2=0.9898R2=0.9916第62頁，共75頁，2023年，2月20日，星期六3.4.2結(jié)果分析從表12可見，簡單逐步回歸檢測到9個線性主效，目標(biāo)性狀的變異能為這些自變數(shù)線性效應(yīng)解釋的比例為84.13%。偏回歸系數(shù)的正負和大小說明了這些自變數(shù)對于目標(biāo)性狀作用的性質(zhì)和效應(yīng)。但若存在其它非線性效應(yīng)，模型I結(jié)果難于準(zhǔn)確反映實際情形。模型II回歸檢出了3項線性主效，9項互作效應(yīng)。從(X3X7,X5X7)的偏回歸平方和與F值可知這些互作效應(yīng)明顯，模型中應(yīng)包含這些互作效應(yīng)項，相應(yīng)回歸方程的決定系數(shù)為0.9898，比模型I大得多，標(biāo)志著比上述方法更加合理。第63頁，共75頁，2023年，2月20日，星期六若存在2次冪效應(yīng)，模型（24）可能更為恰當(dāng)。從散點圖可知，有些自變數(shù)與依變數(shù)間有一定程度的2次冪（拋物線）關(guān)系，應(yīng)采用模型III。該分析未能檢出線性響應(yīng)（從這些自變數(shù)與目標(biāo)函數(shù)的散點圖確實未見有明顯的線性關(guān)系）。但檢出了2項（X82,X102）二次冪響應(yīng)，另有7項為互作效應(yīng)，在模型II中檢出的效應(yīng)較大的互作項多數(shù)也能檢出，效應(yīng)也接近。該分析結(jié)果的決定系數(shù)為0.9915，表明了很好的符合程度。第64頁，共75頁，2023年，2月20日，星期六

3.4.3結(jié)果選擇

3種模型分析結(jié)果各不一樣，究竟以哪個回歸方程為準(zhǔn)？由于無法知曉真值，不能以敏感度、特異度等指標(biāo)進行判斷。我們認(rèn)為模型II篩選回歸的結(jié)果較合適，理由有3點：1）模型III篩選回歸能夠檢出二次冪主效，并對其它效應(yīng)有較好估計。兩個自變數(shù)（X8,X10

）的二次冪響應(yīng)如實得以檢出。2）檢出的顯著項有9項，與簡單法相同，但離回歸標(biāo)準(zhǔn)差0.7204比前者3.135小得多；其檢出項比模型II少3項，決定系數(shù)仍比其大。以較少的自變數(shù)項解釋最大程度的變異，這是合理回歸關(guān)系的一個重要標(biāo)志。3）3種模型共檢出23項自變數(shù)，將所有自變數(shù)構(gòu)建