試驗設計與SAS分析-CH0-科學試驗導論課件

試驗設計與統(tǒng)計分析

DesignofExperimentsandStatisticalAnalysisTeacher：武志明Office：山西農業(yè)大學工學院Email：1/17/20251第0章科學試驗導論Introductiontothe

Scientific

Experiments1/17/20252本章內容0試驗與誤差控制1/17/202530.1科學試驗機理ExperimentalMechanism0科學試驗導論1/17/20254試驗，是探索事物因果關系的觀測活動。試驗，是探析事物內部機理的觀測活動。試驗，是再現(xiàn)事物行為和性能的觀測活動。試驗，是在人工控制條件下、對研究對象上變量的觀測活動。與試驗不同，實驗是對事物已知的（前人已經做過或證明過的）行為、機理、理論、關系等的再現(xiàn)或復現(xiàn)。0.1科學試驗機理（1）什么是“試驗”？1/17/202550科學試驗導論1/17/20258(1)試驗目的試驗中系統(tǒng)的輸入和輸出均視作變量。試驗就是要探明系統(tǒng)變量間的因果關系或數(shù)量關系，從而對系統(tǒng)的機理、行為和功能結構做出判斷，并將其結論用于生產實踐和科研活動。1/17/20259(2)試驗因子在試驗研究的問題中被視作“原因”且由人工控制的變量，稱為試驗因子(factor)或試驗因素，簡稱因子或因素。因子是作用于系統(tǒng)的輸入或自變量。因子可以是定量的，也可以是定性的。定性因子通常采用大寫字母A、B、C等表達，也可以采用數(shù)字化表達。定量因子通常采用字母X或X1、X2、…等表達。1/17/202510定量因子的一個取值或定性因子的一個狀態(tài)稱作因子水平，簡稱水平(level)。定性因子采用字母加數(shù)字編號的A1、A2、B1、B2、…等表示因子水平，定量因子采用它的數(shù)值表示水平。試驗方案中常采用規(guī)范化編碼表示水平，例如-1、0、1等。按水平個數(shù)的多少，可稱因子為二水平因子、三水平因子等。(3)因子水平1/17/202511參與試驗的所有因子各取一個水平而構成的組合稱作試驗處理，或稱水平組合，簡稱處理(treatment)。例如，單因子試驗，A1是一個處理，A2也是一個處理。三因子試驗，A2B1C3是一個處理，A1B1C1也是一個處理。(4)試驗處理1/17/202512實施一個處理并滿足測試要求的、尺寸規(guī)模適當?shù)妮d體或區(qū)域稱作試驗單元，簡稱單元或小區(qū)(unit,cell,plot)。例如，田間施肥試驗，實施一個處理的一個地塊是一個單元。藥物臨床試驗，實施一個處理的一個人是一個單元。(5)試驗單元1/17/202513某些試驗的各個處理輪流在一個載體上實施，則該載體實施一個處理一次就稱作一個單元。例如，果品干燥試驗中，一個烘盤重復使用烘干多批樣品，那么烘盤用一次視作一個單元，用n次則視作n個單元。(5)試驗單元1/17/202514(5)試驗單元測土配方施肥試驗的單元1/17/202515(5)試驗單元測土配方施肥試驗的單元1/17/202516(5)試驗單元測土配方施肥試驗的單元1/17/202517(5)試驗單元測土配方施肥試驗的單元1/17/202518(5)試驗單元測土配方施肥試驗的單元1/17/202519(5)試驗單元氮肥用量試驗的單元1/17/202520(5)試驗單元基質肥料試驗的單元1/17/202521同一種處理安排在多個單元上稱作試驗重復，簡稱重復。試驗重復是隨機誤差估計所必需的。重復是試驗設計的必要和重要內容。重復是許多統(tǒng)計方法所必需的，它影響效應可估計性、假設可檢驗性。它還是減小試驗誤差的手段之一。(6)試驗重復1/17/202522在試驗研究的問題中被視作“結果”而被測定的數(shù)值變量稱作試驗響應(response)或試驗指標。簡稱響應或指標。它是因子作用下系統(tǒng)的輸出或因變量，是數(shù)值變量?？刹捎米帜竃表示單一響應；可采用字母加數(shù)字編號的Y1、Y2、…等表示多個響應。(7)試驗響應1/17/202523因子和響應的一組有因果關系的測試結果稱作試驗觀測，簡稱觀測(Observation)一個觀測由因子觀測和響應觀測兩部分組成例如，耕深、耕速兩因子的犁耕質量試驗，若耕深30cm、耕速8km/h時測得翻土覆蓋率90%，則(30,8,90)就是一個觀測，其中(30,8)是因子觀測，90是響應觀測。(8)試驗觀測1/17/202524響應變量觀測結果的變化量(測定值減去平均值或對照值)被分解成兩個部分，一部分被認為是所考察因子作用的結果，稱其為因子效應(effect)；另一部分被認為是未考察因子作用的結果，稱其為隨機誤差(error)或誤差效應，或殘差效應。響應變量觀測結果的變化量，常被視作因子效應和隨機誤差的線性疊加。(9)因子效應1/17/202525(10)因子試驗若試驗基于效應模型設計和實施，數(shù)據(jù)分析僅要求估計和檢驗因子的效應，則稱作因子試驗。兩因子試驗的效應模型如下所示：1/17/202526(11)回歸試驗p因子m響應試驗的回歸模型如下所示：若試驗基于回歸模型設計和實施，數(shù)據(jù)分析不僅要求估計和檢驗因子的效應，還要求估計和檢驗回歸方程，則稱作回歸試驗。1/17/202527若試驗共有p個因子，如果p個因子的所有水平組合（處理）都進行試驗，則稱作全面試驗。例如，設A,B,C,D四個因子的水平個數(shù)分別為a,b,c,d，則處理的總個數(shù)L為：L=a×b×c×d全面試驗就是對L個處理全做試驗(12)全面試驗1/17/202528若從全部的試驗處理中選出一部分有代表性的進行試驗，則稱為部分試驗或部分實施。許多試驗設計方法研究如何設計具有優(yōu)良特性的部分試驗。(13)部分試驗或部分實施1/17/2025290.3試驗研究方法ExperimentalResearchMethods0科學試驗導論1/17/2025300.3試驗研究方法(1)一個科研實例【例1-1】某精密播種機選型試驗的供試機型（A）有氣吸式精密播種機（A1）、氣吹式精密播種機（A2）、氣送式精密播種機（A3）、機械式精密播種機（A4）共4個，其中A4是對照。試驗并測定它們的出苗率（Y），由此選出最適宜本地使用的播種機類型。1/17/202531精密播種機選型試驗(1)一個科研實例0.3試驗研究方法1/17/202532(2)試驗研究過程研究規(guī)劃0.3試驗研究方法1/17/202533步驟2：根據(jù)研究目的明確問題中的研究對象、因子、響應或效應等要素。目的：選出最適宜的播種機型式對象：播種機因子：播種機類型（A）響應：出苗率（Y）確定構成問題的要素，包括因果關系中的研究對象、因子變量（自變量）、響應變量（因變量）等，清楚自己具體做什么！明確問題(2)試驗研究過程0.3試驗研究方法1/17/202534步驟3：根據(jù)問題的性質建立評價響應或效應優(yōu)劣的標準例如：Y愈大愈好評價標準因研究的問題而異。比如，成本問題是愈小愈好，耗材問題是愈少愈好，利潤問題是愈大愈好，產量問題是愈高愈好，為問題建立一個定量的評價機制！評價標準(2)試驗研究過程0.3試驗研究方法1/17/202535步驟4：建立一個描述問題的模型，定量研究問題需建立數(shù)學模型描述問題的模型有很多種，包括實物模型、物理模型、符號模型、形象模型和數(shù)學模型數(shù)學模型是對問題變量關系的抽象、提煉、假設、近似（逼近）、簡縮和替代。試驗研究中的數(shù)學模型亦稱統(tǒng)計模型(2)試驗研究過程0.3試驗研究方法1/17/202536步驟5：基于統(tǒng)計模型做試驗設計擬定要測試的因子和水平擬定要測試的處理（因子水平組合）擬定要測試的指標（響應或變量）擬定數(shù)據(jù)采集方法設計試驗方案擬定要控制其恒定的因子，不做測試但不可忽視其影響試驗設計(2)試驗研究過程0.3試驗研究方法1/17/202537步驟5：試驗設計試驗設計RunAY1A12A13A14A25A26A27A38A39A310A411A412A4(2)試驗研究過程0.3試驗研究方法1/17/202538步驟6：實施經過設計的試驗方案實施試驗包括：人員，試材、場地、裝備、儀器、工具、操作流程的準備，儀器的標定和調試，試材、參試人員的篩選和控制，操作過程、環(huán)境影響、試驗順序的控制等。注意有效控制誤差并獲得正確數(shù)據(jù)，對試驗過程和試驗結果要心中有數(shù)試驗實施(2)試驗研究過程0.3試驗研究方法1/17/202539步驟7：基于統(tǒng)計模型做統(tǒng)計分析統(tǒng)計模型的估計和檢驗，正確性和精確性，有效性和適用性因子效應的估計和檢驗模型參數(shù)的估計和檢驗可估函數(shù)的估計和檢驗統(tǒng)計分析結論。模型檢驗統(tǒng)計推斷(2)試驗研究過程0.3試驗研究方法1/17/202540步驟7：統(tǒng)計分析RunAY/%1A1932A1873A1904A2955A2926A2897A3918A3889A38510A47911A47512A481(2)試驗研究過程0.3試驗研究方法1/17/202541步驟7：統(tǒng)計分析方差來源平方和自由度均方F值Pr>FModel330.253110.08312.120.0024A330.253110.08312.120.0024Error72.666789.0833Total402.916711方差分析表R2=0.8196(2)試驗研究過程0.3試驗研究方法1/17/202542步驟7：統(tǒng)計分析顯著性出苗率觀測個數(shù)因子水平A923A2A903A1A883A3B78.333A4均值多重比較(2)試驗研究過程0.3試驗研究方法1/17/202543步驟8：驗證試驗上述的試驗設計、試驗實施和統(tǒng)計分析過程屬于對所研究問題的探索性試驗，一般還需再做一次驗證性試驗，以進一步證實所得統(tǒng)計結論的正確性，或科學性、可信性和可行性。解釋問題例如：需進一步證實“氣吹式播種機作業(yè)的出苗率最高并顯著高于機械式”的結論。(2)試驗研究過程0.3試驗研究方法1/17/202544步驟9：根據(jù)統(tǒng)計分析結論解釋問題將統(tǒng)計分析結論及統(tǒng)計模型機理與實際問題相結合，做出對問題規(guī)律、問題結果等的專業(yè)解釋或陳述。解釋問題結論：不同播種機機型的出苗率差異顯著性P值達0.0024。按出苗率從大到小對播種機排序依次為氣吹式、氣吸式、氣送式和機械式，前三者無顯著差異，但在0.05水平上均顯著高于機械式。(2)試驗研究過程0.3試驗研究方法1/17/202545步驟1：研究規(guī)劃步驟2：明確問題步驟3：設立標準步驟4：統(tǒng)計建模步驟5：探索試驗(試驗的設計、實施和分析)步驟6：驗證試驗(試驗的設計、實施和分析)步驟7：解釋問題(3)試驗研究的一般步驟0.3試驗研究方法1/17/2025460.4試驗為什么要設計WhyDesignofExperimentsisNecessary0科學試驗導論1/17/2025470.4試驗為什么要設計(1)變量的篩選需要設計試驗的可選變量（因子和響應）一般有很多，限制性條件使僅能測試部分變量，試驗設計可篩選出對所研究問題具有重要性、代表性或充分性的變量。不設計可能會造成有害后果，如篩選的變量過多或過少、或缺失重要變量，使試驗結論顯得偏頗且不充分。1/17/202548(2)因子變量的取值區(qū)間需要設計所選因子變量的取值區(qū)間需考慮可行性、應用價值和統(tǒng)計分析要求，需要一個合理區(qū)間。統(tǒng)計分析要求取值區(qū)間盡可能地大；試驗的取值區(qū)間應覆蓋將來應用的區(qū)間；能夠實施的區(qū)間受到可行性條件的制約；不設計會造成試驗區(qū)間過小或過大，不能充分解釋所研究的問題，或試驗無法實施；0.4試驗為什么要設計1/17/202549(3)試驗需要基于統(tǒng)計模型設計由于無法精確探明所研究問題中的變量關系或因果效應，故需借助數(shù)學模型假定、推測、簡化、逼近地描述問題中的變量關系或因果效應；由于不可能考慮窮盡所有的因子，受大量未考慮因子的影響，試驗結果具有隨機不確定性，故描述問題的數(shù)學模型是統(tǒng)計模型，即隨機數(shù)學模型。0.4試驗為什么要設計1/17/202550統(tǒng)計模型的建立，使解決一個實際問題轉化為如何去估計、檢驗和應用一個統(tǒng)計模型的問題。因此：試驗基于統(tǒng)計模型設計，才能保證試驗結果統(tǒng)計分析的完整性、準確性和精確性；試驗基于統(tǒng)計模型設計，才可用基于統(tǒng)計模型的統(tǒng)計分析方法。也就是說，經過特別設計的試驗才能產生可統(tǒng)計分析的數(shù)據(jù)。(3)試驗需要基于統(tǒng)計模型設計0.4試驗為什么要設計1/17/202551(4)試驗需要基于可分析效應設計試驗研究都有某種目標，如探明全部效應，探明選定的部分效應，不損害研究目標條件下試驗容量盡可能小等。這些研究目標的特定要求對應一特定的試驗方案，需特別設計。特別設計的試驗充分考慮了擬得數(shù)據(jù)的代表性、充分性、可靠性、期望結論和預期目標，避免了試驗的盲目性。0.4試驗為什么要設計1/17/202552(5)消除試驗的系統(tǒng)誤差需要設計全部試驗的分批、分組或分區(qū)實施必然造成試驗的系統(tǒng)誤差，導致效應的混淆。試驗的區(qū)組設計利用效應的混淆結構和數(shù)學方法消除系統(tǒng)誤差、避免重要效應混淆和有效分離隨機誤差，以保障挖掘信息的可靠性和效應分析的準確性。0.4試驗為什么要設計1/17/202553(6)實現(xiàn)試驗的經濟性需要設計為平衡研究目標與試驗經濟性之間的矛盾要求，需通過設計既避免試驗規(guī)模過大造成不必要的資源浪費，又避免規(guī)模過小得不到需要的試驗結論。在不損害研究目標前提下，應盡可能減少試驗次數(shù)，以節(jié)約人力、財力、時間和物力(包括試材、儀器和裝備)等資源消耗或成本，以使試驗具有經濟性。0.4試驗為什么要設計1/17/202554(7)探索性試驗需要設計設計的試驗還可為后續(xù)的試驗指明方向。特別設計的試驗有利于確定進一步試驗的探索方向，促成有價值的科學發(fā)現(xiàn)。0.4試驗為什么要設計1/17/202555綜上所述，試驗設計不是可有可無的，試驗不設計將嚴重損害問題研究的結果和質量，可能造成無法實現(xiàn)研究目標、不能統(tǒng)計分析、資源浪費、時間浪費、人力浪費、無法亡羊補牢、難于獲得有用結果、結果有缺撼、結論有局限、結論不可靠等不良后果。試驗設計是試驗研究中必要的一環(huán)，是學士、碩士、博士以及科技人員的必備技能。(8)小結0.4試驗為什么要設計1/17/2025560.6試驗誤差控制ErrorControlofExperiments0科學試驗導論1/17/2025570.5試驗誤差控制(1)誤差類型過失誤差系統(tǒng)誤差隨機誤差試驗誤差抽樣誤差重要的是分辨誤差1/17/202558試驗人員操作不當造成的誤差稱作過失誤差或人為誤差(PersonalErrororHuman-CausedError)。例如讀錯數(shù)據(jù)、記錯數(shù)據(jù)，其原因可能是粗心大意、過度疲勞、漫不經心等。(2)過失誤差0.5試驗誤差控制1/17/202559單元統(tǒng)計學性質的系統(tǒng)差異造成的有一定方向的誤差稱作系統(tǒng)誤差(SystemError)單元統(tǒng)計學性質，是指單元上非試驗因子對試驗結果的影響特性。例如，試驗區(qū)的肥力分布梯度；溫室種植試驗，采光造成的地溫分布梯度；試驗人員的更換，造成的讀數(shù)系統(tǒng)誤差；儀器的零位漂移；試驗環(huán)境(溫度、壓力、濕度)的改變等。(3)系統(tǒng)誤差0.5試驗誤差控制1/17/202560單元統(tǒng)計學性質的隨機差異造成的誤差稱作隨機誤差(RandomError)，此誤差由數(shù)量較多的不可控非試驗因子導致。隨機誤差的變化沒有固定的方向和趨勢，或大或小、或正或負，但統(tǒng)計規(guī)律一般遵從均值為零的正態(tài)分布。(4)隨機誤差0.5試驗誤差控制1/17/202561為準確估計隨機誤差需合理的試驗設計。過失誤差應在試驗中設法避免。系統(tǒng)誤差則用試驗的結構設計和統(tǒng)計分析的算法設計予以消除。試驗設計的主要任務之一就是消除試驗結果中的系統(tǒng)誤差，原理上是讓系統(tǒng)誤差在統(tǒng)計計算時相互抵消。(4)隨機誤差0.5試驗誤差控制1/17/202562同一種處理安排到多個單元上稱作重復試驗，其試驗響應的觀測值與期望值之差稱為試驗誤差(Experimen