第2 從數(shù)理統(tǒng)計到數(shù)據(jù)挖掘ppt課件

1、第第2章章 從數(shù)理統(tǒng)計到數(shù)據(jù)挖掘從數(shù)理統(tǒng)計到數(shù)據(jù)挖掘2.2數(shù)理統(tǒng)計與數(shù)據(jù)庫技術(shù)的結(jié)合數(shù)理統(tǒng)計與數(shù)據(jù)庫技術(shù)的結(jié)合2.3回歸分析的基本概念回歸分析的基本概念2.4線性回歸方程線性回歸方程2.5線性相關(guān)的顯著性檢驗線性相關(guān)的顯著性檢驗2.1數(shù)理統(tǒng)計與數(shù)據(jù)挖掘的關(guān)系數(shù)理統(tǒng)計與數(shù)據(jù)挖掘的關(guān)系2.7多元線性回歸分析多元線性回歸分析2.8一般情況下的回歸分析一般情況下的回歸分析2.9逐步回歸分析的軟件設(shè)計逐步回歸分析的軟件設(shè)計2.10鍛模設(shè)計準則的制定鍛模設(shè)計準則的制定2.6非線性回歸分析非線性回歸分析第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.1數(shù)理統(tǒng)計與數(shù)據(jù)挖掘的關(guān)系數(shù)理統(tǒng)計與數(shù)據(jù)挖掘的關(guān)系 數(shù)理統(tǒng)計和數(shù)據(jù)挖掘有著共

2、同的目標，即發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu) 。但數(shù)據(jù)挖掘不是數(shù)統(tǒng)計的分支 ，因為數(shù)據(jù)挖掘還應(yīng)用了其它領(lǐng)域的思想、工具和方法，尤其是計算機學(xué)科，例如數(shù)據(jù)庫技術(shù)和機器學(xué)習(xí)，而且它所關(guān)注的某些領(lǐng)域和統(tǒng)計學(xué)家所關(guān)注的有很大不同。因而需要逐個考察這兩門學(xué)科的性質(zhì)，區(qū)分它們的異同，并關(guān)注與數(shù)據(jù)挖掘相關(guān)聯(lián)的一些難題。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 2.1.1數(shù)理統(tǒng)計的性質(zhì)數(shù)理統(tǒng)計的性質(zhì) 試圖為數(shù)理統(tǒng)計下一個太寬泛的定義是沒有意義的，數(shù)理統(tǒng)計是一門比較保守的學(xué)科，目前有一種趨勢是越來越精確 。數(shù)學(xué)背景和追求精確加強了這樣一個趨勢，即在采用一個方法之前先要證明，而不是象計算機科學(xué)和機器學(xué)習(xí)那樣注重經(jīng)驗 。第2章 從數(shù)理統(tǒng)計數(shù)據(jù)

3、挖掘2.1.2數(shù)據(jù)挖掘的性質(zhì)數(shù)據(jù)挖掘的性質(zhì) 計算機使得傳統(tǒng)統(tǒng)計模型的視野大大地擴展了，還促進了新工具的飛速發(fā)展 。數(shù)理統(tǒng)計很少會關(guān)注實時分析，然而數(shù)據(jù)挖掘問題常常需要這些 ，數(shù)據(jù)挖掘者也不可持完全非統(tǒng)計的觀點，盡管數(shù)理統(tǒng)計主要關(guān)注的是分析定量數(shù)據(jù)，數(shù)據(jù)挖掘的多來源意味著還需要處理其它形式的數(shù)據(jù)。特別地，邏輯數(shù)據(jù)越來越多。第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.1.3 從數(shù)理統(tǒng)計到數(shù)據(jù)挖掘從數(shù)理統(tǒng)計到數(shù)據(jù)挖掘 數(shù)據(jù)挖掘有時候不是一次性的實驗，盡管數(shù)據(jù)集是確定的，它更應(yīng)該被看作是一個不斷迭代的過程。從一個角度檢查數(shù)據(jù)可以解釋結(jié)果，以相關(guān)的觀點檢查可能會更接近規(guī)律。關(guān)鍵是，極少情形會知道哪一類模式是有意義的。

4、數(shù)據(jù)挖掘的本質(zhì)是發(fā)現(xiàn)非預(yù)期的模式同樣非預(yù)期的模式要以非預(yù)期的方法來發(fā)現(xiàn)。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 數(shù)據(jù)挖掘不能替代傳統(tǒng)的統(tǒng)計分析技術(shù)，相反，它是統(tǒng)計分析方法學(xué)的延伸和擴展。數(shù)據(jù)挖掘算法有些本來就是統(tǒng)計的方法 ，數(shù)據(jù)挖掘仍然是計算機行業(yè)的一個方向，而不是廣義統(tǒng)計的一部分。同時，對于數(shù)據(jù)挖掘算法中來自機器學(xué)習(xí)和人工智能的一部分，其核心是規(guī)則，而規(guī)則內(nèi)部的獲得機制雖然是基于數(shù)理統(tǒng)計的，但是這種技術(shù)本身已經(jīng)不屬于統(tǒng)計了。第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.2數(shù)理統(tǒng)計與數(shù)據(jù)庫技術(shù)的結(jié)合數(shù)理統(tǒng)計與數(shù)據(jù)庫技術(shù)的結(jié)合 數(shù)據(jù)挖掘技術(shù)從一開始就是面向應(yīng)用的，它不僅是面向特定數(shù)據(jù)庫的簡單檢索查詢調(diào)用，而且要對這些數(shù)據(jù)

5、進行微觀及宏觀的統(tǒng)計、分析、綜合和推理，用以指導(dǎo)實際問題的求解，力圖發(fā)現(xiàn)事物間的相互聯(lián)系，甚至可利用已有的數(shù)據(jù)對未來的活動進行預(yù)測。 數(shù)理統(tǒng)計是數(shù)學(xué)中最重要、最活躍的學(xué)科之一，然而它和數(shù)據(jù)庫技術(shù)結(jié)合得并不算快，但一旦有了從數(shù)據(jù)查詢到知識發(fā)現(xiàn)、從數(shù)據(jù)演繹到數(shù)據(jù)挖掘的要求，則數(shù)理統(tǒng)計就會獲得新的生命力。數(shù)理統(tǒng)計作為數(shù)據(jù)挖掘的3個主要支柱之一，有許多尋找變量之間規(guī)律性的方法，而回歸分析方法是其中最有效的方法之一。第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.3回歸分析的基本概念回歸分析的基本概念 變量之間的關(guān)系可分為兩類：一類是確定性的關(guān)系，也就是通常所說的函數(shù)關(guān)系；另一類是非確定性的關(guān)系，變量之間的這種非確定性關(guān)

6、系稱為相關(guān)關(guān)系。 設(shè)有兩個變量X和Y，其中X是可以精確測量或控制的非隨機變量，而Y是隨機變量，X的變化將使Y發(fā)生相應(yīng)的變化，但它們之間的變化關(guān)系是不確定的，若當X取得任一可能值x時，Y相應(yīng)地服從一定的概率分布，則稱隨機變量X與變量Y之間存在相關(guān)關(guān)系。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘設(shè)進行次獨立的試驗，測得試驗數(shù)據(jù)如下表 xXxXYYy)(E其中 及 分別是變量X與隨機變量Y在第i次試驗中的觀測值。取X=x時隨機變量Y的數(shù)學(xué)期望時 的估計值，即 iyxXY)(Eix), 2 , 1(niXY1x1y2x2ynxny顯然， 當變化時， xxXY)(E是 的函數(shù)，記作xxXYx)(E)(于是，可以用一個

7、確定的函數(shù)關(guān)系式)(xy （21） （22） （23）第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 大致地描述 與 之間的相關(guān)關(guān)系，函數(shù) 稱為 關(guān)于 的回歸函數(shù)，方程(23)稱為 關(guān)于 的回歸方程?；貧w方程反映了 的數(shù)學(xué)期望EY隨 的變化而變化的規(guī)律性。 在確定了函數(shù) 的類型后，就可以設(shè) 其中 為未知參數(shù)。于是，上述問題就歸結(jié)為：如何根據(jù)試驗數(shù)據(jù)合理地選擇參數(shù)的估計值 使方程YX(x)YXXYYX(x),;()(21kaaaxxkaaa,21kaaa,21),;(21kaaaxy在一定的意義下“最佳地表現(xiàn) 與 之間的相關(guān)關(guān)系。YX解決上述問題的方法，可以利用最小二乘法。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.4線性回歸

8、方程線性回歸方程 為了便于確定回歸函數(shù) 中未知參數(shù)的值，首先討論變量 與 之間存在線性相關(guān)關(guān)系的情形。 設(shè)變量 與 之間存在線性相關(guān)關(guān)系，則由試驗數(shù)據(jù)得到的點 將散布在某一直線周圍。于是，可以用線性方程(x)YXYX), 2 , 1)(,(niyxiibxay大致地描述變量 與 之間的關(guān)系。設(shè)隨機變量YX),(2bxaNY按最小二乘法確定未知參數(shù) 及 時，有偏差平方和abniibxayS12為了使S取得最小值，分別求 對 及 的偏導(dǎo)數(shù)，并令它們等于零，得方程組Sabniiiiniiixbxaybxay110)(0)(第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘整理得niiiniiniiniiniiyxbxaxy

9、bxna112111解方程組得xxxyllbxbya上式中niixnx11niiyny11nixixxsnxxl122) 1()(其中 觀測值 的樣本方差；2xSnxxx,21niniiiiixyyxnyxyyxxl11)(第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘為了以后進一步分析的需要，再引進niyiyysnyyl122) 1()(其中 是觀測值 的樣本方差。2ySnyyy,21將由公式2-5計算得到的及的值代入2-10），就得到所求的線性方程xbay 這個方程稱為 關(guān)于 的線性回歸方程， 稱為回歸系數(shù)，對應(yīng)的直線稱為回歸直線。YXb第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.5線性相關(guān)的顯著性檢驗線性相關(guān)的顯著性檢驗

10、2.5.1線性回歸的方差分析線性回歸的方差分析線性回歸得方差分析表如下： 方差來源方差來源 平方和平方和 自由度自由度 F F值值 臨界值臨界值 回歸剩余 RSeS12n(2)ReSFSn0.05(1,2)Fn0.01(1,2)Fn2.5.2相關(guān)系數(shù)的顯著性檢驗相關(guān)系數(shù)的顯著性檢驗相關(guān)系數(shù)的顯著性檢驗法2nFFr一系列變化得第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 （1當 時，則認為 與 之間的線性相關(guān)關(guān)系不顯著，或者不存在線性相關(guān)關(guān)系。 （2當 時，則認為 與 之間的線性相關(guān)關(guān)系顯著。 （3當 時，則認為 與 之間的線性相關(guān)關(guān)系特別顯著。 綜上所述，討論隨機變量與 變量 之間的線性回歸問題，一般應(yīng)按以下步

11、驟進行。 )2(05. 0nrr)2()2(01. 005. 0nrrnr)2(01. 0nrrYYYXXxyyyxxlllyx及,YXX第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 （1先根據(jù)試驗數(shù)據(jù)計算 ,再計算樣本相關(guān)系數(shù) 的值；然后，查相關(guān)系數(shù)顯著性檢驗表，得到相關(guān)系數(shù)臨界值 ，從而推斷變量 與 之間的線性相關(guān)關(guān)系是否顯著。 （2假設(shè) 與 之間的線性相關(guān)關(guān)系顯著，則計算 的值，可得 關(guān)于 的線性回歸方程，它大致描述了 與 之間的變化規(guī)律。YXxyyyxxlllyx及,rrYYYXXXba及第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.6非線性回歸分析非線性回歸分析2.6.1化非線性回歸為線性回歸化非線性回歸為線性回歸

12、根據(jù)專業(yè)知識或散點圖，選擇適當?shù)那€回歸方根據(jù)專業(yè)知識或散點圖，選擇適當?shù)那€回歸方程程 其中其中 及及 為未知參數(shù)。為了求參數(shù)為未知參數(shù)。為了求參數(shù) 及及 的估計的估計值，往往可以通過變量置換，把非線性回歸化為值，往往可以通過變量置換，把非線性回歸化為線性回歸，然后用上述線性回歸方法來確定這些線性回歸，然后用上述線性回歸方法來確定這些參數(shù)的估計值。參數(shù)的估計值。),;(baxyaabb第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.6非線性回歸分析非線性回歸分析2.6.2多項式回歸 設(shè)回歸方程為 這里假設(shè)多項式的次數(shù) 小于試驗次數(shù) 。因而可以利用最小二乘法確定系數(shù) 的值。最常用的是二次或三次多項式。mmxax

13、axaay2210mnmaaa,21第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.7多元線性回歸分析多元線性回歸分析2.7.1多元線性回歸方程多元線性回歸方程2.7.2多元線性回歸的方差分析多元線性回歸的方差分析 檢驗原假設(shè)檢驗原假設(shè) 是否是否成立成立 最后寫出多元線性回歸的方差分析表如下：最后寫出多元線性回歸的方差分析表如下：mmxbxbxbay22110H210mbb：b方差來源方差來源 平方和平方和 自由度自由度 F F值值 臨界值臨界值 回歸剩余 RSeSM1mn) 1(mnSmSFeR0.050.01( ,1)( ,1)FFm nmm nm第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 與與 之間的線性相關(guān)關(guān)系顯著性判

14、斷規(guī)則如下之間的線性相關(guān)關(guān)系顯著性判斷規(guī)則如下YmXXX,21mXXX,21mXXX,21mXXX,21YYY（1假設(shè) 則接受原假設(shè) ，即認為 與 之間的線性相關(guān)關(guān)系不顯著。（2假設(shè) 則拒絕原假設(shè)，即認為 與 之間的線性相關(guān)關(guān)系顯著。（3假設(shè) 則可以認為 與 之間的線性相關(guān)關(guān)系特別顯著。),1,(F05. 0mnmF0H),1,(F) 1,(F01. 005. 0mnmFmnm),1,(F01. 0mnmF第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.8一般情況下的回歸分析一般情況下的回歸分析 2.8.1一般情況下的回歸方程一般情況下的回歸方程 最小二乘估計原理：當參數(shù)最小二乘估計原理：當參數(shù) 滿足滿足 時，

15、函數(shù)時，函數(shù) 達到最小值。若矩陣是非奇異達到最小值。若矩陣是非奇異的，則最小值由的，則最小值由 唯一給出。唯一給出。yTT22121)(TIyyT)(1第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.8.2一般情況下的參數(shù)估計一般情況下的參數(shù)估計 最小二乘法可以用于動態(tài)系統(tǒng)的參數(shù)估計。設(shè)系統(tǒng)輸入序列 已施加于系統(tǒng)并測得相應(yīng)的輸出序列 ，未知參數(shù)為 )(,),2(),1 (Nuuu)(,),2(),1 (NyyyTnnbbbaaa,;,2121第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 又 若矩陣 是非奇異的，則最小二乘估計由式276給出。粗略地講，只要輸入信號是足夠豐富的，矩陣 就是非奇異的。)()2() 1()()2() 1

16、() 1(,),1(),();1(,),1(),( ) 1(NynynyyNnnnkukukunkykykykTT第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘2.9逐步回歸分析的軟件設(shè)計逐步回歸分析的軟件設(shè)計逐步回歸分析軟件應(yīng)具有以下功能逐步回歸分析軟件應(yīng)具有以下功能:（1從一組數(shù)據(jù)出發(fā)，確定變量間的定量關(guān)系式。從一組數(shù)據(jù)出發(fā)，確定變量間的定量關(guān)系式。（2對關(guān)系式的可信度程度進行統(tǒng)計檢驗。對關(guān)系式的可信度程度進行統(tǒng)計檢驗。（3從影響著某一變量的許多變量中判斷哪些變從影響著某一變量的許多變量中判斷哪些變 量的影響是顯著的，哪些是不顯著的。量的影響是顯著的，哪些是不顯著的。第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 根據(jù)對逐步回歸

17、分析軟件功能的分析，得出其數(shù)據(jù)流圖如圖所示。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘圖圖2-1 逐步回歸分析軟件數(shù)據(jù)流圖逐步回歸分析軟件數(shù)據(jù)流圖2.10鍛模設(shè)計準則的制定鍛模設(shè)計準則的制定 2.10.1研究的內(nèi)容研究的內(nèi)容 （1飛邊尺寸設(shè)計準則的制定；飛邊尺寸設(shè)計準則的制定； （2飛邊金屬消耗設(shè)計準則的制定。飛邊金屬消耗設(shè)計準則的制定。 2.10.2資料收集與數(shù)據(jù)處理資料收集與數(shù)據(jù)處理 2.10.3飛邊尺寸設(shè)計準則的制定飛邊尺寸設(shè)計準則的制定 （1數(shù)學(xué)模型建立的依據(jù)數(shù)學(xué)模型建立的依據(jù) （2數(shù)學(xué)模型的建立和回歸分析樣本表數(shù)學(xué)模型的建立和回歸分析樣本表 （3結(jié)論結(jié)論 2.10.4飛邊金屬消耗設(shè)計準則的制定飛邊

18、金屬消耗設(shè)計準則的制定 （1數(shù)學(xué)模型建立的依據(jù)數(shù)學(xué)模型建立的依據(jù) （2數(shù)學(xué)模型的建立和回歸分析樣本表數(shù)學(xué)模型的建立和回歸分析樣本表 （3結(jié)論結(jié)論 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 本章闡述了數(shù)據(jù)挖掘與數(shù)理統(tǒng)計的關(guān)系，對數(shù)理統(tǒng)計和數(shù)據(jù)庫技術(shù)的結(jié)合進行了討論，由此說明了數(shù)理統(tǒng)計在數(shù)據(jù)挖掘中的基礎(chǔ)地位。重點討論了數(shù)理統(tǒng)計中的核心分析方法回歸分析法。就回歸分析的基本概念、線性回歸方程、線性相關(guān)的顯著性檢驗、非線性回歸分析、多元線性回歸分析、一般情況下的線性回歸分析進行了論述。結(jié)合數(shù)據(jù)挖掘的特點，給出了采用逐步回歸分析法建立鍛模設(shè)計準則的實例。就逐步回歸分析的軟件設(shè)計、鍛模飛邊尺寸設(shè)計準則的制定、鍛模飛邊金屬

19、消耗設(shè)計準則的制定等問題進行了描述。最后，得出了利用逐步回歸分析軟件建立的上述兩類準則，并對結(jié)果進行了分析，獲得了相關(guān)結(jié)論。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 1在某種產(chǎn)品的表面腐蝕刻線，腐蝕深度與腐蝕時間在某種產(chǎn)品的表面腐蝕刻線，腐蝕深度與腐蝕時間關(guān)，測得試驗數(shù)據(jù)如下關(guān)，測得試驗數(shù)據(jù)如下5101520 581013 30405060 16171923 7090120 252946 sitmiusitmiusitmiu （1檢驗腐蝕深度與腐蝕時間之間線性相關(guān)關(guān)系是否顯著；如果顯著，檢驗腐蝕深度與腐蝕時間之間線性相關(guān)關(guān)系是否顯著；如果顯著，求關(guān)于的線性回歸方程。求關(guān)于的線性回歸方程。 （2求當腐蝕時間

20、時腐蝕深度的置信水平為的預(yù)測區(qū)間。求當腐蝕時間時腐蝕深度的置信水平為的預(yù)測區(qū)間。 第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 2冶金廠生產(chǎn)某種零件，對一批成品的質(zhì)量與壓潰強度進行實際測試冶金廠生產(chǎn)某種零件，對一批成品的質(zhì)量與壓潰強度進行實際測試，得到數(shù)據(jù)如下：，得到數(shù)據(jù)如下：142145149153158 420510535605675 160162164168170 710730750825845 172175177180 93598010301090 kgx-2Ncmiykgx-2Ncmiykgx-2Ncmiy第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘 （1檢驗壓潰強度與質(zhì)量之間線性相關(guān)關(guān)系是否顯著；如果顯著，求關(guān)檢驗壓

21、潰強度與質(zhì)量之間線性相關(guān)關(guān)系是否顯著；如果顯著，求關(guān)于的線性回歸方程。于的線性回歸方程。 （2求當質(zhì)量為時壓潰強度的置信水平為的預(yù)測區(qū)間。求當質(zhì)量為時壓潰強度的置信水平為的預(yù)測區(qū)間。 3一冊書的成本費與印刷冊數(shù)有關(guān)，統(tǒng)計結(jié)果 如下：1235 10.155.524.082.85 10203050 2.111.621.411.30 100200 1.211.15 x 千冊iy 元x 千 冊iy 元x 千冊iy 元檢驗成本費與印刷冊數(shù)的倒數(shù)之間線性相關(guān)關(guān)系是否顯著；如果顯檢驗成本費與印刷冊數(shù)的倒數(shù)之間線性相關(guān)關(guān)系是否顯著；如果顯著，求關(guān)于的回歸方程。著，求關(guān)于的回歸方程。第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘

22、4對變量對變量 與與 ，測得試驗數(shù)據(jù)如下，測得試驗數(shù)據(jù)如下 23456 6.428.209.589.509.707891011 10.009.939.9910.4910.59 1213141516 10.6010.8010.6010.9010.76 ixiyixixiyiy第2章 從數(shù)理統(tǒng)計數(shù)據(jù)挖掘畫出散點圖，為了求得變量關(guān)于的回歸方程，考慮選配下列曲線方程。畫出散點圖，為了求得變量關(guān)于的回歸方程，考慮選配下列曲線方程。（1) (2) (3)按所得的各個回歸方程，分別計算先剩余平方和按所得的各個回歸方程，分別計算先剩余平方和 比較它們的大小，從而選定比較它們的大小，從而選定“最正確最正確回歸曲線方程最小者為回歸曲線方程最小者為“最正確最正確”)152