分析數(shù)據(jù)間相關性

1、ExcelExcel數(shù)據(jù)統(tǒng)計與分析數(shù)據(jù)統(tǒng)計與分析主講：張小蘭主講：張小蘭電話mail：第四章第四章 分析數(shù)據(jù)間的相關性分析數(shù)據(jù)間的相關性u 世間萬物總是存在不同程度的聯(lián)系世間萬物總是存在不同程度的聯(lián)系p 函數(shù)關系函數(shù)關系p 統(tǒng)計關系統(tǒng)計關系v線性相關線性相關XY正線性相關正線性相關負線性相關負線性相關XY非線性相關非線性相關4.24.2兩數(shù)值型數(shù)據(jù)間的相關性兩數(shù)值型數(shù)據(jù)間的相關性v （1）圖形分析法）圖形分析法 散點圖是統(tǒng)計關系分析中最常用的圖形工具，它將數(shù)散點圖是統(tǒng)計關系分析中最常用的圖形工具，它將數(shù)據(jù)以點的形式畫在直角平面上，它將一組數(shù)據(jù)作為縱軸，據(jù)以點的形式畫在

2、直角平面上，它將一組數(shù)據(jù)作為縱軸，將另一組數(shù)據(jù)作為縱軸，事物對象的每個個體以點的形將另一組數(shù)據(jù)作為縱軸，事物對象的每個個體以點的形式出現(xiàn)。式出現(xiàn)。v （1）若所有點落在一條直線上，說明數(shù)據(jù)間是線性相關，）若所有點落在一條直線上，說明數(shù)據(jù)間是線性相關，是函數(shù)關系，不是統(tǒng)計關系。是函數(shù)關系，不是統(tǒng)計關系。v （2）所有點雜亂無章，從形態(tài)上看不出任何特征和規(guī)律，）所有點雜亂無章，從形態(tài)上看不出任何特征和規(guī)律，表明數(shù)據(jù)間不相關表明數(shù)據(jù)間不相關v （3）圖形點大致呈某種曲線形態(tài)，表明數(shù)據(jù)間存在非線）圖形點大致呈某種曲線形態(tài)，表明數(shù)據(jù)間存在非線性相關性相關v （4）所有點大致落在一條直線周圍，表明數(shù)據(jù)間有

3、線性）所有點大致落在一條直線周圍，表明數(shù)據(jù)間有線性相關性。相關性。實踐實踐v 1999年年31個省市自治區(qū)個人購買商品住房住宅面?zhèn)€省市自治區(qū)個人購買商品住房住宅面積與商品住宅銷售額的數(shù)據(jù)，現(xiàn)要求利用散點圖法積與商品住宅銷售額的數(shù)據(jù)，現(xiàn)要求利用散點圖法分析個人購買商品住房住宅面積與商品住宅銷售額分析個人購買商品住房住宅面積與商品住宅銷售額之間的相關性。之間的相關性。v （2）數(shù)值分析法）數(shù)值分析法 圖形能夠直觀展現(xiàn)數(shù)據(jù)間的相關關系，但并不精確。圖形能夠直觀展現(xiàn)數(shù)據(jù)間的相關關系，但并不精確。簡單相關系數(shù)通過數(shù)字準確描述數(shù)據(jù)間線性相關的方簡單相關系數(shù)通過數(shù)字準確描述數(shù)據(jù)間線性相關的方向和強弱程度。向

4、和強弱程度。v簡單相關系數(shù)簡單相關系數(shù)p 簡單相關系數(shù)取值范圍簡單相關系數(shù)取值范圍-1,1p 簡單相關系數(shù)簡單相關系數(shù)0，表示兩個數(shù)據(jù)正線性相關，表示兩個數(shù)據(jù)正線性相關p 簡單相關系數(shù)簡單相關系數(shù)0.8，表示兩個數(shù)據(jù)相關性很強，表示兩個數(shù)據(jù)相關性很強p 簡單相關系數(shù)簡單相關系數(shù)0.3，表示兩個數(shù)據(jù)相關性較弱，表示兩個數(shù)據(jù)相關性較弱求簡單相關系數(shù)的方法：求簡單相關系數(shù)的方法：（1）簡單相關系數(shù)可通過函數(shù)）簡單相關系數(shù)可通過函數(shù)Correl或或Pearson實現(xiàn)實現(xiàn)（2）“數(shù)據(jù)分析數(shù)據(jù)分析”中相關系數(shù)命令中相關系數(shù)命令實踐實踐v 1999年年31個省市自治區(qū)個人購買商品住房住宅面?zhèn)€省市自治區(qū)個人購

5、買商品住房住宅面積與商品住宅銷售額的數(shù)據(jù)，現(xiàn)要求函數(shù)和積與商品住宅銷售額的數(shù)據(jù)，現(xiàn)要求函數(shù)和“數(shù)據(jù)數(shù)據(jù)分析分析”命令分析個人購買商品住房住宅面積與商品命令分析個人購買商品住房住宅面積與商品住宅銷售額之間的相關性。住宅銷售額之間的相關性。4.34.3兩品質(zhì)數(shù)據(jù)間的相關性兩品質(zhì)數(shù)據(jù)間的相關性從人事數(shù)據(jù)中分析性別跟職稱是否相關？從人事數(shù)據(jù)中分析性別跟職稱是否相關？（1）圖形分析法）圖形分析法 復式柱形圖是柱形圖的擴展，主要用于對事物兩個或多復式柱形圖是柱形圖的擴展，主要用于對事物兩個或多個特征的分類對比。個特征的分類對比。v（2）數(shù)值分析法）數(shù)值分析法-列聯(lián)表列聯(lián)表v 在該圖基礎上進一步計算一些簡單

6、的百分比。在該圖基礎上進一步計算一些簡單的百分比。v列聯(lián)表示例列聯(lián)表示例獲不獲得學分與性別是有關系的，男生獲得學分的可能更大一些獲不獲得學分與性別是有關系的，男生獲得學分的可能更大一些v列聯(lián)表示例列聯(lián)表示例獲不獲得公選課學分與性別是不相關的獲不獲得公選課學分與性別是不相關的實踐實踐v給定的性別與受教育程度數(shù)據(jù)進行相關性分析，給定的性別與受教育程度數(shù)據(jù)進行相關性分析，做出他們的三維簇狀柱形圖及列聯(lián)表。做出他們的三維簇狀柱形圖及列聯(lián)表。v對人事數(shù)據(jù)中性別與職稱進行相關性分析，做對人事數(shù)據(jù)中性別與職稱進行相關性分析，做出三維簇狀柱形圖及列聯(lián)表。出三維簇狀柱形圖及列聯(lián)表。4.4 4.4 相關的可靠性檢

7、驗相關的可靠性檢驗v總體與樣本總體與樣本 常常存在這樣的情況，我們所觀察的只是部分或有限的個體，常常存在這樣的情況，我們所觀察的只是部分或有限的個體，而需要判斷的總體對象范圍卻是大量的，甚至是無限的。比如而需要判斷的總體對象范圍卻是大量的，甚至是無限的。比如說為了考察某公司生產(chǎn)的一批電腦芯片的質(zhì)量，需要了解芯片說為了考察某公司生產(chǎn)的一批電腦芯片的質(zhì)量，需要了解芯片使用壽命這一指標。我們關心的是這一整批芯片的質(zhì)量，但由使用壽命這一指標。我們關心的是這一整批芯片的質(zhì)量，但由于各種原因，只能抽取其中的一小部分進行測試。這時，這一于各種原因，只能抽取其中的一小部分進行測試。這時，這一整批芯片的質(zhì)量和被

8、抽取出來的那一部分的質(zhì)量就構成了整批芯片的質(zhì)量和被抽取出來的那一部分的質(zhì)量就構成了“整整體體”和和“部分部分”的關系了。的關系了。 可靠性研究的就是分析樣本數(shù)據(jù)所體現(xiàn)的相關或可靠性研究的就是分析樣本數(shù)據(jù)所體現(xiàn)的相關或不相關在總體數(shù)據(jù)間是否依然存在不相關在總體數(shù)據(jù)間是否依然存在假設檢驗的基礎假設檢驗的基礎v假定數(shù)據(jù)符合正態(tài)分布假定數(shù)據(jù)符合正態(tài)分布 假設收集到無限多的數(shù)據(jù)，這些數(shù)據(jù)可能看起來像下圖假設收集到無限多的數(shù)據(jù)，這些數(shù)據(jù)可能看起來像下圖v我們可將這些數(shù)據(jù)看成平滑的分布我們可將這些數(shù)據(jù)看成平滑的分布 紅線紅線757580806060656570705555InchesInchesxxxxxx

9、xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx正態(tài)曲線和概率正態(tài)曲線和概率v了解了正態(tài)曲線的平均值和標準偏差有助于估計風險了解了正態(tài)曲線的平均值和標準偏差有助于估計風險Probability of sample value4

10、3210-1-2-3-440%30%20%10% 0%Z-axis (scale in units of s)Number of standard deviations from the mean95.45%95.45%68.27%68.27%99.73%99.73%在兩個值之間可以得到一個在兩個值之間可以得到一個累積的概率值累積的概率值正態(tài)分布的應用正態(tài)分布的應用43210- 1- 2- 3- 440%30%20%10% 0%Probability of sample value95.4595.45% %68.2768.27% %99.73%99.73%2402552702852252101

11、95Time (minutes)SXXZZ-axisX-axis如果我們貨物交付給顧客的平均時間是如果我們貨物交付給顧客的平均時間是240240分鐘，這一過程的標準偏差是分鐘，這一過程的標準偏差是1515分鐘，那么在分鐘，那么在270270分鐘后到貨的概率為多少？分鐘后到貨的概率為多少？正態(tài)分布的應用正態(tài)分布的應用2 2中國成年男子身高均為中國成年男子身高均為168cm,168cm,標準差為標準差為5.5cm.5.5cm.試計算：試計算：1 1、身高小于、身高小于160cm160cm的概率。的概率。2 2、身高高于、身高高于180cm180cm的概率。的概率。3 3、身高介于、身高介于160-

12、180cm160-180cm的概率。的概率。假設檢驗的基本原理假設檢驗的基本原理顯著性水平顯著性水平l顯著性水平顯著性水平是當原假設正確卻被拒絕的概率是當原假設正確卻被拒絕的概率l通常人們?nèi)⊥ǔＨ藗內(nèi)?.050.05或或0.010.01l這表明，當做出接受原假設的決定時，其正確的可能性這表明，當做出接受原假設的決定時，其正確的可能性( (概率概率) )為為95%95%或或99%99%（1 1）數(shù)值型數(shù)據(jù)相關的可靠性檢驗）數(shù)值型數(shù)據(jù)相關的可靠性檢驗v 數(shù)值型數(shù)據(jù)相關的可靠性檢驗步驟如下：數(shù)值型數(shù)據(jù)相關的可靠性檢驗步驟如下：（1）首先提出兩總體是否相關的假設，通常假設是兩總體）首先提出兩總體是否相

13、關的假設，通常假設是兩總體不相關。不相關。（2）計算差距。計算當前相關系數(shù)與所提假設成立之間的）計算差距。計算當前相關系數(shù)與所提假設成立之間的差距。差距。（3）決策。若）決策。若差距足夠小，則當前的假設成立差距足夠小，則當前的假設成立。若差距較。若差距較大，說明提出的假設是站不住腳的。大，說明提出的假設是站不住腳的。 統(tǒng)計中國，通常的把握程度為統(tǒng)計中國，通常的把握程度為0.95，0.90，0.99v 相關系數(shù)的差距相關系數(shù)的差距 rnr212v 0.95把握度下的差距把握度下的差距 TINV函數(shù)：函數(shù)：TINV（probability，degrees_freedom），）， probabili

14、ty為為1-把握程度；把握程度； degrees_freedom為為n-1 實踐實踐v 個人購買商品住在面積與商品住宅銷售額之間的相關性個人購買商品住在面積與商品住宅銷售額之間的相關性進行可靠性檢驗。進行可靠性檢驗。v卡方分析的主要步驟卡方分析的主要步驟:（1）首先提出兩總體是否相關的假設，通常假設行變量總）首先提出兩總體是否相關的假設，通常假設行變量總體與列變量總體不相關。體與列變量總體不相關。（2）計算差距。計算目前列聯(lián)表中的頻數(shù)數(shù)據(jù)所呈現(xiàn)的實）計算差距。計算目前列聯(lián)表中的頻數(shù)數(shù)據(jù)所呈現(xiàn)的實際相關性與行列變量總體不相關之間的差距有多少際相關性與行列變量總體不相關之間的差距有多少（3）決策。

15、若）決策。若差距足夠小，則當前的假設成立差距足夠小，則當前的假設成立。若差距較。若差距較大，說明提出的假設是站不住腳的。大，說明提出的假設是站不住腳的。 統(tǒng)計中，通常的把握程度為統(tǒng)計中，通常的把握程度為0.95，0.90，0.99（2 2）品質(zhì)型數(shù)據(jù)相關的可靠性檢驗）品質(zhì)型數(shù)據(jù)相關的可靠性檢驗efeefff202v 計算差距計算差距 為列聯(lián)表每個單元格中的實際頻數(shù)為列聯(lián)表每個單元格中的實際頻數(shù)0f為列聯(lián)表每個單元格中的期望頻數(shù)為列聯(lián)表每個單元格中的期望頻數(shù)實踐實踐v對性別與受高等教育程度之間的相關性進行可靠對性別與受高等教育程度之間的相關性進行可靠性檢驗。性檢驗。方法一：利用卡方分析方法一：利

16、用卡方分析v方法二：利用方法二：利用Chitest函數(shù)函數(shù)（1）假設性別與高等教育程度無關，得到期望頻數(shù)區(qū)域。）假設性別與高等教育程度無關，得到期望頻數(shù)區(qū)域。（2）利用）利用Chitest函數(shù)，求得函數(shù)，求得chitest (實際頻數(shù)實際頻數(shù),期望頻數(shù)期望頻數(shù))的值，該值代表假設成立的概率。的值，該值代表假設成立的概率。（3）若該概率為小概率事件，則認為假設不成立，反之，）若該概率為小概率事件，則認為假設不成立，反之，則成立。則成立。實踐實踐實驗內(nèi)容實驗內(nèi)容 （一）（一）隨機抽取由隨機抽取由10名大學生組成的樣本，研究他們在高名大學生組成的樣本，研究他們在高中與大學的英語成績得出下表結果：（單

17、位：分）中與大學的英語成績得出下表結果：（單位：分） 試用相關系數(shù)試用相關系數(shù)r測定其相關程度。測定其相關程度。 （二）下面是幾家百貨商店銷售額和利潤率的資料：（二）下面是幾家百貨商店銷售額和利潤率的資料： 1以縱軸表示利潤率，橫軸表示每人月平均銷售額，畫出以縱軸表示利潤率，橫軸表示每人月平均銷售額，畫出散點圖，觀察并說明兩變量之間存在何種關系。散點圖，觀察并說明兩變量之間存在何種關系。2計算每人月平均銷售額與利潤率之間的相關系數(shù)，并說計算每人月平均銷售額與利潤率之間的相關系數(shù)，并說明其相關的密切程度。明其相關的密切程度。3.檢驗每人月平均銷售額與利潤率之間的相關程度，顯著性檢驗每人月平均銷售額與利潤率之間的相關程度，顯著性水平取水平取0.01v （三）由人事數(shù)據(jù)，利用數(shù)據(jù)透視表得出學歷與職稱之間（三）由人事數(shù)據(jù)，利用數(shù)據(jù)透視表得出學歷與職稱之間的頻數(shù)分布表，如下圖所示。的頻數(shù)分布表，如下圖所示。分析職稱與學歷之間的相關性，并檢驗相關性分析職稱與學歷之間的相關性，并檢驗相關性4.54.5數(shù)據(jù)的線性回歸分析數(shù)據(jù)的線性回歸分析v回歸效應回歸效應 1887年生物統(tǒng)計學家高爾頓在研究豌豆和人體的身高年生物統(tǒng)計學家高爾頓在研究豌豆和人體的身高遺傳規(guī)律時，首先提出遺傳規(guī)律時，首先