數(shù)據(jù)描述性分析

數(shù)據(jù)描述性分析第1頁，共71頁，2023年，2月20日，星期六內(nèi)容分布均值、方差的數(shù)據(jù)特征數(shù)據(jù)的分布二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)誤差壞值的剔除第2頁，共71頁，2023年，2月20日，星期六內(nèi)容分布均值、方差的數(shù)據(jù)特征數(shù)據(jù)的分布二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)誤差壞值的剔除第3頁，共71頁，2023年，2月20日，星期六數(shù)據(jù)描述性分析數(shù)據(jù)分析研究的對象是數(shù)據(jù)，它們是個觀測值：

如果這個觀測值就是所要研究對象的全體，那么數(shù)據(jù)分析的任務(wù)就是提取數(shù)據(jù)中包含的有用的信息。如果數(shù)據(jù)是從總體中抽出的樣本，就要分析推斷樣本中包含的總體的信息。

,第4頁，共71頁，2023年，2月20日，星期六均值、方差等數(shù)字特征一元數(shù)據(jù)的數(shù)字特征主要是以下幾種。設(shè)個觀測值為其中稱為樣本容量。1均值：即是的平均數(shù)：

均值表示數(shù)據(jù)的集中位置。第5頁，共71頁，2023年，2月20日，星期六均值、方差等數(shù)字特征2方差、標(biāo)準(zhǔn)差與變異系數(shù)方差是描述數(shù)據(jù)取值分散性的一個度量，其量綱是數(shù)據(jù)量綱的平方。標(biāo)準(zhǔn)差第6頁，共71頁，2023年，2月20日，星期六均值、方差等數(shù)字特征

變異系數(shù)：刻畫數(shù)據(jù)相對分散性的度量CV＝校正平方和

CSS＝未校平方和

USS

＝

第7頁，共71頁，2023年，2月20日，星期六均值、方差等數(shù)字特征3偏度與峰度偏度與峰度是刻畫數(shù)據(jù)的偏態(tài)、尾重程度的度量。它們與數(shù)據(jù)的矩有關(guān)。數(shù)據(jù)的矩分為原點矩與中心矩。

k階原點矩

K階中心矩第8頁，共71頁，2023年，2月20日，星期六均值、方差等數(shù)字特征偏度其中s是標(biāo)準(zhǔn)差。偏度是刻畫數(shù)據(jù)對稱性的指標(biāo)。關(guān)于均值對成的數(shù)據(jù)其偏度為0，右側(cè)更分散的數(shù)據(jù)偏度為正，左側(cè)更分散的數(shù)據(jù)偏度為負(fù)。

頻數(shù)頻數(shù)頻數(shù)偏向左<0對稱＝0偏向右>0第9頁，共71頁，2023年，2月20日，星期六均值、方差等數(shù)字特征峰度當(dāng)數(shù)據(jù)的總體分布為正態(tài)分布時，峰度近似為0；當(dāng)分布較正態(tài)分布的尾部更為分散時，峰度為正，否則峰度為負(fù)。當(dāng)峰度為正時，兩側(cè)極端數(shù)據(jù)較多；當(dāng)峰度為負(fù)時，兩側(cè)極端數(shù)據(jù)較少。第10頁，共71頁，2023年，2月20日，星期六總體的數(shù)據(jù)特征設(shè)觀測數(shù)據(jù)是由總體X中取出的樣本，總體的分布函數(shù)是F。當(dāng)X為離散分布時，總體的分布可由概率分布列刻畫：總體為連續(xù)分布時，總體的分布可由概率密度刻畫。連續(xù)分布中最重要的是正態(tài)分布，它的概率密度及分布函數(shù)分別為具有正態(tài)分布的總體成為正態(tài)總體

第11頁，共71頁，2023年，2月20日，星期六總體的數(shù)據(jù)特征與樣本數(shù)字特征對應(yīng)的是總體的數(shù)字特征總體均值

總體方差總體標(biāo)準(zhǔn)差總體變異系數(shù)

第12頁，共71頁，2023年，2月20日，星期六總體的數(shù)據(jù)特征總體原點矩（k階）總體中心矩（k階）總體偏度總體峰度第13頁，共71頁，2023年，2月20日，星期六偏度為正的概率密度偏度為負(fù)的概率密度f(x)f(x)xx第14頁，共71頁，2023年，2月20日，星期六總體峰度是以同方差的正態(tài)分布為標(biāo)準(zhǔn)，比較總體分布尾部分散性的指標(biāo)。細(xì)尾，峰度為負(fù)正態(tài)分布，總體峰度為0粗尾，峰度為正第15頁，共71頁，2023年，2月20日，星期六總體數(shù)字特征和樣本數(shù)字特征根據(jù)統(tǒng)計學(xué)的結(jié)果，樣本數(shù)字特征是相應(yīng)的總體數(shù)字特征的矩估計。當(dāng)總體數(shù)字特征存在時，相應(yīng)的樣本數(shù)字特征是總體數(shù)字特征的相合估計，從而當(dāng)n較大時，有第16頁，共71頁，2023年，2月20日，星期六總體數(shù)字特征和樣本數(shù)字特征當(dāng)觀測數(shù)據(jù)是所要研究對象的全體時，數(shù)據(jù)的分布即總體分布，我們認(rèn)為取得每一個觀測數(shù)據(jù)是等可能性的，即為；總體分布是離散均勻分布：對這種情況，數(shù)據(jù)數(shù)字特征即總體數(shù)字特征。第17頁，共71頁，2023年，2月20日，星期六例1從19個桿塔上的普通盤形絕緣子測得該層電導(dǎo)率（）的數(shù)據(jù)如下：

9.898.006.406.175.397.279.0810.4011.208.756.4511.9010.309.589.247.756.208.958.33

計算均值、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度、峰度。

第18頁，共71頁，2023年，2月20日，星期六通過計算，得＝8.487，＝3.046，＝1.845，CV＝21.745，＝0.035，＝－0.852

，的絕對值比較小，可以認(rèn)為是來自正態(tài)總體的數(shù)據(jù)。

第19頁，共71頁，2023年，2月20日，星期六中位數(shù)、分位數(shù)、三均值與極差

均值、方差、標(biāo)準(zhǔn)差等數(shù)字特征是總體相應(yīng)特征值的一種矩估計，更適合于來自正態(tài)分布的數(shù)據(jù)的分析。若總體的分布未知，或者數(shù)據(jù)嚴(yán)重偏態(tài)，有若干異常值（極端值），上述分析數(shù)據(jù)的方法不甚合適，而應(yīng)計算中位數(shù)、分位數(shù)、三均值、極差等數(shù)據(jù)數(shù)字特征，計算上述特征需要用到次序統(tǒng)計量。第20頁，共71頁，2023年，2月20日，星期六次序統(tǒng)計量設(shè)是n個觀測值，可以理解為來自某些總體的樣本。將其按數(shù)值大小記為這就是次序統(tǒng)計量。最小統(tǒng)計量與最大統(tǒng)計量分別為：第21頁，共71頁，2023年，2月20日，星期六中位數(shù)與極差中位數(shù)的計算公式是中位數(shù)是描述數(shù)據(jù)中心位置的數(shù)字特征。大體上比中位數(shù)大或小的數(shù)據(jù)個數(shù)為整個數(shù)據(jù)個數(shù)的一半。第22頁，共71頁，2023年，2月20日，星期六中位數(shù)與極差

對于對稱分布的數(shù)據(jù)，均值與中位數(shù)較接近；對于偏態(tài)分布的數(shù)據(jù)，均值與中位數(shù)不同。中位數(shù)的另一個顯著特點是不受異常值（特大或特?。┑挠绊?，具有穩(wěn)健性，因此它是數(shù)據(jù)分析中相當(dāng)重要的統(tǒng)計量。

極差的計算公式是

它是描述數(shù)據(jù)分散性的數(shù)字特征。數(shù)據(jù)越分散，極差越大。第23頁，共71頁，2023年，2月20日，星期六例考慮下列樣本：

53113178

寫出次序計量，并求中位數(shù)、極差。

第24頁，共71頁，2023年，2月20日，星期六對和容量為的樣本它的分位數(shù)是其中[np]表示np的整數(shù)部分，當(dāng)p=1時，M1=x(n)分位數(shù)

第25頁，共71頁，2023年，2月20日，星期六0.5分位數(shù)就是中位數(shù)M.在實際應(yīng)用中，0.75分位數(shù)與0.25分位數(shù)比較重要，它們分別稱為上、下四分位數(shù)，并簡記為下列分位數(shù)也在實際應(yīng)用中經(jīng)常用到：，，，，，。第26頁，共71頁，2023年，2月20日，星期六例考慮下列樣本：

53113178計算上面數(shù)據(jù)的，，及，，，，，。第27頁，共71頁，2023年，2月20日，星期六以此類推，我們可以得到其他的結(jié)果：第28頁，共71頁，2023年，2月20日，星期六均值與中位數(shù)M皆是描述數(shù)據(jù)集中位置的數(shù)字特征。計算時，用了樣本的全部信息，而M僅用了數(shù)據(jù)分布中的部分信息。因此，在正常情況下，用比用M描述數(shù)據(jù)的集中位置為優(yōu)。然而，當(dāng)存在異常值時，缺乏穩(wěn)健性，而M具有很強的穩(wěn)健性。考慮到要充分利用樣本信息，又要具有較強的穩(wěn)健性，可以用三均值作為數(shù)據(jù)集中位置的數(shù)字特征。

三均值的計算公式是：第29頁，共71頁，2023年，2月20日，星期六上、下四分位之差稱為四分位極差（或半級差）。有一種簡便判斷數(shù)據(jù)為異常值的方法，以為數(shù)據(jù)的上下截斷點。第30頁，共71頁，2023年，2月20日，星期六例從19個桿塔上的普通盤形絕緣子測得該層電導(dǎo)率（）的數(shù)據(jù)如下：

9.898.006.406.175.397.279.0810.4011.208.756.4511.9010.309.589.247.756.208.958.33

計算中位數(shù)、諸分位數(shù)、極差、四分位數(shù)、三均值，并分析是否有異常值。

第31頁，共71頁，2023年，2月20日，星期六上、下截斷點分別為1.29和15.05，故數(shù)據(jù)無異常值。第32頁，共71頁，2023年，2月20日，星期六內(nèi)容分布均值、方差的數(shù)據(jù)特征數(shù)據(jù)的分布二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)誤差壞值的剔除第33頁，共71頁，2023年，2月20日，星期六數(shù)據(jù)的分布數(shù)據(jù)的數(shù)字特征刻畫了數(shù)據(jù)的主要特征，而要對數(shù)據(jù)的總體情況作全面的描述，就要研究數(shù)據(jù)的分布。對數(shù)據(jù)分布的主要描述方法是直方圖與莖葉圖、數(shù)據(jù)的理論分布即總體分布。數(shù)據(jù)分析的一個重要問題是要研究數(shù)據(jù)是否來自正態(tài)總體，這是分布的正態(tài)性經(jīng)驗的問題。第34頁，共71頁，2023年，2月20日，星期六直方圖、QQ圖對于數(shù)據(jù)分布，常用直方圖進行描述。將數(shù)據(jù)取值的范圍分成若干區(qū)間（一般是等間隔的），在等間隔區(qū)間的情況，每個區(qū)間的長度稱為組距?？疾鞌?shù)據(jù)落入每一區(qū)間的頻數(shù)與頻率，在每個區(qū)間上畫一個矩形，它的寬度是組距，它的高度可以是頻數(shù)、頻率或頻率/組距，在高度是頻率/組距的情況，每一矩形的面積恰是數(shù)據(jù)落入?yún)^(qū)間的頻率，這種直方圖可以估計總體的概率密度。組距對直方圖的形態(tài)有很大的影響，組距太小，每組的頻數(shù)較少，由于隨機性的影響，鄰近區(qū)間上的頻數(shù)可能很大；組距太大，直方圖所反映概率密度的形態(tài)就不靈敏。第35頁，共71頁，2023年，2月20日，星期六第36頁，共71頁，2023年，2月20日，星期六QQ圖可以幫助界別樣本分布是否近似于某種類型的分布。第37頁，共71頁，2023年，2月20日，星期六第38頁，共71頁，2023年，2月20日，星期六莖葉圖、箱線圖與直方圖相比較，莖葉圖更能細(xì)致地看出數(shù)據(jù)分布的結(jié)構(gòu)。例某班有31個學(xué)生，某門課程的考試成績?nèi)缦拢?/p>

254550545561646872757578798183848484858686868789898990919192100

做出其莖葉圖。第39頁，共71頁，2023年，2月20日，星期六第40頁，共71頁，2023年，2月20日，星期六莖葉圖的特點莖葉圖與直方圖一樣，可以直觀地看出數(shù)據(jù)的分布狀況。從莖葉圖分析，可大致直觀地看出這批數(shù)據(jù)是否接近對稱，分散性如何，是否有異常值，數(shù)據(jù)中是否有間隙等等。利用莖葉圖，很自然地可以對所有數(shù)據(jù)排序。從莖葉圖可以看出由原始數(shù)據(jù)得到的次序統(tǒng)計量。對于排過序的一批數(shù)據(jù)，從小到大的每個數(shù)據(jù)的排序名次，稱為升秩；而從大到小的每個數(shù)據(jù)的排序名次，稱為降秩。每個數(shù)據(jù)的升秩與降秩的較小者，稱為該數(shù)據(jù)的深度，即

深度＝min（升秩，降秩）第41頁，共71頁，2023年，2月20日，星期六例鉛壓鑄件硬度數(shù)據(jù)如下：

53.070.284.355.378.563.571.453.482.567.369.573.055.785.895.451.174.454.177.852.469.153.564.382.755.770.587.550.772.359.5

做出數(shù)據(jù)的莖葉圖。第42頁，共71頁，2023年，2月20日，星期六箱線圖莖葉圖是探索性數(shù)據(jù)分析所采用的重要方法。而箱線圖也能直觀簡潔地展現(xiàn)數(shù)據(jù)分布的主要特征。第43頁，共71頁，2023年，2月20日，星期六內(nèi)容分布均值、方差的數(shù)據(jù)特征數(shù)據(jù)的分布二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)誤差壞值的剔除第44頁，共71頁，2023年，2月20日，星期六多元數(shù)據(jù)的數(shù)字特征與相關(guān)分析以上我們分析的都是一元數(shù)據(jù)，但在實際中，人們更多的遇到的是多元數(shù)據(jù)對于多元數(shù)據(jù)，除分析各變量的取值特點外，更要分析各個變量之間的相關(guān)關(guān)系第45頁，共71頁，2023年，2月20日，星期六二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)設(shè)是二元總體，從中取得觀測數(shù)據(jù)

引進數(shù)據(jù)觀測矩陣記第46頁，共71頁，2023年，2月20日，星期六二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)

則，稱為二元觀測數(shù)據(jù)的均值向量。記第47頁，共71頁，2023年，2月20日，星期六二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)協(xié)方差矩陣有由Schwarz不等式所以S總是非負(fù)定的，一般是正定的。設(shè)M是n階實系數(shù)對稱矩陣，如果對任何非零向量

X=(x1,...xn)都有XMX′>0，就稱M正定(PositiveDefinite)。第48頁，共71頁，2023年，2月20日，星期六二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)觀測數(shù)據(jù)的相關(guān)系數(shù)（Pearson）計算公式是

由Schwarz不等式，有

即總有第49頁，共71頁，2023年，2月20日，星期六二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)第50頁，共71頁，2023年，2月20日，星期六Spearman相關(guān)系數(shù)秩設(shè)其次序統(tǒng)計量是若，則稱是在樣本中的秩，記作例：-0.8，-3.1，1.1，-5.2，4.2

次序統(tǒng)計量是-5.2，-3.1，-0.8，1.1，4.2

而秩統(tǒng)計量是3，2，4，1，5

當(dāng)觀測數(shù)據(jù)中有兩個觀測值相等，則相應(yīng)的秩統(tǒng)計量不能唯一確定，通常對相同的觀測值，其秩取為他們秩的平均值。第51頁，共71頁，2023年，2月20日，星期六Spearman相關(guān)系數(shù)第52頁，共71頁，2023年，2月20日，星期六Spearman相關(guān)系數(shù)第53頁，共71頁，2023年，2月20日，星期六內(nèi)容分布均值、方差的數(shù)據(jù)特征數(shù)據(jù)的分布二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)誤差壞值的剔除第54頁，共71頁，2023年，2月20日，星期六誤差的定義定義：Δx–

測量誤差x–

測量結(jié)果x0

–

真值測量結(jié)果與其真值的差異，真值：被測量的客觀真實值理論真值：理論上存在、計算推導(dǎo)出來如：三角形內(nèi)角和180°約定真值：國際上公認(rèn)的最高基準(zhǔn)值如：基準(zhǔn)米(氪-86的能級躍遷在真空中的輻射波長)相對真值：利用高一等級精度的儀器或裝置的測量結(jié)果作為近似真值1m=1650763.73λ標(biāo)準(zhǔn)儀器的測量標(biāo)準(zhǔn)差<1/3測量系統(tǒng)標(biāo)準(zhǔn)差→檢定定量表示誤差理論第55頁，共71頁，2023年，2月20日，星期六測量誤差的性質(zhì)與分類(1)隨機誤差(randomerror)正態(tài)分布性質(zhì)：原因：裝置誤差、環(huán)境誤差、使用誤差處理：統(tǒng)計分析、計算處理→減小對稱性有界性抵償性單峰性絕對值相等的正負(fù)誤差出現(xiàn)的次數(shù)相等絕對值小的誤差比絕對值大的誤差出現(xiàn)的次數(shù)多偶然誤差絕對值不會超過一定程度當(dāng)測量次數(shù)足夠多時，偶然誤差算術(shù)平均值趨于0第56頁，共71頁，2023年，2月20日，星期六測量誤差的性質(zhì)與分類(2)系統(tǒng)誤差(systemerror)

：性質(zhì)：有規(guī)律，可再現(xiàn)，可以預(yù)測原因：原理誤差、方法誤差、環(huán)境誤差、使用誤差處理：理論分析、實驗驗證→修正(3)粗大誤差(abnormalerror)

：性質(zhì)：偶然出現(xiàn)，誤差很大，異常數(shù)據(jù)，與有用數(shù)據(jù)混在一起原因：裝置誤差、使用誤差處理：判斷、剔除第57頁，共71頁，2023年，2月20日，星期六

測量精度精度：測量結(jié)果與真值吻合程度定性概念測量精度舉例不精密（隨機誤差大）準(zhǔn)確（系統(tǒng)誤差?。┚埽S機誤差小）不準(zhǔn)確（系統(tǒng)誤差大）不精密（隨機誤差大）不準(zhǔn)確（系統(tǒng)誤差大）精密（隨機誤差?。?zhǔn)確（系統(tǒng)誤差小）第58頁，共71頁，2023年，2月20日，星期六精密度：(precision)表述：概念：重復(fù)測量時，測量結(jié)果的分散性準(zhǔn)確度：表述：測量結(jié)果與真值的接近程度，系統(tǒng)誤差的影響程度隨機誤差的標(biāo)準(zhǔn)差(standarddeviation)性質(zhì)：平均值與真值的偏差(deviation)第59頁，共71頁，2023年，2月20日，星期六算術(shù)平均值法表述：x1,x2,…xn---測量數(shù)據(jù)原理：多次重復(fù)測量時，取全部測量數(shù)據(jù)的算術(shù)平均值為測量結(jié)果剩余誤差偶然誤差性質(zhì)：（1）剩余誤差的代數(shù)和等于零，即算術(shù)平均值法可以濾除或減小偶然誤差（2）剩余誤差的平方和為最小最小二乘法基礎(chǔ)第60頁，共71頁，2023年，2月20日，星期六標(biāo)準(zhǔn)誤差用偶然誤差表示:用剩余誤差表示:Bessel公式第61頁，共71頁，2023年，2月20日，星期六內(nèi)容分布均值、方差的數(shù)據(jù)特征數(shù)據(jù)的分布二元數(shù)據(jù)的數(shù)字特征及相關(guān)系數(shù)誤差壞值的剔除第62頁，共71頁，2023年，2月20日，星期六壞值的剔除基本思想：給定一定的顯著水平，并確定一個門限，凡是超過這個門限的誤差就認(rèn)為他不屬于稅基誤差的范疇，予以剔除。方法：拉依達(Pauta)準(zhǔn)則、格拉布斯(Grubbs)準(zhǔn)則、狄克遜(Dixon)準(zhǔn)則、肖維勒(Chauvenet)準(zhǔn)則第63頁，共71頁，2023年，2月20日，星期六拉依達(Pauta)準(zhǔn)則

如果可疑數(shù)據(jù)xp與試驗數(shù)據(jù)的算術(shù)平均值的偏差的絕對值Vi大于3倍（或2倍）的標(biāo)準(zhǔn)偏差，即：Vi＞3s或2s則應(yīng)將xp從該組試驗值中剔除，至于選擇3s還是2s與顯著性水平α有關(guān)。顯著性水平α表示的是檢驗出錯的幾率為α，或者是檢驗的可信度為1－α