《統(tǒng)計分析方法及應(yīng)用》(第二章)

《統(tǒng)計分析方法及應(yīng)用》第二章PPT大綱統(tǒng)計分析基本概念與原理描述性統(tǒng)計分析方法推論性統(tǒng)計分析方法概述參數(shù)估計與假設(shè)檢驗(yàn)實(shí)踐案例非參數(shù)統(tǒng)計方法簡介及應(yīng)用場景多元統(tǒng)計分析方法入門contents目錄01統(tǒng)計分析基本概念與原理統(tǒng)計學(xué)是一門研究數(shù)據(jù)收集、整理、分析和解釋的方法論科學(xué)，旨在探索數(shù)據(jù)的內(nèi)在規(guī)律和不確定性。根據(jù)研究對象和方法的不同，統(tǒng)計學(xué)可分為描述統(tǒng)計學(xué)和推斷統(tǒng)計學(xué)兩大類。統(tǒng)計學(xué)的定義與分類統(tǒng)計學(xué)分類統(tǒng)計學(xué)定義明確分析目的、數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、結(jié)果解釋與報告撰寫。數(shù)據(jù)分析流程揭示數(shù)據(jù)特征、發(fā)現(xiàn)數(shù)據(jù)關(guān)聯(lián)、預(yù)測未來趨勢、優(yōu)化決策等。數(shù)據(jù)分析目的數(shù)據(jù)分析流程及目的變量類型及其描述方法變量類型根據(jù)數(shù)據(jù)取值的特點(diǎn)，變量可分為定量變量和定性變量兩大類。變量描述方法對于定量變量，常采用均值、方差、標(biāo)準(zhǔn)差等指標(biāo)進(jìn)行描述；對于定性變量，則采用頻數(shù)、頻率、比例等指標(biāo)進(jìn)行描述。隨機(jī)事件與概率隨機(jī)事件是指在一定條件下，并不總是出現(xiàn)，但有可能出現(xiàn)的事情；概率則是用來量化隨機(jī)事件發(fā)生的可能性的數(shù)值。概率分布與數(shù)字特征概率分布是描述隨機(jī)變量取值的概率規(guī)律的數(shù)學(xué)函數(shù)；數(shù)字特征則是用來刻畫隨機(jī)變量取值特點(diǎn)和規(guī)律的統(tǒng)計量，如均值、方差等。大數(shù)定律與中心極限定理大數(shù)定律揭示了隨機(jī)現(xiàn)象在大量重復(fù)試驗(yàn)下的必然規(guī)律；中心極限定理則闡明了在一定條件下，大量相互獨(dú)立且同分布的隨機(jī)變量之和的極限分布是正態(tài)分布。概率論基礎(chǔ)概念回顧02描述性統(tǒng)計分析方法03數(shù)據(jù)整理與分組將數(shù)據(jù)按照一定規(guī)則進(jìn)行分組，便于后續(xù)分析和可視化展示。01明確數(shù)據(jù)收集目的和范圍根據(jù)研究問題確定所需數(shù)據(jù)類型、來源及收集方法。02數(shù)據(jù)預(yù)處理對原始數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和歸約，以消除異常值、缺失值和重復(fù)值等。數(shù)據(jù)收集與整理技巧柱狀圖、折線圖、散點(diǎn)圖、餅圖等，根據(jù)數(shù)據(jù)類型和展示需求選擇合適的圖表。常用圖表類型圖表制作技巧實(shí)踐案例注意圖表標(biāo)題、坐標(biāo)軸標(biāo)簽、圖例等元素的設(shè)置，提高圖表可讀性和美觀度。結(jié)合具體案例演示圖表制作方法和技巧，加深理解和應(yīng)用。030201圖表展示方式選擇與實(shí)踐均值、中位數(shù)和眾數(shù)等，用于描述數(shù)據(jù)集的中心位置。中心趨勢度量指標(biāo)方差、標(biāo)準(zhǔn)差、極差和四分位距等，用于描述數(shù)據(jù)集的離散程度。離散程度度量指標(biāo)根據(jù)數(shù)據(jù)類型和分析目的選擇合適的度量指標(biāo)。指標(biāo)選用原則中心趨勢和離散程度度量指標(biāo)介紹用于判斷數(shù)據(jù)分布的偏態(tài)程度，正值表示右偏，負(fù)值表示左偏。偏態(tài)系數(shù)用于判斷數(shù)據(jù)分布的峰態(tài)程度，與正態(tài)分布相比較，高峰態(tài)表示分布更集中，低峰態(tài)表示分布更分散。峰態(tài)系數(shù)結(jié)合偏態(tài)系數(shù)和峰態(tài)系數(shù)判斷數(shù)據(jù)分布形態(tài)，為后續(xù)分析提供參考依據(jù)。判斷標(biāo)準(zhǔn)偏態(tài)和峰態(tài)判斷方法03推論性統(tǒng)計分析方法概述假設(shè)檢驗(yàn)的步驟提出假設(shè)、確定檢驗(yàn)統(tǒng)計量、確定顯著性水平、計算檢驗(yàn)統(tǒng)計量觀測值、作出決策。假設(shè)檢驗(yàn)中的兩類錯誤第一類錯誤（拒真錯誤）和第二類錯誤（受假錯誤），以及如何控制兩類錯誤的概率。假設(shè)檢驗(yàn)的基本概念對總體參數(shù)提出一個假設(shè)，利用樣本信息判斷假設(shè)是否成立。假設(shè)檢驗(yàn)原理及步驟講解置信區(qū)間的概念以一定的置信度包含總體參數(shù)的一個區(qū)間估計。置信區(qū)間的構(gòu)建方法利用樣本統(tǒng)計量和抽樣分布，結(jié)合置信水平計算置信區(qū)間的上下限。置信區(qū)間的應(yīng)用場景如產(chǎn)品質(zhì)量控制、市場調(diào)研、醫(yī)學(xué)研究領(lǐng)域等，用于估計總體參數(shù)的取值范圍。置信區(qū)間構(gòu)建方法與應(yīng)用場景方差分析的基本原理通過分解總變異為組內(nèi)變異和組間變異，判斷不同組之間的均值差異是否顯著。方差分析的應(yīng)用場景如農(nóng)業(yè)、醫(yī)學(xué)、社會科學(xué)等領(lǐng)域，用于分析不同因素或處理對總體均值的影響。方差分析的概念用于比較兩個或多個總體的均值是否存在顯著差異的統(tǒng)計方法。方差分析（ANOVA）原理簡介相關(guān)性的概念相關(guān)性和回歸分析基礎(chǔ)描述兩個變量之間線性關(guān)系的強(qiáng)度和方向的統(tǒng)計量。回歸分析的概念利用自變量預(yù)測因變量的取值，并解釋自變量對因變量的影響程度和方向的統(tǒng)計方法。如經(jīng)濟(jì)預(yù)測、質(zhì)量控制、生物統(tǒng)計學(xué)等領(lǐng)域，用于分析變量之間的關(guān)系并建立預(yù)測模型。相關(guān)性和回歸分析的應(yīng)用場景04參數(shù)估計與假設(shè)檢驗(yàn)實(shí)踐案例點(diǎn)估計用樣本統(tǒng)計量來估計總體參數(shù)，例如用樣本均值估計總體均值。點(diǎn)估計提供了參數(shù)的一個具體數(shù)值，但沒有給出該估計的可靠性或精度。區(qū)間估計在點(diǎn)估計的基礎(chǔ)上，給出總體參數(shù)的一個區(qū)間范圍，該區(qū)間通常以一定的置信水平包含總體參數(shù)。區(qū)間估計提供了更多的信息，包括估計的精度和可靠性。點(diǎn)估計和區(qū)間估計方法比較當(dāng)只關(guān)心總體參數(shù)是否大于或小于某個特定值時，選擇單側(cè)檢驗(yàn)。例如，檢驗(yàn)新產(chǎn)品的平均銷售量是否比舊產(chǎn)品高。單側(cè)檢驗(yàn)當(dāng)關(guān)心總體參數(shù)是否不等于某個特定值時，選擇雙側(cè)檢驗(yàn)。例如，檢驗(yàn)兩種不同教學(xué)方法的效果是否有顯著差異。雙側(cè)檢驗(yàn)單側(cè)檢驗(yàn)和雙側(cè)檢驗(yàn)選擇依據(jù)010203第一類錯誤（拒真錯誤）當(dāng)原假設(shè)為真時，錯誤地拒絕了原假設(shè)。第一類錯誤的概率通常用α表示。第二類錯誤（受假錯誤）當(dāng)原假設(shè)為假時，錯誤地接受了原假設(shè)。第二類錯誤的概率通常用β表示。權(quán)衡策略在實(shí)踐中，需要權(quán)衡第一類錯誤和第二類錯誤的風(fēng)險。通常，可以通過增加樣本量、提高顯著性水平或改變決策規(guī)則來降低其中一類錯誤的風(fēng)險，但這可能會增加另一類錯誤的風(fēng)險。第一類錯誤和第二類錯誤權(quán)衡策略功效函數(shù)描述了在不同總體參數(shù)值下，拒絕原假設(shè)的概率。功效函數(shù)與第二類錯誤密切相關(guān)，因?yàn)楫?dāng)原假設(shè)為假時，我們希望盡可能多地拒絕原假設(shè)。樣本量確定方法在確定樣本量時，需要考慮多個因素，包括顯著性水平、功效、總體變異性和預(yù)期效應(yīng)大小等。通常，可以使用統(tǒng)計軟件或在線計算器來計算所需的樣本量。功效函數(shù)和樣本量確定方法05非參數(shù)統(tǒng)計方法簡介及應(yīng)用場景非參數(shù)檢驗(yàn)原理及優(yōu)缺點(diǎn)分析相對于參數(shù)檢驗(yàn)，非參數(shù)檢驗(yàn)的效力較低；對于大樣本數(shù)據(jù)，計算量較大；在某些情況下，可能無法充分利用樣本信息。缺點(diǎn)非參數(shù)檢驗(yàn)不依賴于總體分布的具體形式，而是基于樣本數(shù)據(jù)本身的信息進(jìn)行統(tǒng)計推斷。原理適用于各種類型的數(shù)據(jù)，包括順序數(shù)據(jù)和名義數(shù)據(jù)；對離群值和異常值不敏感；在總體分布未知或不符合正態(tài)分布時，仍能得到較穩(wěn)健的結(jié)果。優(yōu)點(diǎn)秩和檢驗(yàn)（Wilcoxon符號秩檢驗(yàn)）實(shí)例演示實(shí)例背景某公司研發(fā)了一種新藥，為了驗(yàn)證新藥的效果是否優(yōu)于舊藥，進(jìn)行了一組配對實(shí)驗(yàn)。數(shù)據(jù)收集收集了實(shí)驗(yàn)對象的用藥前后效果評分?jǐn)?shù)據(jù)。檢驗(yàn)步驟計算差值；對差值進(jìn)行絕對值排序；分配秩次；計算正差值的秩和；根據(jù)樣本量確定臨界值；比較秩和與臨界值大小得出結(jié)論。結(jié)果解釋如果正差值的秩和顯著大于臨界值，則拒絕原假設(shè)，認(rèn)為新藥效果優(yōu)于舊藥。在質(zhì)量控制過程中，需要判斷生產(chǎn)線上的產(chǎn)品是否存在質(zhì)量問題。應(yīng)用場景收集了生產(chǎn)線上的連續(xù)若干個產(chǎn)品的質(zhì)量檢測數(shù)據(jù)。數(shù)據(jù)收集將數(shù)據(jù)按照合格與不合格進(jìn)行分類；計算游程數(shù)；根據(jù)樣本量和游程數(shù)確定臨界值；比較游程數(shù)與臨界值大小得出結(jié)論。檢驗(yàn)步驟如果游程數(shù)顯著小于臨界值，則拒絕原假設(shè)，認(rèn)為生產(chǎn)線上的產(chǎn)品存在質(zhì)量問題。結(jié)果解釋游程檢驗(yàn)（RunsTest）在質(zhì)量控制中應(yīng)用方法一Kruskal-Wallis檢驗(yàn)。適用于三個或三個以上獨(dú)立樣本的非參數(shù)檢驗(yàn)方法，用于判斷各樣本所代表的總體分布是否存在顯著差異。方法三多重比較方法。在多樣本比較中，如果總體間存在顯著差異，還需要進(jìn)一步確定哪些總體之間存在差異。此時可以采用多重比較方法，如Dunn檢驗(yàn)等。注意事項(xiàng)在進(jìn)行多樣本比較時，需要注意樣本量的大小、數(shù)據(jù)類型以及是否存在離群值和異常值等因素對結(jié)果的影響。同時，還需要根據(jù)實(shí)際問題選擇合適的檢驗(yàn)方法和多重比較方法。方法二Friedman檢驗(yàn)。適用于三個或三個以上相關(guān)樣本的非參數(shù)檢驗(yàn)方法，用于判斷各樣本所代表的總體分布是否存在顯著差異。多樣本比較問題處理方法06多元統(tǒng)計分析方法入門聚類分析基本原理距離和相似系數(shù)聚類算法聚類效果評估聚類分析原理及算法實(shí)現(xiàn)過程01020304研究如何將研究對象按照多個方面的特征進(jìn)行綜合分類的方法。定義樣本之間的距離或相似系數(shù)，作為分類的依據(jù)。包括K-means、層次聚類、DBSCAN等，介紹各種算法的原理、特點(diǎn)及應(yīng)用場景。介紹聚類效果的評估指標(biāo)和方法，如輪廓系數(shù)、CH指數(shù)等。ABCD因子分析在降維處理中應(yīng)用因子分析基本原理通過尋找公共因子，將多個變量表示為少數(shù)幾個公共因子的線性組合，實(shí)現(xiàn)降維處理。因子旋轉(zhuǎn)提高因子的解釋性，使得每個公共因子代表的意義更加明確。因子載荷矩陣解釋公共因子與原始變量之間的關(guān)系，以及各因子的實(shí)際意義。因子得分及應(yīng)用計算樣本在公共因子上的得分，用于綜合評價、聚類分析等。判別分析基本原理根據(jù)已知類別的樣本信息，建立判別函數(shù)和判別準(zhǔn)則，對新樣本進(jìn)行分類。判別函數(shù)構(gòu)建介紹線性判別函數(shù)、二次判別函數(shù)等的構(gòu)建方法。判別準(zhǔn)則及分類根據(jù)判別函數(shù)計算新樣本的判別得分，按照判別準(zhǔn)則進(jìn)行分類。判別分析及效果評估通過實(shí)例介紹判別分析的應(yīng)用，以及分類效果的評估方法。判別分析在分類問題中實(shí)踐研究兩組變量之間