探索性數(shù)據(jù)分析（EDA）基本概念

探索性數(shù)據(jù)分析（EDA）基本概念匯報人：XX2024-02-05目錄CONTENTS基本概念與目的數(shù)據(jù)集初步探索圖形化展示技術(shù)數(shù)值型數(shù)據(jù)描述性統(tǒng)計類別型數(shù)據(jù)描述性統(tǒng)計多元變量關(guān)系探索01基本概念與目的探索性數(shù)據(jù)分析定義探索性數(shù)據(jù)分析（ExploratoryDataAnalysis，EDA）是一種數(shù)據(jù)分析方法，強調(diào)靈活性和深入洞察數(shù)據(jù)集。它是在對問題進行初步了解后，對數(shù)據(jù)進行詳細研究以發(fā)現(xiàn)其內(nèi)在規(guī)律和特征的過程。提供數(shù)據(jù)初步了解通過圖表、統(tǒng)計量等方式，幫助分析師對數(shù)據(jù)集形成初步印象。發(fā)現(xiàn)潛在問題揭示數(shù)據(jù)中的異常值、缺失值、離群點等，為后續(xù)分析提供指導(dǎo)。激發(fā)新假設(shè)通過觀察數(shù)據(jù)分布、關(guān)聯(lián)性等，發(fā)現(xiàn)新的研究假設(shè)或方向。EDA在數(shù)據(jù)分析中作用最大化對數(shù)據(jù)的洞察和理解，為進一步的建模和決策提供支持。目標強調(diào)靈活性、直觀性和迭代性，鼓勵分析師通過多種手段深入挖掘數(shù)據(jù)。原則目標和原則適用場景及優(yōu)勢適用場景適用于各種類型的數(shù)據(jù)集，特別是在數(shù)據(jù)量大、維度高、關(guān)系復(fù)雜的情況下更具優(yōu)勢。優(yōu)勢能夠快速發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律和特征，提供直觀、易理解的分析結(jié)果，有助于分析師形成更深入的認識和判斷。02數(shù)據(jù)集初步探索可能來自實驗、調(diào)查、觀測、公共數(shù)據(jù)庫等多種渠道。數(shù)據(jù)集來源包括結(jié)構(gòu)化數(shù)據(jù)（如表格、數(shù)據(jù)庫）和非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像、音頻、視頻等）。數(shù)據(jù)類型常見的數(shù)據(jù)格式包括CSV、Excel、JSON、SQL等，需要根據(jù)具體格式進行讀取和處理。數(shù)據(jù)格式數(shù)據(jù)集來源及類型03數(shù)據(jù)轉(zhuǎn)換將數(shù)據(jù)轉(zhuǎn)換成適合分析的格式，如將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值數(shù)據(jù)，將日期數(shù)據(jù)轉(zhuǎn)換為時間戳等。01數(shù)據(jù)質(zhì)量評估通過檢查數(shù)據(jù)的完整性、準確性、一致性、及時性等方面來評估數(shù)據(jù)質(zhì)量。02數(shù)據(jù)清洗針對數(shù)據(jù)質(zhì)量問題，進行數(shù)據(jù)預(yù)處理，包括去除重復(fù)數(shù)據(jù)、處理缺失值、異常值、噪聲數(shù)據(jù)等。數(shù)據(jù)質(zhì)量評估與清洗變量識別變量類型變量關(guān)系變量識別與分類識別數(shù)據(jù)集中的變量，包括自變量、因變量、控制變量等。根據(jù)變量的性質(zhì)，將變量分為連續(xù)變量、離散變量、分類變量等類型。初步探索變量之間的關(guān)系，包括相關(guān)性、因果關(guān)系等。

缺失值和異常值處理缺失值處理根據(jù)缺失值的類型（完全隨機缺失、隨機缺失、非隨機缺失）和比例，選擇合適的處理方法，如刪除缺失值、填充缺失值等。異常值檢測通過統(tǒng)計方法（如箱線圖、Z-score等）或可視化方法（如散點圖、直方圖等）檢測異常值。異常值處理根據(jù)異常值的性質(zhì)和影響，選擇合適的處理方法，如刪除異常值、替換異常值、保留異常值并進行分析等。03圖形化展示技術(shù)直方圖核密度估計直方圖與核密度估計一種非參數(shù)化的概率密度估計方法，通過對數(shù)據(jù)點施加不同權(quán)重的核函數(shù)來擬合數(shù)據(jù)的概率密度函數(shù)。核密度估計可以平滑地展示數(shù)據(jù)的分布形態(tài)，尤其適用于展示多峰、偏態(tài)等復(fù)雜分布。將數(shù)據(jù)分布劃分為若干連續(xù)的區(qū)間，統(tǒng)計每個區(qū)間的頻數(shù)或頻率，以矩形面積代表頻數(shù)或頻率，各矩形連續(xù)排列形成的圖形即為直方圖。直方圖可以直觀地展示數(shù)據(jù)的分布形態(tài)，如集中趨勢、離散程度等。箱線圖展示一組數(shù)據(jù)分散情況的統(tǒng)計圖，包括最大值、最小值、中位數(shù)、上四分位數(shù)和下四分位數(shù)等關(guān)鍵統(tǒng)計量。箱線圖可以直觀地識別出數(shù)據(jù)中的異常值、偏態(tài)和分散程度等信息。小提琴圖結(jié)合了箱線圖和核密度估計的可視化方法，既能展示數(shù)據(jù)的分散情況，又能展示數(shù)據(jù)的概率密度分布。小提琴圖可以更加直觀地比較不同組數(shù)據(jù)的分布形態(tài)和分散程度。箱線圖與小提琴圖應(yīng)用散點圖用點的位置來展示兩個變量之間關(guān)系的圖形。散點圖可以直觀地觀察兩個變量之間是否存在某種趨勢或關(guān)系，如線性關(guān)系、非線性關(guān)系等。相關(guān)性分析通過計算相關(guān)系數(shù)來量化兩個變量之間的相關(guān)程度。常見的相關(guān)系數(shù)包括皮爾遜相關(guān)系數(shù)、斯皮爾曼秩相關(guān)系數(shù)等。相關(guān)性分析可以幫助我們更加準確地理解兩個變量之間的關(guān)系，并預(yù)測一個變量的變化趨勢。散點圖與相關(guān)性分析123熱力圖折線圖雷達圖其他可視化技術(shù)用線條的連續(xù)變化來展示時間序列數(shù)據(jù)或其他連續(xù)變量的變化趨勢。折線圖可以直觀地觀察數(shù)據(jù)的波動情況和周期性變化。用顏色的深淺來展示數(shù)據(jù)矩陣中各個元素的大小或相關(guān)程度。熱力圖可以直觀地識別出數(shù)據(jù)矩陣中的高值和低值區(qū)域，以及不同變量之間的相關(guān)程度。用多邊形的面積來展示多個變量的綜合情況。雷達圖可以直觀地比較不同數(shù)據(jù)點在多個維度上的表現(xiàn)情況，以及識別出各個維度的優(yōu)勢和劣勢。04數(shù)值型數(shù)據(jù)描述性統(tǒng)計均值所有數(shù)值的和除以數(shù)值的個數(shù)，用于衡量數(shù)據(jù)的平均水平。中位數(shù)將數(shù)值按大小排列后位于中間位置的數(shù)，用于統(tǒng)計學(xué)中的中心趨勢分析。眾數(shù)數(shù)據(jù)集中出現(xiàn)次數(shù)最多的數(shù)值，也用于表示數(shù)據(jù)的集中趨勢。集中趨勢度量：均值、中位數(shù)等各數(shù)值與均值之差的平方的平均數(shù)，用于衡量數(shù)據(jù)的離散程度。方差方差的平方根，也用于表示數(shù)據(jù)的離散程度，與方差相比更直觀。標準差上四分位數(shù)與下四分位數(shù)之差，用于衡量數(shù)據(jù)的離散程度，尤其適用于異常值存在的情況。四分位數(shù)間距離散程度度量：方差、標準差等描述數(shù)據(jù)分布形態(tài)的偏斜程度，正偏態(tài)表示數(shù)據(jù)向右偏斜，負偏態(tài)表示數(shù)據(jù)向左偏斜。描述數(shù)據(jù)分布形態(tài)的尖峭程度，峰度大于3表示數(shù)據(jù)分布比正態(tài)分布更尖峭，峰度小于3表示數(shù)據(jù)分布比正態(tài)分布更平坦。分布形態(tài)描述：偏度和峰度峰度偏度通過箱線圖、Z-score等方法檢測數(shù)據(jù)中的異常值。異常值檢測對檢測到的異常值進行處理，如刪除、替換為均值或中位數(shù)、使用穩(wěn)健統(tǒng)計量等。處理異常值時需要謹慎，以避免對數(shù)據(jù)分析結(jié)果產(chǎn)生不良影響。同時，也需要考慮異常值產(chǎn)生的背景和原因，以便更好地理解和解釋數(shù)據(jù)。異常值處理異常值檢測和處理方法05類別型數(shù)據(jù)描述性統(tǒng)計頻數(shù)分布表統(tǒng)計各個類別的出現(xiàn)次數(shù)，以表格形式展示，便于了解數(shù)據(jù)的分布情況。條形圖將頻數(shù)分布表以條形圖的形式可視化，可以直觀地比較各個類別的頻數(shù)大小。頻數(shù)分布表和條形圖展示比例計算百分比計算比例和百分比計算計算某一類別在總體中所占的比例，以了解該類別的相對重要性。將比例轉(zhuǎn)換為百分比形式，更便于理解和比較。VS用于檢驗兩個類別型變量之間是否存在關(guān)聯(lián)關(guān)系，以及關(guān)聯(lián)的強弱程度。其他關(guān)聯(lián)分析方法如Phi系數(shù)、Cramer'sV系數(shù)等，也可以用于衡量類別型變量之間的關(guān)聯(lián)性?？ǚ綑z驗類別間關(guān)系挖掘：卡方檢驗等標簽編碼將類別型變量的各個類別賦予不同的數(shù)值標簽，轉(zhuǎn)換為數(shù)值型變量進行處理。其他轉(zhuǎn)換方法如將類別型變量轉(zhuǎn)換為啞變量、虛擬變量等，以適應(yīng)不同的分析需求。獨熱編碼將類別型變量轉(zhuǎn)換為一系列二值變量，便于進行數(shù)值計算和分析。類別型變量轉(zhuǎn)換技巧06多元變量關(guān)系探索協(xié)方差矩陣用于描述多個隨機變量之間的協(xié)方差關(guān)系，矩陣中的每個元素表示兩個變量之間的協(xié)方差。通過計算協(xié)方差矩陣，可以了解變量間的線性相關(guān)程度和方向。相關(guān)系數(shù)矩陣是協(xié)方差矩陣的標準化形式，用于消除變量量綱和數(shù)量級的影響。相關(guān)系數(shù)矩陣中的元素表示兩個變量的相關(guān)系數(shù)，取值范圍為[-1,1]，其中1表示完全正相關(guān)，-1表示完全負相關(guān)，0表示無相關(guān)關(guān)系。協(xié)方差矩陣相關(guān)系數(shù)矩陣協(xié)方差矩陣和相關(guān)系數(shù)矩陣計算主成分分析（PCA）原理及應(yīng)用主成分分析是一種降維技術(shù)，通過正交變換將原始特征空間中的線性相關(guān)變量轉(zhuǎn)換為新特征空間中的線性無關(guān)變量（主成分），使得新變量能夠最大程度地保留原始數(shù)據(jù)的信息。PCA原理PCA廣泛應(yīng)用于數(shù)據(jù)降維、特征提取、數(shù)據(jù)可視化等領(lǐng)域。通過PCA處理，可以將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù)，降低計算復(fù)雜度和存儲空間需求，同時保留數(shù)據(jù)中的主要特征和信息。PCA應(yīng)用因子分析原理因子分析是一種統(tǒng)計方法，用于研究多個變量之間的內(nèi)在關(guān)系。它通過提取公共因子來簡化數(shù)據(jù)結(jié)構(gòu)，將原始變量表示為少數(shù)幾個公共因子的線性組合，從而揭示變量間的本質(zhì)聯(lián)系。因子分析應(yīng)用因子分析在市場調(diào)研、心理測評、經(jīng)濟分析等領(lǐng)域具有廣泛應(yīng)用。通過因子分析，可以將大量觀測變量簡化為少數(shù)幾個因子，便于進行更深入的分析和解釋。因子分析簡化數(shù)據(jù)結(jié)構(gòu)聚類分析原理聚類分析是一種無監(jiān)督學(xué)習(xí)方法，用于將數(shù)據(jù)集劃分為若干個類或簇。它根據(jù)數(shù)據(jù)之間的相似性或距離進