數(shù)據(jù)標準化歸一化方法課件

1、數(shù)據(jù)標準化/歸一化演講人2021-08-09min-max 標準化01(0,1 區(qū)間-1,1 區(qū)間特點：簡單易理解，不改變數(shù)據(jù)分布缺陷：有新數(shù)據(jù)加入時，可能導致max和min的變化，需要重新定義計算公式：X* = (X - min)/(max - min)計算公式：X* = (X - xmean)/(max - min) xmean為數(shù)據(jù)均值 min-max 標準化z-score 標準化02計算公式：X* = (X - ) / （為均值，為標準差） 適用范圍：適用最大值和最小值未知的情況，或有超出取值范圍的離群數(shù)據(jù)的情況特點：改變數(shù)據(jù)分布，對離群點規(guī)范化效果好缺陷：要求原始數(shù)據(jù)的分布可以近似為

2、高斯分布（正態(tài)分布），否則歸一化的效果很差z-score 標準化log 函數(shù)轉換 03log 函數(shù)轉換 計算公式：X* = log10(X)/log10(max)要求：所有的數(shù)據(jù)都要大于等于1Logistic/Softmax 變換 04子主題Logistic/Softmax 變換 模糊量化模式05計算公式：X* = 1/2+1/2sin /(max - min)*(X -(max - min)/2) 模糊量化模式權重06權重專家咨詢權數(shù)法（特爾斐法） 根據(jù)專家對指標的重要性打分來定權，重要性得分越高，權數(shù)越大優(yōu)點：集中來眾多專家的意見缺點：通過打分直接給出各指標權重難以保持權重的合理性算術平均

3、法、頻數(shù)統(tǒng)計法、加權統(tǒng)計法子主題標準化07定義：數(shù)據(jù)的標準化（normalization）是將數(shù)據(jù)按比例縮放，使之落入一個小的特定區(qū)間 特點：去除數(shù)據(jù)的單位限制，將其轉化為無量綱的純數(shù)值，便于不同單位或量級的指標能夠進行比較和加權 歸一化處理 定義：數(shù)據(jù)的歸一化處理，即將數(shù)據(jù)統(tǒng)一映射到 0,1 區(qū)間上優(yōu)勢1：提升模型的收斂速度優(yōu)勢2：提升模型的精度（讓各個特征對結果做出的貢獻相同）標準化arctan 函數(shù)轉換 08arctan 函數(shù)轉換 計算公式：X* = arctan(X)*2/ 特點：如果想映射的區(qū)間為0,1，則數(shù)據(jù)都應該大于等于0，小于0的數(shù)據(jù)將被映射到-1,0區(qū)間 小數(shù)定標標準化09小數(shù)定標標準化數(shù)據(jù)范圍：-1,1適用范圍：適合數(shù)據(jù)初期探索，不消除屬性件的權重差異計算公式：X* = X/(10j) （j是滿足條件的最小整數(shù)） 特點：直接、簡單，不改變數(shù)據(jù)分布注意點：會對原始數(shù)據(jù)做出改變，需要保存所使用的標準化方法的參數(shù)，以便對后續(xù)的數(shù)據(jù)進行統(tǒng)一的標準化排序歸一10排序歸一計算公式：X* = X_rank / X_sum (X_rank 為排名，X_sum 為