中職教育二年級上學期電子與信息《大數(shù)據(jù)導論3規(guī)范化處理》教學課件

數(shù)據(jù)轉換之規(guī)范化處理《大數(shù)據(jù)導論》——數(shù)據(jù)采集與預處理紙質教材參考及視頻適用林子雨.大數(shù)據(jù)導論.北京：人民郵電出版社，2020第5章數(shù)據(jù)采集與預處理

中職用數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名年齡體重(G)身高(cm)性別胖瘦張小潔1845000159女瘦李晶1758000161女正常王樂毅1756000168男正常劉勇1756000168男正常林間1869000172男正常何鐵強1971000183男正常

下表進行分類、回歸或其他分析時，年齡、體重、身高數(shù)值范圍差異較大，相當于權重、偏置相差太遠，體重的因素影響過大，分析評價時體重就有決定性影響。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名年齡體重(G)身高(cm)性別胖瘦張小潔1845000159女瘦李晶1758000161女正常王樂毅1756000168男正常劉勇1756000168男正常林間1869000172男正常何鐵強1971000183男正常

規(guī)范化對被轉換的某列數(shù)據(jù)進行一種投射轉換，變換到特定范圍，這樣各列取值范圍比較統(tǒng)一，后續(xù)處理時重要性變得一致，不會因為單位、屬性不同而在比較、訓練、分析評價時人為引入重要程度、整體偏差的明顯差異。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強197100018311

如果前表進行了數(shù)據(jù)類型轉換成下表。

簡單思考：哪列在評價時的影響容易最大？數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強197100018311

如果前表進行了數(shù)據(jù)類型轉換成下表。

一看就知道

，x1的影響容易最大。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化

Min-Max規(guī)范化方法將被轉換的某列或說某個屬性的數(shù)據(jù)轉換到0與1之間，其轉換公式如下：轉換后的值=（待轉換值?最小值）/（最大值?最小值）注：所有參與運算的都是同一列或屬性的各值

例如，假設屬性的最大值和最小值分別是45000和71000，現(xiàn)在需要利用Min-Max規(guī)范化方法，將x1屬性的值映射到0~1的范圍內，則58000時，對應的轉換結果如下：(58000?45000)/(71000?45000)=0.5數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化

Min-Max規(guī)范化方法將被轉換的某列或說某個屬性的數(shù)據(jù)轉換到0與1之間，其轉換公式如下：轉換后的值=（待轉換值?最小值）/（最大值?最小值）填空練習：x0={18,17,17,17,18,19},將其做Min-Max規(guī)范化后：x0={

,

,

,

,

,

}數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化

Min-Max規(guī)范化方法將被轉換的某列或說某個屬性的數(shù)據(jù)轉換到0與1之間，其轉換公式如下：轉換后的值=（待轉換值?最小值）/（最大值?最小值）注：所有參與運算的都是同一列或屬性的各值

Min-Max規(guī)范化比較簡單，但是也存在一些缺陷，當有新的數(shù)據(jù)加入時，可能導致最大值和最小值的變化，需要重新定義屬性最大值和最小值。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強197100018311

Min-Max規(guī)范化轉換x1。x100.50.4230.4230.9231（待轉換值?最小值）/（最大值?最小值）數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名x0x1x2x3x4張小潔18015900李晶170.516101王樂毅170.42316811劉勇170.42316811林間180.92317211何鐵強19118311

Min-Max規(guī)范化轉換后得到新x1。x100.50.4230.4230.9231返回結果數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化姓名x0x1x2x3x4張小潔0.50000李晶00.50.08301王樂毅00.4230.37511劉勇00.4230.37511林間0.50.9230.54211何鐵強11111

Min-Max規(guī)范化轉換x0、x1、x2后得到新表。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化

Z-Score規(guī)范化將不同量級的數(shù)據(jù)統(tǒng)一轉化為同一個量級正負都有的值，以保證數(shù)據(jù)之間的可比性及分析、訓練時重要性的統(tǒng)一。其轉換公式如下：z=（待轉換屬性值?屬性平均值）/屬性標準差x0={18,17,17,17,18,19},均值為17.667,標準差為0.817,將其做Z-Score規(guī)范化后：x0={0.408,-0.816,-0.816,-0.816,0.408,1.633}數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化Z-Score規(guī)范化：z=（待轉換屬性值?屬性平均值）/屬性標準差x0={18,17,17,17,18,19},均值為17.667,標準差為0.817,將其做Z-Score規(guī)范化后：x0={0.408,-0.816,-0.816,-0.816,0.408,1.633}練習：1.上面17轉變成-0.816的計算，空格處的數(shù)值是(

-

)/

。[填空題]2.Z-Score規(guī)范化，哪些是對的()。[多選題]

a.可能得到正負1內及超過正負1范圍的值。b.只可能得到正負1范圍內的值。

c.只可能得到0到1范圍內的值。d.只可能得到正負1范圍外的值。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化Z-Score的優(yōu)點是不需要知道數(shù)據(jù)集的最大值和最小值，對離群點規(guī)范化效果好。此外，Z-Score能夠應用于數(shù)值型的數(shù)據(jù)，并且不受數(shù)據(jù)量級的影響，因為它本身的作用就是消除量級給分析帶來的不便。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化Z-Score也有一些缺陷。首先，Z-Score對于數(shù)據(jù)的分布有一定的要求，正態(tài)分布是最有利于Z-Score計算的。其次，Z-Score與Min-Max一樣，消除了數(shù)據(jù)具有的實際意義，因此，轉換后的結果用于比較、訓練、分析后，如需使用數(shù)據(jù)的真實意義，還需要還原原值，再如需要將未轉換的數(shù)據(jù)加入到轉換后的比較、訓練、分析中，同樣需要先轉換，要始終記得保持一致。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化小數(shù)定標規(guī)范化方法通過移動屬性值的小數(shù)位置來達到規(guī)范化的目的。所移動的小數(shù)位數(shù)取決于屬性絕對值的最大值。其轉換公式為：x=待轉換屬性值/(10的k次方)其中，k為能夠使該屬性絕對值的最大值的轉換結果小于1的最小值。比如，假設屬性的取值范圍是-957~924，則該屬性絕對值的最大值為957，很顯然，這時k=3。當屬性的值為426時，對應的轉換結果如下：426/10的3次方=0.426數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化下表使用小數(shù)定標規(guī)范化對x1加以轉換姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強197100018311x10.450.580.560.560.690.71除以10的5次方數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化下表得到小數(shù)定標規(guī)范化對x1加以轉換后的返回結果姓名x0x1x2x3x4張小潔180.4515900李晶170.5816101王樂毅170.5616811劉勇170.5616811林間180.6917211何鐵強190.7118311x10.450.580.560.560.690.71返回結果數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化小數(shù)定標法的優(yōu)點是直觀簡單，缺點是并沒有消除屬性間的權重差異。數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化練習：下表使用小數(shù)定標法，x0、x1、x2分別應除以

、

、

。[填空題]姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強197100018311數(shù)據(jù)轉換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標等規(guī)范化練習：常用的規(guī)范化處理方法是（）[多選題]a.小數(shù)定標b.Min-Maxc.Z-Scored.聚類處理后，每部分數(shù)據(jù)都在0到1