中職教育二年級(jí)上學(xué)期電子與信息《大數(shù)據(jù)導(dǎo)論3規(guī)范化處理》教學(xué)課件

數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理《大數(shù)據(jù)導(dǎo)論》——數(shù)據(jù)采集與預(yù)處理紙質(zhì)教材參考及視頻適用林子雨.大數(shù)據(jù)導(dǎo)論.北京：人民郵電出版社，2020第5章數(shù)據(jù)采集與預(yù)處理

中職用數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名年齡體重(G)身高(cm)性別胖瘦張小潔1845000159女瘦李晶1758000161女正常王樂毅1756000168男正常劉勇1756000168男正常林間1869000172男正常何鐵強(qiáng)1971000183男正常

下表進(jìn)行分類、回歸或其他分析時(shí)，年齡、體重、身高數(shù)值范圍差異較大，相當(dāng)于權(quán)重、偏置相差太遠(yuǎn)，體重的因素影響過大，分析評(píng)價(jià)時(shí)體重就有決定性影響。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名年齡體重(G)身高(cm)性別胖瘦張小潔1845000159女瘦李晶1758000161女正常王樂毅1756000168男正常劉勇1756000168男正常林間1869000172男正常何鐵強(qiáng)1971000183男正常

規(guī)范化對(duì)被轉(zhuǎn)換的某列數(shù)據(jù)進(jìn)行一種投射轉(zhuǎn)換，變換到特定范圍，這樣各列取值范圍比較統(tǒng)一，后續(xù)處理時(shí)重要性變得一致，不會(huì)因?yàn)閱挝弧傩圆煌诒容^、訓(xùn)練、分析評(píng)價(jià)時(shí)人為引入重要程度、整體偏差的明顯差異。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強(qiáng)197100018311

如果前表進(jìn)行了數(shù)據(jù)類型轉(zhuǎn)換成下表。

簡單思考：哪列在評(píng)價(jià)時(shí)的影響容易最大？數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強(qiáng)197100018311

如果前表進(jìn)行了數(shù)據(jù)類型轉(zhuǎn)換成下表。

一看就知道

，x1的影響容易最大。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化

Min-Max規(guī)范化方法將被轉(zhuǎn)換的某列或說某個(gè)屬性的數(shù)據(jù)轉(zhuǎn)換到0與1之間，其轉(zhuǎn)換公式如下：轉(zhuǎn)換后的值=（待轉(zhuǎn)換值?最小值）/（最大值?最小值）注：所有參與運(yùn)算的都是同一列或?qū)傩缘母髦?/p>

例如，假設(shè)屬性的最大值和最小值分別是45000和71000，現(xiàn)在需要利用Min-Max規(guī)范化方法，將x1屬性的值映射到0~1的范圍內(nèi)，則58000時(shí)，對(duì)應(yīng)的轉(zhuǎn)換結(jié)果如下：(58000?45000)/(71000?45000)=0.5數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化

Min-Max規(guī)范化方法將被轉(zhuǎn)換的某列或說某個(gè)屬性的數(shù)據(jù)轉(zhuǎn)換到0與1之間，其轉(zhuǎn)換公式如下：轉(zhuǎn)換后的值=（待轉(zhuǎn)換值?最小值）/（最大值?最小值）填空練習(xí)：x0={18,17,17,17,18,19},將其做Min-Max規(guī)范化后：x0={

,

,

,

,

,

}數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化

Min-Max規(guī)范化方法將被轉(zhuǎn)換的某列或說某個(gè)屬性的數(shù)據(jù)轉(zhuǎn)換到0與1之間，其轉(zhuǎn)換公式如下：轉(zhuǎn)換后的值=（待轉(zhuǎn)換值?最小值）/（最大值?最小值）注：所有參與運(yùn)算的都是同一列或?qū)傩缘母髦?/p>

Min-Max規(guī)范化比較簡單，但是也存在一些缺陷，當(dāng)有新的數(shù)據(jù)加入時(shí)，可能導(dǎo)致最大值和最小值的變化，需要重新定義屬性最大值和最小值。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強(qiáng)197100018311

Min-Max規(guī)范化轉(zhuǎn)換x1。x100.50.4230.4230.9231（待轉(zhuǎn)換值?最小值）/（最大值?最小值）數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名x0x1x2x3x4張小潔18015900李晶170.516101王樂毅170.42316811劉勇170.42316811林間180.92317211何鐵強(qiáng)19118311

Min-Max規(guī)范化轉(zhuǎn)換后得到新x1。x100.50.4230.4230.9231返回結(jié)果數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化姓名x0x1x2x3x4張小潔0.50000李晶00.50.08301王樂毅00.4230.37511劉勇00.4230.37511林間0.50.9230.54211何鐵強(qiáng)11111

Min-Max規(guī)范化轉(zhuǎn)換x0、x1、x2后得到新表。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化

Z-Score規(guī)范化將不同量級(jí)的數(shù)據(jù)統(tǒng)一轉(zhuǎn)化為同一個(gè)量級(jí)正負(fù)都有的值，以保證數(shù)據(jù)之間的可比性及分析、訓(xùn)練時(shí)重要性的統(tǒng)一。其轉(zhuǎn)換公式如下：z=（待轉(zhuǎn)換屬性值?屬性平均值）/屬性標(biāo)準(zhǔn)差x0={18,17,17,17,18,19},均值為17.667,標(biāo)準(zhǔn)差為0.817,將其做Z-Score規(guī)范化后：x0={0.408,-0.816,-0.816,-0.816,0.408,1.633}數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化Z-Score規(guī)范化：z=（待轉(zhuǎn)換屬性值?屬性平均值）/屬性標(biāo)準(zhǔn)差x0={18,17,17,17,18,19},均值為17.667,標(biāo)準(zhǔn)差為0.817,將其做Z-Score規(guī)范化后：x0={0.408,-0.816,-0.816,-0.816,0.408,1.633}練習(xí)：1.上面17轉(zhuǎn)變成-0.816的計(jì)算，空格處的數(shù)值是(

-

)/

。[填空題]2.Z-Score規(guī)范化，哪些是對(duì)的()。[多選題]

a.可能得到正負(fù)1內(nèi)及超過正負(fù)1范圍的值。b.只可能得到正負(fù)1范圍內(nèi)的值。

c.只可能得到0到1范圍內(nèi)的值。d.只可能得到正負(fù)1范圍外的值。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化Z-Score的優(yōu)點(diǎn)是不需要知道數(shù)據(jù)集的最大值和最小值，對(duì)離群點(diǎn)規(guī)范化效果好。此外，Z-Score能夠應(yīng)用于數(shù)值型的數(shù)據(jù)，并且不受數(shù)據(jù)量級(jí)的影響，因?yàn)樗旧淼淖饔镁褪窍考?jí)給分析帶來的不便。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化Z-Score也有一些缺陷。首先，Z-Score對(duì)于數(shù)據(jù)的分布有一定的要求，正態(tài)分布是最有利于Z-Score計(jì)算的。其次，Z-Score與Min-Max一樣，消除了數(shù)據(jù)具有的實(shí)際意義，因此，轉(zhuǎn)換后的結(jié)果用于比較、訓(xùn)練、分析后，如需使用數(shù)據(jù)的真實(shí)意義，還需要還原原值，再如需要將未轉(zhuǎn)換的數(shù)據(jù)加入到轉(zhuǎn)換后的比較、訓(xùn)練、分析中，同樣需要先轉(zhuǎn)換，要始終記得保持一致。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化小數(shù)定標(biāo)規(guī)范化方法通過移動(dòng)屬性值的小數(shù)位置來達(dá)到規(guī)范化的目的。所移動(dòng)的小數(shù)位數(shù)取決于屬性絕對(duì)值的最大值。其轉(zhuǎn)換公式為：x=待轉(zhuǎn)換屬性值/(10的k次方)其中，k為能夠使該屬性絕對(duì)值的最大值的轉(zhuǎn)換結(jié)果小于1的最小值。比如，假設(shè)屬性的取值范圍是-957~924，則該屬性絕對(duì)值的最大值為957，很顯然，這時(shí)k=3。當(dāng)屬性的值為426時(shí)，對(duì)應(yīng)的轉(zhuǎn)換結(jié)果如下：426/10的3次方=0.426數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化下表使用小數(shù)定標(biāo)規(guī)范化對(duì)x1加以轉(zhuǎn)換姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強(qiáng)197100018311x10.450.580.560.560.690.71除以10的5次方數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化下表得到小數(shù)定標(biāo)規(guī)范化對(duì)x1加以轉(zhuǎn)換后的返回結(jié)果姓名x0x1x2x3x4張小潔180.4515900李晶170.5816101王樂毅170.5616811劉勇170.5616811林間180.6917211何鐵強(qiáng)190.7118311x10.450.580.560.560.690.71返回結(jié)果數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化小數(shù)定標(biāo)法的優(yōu)點(diǎn)是直觀簡單，缺點(diǎn)是并沒有消除屬性間的權(quán)重差異。數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化練習(xí)：下表使用小數(shù)定標(biāo)法，x0、x1、x2分別應(yīng)除以

、

、

。[填空題]姓名x0x1x2x3x4張小潔184500015900李晶175800016101王樂毅175600016811劉勇175600016811林間186900017211何鐵強(qiáng)197100018311數(shù)據(jù)轉(zhuǎn)換之規(guī)范化處理——

常用：Min-Max、Z-Score、小數(shù)定標(biāo)等規(guī)范化練習(xí)：常用的規(guī)范化處理方法是（）[多選題]a.小數(shù)定標(biāo)b.Min-Maxc.Z-Scored.聚類處理后，每部分?jǐn)?shù)據(jù)都在0到1