《機(jī)器學(xué)習(xí)-Python實(shí)戰(zhàn)（微課版）》課件 綜合案例1 監(jiān)督學(xué)習(xí)數(shù)據(jù)預(yù)處理

綜合案例1第十三章：實(shí)戰(zhàn)案例（一）1.簡介2.

數(shù)據(jù)預(yù)處理問題3.

標(biāo)記編碼方法定義問題

機(jī)器學(xué)習(xí)分為：監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)（也可以用hinton所說的強(qiáng)化學(xué)習(xí)）等。

監(jiān)督學(xué)習(xí)（supervisedlearning）是從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)（模型參數(shù)），當(dāng)新的數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測結(jié)果。

監(jiān)督學(xué)習(xí)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)和決策樹的常見技術(shù)。

常見的有監(jiān)督學(xué)習(xí)算法：回歸分析和統(tǒng)計(jì)分類。最典型的算法是KNN和SVM。第十三章：實(shí)戰(zhàn)案例（一）1.簡介2.

數(shù)據(jù)預(yù)處理問題

準(zhǔn)備工作詳細(xì)步驟3.

標(biāo)記編碼方法準(zhǔn)備工作打開一個(gè)擴(kuò)展名為.py的文件，例如preprocessor.pyimportnumpyasnpfromsklearnimportpreprocessing創(chuàng)建一些樣本數(shù)據(jù)：data=np.array([[3,-1.5,2,-5.4],[0,4,-0.3,2.1],[1,3.3,-1.9,-4.3]])第十三章：實(shí)戰(zhàn)案例（一）1.簡介2.

數(shù)據(jù)預(yù)處理問題

準(zhǔn)備工作詳細(xì)步驟3.

標(biāo)記編碼方法詳細(xì)步驟步驟一：均值移除（Meanremoval）

把每個(gè)特征的平均值移除，以保證特征均值為0（即標(biāo)準(zhǔn)化處理）。這樣做可以消除特征彼此間的偏差（bias）。data_standardized=preprocessing.scale(data)print"\nMean=",data_standardized.mean(axis=0)print"Stddeviation=",data_standardized.std(axis=0)詳細(xì)步驟運(yùn)行代碼：$pythonpreprocessor.py命令行工具中將顯示以下結(jié)果：

Mean=[5.55111512e-17-1.11022302e-16-7.40148683e-17-7.40148683e-17]Stddeviation=[1.1.1.1.]特征均值幾乎是`0`，而且標(biāo)準(zhǔn)差為`1`。詳細(xì)步驟步驟二：范圍縮放（Scaling）data_scaler=preprocessing.MinMaxScaler(feature_range=(0,1))data_scaled=data_scaler.fit_transform(data)print"\nMinmaxscaleddata=",data_scaled范圍縮放之后，所有數(shù)據(jù)點(diǎn)的特征數(shù)值都位于指定的數(shù)值范圍內(nèi)

Minmaxscaleddata:[[1.0.1.0.][0.1.0.410256411.][0.333333330.872727270.14666667]]詳細(xì)步驟步驟三：歸一化（Normalization）

數(shù)據(jù)歸一化用于需要對(duì)特征向量的值進(jìn)行調(diào)整時(shí)，以保證每個(gè)特征向量的值都縮放到相同的數(shù)值范圍。data_normalized=preprocessing.normalize(data,norm='l1')print"\nL1normalizeddata=",data_normalized

Minmaxscaleddata:[[1.0.1.0.][0.1.0.410256411.][0.333333330.872727270.14666667]]詳細(xì)步驟步驟三：歸一化（Normalization）

用于需要對(duì)特征向量的值進(jìn)行調(diào)整時(shí)，以保證每個(gè)特征向量的值都縮放到相同的數(shù)值范圍。data_normalized=preprocessing.normalize(data,norm='l1')print"\nL1normalizeddata=",data_normalized詳細(xì)步驟結(jié)果：L1normalizeddata:[[0.25210084-0.126050420.16806723-0.45378151][0.0.625-0.0468750.328125][0.09523810.31428571-0.18095238-0.40952381]]這個(gè)方法經(jīng)常用于確保數(shù)據(jù)點(diǎn)沒有因?yàn)樘卣鞯幕拘再|(zhì)而產(chǎn)生較大差異，即確保數(shù)據(jù)處于同一數(shù)量級(jí)，提高不同特征數(shù)據(jù)的可比性。定義問題步驟四：二值化（Binarization）用于將數(shù)值特征向量轉(zhuǎn)換為布爾類型向量。data_binarized=preprocessing.Binarizer(threshold=1.4).transform(data)print"\nBinarizeddata=",data_binarized詳細(xì)步驟Binarizeddata:[[1.0.1.0.][0.1.0.1.][0.1.0.0.]]結(jié)果：詳細(xì)步驟以把獨(dú)熱編碼看作是一種收緊（tighten）特征向量的工具。它把特征向量的每個(gè)特征與特征的非重復(fù)總數(shù)相對(duì)應(yīng)，通過one-of-k的形式對(duì)每個(gè)值進(jìn)行編碼。特征向量的每個(gè)特征值都按照這種方式編碼，這樣可以更加有效地表示空間。步驟五：獨(dú)熱編碼詳細(xì)步驟encoder=preprocessing.OneHotEncoder()encoder.fit([[0,2,1,12],[1,3,5,3],[2,3,2,12],[1,2,4,3]])encoded_vector=encoder.transform([[2,3,5,3]]).toarray()print"\nEncodedvector=",encoded_vector結(jié)果：Encodedvector:[[0.0.1.0.1.0.0.0.1.1.0.]]第十三章：實(shí)戰(zhàn)案例（一）1.簡介2.

數(shù)據(jù)預(yù)處理技術(shù)3.

標(biāo)記編碼方法標(biāo)記編碼方法步驟一：新建一個(gè)Python文件，然后導(dǎo)入preprocessing程序包：fromsklearnimportpreprocessing步驟二：這個(gè)程序包包含許多數(shù)據(jù)預(yù)處理需要的函數(shù)。定義一個(gè)標(biāo)記編碼器（labelencoder）：label_encoder=preprocessing.LabelEncoder()步驟三：label_encoder對(duì)象知道如何理解單詞標(biāo)記：input_classes=['audi','ford','audi','toyota','ford','bmw']步驟四：標(biāo)記編碼：label_encoder.fit(input_classes)print"\nClassmapping:"fori,iteminenumerate(label_encoder.classes_):printitem,'-->',i標(biāo)記編碼方法步驟五：運(yùn)行代碼，命令行工具中顯示下面的結(jié)果：Classmapping:audi-->0bmw-->1ford-->2toyota-->3步驟六：

labels=['toyota','ford','audi']encoded_labels=label_encoder.transform(labels)print"\nLabels=",labelsprint"Encodedlabels=",list(encoded_labels)結(jié)果：

Labels=['toyota','ford','audi']Encodedlabels=[3,2,0]標(biāo)記編碼方法步驟七：encoded_labels=[2,1,0,3,1]decoded_labels=label_encoder.inverse_transform(encoded_labels)prin