python常見特征工程

要買現定門的&廳需親呼些礪可月性阡但 B虧亙,sinniK^^wii?Lz0 特征使用方至去運要買現定門的&廳需親呼些礪可月性阡但 B虧亙,sinniK^^wii?Lz0 特征使用方至去運穹三常年大-H=六三二住日--黃呈口逐代；=卻征子族.跖1特征工程是什么？有這么一句話在業(yè)界廣泛流傳：數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。那特征工程到底是什么呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特征以供算法和模型使用。通過總結和歸納，人們認為特征工程包括以下方面：7號于隈君五.六所得找口對三土里育鼠后工斯有巨注c三附?L2一RidoeA?F文—矣.善愛弟特征處理是特征工程的核心部分，sklearn提供了較為完整的特征處理方法，包括數據預處理，特征選擇，降維等。首次接觸到sklearn，通常會被其豐富且方便的算法模型庫吸引，但是這里介紹的特征處理庫也十分強大！本文中使用sklearn中的IRIS（文尾花）數據集來對特征處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特征（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特征值都為正浮點數，單位為厘米。目標值為鳶尾花的分類（IrisSetosa（山鳶尾）、IrisVersicolour（雜色鳶尾），IrisVirginica（維吉尼亞鳶尾））。導入IRIS數據集的代碼如下：電導入數據集特征矩陣目標向量2數據預處理通過特征提取，我們能得到未經處理的特征，這時的特征可能有以下問題：不屬于同一量綱：即特征的規(guī)格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。信息冗余：對于某些定量特征，其包含的有效信息為區(qū)間劃分，例如學習成績，假若只關心及格或不及格,那么需要將定量的考分，轉換成1和0表示及格和未及格。二值化可以解決這一問題。定性特征不能直接使用：某些機器學習算法和模型只能接受定量特征的輸入，那么需要將定性特征轉換為定量特征。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過于靈活，增加了調參的工作。通常使用啞編碼的方式將定性特征轉換為定量特征:假設有N種定性值，則將這一個特征擴展為N種特征，當原始特征值為第i種定性值時，第i個擴展特征賦值為1,其他擴展特征賦值為0。啞編碼的方式相比直接指定的方式，不用增加調參的工作，對于線性模型來說，使用啞編碼后的特征可達到非線性的效果。存在缺失值：缺失值需要補充。信息利用率低：不同的機器學習算法和模型對數據中信息的利用是不同的，之前提到在線性模型中，使用對定性特征啞編碼可以達到非線性的效果。類似地，對定量變量多項式化，或者進行其他的轉換，都能達到非線性的效果。我們使用sklearn中的preproccessing庫來進行數據預處理，可以覆蓋以上問題的解決方案。無量綱化無量綱化使不同規(guī)格的數據轉換到同一規(guī)格。常見的無量綱化方法有標準化和區(qū)間縮放法。標準化的前提是特征值服從正態(tài)分布，標準化后，其轉換成標準正態(tài)分布。區(qū)間縮放法利用了邊界值信息，將特征的取值區(qū)間縮放到某個特點的范圍，例如［0,1］等。標準化標準化需要計算特征的均值和標準差，公式表達為:x-X使用preproccessing庫的StandardScaler類對數據進行標準化的代碼如下:標準化，返回值為標準化后的數據區(qū)間縮放法區(qū)間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為:x-Minjuax「Mm使用preproccessing庫的MinMaxScaler類對數據進行區(qū)間縮放的代碼如下:區(qū)間縮放，返回值為縮放到 區(qū)間的數據標準化與歸一化的區(qū)別簡單來說，標準化是依照特征矩陣的列處理數據，其通過求z-score的方法，將樣本的特征值轉換到同一量綱下。歸一化是依照特征矩陣的行處理數據，其目的在于樣本向量在點乘運算或其他核函數計算相似性時，擁有統一的標準，也就是說都轉化為單位向量”規(guī)則為l2的歸一化公式如下：使用preproccessing庫的Normalizer類對數據進行歸一化的代碼如下:

歸一化，返回值為歸一化后的數據對定量特征二值化定量特征二值化的核心在于設定一個閾值，大于閾值的賦值為1,小于等于閾值的賦值為0,公式表達如下：匯_[LH>threshold使用preproccessing庫的Binarizer類對數據進行二值化的代碼如下：二值化，閾值設置為3返回值為二值化后的數據對定性特征啞編碼由于IRIS數據集的特征皆為定量特征，故使用其目標值進行啞編碼（實際上是不需要的）。使用preproccessing庫的OneHotEncoder類對數據進行啞編碼的代碼如下：啞編碼，對 數據集的目標值，返回值為啞編碼后的數據缺失值計算由于IRIS數據集沒有缺失值，故對數據集新增一個樣本，4個特征均賦值為NaN，表示數據缺失。使用preproccessing庫的Imputer類對數據進行缺失值計算的代碼如下：電缺失值計算，返回值為計算缺失值后的數據參數 為缺失值的表示形式，默認為參數 為缺失值填充方式，默認為（均值）數據變換

常見的數據變換有基于多項式的、基于指數函數的、基于對數函數的。4個特征，度為2的多項式轉換公式如下：||'十』『『.Hfar『*■?*『s'1|1』1產工/召產口產國56產7產日工國51口產1L月1W產13：,^14產157=5須片手風小型工工町*x2rrL*麗，力*/?瞄，孫*向，陽*孫?若聲&*%，琢）使用preproccessing庫的PolynomialFeatures類對數據進行多項式轉換的代碼如下：多項式轉換參數為度，默認值為基于單變元函數的數據變換可以使用一個統一的方式完成，使用preproccessing庫的FunctionTransformer對數據進行對數函數轉換的代碼如下：自定義轉換函數為對數函數的數據變換第一個參數是單變元函數2.6回顧類功能說明StandardScaler無量綱化標準化，基于特征矩陣的列，將特征值轉換至服從標準正態(tài)分布MinMaxScaler無量綱化區(qū)間縮放，基于最大最小值，將特征值轉換到［0,1］區(qū)間上Normalizer歸一化基于特征矩陣的行，將樣本向量轉換為單位向量Binarizer二值化基于給定閾值，將定量特征按閾值劃分OneHotEncoder啞編碼將定性數據編碼為定量數據Imputer缺失值計算計算缺失值，缺失值可填充為均值等PolynomialFeatures多項式數據轉換多項式數據轉換FunctionTransformer自定義單元數據轉換使用單變元的函數來轉換數據3特征選擇當數據預處理完成后，我們需要選擇有意義的特征輸入機器學習的算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特征：特征是否發(fā)散：如果一個特征不發(fā)散，例如方差接近于0，也就是說樣本在這個特征上基本上沒有差異，這個特征對于樣本的區(qū)分并沒有什么用。特征與目標的相關性：這點比較顯見，與目標相關性高的特征，應當優(yōu)選選擇。除方差法外，本文介紹的其他方法均從相關性考慮。根據特征選擇的形式又可以將特征選擇方法分為3種：Filter：過濾法，按照發(fā)散性或者相關性對各個特征進行評分，設定閾值或者待選擇閾值的個數，選擇特征。Wrapper：包裝法，根據目標函數（通常是預測效果評分），每次選擇若干特征，或者排除若干特征。Embedded：嵌入法，先使用某些機器學習的算法和模型進行訓練，得到各個特征的權值系數，根據系數從大到小選擇特征。類似于Filter方法，但是是通過訓練來確定特征的優(yōu)劣。我們使用sklearn中的feature_selection庫來進行特征選擇。Filter方差選擇法使用方差選擇法，先要計算各個特征的方差，然后根據閾值，選擇方差大于閾值的特征。使用feature_selection庫的VarianceThreshold類來選擇特征的代碼如下：方差選擇法，返回值為特征選擇后的數據參數 為方差的閾值相關系數法使用相關系數法，先要計算各個特征對目標值的相關系數以及相關系數的P值。用feature_selection庫的SelectKBest類結合相關系數來選擇特征的代碼如下：電

選擇個最好的特征，返回選擇特征后的數據第一個參數為計算評估特征是否好的函數，該函數輸入特征矩陣和目標向量，輸出二元組（評分，值）的數組，數組第項為第個特征的評分和值。在此定義為計算相關系數參數為選擇的特征個數電卡方檢驗經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。假設自變量有N種取值，因變量有M種取值，考慮自變量等于i且因變量等于j的樣本頻數的觀察值與期望的差距，構建統計量：這個統計量的含義簡而言之就是自變量對因變量的相關性。用feature_selection庫的SelectKBest類結合卡方檢驗來選擇特征的代碼如下：選擇個最好的特征，返回選擇特征后的數據互信息法經典的互信息也是評價定性自變量對定性因變量的相關性的，互信息計算公式如下：“X⑶24網則出為了處理定量數據，最大信息系數法被提出，使用feature_selection庫的SelectKBest類結合最大信息系數法來選擇特征的代碼如下：電由于的設計不是函數式的，定義 方法將其為函數式的，返回一個二元組，二元組的第項設置成固定的值

選擇個最好的特征，返回特征選擇后的數據Wrapper遞歸特征消除法遞歸消除特征法使用一個基模型來進行多輪訓練，每輪訓練后，消除若干權值系數的特征，再基于新的特征集進行下一輪訓練。使用feature_selection庫的RFE類來選擇特征的代碼如下:遞歸特征消除法，返回特征選擇后的數據參數參數參數參數為基模型為選擇的特征個數Embedded基于懲罰項的特征選擇法使用帶懲罰項的基模型，除了篩選出特征外，同時也進行了降維。使用feature_selection庫的SelectFromModel類結合帶Li懲罰項的邏輯回歸模型，來選擇特征的代碼如下：帶 懲罰項的邏輯回歸作為基模型的特征選擇Li懲罰項降維的原理在于保留多個對目標值具有同等相關性的特征中的一個，所以沒選到的特征不代表不重要。故，可結合L2懲罰項來優(yōu)化。具體操作為：若一個特征在Li中的權值為1,選擇在L2中權值差別不大且在Li中權值為0的特征構成同類集合，將這一集合中的特征平分Li中的權值，故需要構建一個新的邏輯回歸模型：

使用feature_selection庫的SelectFromModel類結合帶Li以及L2懲罰項的邏輯回歸模型，來選擇特征的代碼如下:帶和 懲罰項的邏輯回歸作為基模型的特征選擇參數 為權值系數之差的閾值基于樹模型的特征選擇法樹模型中GBDT也可用來作為基模型進行特征選擇，使用feature_selection庫的SelectFromModel類結合GBDT模型，來選擇特征的代碼如下：作為基模型的特征選擇回顧類所屬方式說明VarianceThresholdFilter方差選擇法SelectKBestFilter可選關聯系數、卡方校驗、最大信息系數作為得分計算的方法RFEWrapper遞歸地訓練基模型，將權值系數較小的特征從特征集合中消除SelectFromModelEmbedded訓練基模型，選擇權值系數較高的特征4降維當特征選擇完成后，可以直接訓練模型了，但是可能由于特征矩陣過大，導致計算量大，訓練時間長的問題，因此降低特征矩陣維度也是必不可少的。常見的降維方法除了以上提到的基于Li懲罰項的模型以外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點，其本質是要將原始的樣本映射到維度更低的樣本空間中，但是PCA和LDA的映射目標不一樣：PCA是為了讓映射后的樣本具有最大的發(fā)散性；而LDA是為了讓映射后的樣本有最好的分類性能。所以說PCA是一種無監(jiān)督的降維方法，而LDA是一種有監(jiān)督的降維方法。主成分分析法（PCA）使用decomposition庫的PCA類選擇特征的代碼如下:主成分分析法，返回降維后的數據參數 為主成分數目線性判別分析法（LDA）使用Ida庫的LDA類選擇特征的代碼如下:線性判別分析法，返回