02紅酒數(shù)據(jù)集可視化-數(shù)據(jù)預(yù)處理教學(xué)課件-

02紅酒數(shù)據(jù)集可視化—數(shù)據(jù)預(yù)處理教學(xué)課件酒數(shù)據(jù)集可視化—數(shù)據(jù)預(yù)處理項(xiàng)目知識(shí)準(zhǔn)備第一節(jié)項(xiàng)目實(shí)訓(xùn)第二節(jié)項(xiàng)目拓展第三節(jié)目錄content項(xiàng)目知識(shí)準(zhǔn)備第一節(jié)項(xiàng)目知識(shí)準(zhǔn)備2.1.1數(shù)據(jù)處理2.1.2數(shù)據(jù)降維2.1.3數(shù)據(jù)集拆分2.1.1數(shù)據(jù)處理原始數(shù)據(jù)極易受到噪聲（如缺失值、不一致數(shù)據(jù)）的侵?jǐn)_，通常情況下量級(jí)越大的數(shù)據(jù)集包含的噪聲越多，因此，在建模訓(xùn)練之前需要對(duì)數(shù)據(jù)進(jìn)預(yù)處理。預(yù)處理分為數(shù)據(jù)處理、數(shù)據(jù)降維和數(shù)據(jù)集劃分。這里的數(shù)值處理主要指的是機(jī)器學(xué)習(xí)scikit-learn庫(kù)中的preprocessing模塊中的數(shù)據(jù)預(yù)處理方法，將原始數(shù)據(jù)轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)的形式，用于改善機(jī)器學(xué)習(xí)的效果。常見(jiàn)的數(shù)據(jù)預(yù)處理方法包括標(biāo)準(zhǔn)化、離差標(biāo)準(zhǔn)化、二值化、歸一化、獨(dú)熱編碼處理。2.1.1數(shù)據(jù)處理原始數(shù)據(jù)極易受到噪聲（如缺失值、不一致數(shù)據(jù)）的侵?jǐn)_，通常情況下量級(jí)越大的數(shù)據(jù)集包含的噪聲越多，因此，在建模訓(xùn)練之前需要對(duì)數(shù)據(jù)進(jìn)預(yù)處理。預(yù)處理分為數(shù)據(jù)處理、數(shù)據(jù)降維和數(shù)據(jù)集劃分。這里的數(shù)值處理主要指的是機(jī)器學(xué)習(xí)scikit-learn庫(kù)中的preprocessing模塊中的數(shù)據(jù)預(yù)處理方法，將原始數(shù)據(jù)轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)的形式，用于改善機(jī)器學(xué)習(xí)的效果。常見(jiàn)的數(shù)據(jù)預(yù)處理方法包括標(biāo)準(zhǔn)化、離差標(biāo)準(zhǔn)化、二值化、歸一化、獨(dú)熱編碼處理。2.1.1數(shù)據(jù)處理均值方差標(biāo)準(zhǔn)化是一種將數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布的標(biāo)準(zhǔn)化方法。在回歸模型中，服從正態(tài)分布的自變量和因變量往往對(duì)應(yīng)著較好的回歸預(yù)測(cè)效果。標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化使得經(jīng)過(guò)處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1。StandardScaler將數(shù)據(jù)按其特征（按列進(jìn)行）減去平均值和縮放到單位方差來(lái)標(biāo)準(zhǔn)化特征。得到的結(jié)果是，對(duì)于每個(gè)屬性/每列來(lái)說(shuō)所有數(shù)據(jù)都聚集在0附近，標(biāo)準(zhǔn)差為1，使得新的X數(shù)據(jù)集方差為1，均值為0。2.1.1數(shù)據(jù)處理如果數(shù)據(jù)的分布本身就服從正態(tài)分布，就適用于標(biāo)準(zhǔn)化處理。在進(jìn)行標(biāo)準(zhǔn)化的過(guò)程中就將訓(xùn)練集的均值和方差當(dāng)做是總體的均值和方差，因此對(duì)測(cè)試集使用訓(xùn)練集的均值和方差進(jìn)行預(yù)處理。preprocessing模塊中的StandardScaler類是一個(gè)用來(lái)將數(shù)據(jù)進(jìn)行歸一化和標(biāo)準(zhǔn)化的類。其基本語(yǔ)法格式如下：classsklearn.preprocessing.StandardScaler(copy=True,with_mean=True,with_std=True)2.1.1數(shù)據(jù)處理2.離差標(biāo)準(zhǔn)化（MinMaxScaler）有時(shí)數(shù)據(jù)中每個(gè)特征的數(shù)值范圍可能變化很大，這個(gè)時(shí)候?qū)⑻卣鞯臄?shù)值范圍縮放到合理的大小對(duì)于算法模型學(xué)習(xí)數(shù)據(jù)就非常重要。如果數(shù)據(jù)分布在一個(gè)范圍內(nèi)，在不涉及距離度量、協(xié)方差計(jì)算、數(shù)據(jù)不符合正太分布的時(shí)候，就可以使用離差標(biāo)準(zhǔn)化處理。preprocessing模塊中的MinMaxScaler類用于特征的離差標(biāo)準(zhǔn)化處理，使原始數(shù)據(jù)的數(shù)值映射到指定區(qū)間范圍內(nèi)，將每個(gè)特征的數(shù)值轉(zhuǎn)換成給定范圍的值。2.1.1數(shù)據(jù)處理3.二值化（Binarizer）二值化用于將數(shù)值特征向量轉(zhuǎn)換為布爾型向量，通過(guò)設(shè)置閾值，將特征值大于閾值的轉(zhuǎn)換為1，特征值小于或等于閾值的轉(zhuǎn)換為0，二值化后的值會(huì)落在0或1上。preprocessing模塊中的Binarizer類用于特征二值化。Binarizer類用于創(chuàng)建二值化轉(zhuǎn)換器，其基本語(yǔ)法格式如下。classsklearn.preprocessing.Binarizer(threshold=0.0,copy=True)2.1.1數(shù)據(jù)處理4.歸一化（Normalizer）

數(shù)據(jù)歸一化用于需要對(duì)特征向量的值進(jìn)行調(diào)整是，以確保每個(gè)特征向量的值都縮放到相同的數(shù)值范圍，歸一化是將樣本在向量空間模型上的一個(gè)轉(zhuǎn)換。這個(gè)方法經(jīng)常被使用在分類與聚類中，用于確保數(shù)據(jù)點(diǎn)沒(méi)有因?yàn)樘卣鞯幕拘再|(zhì)而產(chǎn)生較大差異，即確保數(shù)據(jù)處于同一個(gè)數(shù)量級(jí)，提高不同特征數(shù)據(jù)的可比性。preprocessing模塊中的Normalizer類用于特征歸一化，常用的歸一化形式是將特征向量調(diào)整為L(zhǎng)1或L2范數(shù)。2.1.1數(shù)據(jù)處理5.獨(dú)熱編碼（OneHotEncoder）在機(jī)器學(xué)習(xí)中，特征可能不是數(shù)值型而是分類型的，但某些模型要求為數(shù)值型，最簡(jiǎn)單的方法是將特征編碼為整數(shù)，如已知分類“性別”為[‘男’，’女’]，地點(diǎn)為[‘北京’，’上?！痌，令‘男’類別等于0，‘女’類別等于1，同理，令‘北京’類別等于0，令‘傷害’類別等于1。則[‘男’，’北京’]編碼為[0,0]，[‘女’，’北京’]編碼為[1,0]。但是此處理方法可能使估計(jì)器認(rèn)為類別（0，1）之間是有序的、有關(guān)聯(lián)的，但實(shí)際上原始數(shù)據(jù)中的類別（男，女）是無(wú)序的、無(wú)關(guān)聯(lián)的。獨(dú)熱編碼可以解決這個(gè)問(wèn)題。2.1.1數(shù)據(jù)處理獨(dú)熱編碼即One-Hot編碼，又稱一位有效編碼，其方法是使用N位狀態(tài)寄存器來(lái)對(duì)N個(gè)狀態(tài)進(jìn)行編碼，每個(gè)狀態(tài)都有它獨(dú)立的寄存器位，并且在任意時(shí)候，其中只有一寄存器位有效。啞變量編碼與獨(dú)熱編碼類似，它任意地將一個(gè)狀態(tài)位去除，使用N-1個(gè)狀態(tài)位就足夠反映N個(gè)類別的信息2.1.1數(shù)據(jù)處理6.轉(zhuǎn)換器的使用說(shuō)明為了實(shí)現(xiàn)大量的數(shù)據(jù)特征處理相關(guān)操作，scikit-learn把相關(guān)的功能封裝為轉(zhuǎn)換器，轉(zhuǎn)換器（Transformer）主要有三個(gè)方法：fit()：通過(guò)分析特征和目標(biāo)值提取有價(jià)值的信息，并訓(xùn)練算法、擬合數(shù)據(jù)；

transform()：主要用來(lái)對(duì)特征數(shù)據(jù)進(jìn)行轉(zhuǎn)換，實(shí)現(xiàn)標(biāo)準(zhǔn)化數(shù)據(jù)；

fit_transform()：先調(diào)用fit方法擬合數(shù)據(jù)，再調(diào)用transform方法進(jìn)行標(biāo)準(zhǔn)化。2.1.2數(shù)據(jù)降維生活中很難對(duì)高維數(shù)據(jù)具有直觀的認(rèn)識(shí)，如果把數(shù)據(jù)的維度降低到2維或3維，并且令數(shù)據(jù)點(diǎn)與原高維空間里的關(guān)系保持不變或近似，就可以將降維后的數(shù)據(jù)可視化。在做機(jī)器學(xué)習(xí)的過(guò)程中，我們有可能會(huì)遇到很復(fù)雜的數(shù)據(jù)。這樣復(fù)雜的數(shù)據(jù)會(huì)增加計(jì)算資源的消耗，很可能一個(gè)算法下來(lái)要持續(xù)幾天，甚至幾周的時(shí)間，這樣的時(shí)間成本會(huì)非常的大。另外，如果數(shù)據(jù)的維度過(guò)高，還會(huì)造成訓(xùn)練模型過(guò)度擬合，使得算法模型的泛化能力大大降低。所以我們需要降低數(shù)據(jù)的復(fù)雜性，減少算法訓(xùn)練過(guò)程中的存儲(chǔ)量和計(jì)算時(shí)間，將高維的數(shù)據(jù)降低到低維的數(shù)據(jù)。2.1.2數(shù)據(jù)降維降維就是一種對(duì)高維度特征數(shù)據(jù)預(yù)處理方法。降維是將高維度的數(shù)據(jù)保留下最重要的一些特征，去除噪聲和不重要的特征，從而實(shí)現(xiàn)提升數(shù)據(jù)處理速度的目的。數(shù)據(jù)經(jīng)過(guò)降維以后，如果保留了原高維數(shù)據(jù)的主要特征，就可以用降維的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練和預(yù)測(cè)，由于數(shù)據(jù)量大大縮減，訓(xùn)練和預(yù)測(cè)的時(shí)間效率將大為提高。在實(shí)際的生產(chǎn)和應(yīng)用中，降維在一定的信息損失范圍內(nèi)，可以為我們節(jié)省大量的時(shí)間和成本。降維也成為應(yīng)用非常廣泛的數(shù)據(jù)預(yù)處理方法。2.1.2數(shù)據(jù)降維1.主成分分析（PCA）簡(jiǎn)介PCA（PrincipalComponentAnalysis），即主成分分析方法，是一種使用最廣泛的數(shù)據(jù)降維算法。通過(guò)某種線性投影，將高維的數(shù)據(jù)映射到低維的空間中表示，并期望在所投影的維度上數(shù)據(jù)的方差最大，以此使用較少的數(shù)據(jù)維度，同時(shí)保留住較多的原數(shù)據(jù)點(diǎn)的特性。PCA的主要思想是將n維特征映射到k維上（k<n），映射的過(guò)程要求每個(gè)維度的樣本方差最大化，達(dá)到盡量使新的k維特征向量之間互不相關(guān)的目的，這些數(shù)據(jù)中擁有方差最大的k個(gè)維度被稱為主成分，是在原有n維特征的基礎(chǔ)上重新構(gòu)造出來(lái)的k維特征。2.1.2數(shù)據(jù)降維2.sklearn中PCA用法介紹scikit-learn庫(kù)中的decomposition模塊對(duì)PCA類進(jìn)行了如下定義：classsklearn.decomposition.PCA(n_components=None,copy=True,whiten=False,svd_solver='auto',tol=0.0,iterated_power='auto',random_state=None)2.1.3數(shù)據(jù)集拆分在機(jī)器學(xué)習(xí)中，我們通常將原始數(shù)據(jù)按照比例分割為“訓(xùn)練集”和“測(cè)試集”。在學(xué)習(xí)算法中，一個(gè)由N個(gè)數(shù)字組成的大的集合{??_1,??_2,?,??_??}被稱作訓(xùn)練集（TrainingSet），用來(lái)調(diào)節(jié)模型的參數(shù)。這些在訓(xùn)練過(guò)程中使用的數(shù)據(jù)也稱為訓(xùn)練數(shù)據(jù)（TrainingData），其中每個(gè)樣本稱為一個(gè)訓(xùn)練樣本（TrainingSample）。訓(xùn)練集就是所有訓(xùn)練樣本組成的集合，一般我們?cè)谡w數(shù)據(jù)中隨機(jī)采樣獲得訓(xùn)練集。而測(cè)試集則是整體數(shù)據(jù)中除去訓(xùn)練集的部分。項(xiàng)目實(shí)訓(xùn)第二節(jié)項(xiàng)目實(shí)訓(xùn)2.2.1數(shù)據(jù)標(biāo)準(zhǔn)化處理2.2.2數(shù)據(jù)離差標(biāo)準(zhǔn)化處理2.2.3數(shù)據(jù)二值化處理2.2.4數(shù)據(jù)歸一化處理2.2.5獨(dú)熱編碼處理2.2.6數(shù)據(jù)PCA降維處理2.2.1數(shù)據(jù)標(biāo)準(zhǔn)化處理1.數(shù)據(jù)準(zhǔn)備首先我們需要準(zhǔn)備一些數(shù)據(jù)，可以使用scikit-learn庫(kù)中內(nèi)置的一些API生成一些數(shù)據(jù)集，其中make_blobs函數(shù)會(huì)根據(jù)用戶指定的特征數(shù)量、中心點(diǎn)數(shù)量、范圍等來(lái)生成幾類數(shù)據(jù)和相應(yīng)的標(biāo)簽。2.2.1數(shù)據(jù)標(biāo)準(zhǔn)化處理2.數(shù)據(jù)標(biāo)準(zhǔn)化接下來(lái)，我們使用scikit-learn的preprocessing模塊中的StandardScaler類對(duì)這個(gè)生成的數(shù)據(jù)集X進(jìn)行預(yù)處理操作。2.2.2數(shù)據(jù)離差標(biāo)準(zhǔn)化處理MinMaxScaler類可以將所有數(shù)據(jù)點(diǎn)的特征數(shù)值都縮放到制定的數(shù)值范圍內(nèi)。2.2.3數(shù)據(jù)二值化處理特征的二值化主要是為了將數(shù)據(jù)特征轉(zhuǎn)化為boolean布爾型變量，可以利用preprocessing模塊的Binarizer類來(lái)實(shí)現(xiàn)。Binarizer類可以設(shè)置一個(gè)閾值參數(shù)threshold，數(shù)據(jù)結(jié)果值大于閾值的為1，小于或等于閾值的為0。2.2.4數(shù)據(jù)歸一化處理數(shù)據(jù)歸一化是將每個(gè)特征向量的值都縮放到相同的單位范數(shù)。preprocessing模塊的normalizer類用于特征歸一化處理，歸一化的形式有L1、L2范數(shù)等。我們繼續(xù)使用任務(wù)一生成的數(shù)據(jù)集X，對(duì)該數(shù)據(jù)集進(jìn)行L2范數(shù)的歸一化化處理。2.2.4數(shù)據(jù)歸一化處理如果我們對(duì)數(shù)據(jù)進(jìn)行L1范數(shù)的歸一化化處理，將norm參數(shù)為范數(shù)L1。2.2.5獨(dú)熱編碼處理如果要將分類型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)，就可以使用preprocessing模塊的OneHotEncoder類創(chuàng)建獨(dú)熱編碼轉(zhuǎn)換器。目前OneHotEncoder只能用于整型數(shù)值的類型變量，如果遇到非整型的數(shù)據(jù)就需要先做數(shù)值轉(zhuǎn)換，然后再進(jìn)行獨(dú)熱編碼。numpy模型提供了digitize函數(shù)將數(shù)值轉(zhuǎn)換為分類型數(shù)組，也就是對(duì)數(shù)據(jù)進(jìn)行離散化處理，或者稱做裝箱處理。2.2.6數(shù)據(jù)PCA降維處理1