數(shù)據(jù)預(yù)處理概述數(shù)據(jù)預(yù)處理概述

大數(shù)據(jù)采集與預(yù)處理主講教師：龍霄漢《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata數(shù)據(jù)預(yù)處理概述數(shù)據(jù)預(yù)處理概述011數(shù)據(jù)預(yù)處理概述數(shù)據(jù)預(yù)處理概述在數(shù)據(jù)轉(zhuǎn)換階段主要數(shù)據(jù)進(jìn)行采樣處理、類型轉(zhuǎn)換、歸一化。采樣是從特定的概率分布中抽取樣本點(diǎn)的過程。采樣在大數(shù)據(jù)分析中有非常重要的應(yīng)用：將復(fù)雜分布簡化為離散的樣本點(diǎn)；用重采樣可以對樣本集進(jìn)行調(diào)整以更好地進(jìn)行調(diào)整并適應(yīng)后期的模型學(xué)習(xí)；用于隨機(jī)模擬以進(jìn)行復(fù)雜模型的近似求解或推理。采樣的一個重要作用是處理不均衡數(shù)據(jù)集。最簡單的處理不均衡樣本集的方法是隨機(jī)采樣。采樣一般分為過采樣（Over-sampling）和欠采樣（Under-sampling）。數(shù)據(jù)預(yù)處理概述數(shù)據(jù)類型可以簡單劃分為數(shù)值型和非數(shù)值型。數(shù)值型有連續(xù)型和離散型。非數(shù)值型有類別型和非類別型，其中類別型特征中如果類別存在排序問題為定序型，若不存在排序問題則為定類型，非類別型是字符串型。圖片來自互聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理概述在數(shù)據(jù)描述階段，我們可以根據(jù)需要計(jì)算統(tǒng)計(jì)量和對數(shù)據(jù)進(jìn)行可視化。數(shù)據(jù)的一般性描述有mean,median,mode,variance.mean是均值；median是中位數(shù)，取數(shù)據(jù)排序后在中間位置的值，避免因?yàn)闃O端離群點(diǎn)影響客觀評價(jià)；mode是出現(xiàn)頻率最高的元素，其實(shí)用的比較少；variance是方差，由于衡量數(shù)據(jù)集與其均值的偏離。數(shù)據(jù)之間的相關(guān)性可以使用Pearsoncorrelationcoefficient和Pearsonchi-square進(jìn)行度量。前者適用與有metricdata的情況，后者適用于分類統(tǒng)計(jì)的情況。數(shù)據(jù)預(yù)處理概述數(shù)據(jù)可視化一維數(shù)據(jù)圓餅圖，柱狀圖；二維數(shù)據(jù)散點(diǎn)圖；三維數(shù)據(jù)用三維坐標(biāo)呈現(xiàn)；高維數(shù)據(jù)需要先做轉(zhuǎn)換或映射，比如用matlab的BoxPlots，也可以用平行坐標(biāo)呈現(xiàn)?？墒褂霉ぞ哂泻芏?，如matlab和Geph。圖片來自互聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理概述在大數(shù)據(jù)分析中，數(shù)據(jù)可以被表示為向量的形式進(jìn)行訓(xùn)練，但是在對高維向量進(jìn)行處理和分析時，會極大消耗系統(tǒng)資源，甚至產(chǎn)生維度災(zāi)難。因此，使用低維度的向量來表示高維度的向量就十分必要。特征抽取或降維即使用低緯度向量表示高維度向量的方法。特征抽取是主要有主成分分析（PrincipalComponentAnalysis，PCA）和線性判別分析（LinearDiscriminantAnalysis，LDA）兩種方式。兩者相同之處為均假設(shè)數(shù)據(jù)服從高斯分布，都使用了矩陣分解的思想。兩者不同之處為PCA是無監(jiān)督的算法，對降低后的維度無限制，其目標(biāo)為投影方差最大；LDA是有監(jiān)督的算法，