數(shù)據(jù)采集與預(yù)處理實(shí)訓(xùn)心得

數(shù)據(jù)采集與預(yù)處理實(shí)訓(xùn)心得拿到一份數(shù)據(jù)，或者在看到國(guó)內(nèi)外某個(gè)學(xué)者的文章有想法而自己手里的數(shù)據(jù)剛好符合這個(gè)想法可以做時(shí)，在整理好數(shù)據(jù)后不要急于建模。一定要對(duì)數(shù)據(jù)做缺失值處理、異常值處理。在數(shù)據(jù)預(yù)處理的基礎(chǔ)上再進(jìn)一步建模，否則可能得到錯(cuò)誤的結(jié)果。心得1：數(shù)據(jù)預(yù)處理怎么做。一是缺失值的處理。我個(gè)人有幾個(gè)看法：數(shù)據(jù)樣本量足夠大，在刪除缺失值樣本的情況下不影響估計(jì)總體情況，可考慮刪除缺失值；二是數(shù)據(jù)樣本量本身不大的情況下，可從以下兩點(diǎn)考慮：1是采用缺失值替換，SPSS中具體操作為“轉(zhuǎn)換”菜單下的“替換缺失值”功能，里面有5種替換的方法。若數(shù)據(jù)樣本量不大，同質(zhì)性比較強(qiáng)，可考慮總體均值替換方法，如數(shù)據(jù)來自不同的總體（如我做農(nóng)戶調(diào)研不同村的數(shù)據(jù)），可考慮以一個(gè)小總體的均值作為替換（如我以一個(gè)村的均值替換缺失值）。2是根據(jù)原始問卷結(jié)合客觀實(shí)際自行推斷估計(jì)一個(gè)缺失值的樣本值，或者以一個(gè)類似家庭的值補(bǔ)充缺失值。心得2：數(shù)據(jù)預(yù)處理第二點(diǎn)異常值的處理。我大概學(xué)了兩門統(tǒng)計(jì)軟件SPSS和Stata，SPSS用的時(shí)間久些，熟悉一下，Stata最近才學(xué)，不是太熟。關(guān)于這點(diǎn)我結(jié)合著來說。關(guān)于異常值的處理可分為兩點(diǎn)，一是怎么判定一個(gè)值是異常值，二是怎么去處理。判定異常值的方法我個(gè)人認(rèn)為常用的有兩點(diǎn)：1是描述性統(tǒng)計(jì)分析，看均值、標(biāo)準(zhǔn)差和最大最小值。一般情況下，若標(biāo)準(zhǔn)差遠(yuǎn)遠(yuǎn)大于均值，可粗略判定數(shù)據(jù)存在異常值。2是通過做指標(biāo)的箱圖判定，箱圖上加“*”的個(gè)案即為異常個(gè)案。發(fā)現(xiàn)了異常值，接下來說怎么處理的問題。大概有三種方法：1是正偏態(tài)分布數(shù)據(jù)取對(duì)數(shù)處理。我做農(nóng)戶微觀實(shí)證研究，很多時(shí)候得到的數(shù)據(jù)（如收入）都有很大的異常值，數(shù)據(jù)呈正偏態(tài)分布，這種我一般是取對(duì)數(shù)處理數(shù)據(jù)。若原始數(shù)據(jù)中還有0，取對(duì)數(shù)ln(0)沒意義，我就取ln(x+1)處理；2是樣本量足夠大刪除異常值樣本；3是從stata里學(xué)到的，對(duì)數(shù)據(jù)做結(jié)尾或者縮尾處理。這里的結(jié)尾處理其實(shí)就是同第二個(gè)方法，在樣本量足夠大的情況下刪除首尾1%-5%的樣本?？s尾指的是人為改變異常值大小。如有一組數(shù)據(jù)，均值為50，存在幾個(gè)異常值，都是500多（我這么說有點(diǎn)夸張，大概是這個(gè)意思），縮尾處理就是將這幾個(gè)500多的數(shù)據(jù)人為改為均值+3標(biāo)準(zhǔn)差左右數(shù)據(jù)大小，如改為100?？偨Y(jié)而言，我