《商務(wù)數(shù)據(jù)分析》課件-缺失數(shù)據(jù)處理

商務(wù)數(shù)據(jù)分析缺失數(shù)據(jù)處理缺失數(shù)據(jù)的定義1目錄CONTENTS缺失數(shù)據(jù)的處理3缺失數(shù)據(jù)的定義01缺失數(shù)據(jù)的定義01缺失數(shù)據(jù)（MissingValue）是指數(shù)據(jù)集中的某些值沒(méi)有被觀測(cè)到或記錄下來(lái)。這些數(shù)據(jù)存在于原始數(shù)據(jù)集中，但是由于各種原因，缺失了某些值，導(dǎo)致數(shù)據(jù)集中有空白或空缺值的地方。信息暫時(shí)無(wú)法獲取。如某種產(chǎn)品的收益等具有滯后效應(yīng)。01數(shù)據(jù)因人為因素沒(méi)有被記錄、遺漏或丟失，這個(gè)是數(shù)據(jù)缺失的主要原因。02數(shù)據(jù)采集設(shè)備的故障、存儲(chǔ)介質(zhì)、傳輸媒體故障而造成數(shù)據(jù)丟失。03獲取這些信息的代價(jià)太大。04有些對(duì)象的某個(gè)或某些屬性是不可用的；如：未婚者的配偶姓名、兒童的固定收入狀況等。05系統(tǒng)實(shí)時(shí)性能要求較高，即要求得到這些信息前迅速做出判斷或決策。06缺失值產(chǎn)生的原因缺失數(shù)據(jù)的處理02(1)刪除0102(2)插補(bǔ)03(3)不處理缺失數(shù)據(jù)的處理樣本清單中,如果單元格為空,則認(rèn)為存在缺失數(shù)據(jù)。缺失數(shù)據(jù)通常用以下兩種方法替換:（1）刪除

刪除含缺失值的樣本（行）刪除含缺失值的特征（列）成對(duì)刪除（在重要變量存在的情況下，成對(duì)刪除只會(huì)刪除相對(duì)不重要的變量行。這樣可以盡可能保證充足的數(shù)據(jù)。該方法的優(yōu)勢(shì)在于它能夠幫助增強(qiáng)分析效果，但是它也有許多不足。它假設(shè)缺失數(shù)據(jù)服從完全隨機(jī)丟失（MCAR）。如果你使用此方法，最終模型的不同部分就會(huì)得到不同數(shù)量的觀測(cè)值，從而使得模型解釋非常困難。）(2)插補(bǔ)平均值填充人工填寫(xiě)0103將初始數(shù)據(jù)集中的屬性分為數(shù)值屬性和非數(shù)值屬性來(lái)分別進(jìn)行處理。如果空值是數(shù)值型的，就用平均值來(lái)填充該缺失的屬性值；如果空值是非數(shù)值型的，就使用眾數(shù)來(lái)填充缺失值當(dāng)你對(duì)自己手頭的數(shù)據(jù)集足夠了解時(shí)，可以選擇自己填寫(xiě)缺失值。然而一般來(lái)說(shuō)，該方法很費(fèi)時(shí)，當(dāng)數(shù)據(jù)規(guī)模很大、空值很多的時(shí)候，該方法是不可行的。一般不推薦。02將空值作為一種特殊的屬性值來(lái)處理，它不同于其他的任何屬性值。如所有的空值都用“unknown”填充。一般作為臨時(shí)填充或中間過(guò)程。有時(shí)可能導(dǎo)致嚴(yán)重的數(shù)據(jù)偏離，一般不推薦。特殊值填充（3）不處理缺失值當(dāng)樣本量足夠大，缺失值的數(shù)量相對(duì)較小時(shí)，缺失值對(duì)整體數(shù)據(jù)的影響微乎其微的時(shí)候，可以選擇不處理缺失值。缺失數(shù)據(jù)的處理首先要發(fā)現(xiàn)缺失值。一般用定位條件來(lái)查找缺失數(shù)據(jù)的單元格。下面演示將“年齡”字段中的空值替換為“20”。1)選中年齡所在的E列,選擇“查找和選擇”→“定位條件”命令,如圖4-6所示。圖4-6選擇“定位條件”命令

2)在“定位條件”對(duì)話框中,選中空值單選按鈕,如圖4-7所示。3)單擊“確定”按鈕,E列所有的空白單元格呈選中狀態(tài),如圖4-8所示。圖

4-7

選中

“

空值”

單選按鈕圖

4-8

選中所有空值缺失數(shù)據(jù)的處理(4) 輸入替代值“20”,按<Ctrl