數(shù)據(jù)分析如何處理數(shù)據(jù)缺失問題

數(shù)據(jù)分析如何處理數(shù)據(jù)缺失問題造成數(shù)據(jù)缺失的原因在各種實用的數(shù)據(jù)庫中，屬性值缺失的情況時常發(fā)全甚至是不可避免的。因此,在大多數(shù)情況下，信息系統(tǒng)是不完備的,或者者說存在某種程度的不完備。造成數(shù)據(jù)缺失的原因是多方面的,主要可能有以下幾種：1）有些信息暫時無法獲取。例如在醫(yī)療數(shù)據(jù)庫中,并非所有病人的所有臨床檢驗結(jié)果都能在給定的時間內(nèi)得到,就導(dǎo)致一部分屬性值空缺出來。又如在申請表數(shù)據(jù)中,對某些問題的反映依賴于對其他問題的回答。2）有些信息是被遺漏的?？赡苁且驗檩斎霑r認(rèn)為不重要、忘記填寫了或者對數(shù)據(jù)理解錯誤而遺漏,也可能是由于數(shù)據(jù)采集設(shè)備的故障、存儲介質(zhì)的故障、傳輸媒體的故障、一些人為因素等原于是丟失了。3）有些對象的某個或者某些屬性是不可用的。也就是說,對于這個對象來說，該屬性值是不存在的,如一個未婚者的配偶姓名、一個兒童的固定收入狀況等。4）有些信息（被認(rèn)為）是不重要的。如一個屬性的取值與給定語境是無關(guān)的,或者訓(xùn)練數(shù)據(jù)庫的設(shè)計者并不在乎某個屬性的取值（稱為dont-carevalue）o5)獲取這些信息的代價太大。6)系統(tǒng)實時性能要求較高,即要求得到這些信息前迅速做出判斷或者決策。處理數(shù)據(jù)缺失的機制在對缺失數(shù)據(jù)進行處理前，了解數(shù)據(jù)缺失的機制和形式是十分必要的。將數(shù)據(jù)集中不含缺失值的變量(屬性)稱為徹底變量，數(shù)據(jù)集中含有缺失值的變量稱為不徹底變量,Little和Rubin定義了以下三種不同的數(shù)據(jù)缺失機制：1)徹底隨機缺失(MissingCompletelyatRandom,MCAR)□數(shù)據(jù)的缺失與不完全變量以及徹底變量都是無關(guān)的。2)隨機缺失(MissingatRandom,MAR)。數(shù)據(jù)的缺失僅僅依賴于徹底變量。3)非隨機、不可忽略缺失(NotMissingatRandom,NMAR,ornonignorable)o不徹底變量中數(shù)據(jù)的缺失依賴于不徹底變量本身,這種缺失是不可忽略的?？罩嫡Z義對于某個對象的屬性值未知的情況,我們稱它在該屬性的取值為空值(nullvalue)o空值的來源有許多種，因此現(xiàn)實世界中的空值語義也比較復(fù)雜?？偟恼f來,可以把空值分成以下三類：1)不存在型空值。即無法填入的值,或者稱對象在該屬性上無法取值,如一個未婚者的配偶姓名等。2）存在型空值。即對象在該屬性上取值是存在的，但暫時無法知道。一旦對象在該屬性上的實際值被確知以后,人們就可以用相應(yīng)的實際值來取代原來的空值，使信息趨于徹底。存在型空值是不確定性的一種表征，該類空值的實際值在當(dāng)前是未知的。但它有確定性的一面,諸如它的實際值確實存在，總是落在一個人們可以確定的區(qū)間內(nèi)。普通情況下，空值是指存在型空值。3）占位型空值。即無法確定是不存在型空值還是存在型空值，這要隨著時間的推移才干夠清晰,是最不確定的一類。這種空值除填充空位外,并不代表任何其他信息?？罩堤幚淼闹匾院蛷?fù)雜性數(shù)據(jù)缺失在許多研究領(lǐng)域都是一個復(fù)雜的問題。對數(shù)據(jù)挖掘來說,空值的存在,造成為了以下影響:首先，系統(tǒng)丟失了大量的實用信息;第二,系統(tǒng)中所表現(xiàn)出的不確定性更加顯著,系統(tǒng)中蘊涵的確定性成分更難把握;第三,包含空值的數(shù)據(jù)會使挖掘過程陷入混亂,導(dǎo)致不可靠的輸出。數(shù)據(jù)挖掘算法本身更致力于避免數(shù)據(jù)過分適合所建的模型，這一特性使得它難以通過自身的算法去很好地處理不完整數(shù)據(jù)。因止匕，空缺的數(shù)據(jù)需要通過專門的方法進行推導(dǎo)、填充等，以減少數(shù)據(jù)挖掘算法與實際應(yīng)用之間的差距?？罩堤幚矸椒ǖ姆治霰容^處理不完備數(shù)據(jù)集的方法主要有以下三大類:（一）刪除元組也就是將存在遺漏信息屬性值的對象（元組，記錄）刪除,從而得到一個完備的信息表。這種方法簡單易行,在對象有多個屬性缺失值、被刪除的含缺失值的對象與信息表中的數(shù)據(jù)量相比非常小的情況下是非常有效的,類標(biāo)號（假設(shè)是分類任務(wù)）缺少時通常使用。然而，這種方法卻有很大的局限性。它是以減少歷史數(shù)據(jù)來換取信息的完備,會造成資源的大量浪費,丟棄了大量隱藏在這些對象中的信息。在信息表中本來包含的對象很少的情況下,刪除少量對象就足以嚴(yán)重影響到信息表信息的客觀性和結(jié)果的正確性;當(dāng)每一個屬性空值的百分比變化很大時，它的性能非常差。因此,當(dāng)遺漏數(shù)據(jù)所占比例較大，特殊當(dāng)遺漏數(shù)據(jù)非隨機分布時，這種方法可能導(dǎo)致數(shù)據(jù)發(fā)生偏離,從而引出錯誤的結(jié)論。（二）數(shù)據(jù)補齊這種方法是用一定的值去填充空值,從而使信息表完備化。通?；诮y(tǒng)計學(xué)原理,根據(jù)決策表中其余對象取值的分布情況來對一個空值進行填充,譬如用其余屬性的平均值來進行補充等。數(shù)據(jù)挖掘中常用的有以下幾種補齊方法：(1)人工填寫(fillingmanually)由于最了解數(shù)據(jù)的還是用戶自己，因此這個方法產(chǎn)生數(shù)據(jù)偏離最小,可能是填充效果最好的一種。然而普通來說，該方法很費時，當(dāng)數(shù)據(jù)規(guī)模很大、空值不少的時候,該方法是不可行的。(2)特殊值填充(TreatingMissingAttributevaluesasSpecialvalues)將空值作為一種特殊的屬性值來處理,它不同于其他的任何屬性值。如所有的空值都用“unknown”填充。這樣將形成另一個有趣的概念,可能導(dǎo)致嚴(yán)重的數(shù)據(jù)偏離,普通不推薦使用。(3)平均值填充(Mean/ModeCompleter)將信息表中的屬性分為數(shù)值屬性和非數(shù)值屬性來分別進行處理。如果空值是數(shù)值型的,就根據(jù)該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值;如果空值是非數(shù)值型的，就根據(jù)統(tǒng)計學(xué)中的眾數(shù)原理,用該屬性在其他所有對象的取值次數(shù)最多的值(即浮現(xiàn)頻率最高的值)來補齊該缺失的屬性值。此外有一種與其相似的方法叫條件平均值填充法(ConditionalMeanCompleter)0在該方法中,缺失屬性值的補齊同樣是靠該屬性在其他對象中的取值求平均得到，但不同的是用于求平均的值并非從信息表所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。這兩種數(shù)據(jù)的補齊方法,其基本的出發(fā)點都是一樣的,以最大概率可能的取值來補充缺失的屬性值,只是在具體方法上有一點不同。與其他方法相比，它是用現(xiàn)存數(shù)據(jù)的多數(shù)信息來推測缺失值。(4)熱卡填充(Hotdeckimputation,或者就近補齊)對于一個包含空值的對象,熱卡填充法在完整數(shù)據(jù)中找到一個與它最相似的對象，然后用這個相似對象的值來進行填充。不同的問題可能會選用不同的標(biāo)準(zhǔn)來對相似進行判定。該方法概念上很簡單,且利用了數(shù)據(jù)間的關(guān)系來進行空值估計。這個方法的缺點在于難以定義相似標(biāo)準(zhǔn),主觀因素較多。(5)K最近距離鄰法(K-meansclustering)先根據(jù)歐式距離或者相關(guān)分析來確定距離具有缺失數(shù)據(jù)樣本最近的K個樣本,將這K個值加權(quán)平均來估計該樣本的缺失數(shù)據(jù)。(6)使用所有可能的值填充(AssigningAllPossiblevaluesoftheAttribute)這種方法是用空缺屬性值的所有可能的屬性取值來填充,能夠得到較好的補齊效果。但是，當(dāng)數(shù)據(jù)量很大或者遺漏的屬性值較多時,其計算的代價很大,可能的測試方案不少。另有一種方法,填補遺漏屬性值的原則是一樣的,不同的只是從決策相同的對象中嘗試所有的屬性值的可能情況，而不是根據(jù)信息表中所有對象進行嘗試，這樣能夠在一定程度上減小原方法的代價。(7)組合完整化方法(CombinatorialCompleter)這種方法是用空缺屬性值的所有可能的屬性取值來試,并從最終屬性的約簡結(jié)果中選擇最好的一個作為填補的屬性值。這是以約簡為目的的數(shù)據(jù)補齊方法,能夠得到好的約簡結(jié)果;但是,當(dāng)數(shù)據(jù)量很大或者者遺漏的屬性值較多時,其計算的代價很大。另一種稱為條件組合完整化方法(ConditionalCombinatorialComplete),填補遺漏屬性值的原則是一樣的,不同的只是從決策相同的對象中嘗試所有的屬性值的可能情況,而不是根據(jù)信息表中所有對象進行嘗試。條件組合完整化方法能夠在一定程度上減小組合完整化方法的代價。在信息表包含不完整數(shù)據(jù)較多的情況下,可能的測試方案將巨增。(8)回歸(Regression)基于完整的數(shù)據(jù)集,建立回歸方程(模型)。對于包含空值的對象,將已知屬性值代入方程來估計未知屬性值，以此估計值來進行填充。當(dāng)變量不是線性相關(guān)或者預(yù)測變量高度相關(guān)時會導(dǎo)致有偏差的估計。(9)期望值最大化方法(Expectationmaximization,EM)EM算法是一種在不徹底數(shù)據(jù)情況下計算極大似然估計或者后驗分布的迭代算法［43］。在每一迭代循環(huán)過程中交替執(zhí)行兩個步驟:E步(Excepctaionstep,期望步)，在給定徹底數(shù)據(jù)和前一次迭代所得到的參數(shù)估計