數據及數據預處理

1、數據挖掘與商務智能Data Mining & Business Intelligence第二章第二章 數據及數據預處理數據及數據預處理西安電子科技大學軟件學院主講人：黃健斌內容提綱2.1數據類型2.2數據質量2.3數據預處理2.4數據相似性和相異性度量2.5數據統(tǒng)計匯總2.6數據可視化n記錄數據關系記錄數據矩陣，例如，數值矩陣，交叉文檔數據：文本文件：詞頻向量交易數據n圖形和網絡萬維網社會或信息網絡分子結構有序時間數據：時間序列順序數據：交易序列基因序列數據n視頻數據的圖像序列空間，圖像和多媒體：空間數據：地圖TID Items 1 Bread, Coke, Milk 2 Beer, Brea

2、d 3 Beer, Coke, Diaper, Milk 4 Beer, Bread, Diaper, Milk 5 Coke, Diaper, Milk 2.1數據類型數據對象n數據集由數據對象組成n一個數據對象代表一個實體n例子銷售數據庫：客戶，商店物品，銷售額醫(yī)療數據庫：患者，治療信息大學數據庫：學生，教授，課程信息n稱為樣品，示例，實例，數據點，對象，元組（tuple）。n數據對象所描述的屬性。數據庫中的行 - 數據對象；列 - “屬性”。屬性n屬性（或尺寸，特征，變量）：一個數據字段，代表一個數據對象的特征或功能。例如，客戶_ID，姓名，地址n類型：標稱二進制數字：定量規(guī)模區(qū)間縮放比

3、率屬性類型n標稱：類別，狀態(tài)，或“名字的東西”Hair_color=黑色，棕色，金色，紅色，紅褐色，灰色，白色婚姻狀況，職業(yè)，身份證號碼，郵政編碼n二進制只有2個狀態(tài)（0和1）的屬性對稱二進制兩種結果重要n例如，性別不對稱的二進制結果同樣重要。n例如，醫(yī)療測試（正面與負面）公約：將1至最重要的成果（例如，HIV陽性）n序數詞價值觀有一個有意義的順序（排名），但不知道連續(xù)值之間的大小。大小=小，中，大，等級，軍隊排名2.2數據質量n被廣泛接受的數據質量測量標準準確性完整性一致性合時性可信度解釋性2.3數據預處理n數據預處理：概述數據預處理主要任務n數據清洗n數據集成n數據縮減n數據轉換和數據離散

4、化n總結2.3數據預處理主要任務n數據清理填寫缺失值，平滑噪聲數據，識別或刪除離群，并解決不一致問題n數據集成整合多個數據庫，多維數據集或文件n數據縮減降維Numerosity reduction數據壓縮n數據轉換和數據離散化正?；筛拍顚哟谓Y構數據清洗n在現(xiàn)實世界中的數據是“臟”的：不完整的：缺少屬性值，缺乏某些屬性值，或只包含總數據n例如，職業(yè)=“ ”（丟失的數據）n含嘈雜的噪音，錯誤或離群例如，工資=“-10”（錯誤）n不一致的代碼或不符的名稱年齡=“42”生日=“03/07/1997”曾經評級“1,2,3”，現(xiàn)在評級“A，B，C”重復的記錄之間的差異不完整（缺少）數據n數據并不總是可

5、用的例如，許多元組沒有屬性，如客戶收入、銷售數據的記錄值n丟失的數據，可能是由于設備故障與其他記錄的數據不一致，從而刪除因誤會而未讀入在讀入的時候，某些數據可能不會被認為是重要的不是歷史或更改的數據注冊n丟失的數據可能需要被推斷如何處理丟失數據？n忽略元組：通常是類標簽丟失時（這樣做分類），每個屬性的缺失值有很大的差別n手動填寫遺漏值n自動填寫全局常量屬性含義屬性意味著所有樣本屬于同一類最有可能的值：基于諸如貝葉斯公式或決策樹推理噪聲數據n噪聲：一個測量變量中的隨機錯誤或方差n原因收集工具故障數據錄入問題數據傳輸問題技術限制命名約定不一致n其他數據問題需要數據清理如重復記錄數據不完整不一致的數

6、據如何處理噪聲數據？n回歸數據擬合n聚類檢測和刪除離群n結合計算機和人工檢查檢測可疑的數據（例如人工處理可能的異常值）數據清洗n數據的誤差檢測使用元數據（例如，領域，范圍，依賴，分銷）檢查是否溢出檢查唯一性規(guī)則，連續(xù)統(tǒng)治和空的規(guī)則使用商業(yè)工具n數據清理：使用領域知識（例如，郵政編碼，拼寫檢查），檢測錯誤并改正n數據審計：通過分析數據檢測違規(guī)者（例如，關聯(lián)和聚類規(guī)則和關系，尋找離群）n數據遷移和整合數據遷移工具：允許指定的轉換ETL（提取/轉換/加載）工具：通過圖形用戶界面允許用戶指定轉換n兩個過程的集成迭代和交互數據集成n數據集成將來自多個數據源的數據組合成一個連貫的數據源n模式集成：例如，A

7、.cust-id B.cust-#整合來自不同來源的元數據n實體識別問題：識別來自多個數據源的真實世界的實體，例如，Bill Clinton = William Clintonn數據沖突檢測和解決對于同一個真實世界的實體，來自不同源的屬性值可能的原因：不同的表述，不同的尺度，例如，公制與英制單位數據集成中的冗余信息的處理n整合多個數據庫經常發(fā)生數據冗余Object identification：相同的屬性或對象可能有不同的名字在不同的數據庫中Derivable data：一個屬性可能是“派生”的另一個表中的屬性，例如，年收入n通過相關性分析和協(xié)方差分析可以檢測到冗余的屬性n仔細集成來自多個數據

8、源，可能有助于減少/避免冗余和不一致的地方，并提高讀取速度和質量相關分析n2 (chi-square) testn2值越大，越有可能變量是相關的nThe cells that contribute the most to the 2 value are those whose actual count is very different from the expected countn相關性并不意味著因果關系# of hospitals and # of car-theft in a city 是相關的兩者都因果聯(lián)系的第三個變量為人口ExpectedExpectedObserved22)(2

9、(chi-square) test舉例舉例n2（卡方）計算（括號中的數字是預計計數基于兩個類別中的數據分布計算）n這表明，組中的like_science_fiction和play_chess相關93.507840)8401000(360)360200(210)21050(90)90250(22222相關分析數據（數字數據）n相關系數（也稱為皮爾遜積矩系數）n其中n是元組的數目，而p和q是各自的具體值， p和q是各自的標準偏差，n如果R（p，q） 0，p和q是正相關的（p的值增加為q的），較高的相關性。nR（p，q）=0：獨立； R（p，q） 0，則p和q都傾向于是大于它們的預期值。n負的協(xié)方差

10、：如果在COV（p，q） 0。數據縮減策略n數據還原：還原面積更小、體積減少的數據集，但尚未產生相同（或幾乎相同）的分析結果n為什么數據縮減？ - 由于數據倉庫可以存儲TB的數據，因此在一個完整的數據集上運行時，復雜的數據分析可能需要一個很長的時間n數據縮減戰(zhàn)略降維，例如，刪除不重要的屬性n小波變換n主成分分析（PCA）n特征選擇，特征創(chuàng)建nNumerosity reduction回歸和對數線性模型直方圖，聚類，取樣數據立方體聚集n數據壓縮降維n原因原因隨著維數的增加，數據變得越來越稀疏對孤立點分析使得密度和距離變得意義不大子空間的可能的組合將成倍增長n降維作用避免維數災難幫助消除無關緊要的屬

11、性，并降低噪音減少數據挖掘所需的時間和空間更容易的可視化n降維技術小波變換主成分分析監(jiān)督和非線性技術（例如，特征選擇）將數據映射到一個新的空間n傅里葉變換n小波變換Two Sine WavesTwo Sine Waves + NoiseFrequency小波變換是什么？n分解成不同的頻率子帶的信號適用于n維信號n轉化的數據是在不同級別的分辨率中保存n用于圖像壓縮小波變換n離散小波變換（DWT）的線性信號處理n壓縮近似：只有一小部分的小波系數最強n離散傅里葉變換（DFT）類似，但在空間中有更好的壓縮效果n方法：長度L，必須是2的整數次冪（0填充，必要時）每個變換具有2個功能：平滑，差異適用于雙數

12、據，在兩個集得到的長度為L/2的數據施加兩個遞歸函數，直到達到所需要的長度小波變換n小波：空間高效分解的數學工具n2，2，0，2，3，5，4，4可轉化為S = S =23/4，-11/ 4，1/2，0，0，-1，0n壓縮：許多小細節(jié)系數可以替換為0的，只有顯示的系數被保留為什么小波變換？n使用hat-shape濾波器強調區(qū)域點聚集的地方在邊界禁止較弱的信息n有效去除離群值對噪聲不敏感n多分辨率在不同尺度檢測任意形狀的集群n高效復雜度為O（N）n只適用于低維數據主成分分析（PCA）n原始數據投影到一個更小的空間，從而查找投影來捕獲最大的變化量數據的，從而維數降低。n發(fā)現(xiàn)協(xié)方差矩陣的特征向量，用這

13、些特征向量定義新的空間x2x1e主成分分析（步驟）n從n維向量中的N個數據中，求kN個正交向量（主成分）能用來表示數據歸一輸入數據：每個屬性落在相同的范圍內（單元）計算K：正交向量，即，主成分每個輸入的數據（矢量）是k個主分量矢量的線性組合通過排序減少“意義”或強度的組成部分由于這些組件的排序方式，消除了弱的元件，即具有低方差（即，使用最強的主成分，也能夠重建原始數據的一個很好的近似，可以減少數據的大?。傩宰蛹x擇n通過屬性子集選擇以減少數據的維n多余的屬性復制所有的信息中包含一個或多個其他屬性例如，購買一個產品的價格和支付額兩個屬性相同，是多余的屬性n不相關的屬性不包含任何信息的屬性例如，

14、學生的ID往往在預測學生的GPA是不相關的啟發(fā)式搜索屬性選擇nd的屬性有可能是2d屬性組合n典型的啟發(fā)式屬性選擇方法：Best single attribute屬性獨立性假設：選擇進行檢驗分步進行的功能選擇：分步進行屬性消除：n反復淘汰不需要的屬性n最佳組合的屬性選擇和淘汰n優(yōu)化分支和綁定：使用屬性消除和回溯創(chuàng)建屬性（特征生成）n創(chuàng)建新的屬性（特征），可以更有效地比原來的數據捕捉重要的信息三個一般方法屬性提取n domain-specific將數據映射到新的空間（見：數據縮減）n例如，傅立葉變換，小波變換，歧管的方法（未覆蓋）Attribute construction n數據離散化Numer

15、osity Reductionn通過選擇更小的數據來替代從而減少數據量n參數方法（例如，回歸）假設數據適合一些模型，估計模型參數，只存儲參數，并丟棄數據（可能的異常值除外）例如：對數線性模型在一個點在MD的空間作為產品上獲得價值，適當的邊際子空間n非參數方法不要假設模型主要方法：直方圖，聚類，取樣，.參數數據還原：回歸和對數線性模型n線性回歸：一次函數通常使用最小二乘法來擬合線n多元回歸：允許多維特征向量的線性函數建模為變量Yn對數線性模型：近似離散的多維概率分布回歸分析n回歸分析：組成的一個因變量（也稱為響應變量）和一個或多個獨立變量（亦稱解釋變量或預測變量的值的數值數據建模和分析技術的統(tǒng)稱

16、）n參數估計，以便使數據“最適合”n最常用的是通過使用最小二乘法來進行評估，但也被用于其他標準n用于時間序列數據預測等的預測，推斷，假設檢驗，因果關系的建模xy = x + 1X1Y1Y1回歸分析和對數線性模型n線性回歸：Y= W X+ B兩個回歸系數，w和b，指定行，并且要使用手工的數據估計使用最小二乘準則已知的值，Y1，Y2，.，X1，X2，.n多元回歸：Y = b0 + b1 X1 + b2 X2.。許多非線性函數，可轉化為上述n線性模型：多路表的聯(lián)合概率近似為低階表概率：p(a, b, c, d) = ab acad bcd直方圖分析n將數據劃分為buckets，然后存儲buckets

17、的均值n分區(qū)規(guī)則：等寬：等于buckets范圍相等的頻率（或等于深度0510152025303540100002000030000400005000060000700008000090000100000聚類n分區(qū)數據基于相似性進行存儲，只能設置成集群（例如，質心和直徑）n如果數據是集群 則非常有效，否則效果較差n可以在多維索引樹結構有層次聚類和存儲n聚類定義和聚類算法有很多選擇n聚類分析在后續(xù)將進行深入研究采樣n采樣：獲得一個小樣本代表整個數據Nn主要原則：選擇有代表性的數據子集簡單隨機抽樣開發(fā)的自適應采樣方法，例如分層抽樣n注：采樣不得減少數據庫I / O（第一次）采樣類型n簡單隨機抽樣相等

18、的概率選擇n不放回抽樣一旦對象被選中，則將其刪除n更換采樣選擇對象不會被刪除n分層抽樣對每個分區(qū)進行數據集的分區(qū)抽樣（也就是說，大約相同比例的數據進行抽取樣本）用于偏斜數據取樣：用或不用更換SRSWOR(simple random sample without replacement)SRSWRRaw Data采樣：群集或分層抽樣Raw Data Cluster/Stratified Sample數據壓縮n字符串壓縮有豐富的理論和壓縮算法通常無損n音頻/視頻壓縮通常有損壓縮，需要逐步細化n時間序列壓縮典型的短期和隨時間變化緩慢數據壓縮Original DataCompressed Datalo

19、sslessOriginal DataApproximated lossy數據轉換n函數映射指給定的屬性值更換了一個新的表示方法，每個舊值與新的值可以被識別n方法平滑：從數據中去除噪聲屬性/重新構造n從給定的構造的新的屬性聚合：匯總數據計算規(guī)范化： 指定范圍內縮放屬于較小的n最小 - 最大規(guī)范化nZ-得分正?；痭小數定標規(guī)范化離散化：概念層次Discretization 離散n三種類型的屬性從一個無序的設置，例如，顏色，專業(yè)的值從一個有序的集合，例如，軍事或學術排名次序值數字，真實的數字，例如，整數或實數n離散化：除以間隔連續(xù)屬性的范圍區(qū)間的標簽可以被用來代替實際的數據值減少數據大小離散監(jiān)督與

20、無監(jiān)督分割（自頂向下）與合并（自下而上）離散化，可以進行遞歸屬性準備作進一步的分析，例如，分類數據離散化方法n典型的方法：所有的方法可應用于遞歸Binning n自頂向下的分割直方圖分析n自頂向下的分割n其他方法聚類分析（無監(jiān)督，自上而下裂開或自底向上的合并）決策樹分析（監(jiān)督，自上而下的分割）相關性分析（無監(jiān)督，自下而上合并）離散不使用類標簽（分級與集群）Equal frequency (binning)K-means clustering leads to better results離散使用類標簽n決策樹方法（基于信息熵）3 categories for both x and y5 cat

21、egories for both x and y概念層次生成n概念層次組織層次概念（即屬性值）通常指數據倉庫中的每個維度n概念層次通過滾動來查看數據在數據倉庫中多粒度n形成概念層次：遞歸減少數據收集和更換低層次的概念（如年齡的數值）到更高層次的概念（如青年，成年，或高級）n由領域專家和/或數據倉庫設計概念分層可以顯式指定n概念層次可以自動形成數字和標稱數據。對于數字數據，使用所示的離散化方法?？偨Yn數據質量的準確性，完整性，一致性，時效性，可信性，解釋性n數據清洗：如缺少/高噪音值，離群值n來自多個來源的數據集成實體識別問題刪除冗余檢測不一致n數據縮減降維Numerosity reductio

22、n數據壓縮n數據轉換和數據離散化正常化生成概念層次2.4數據相似性和相異性度量n相似數值衡量兩個數據對象值越高對象時更相似往往屬于在區(qū)間0,1n相異（例如，距離）兩個不同的數據對象的數值衡量值越低對象時更相異最低相異往往是0上限各不相同n接近指的相似性或不相似數據矩陣和相異矩陣n數據矩陣n個數據兩種模式n相異矩陣n個數據點三角矩陣單模 npx.nfx.n1x.ipx.ifx.i1x.1px.1fx.11x 0.)2 ,()1 ,(:)2 , 3().ndnd0dd(3,10d(2,1)0舉例：數據矩陣和相異矩陣Dissimilarity Matrix (with Euclidean Dista

23、nce)Data Matrix總結n數據屬性類型：名義，二進制，順序，間隔縮放比例，縮放n許多類型的數據集，例如，數值，文字，圖形，網頁，圖像等。n洞察數據通過以下幾種方式：基本的統(tǒng)計數據說明：集中趨勢，分散，圖形顯示數據可視化：map data onto graphical primitives測量數據相似n上述步驟是數據預處理的開始。n許多方法已經開發(fā)，但現(xiàn)在其仍然是一個活躍的研究領域2.5數據統(tǒng)計匯總n動機為了更好地理解數據：集中趨勢，變異和傳播n數據的分散特性最大值，最小值，中位數，位數，離群值，方差等。n尺寸數值對應排序的時間間隔數據分散性：多粒度的精確分析箱形圖或位數排序的時間間隔

24、分析測量集中趨勢n平均（代數措施）（樣品與人口）：注：n為樣本大小和N是人口規(guī)模。加權算術平均值：n修剪意味著：去掉極端值中位數：中間值，如果值，奇數或平均中間的兩個值，否則估計插補（分組數據）：n模式最頻繁出現(xiàn)的值，該值在數據單峰，雙峰，三峰經驗公式：niixnx11niiniiiwxwx11Nx對稱VS偏斜數據，n中位數，均值和對稱模式，正面和負面的偏斜數據測量數據的分散性n四分位數，離群和盒狀圖四分位數（第25百分位）：Q1，Q3（第75百分位）四分位數間距：IQR= Q3 - Q1n箱形圖：盒子的兩端是四分位數明顯;單獨添加胡須，情節(jié)離群n離群：通常情況下，一個值高于/低于1.5IQR

25、方差和標準差（樣本：，人口：）方差：（代數，可擴展的計算）n標準差s（或）是方差的平方根2（或2）niniiiniixnxnxxns1122122)(111)(11niiniixNxN1221221)(1箱線圖分析n五號碼分布摘要最小，Q1，中位數，Q3，最大n箱形圖數據表示與一個框框的端部上面的第一個和第三個四分位數，即，框的高度是四分位數間距方框內的中位數的帶標記的線兩線最小和最大擴展到外箱可視化數據分散：3-D箱圖正態(tài)分布曲線的屬性n正常分布曲線從-+：含有約68的測量（：均值，：標準偏差）從-2+2：包含約95的從-3，+3：包含約99.7圖形顯示的基本統(tǒng)計描述n箱形圖：圖形顯示n直方

26、圖：x軸值，y軸頻率n位數：每個值xn位數 - 分位數（QQ）：一個單變量分布的分位數對相應位數的另一個圖表n散點圖：每個值對是一對坐標，其繪制在平面上相比盒形圖直方圖往往告訴更多n兩個在右側的直方圖顯示其可以具有相同的盒形圖表示效果相同的values：最小，Q1，Q3，中位數，最大n但是他們有相當不同的數據分布位數圖n顯示的所有數據（允許用戶評估整體行為和不尋常的事件）n位數信息對于數據x進行遞增的順序排序，F(xiàn)I表示，約一定比例的數據網絡連接均低于或等于值xi散點圖n二元數據顯示點的分布，離群點等n被視為一對坐標值的每對點在平面上繪制成正面和負面的相關數據n左半片段是正相關的n右半邊是負相關

27、不相關的數據2.6數據可視化n為什么數據可視化？將圖元數據映射到信息空間提供大型數據集的定性瀏覽搜索數據之間的關系如模式，趨勢，結構，規(guī)則，幫助進一步定量分析， 通過合適的參數找到有趣的地區(qū)提供可視化的陳述n典型的可視化方法：幾何技術基于圖標的技術分層技術幾何技術n幾何變換和預測的數據可視化方法直接的數據可視化散點圖矩陣Landscapes投影尋蹤技術n尋找有意義的多維數據預測 Hyperslice平行坐標直接數據可視化n基于Vorticity的色帶散點圖矩陣Landscapesn可視化的數據透視Landscapesn這些數據需要轉化成一個（可能是人工的）二維空間表示，其中保存的數據的特征平行

28、坐標n將一個軸劃分為N等距離，每一個距離對應一個屬性n軸縮放在最小，最大之間：對應屬性范圍n每一個數據項目（折線）對應的各軸相交的點表示相對應的屬性值Attr. 1Attr. 2Attr. kAttr. 3 平行坐標數據集基于圖標的技術n將數據值作為可視化功能的圖標n典型的可視化方法：Chernoff FacesStick Figuresn一般技術形狀編碼：使用形狀來表示一定的信息編碼彩色圖標：使用彩色圖標的信息編碼TileBars：使用小圖標代表文件檢索的特征向量Chernoff Facesn一種來顯示二維表面上的變量的方法，例如，讓x是眉毛傾斜，y是眼睛的大小，z是鼻子長度等n該組圖顯示了

29、人臉部的10個特征 - 眼睛的大小，眼間距，偏心眼，瞳孔大小，眉毛傾斜，鼻子的大小，嘴的形狀，嘴巴大小，張口等n參考文獻：Gonick, L. and Smith, W. The Cartoon Guide to Statistics. New York: Harper Perennial, p. 212, 1993nWeisstein, Eric W. Chernoff Face. From MathWorld-A Wolfram Web Resource. Stick Figuresn普查數據顯示，年齡，收入，性別，教育等等。分層技術n使用子空間分層分區(qū)的數據可視化。n方法Dimensio

30、nal StackingWorlds-within-WorldsTree-Map Cone TreesInfoCubeDimensional Stackingn在2-D的子空間中分配的n維屬性空間，堆疊相互轉化n劃分成類的屬性值范圍時，重要屬性使用在the outer levels上。n低基數與序屬性數據n超過九個維度難以顯示n重要的地圖尺寸適當attribute 1attribute 2attribute 3attribute 4Worlds-within-Worldsn指定兩個最重要的參數n修復所有其他參數（1或2或3維世界選擇這些軸）n軟件使用此范例，nNvision：通過data gl

31、ove and stereo 立體顯示，包括旋轉，縮放（內環(huán)）和翻譯（內/外動力相互作用）nAuto Visual:通過查詢靜態(tài)互動Tree-Mapn屏幕填充方法具體指根據屬性值采用了分層方法將屏幕分割成區(qū)域nx和y維度的畫面交替地進行分區(qū)的屬性值（類）MSR NetScan的圖片文件系統(tǒng)的Tree-MapThree-D Cone TreesnThree-D Cone Trees的可視化技術的工作原理首先建立一個二維的圓，安排節(jié)點在根節(jié)點上的同心圓，然后逐漸形成樹預計到2D時無法避免重疊nG. Robertson, J. Mackinlay, S. Card. “Cone Trees: Animated 3D Visualizations of Hierarchical Information”, ACM SIGCHI91InfoCuben3-D可視化技術，n分層信息顯示嵌套的半透明立方體n最外層的多維數據集對應數據，里面的smmaller立方體表示的子節(jié)點或底層數據等參考文獻nD. P. Ballou and G. K. Tayi. Enhancing data quality in data warehouse envi