數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件

數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹6、法律的基礎(chǔ)有兩個，而且只有兩個……公平和實用。——伯克7、有兩種和平的暴力，那就是法律和禮節(jié)。——歌德8、法律就是秩序，有好的法律才有好的秩序。——亞里士多德9、上帝把法律和公平湊合在一起，可是人類卻把它拆開?！椤た茽栴D10、一切法律都是無用的，因為好人用不著它們，而壞人又不會因為它們而變得規(guī)矩起來?！轮円怂箶?shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹6、法律的基礎(chǔ)有兩個，而且只有兩個……公平和實用?！?、有兩種和平的暴力，那就是法律和禮節(jié)?！璧?、法律就是秩序，有好的法律才有好的秩序。——亞里士多德9、上帝把法律和公平湊合在一起，可是人類卻把它拆開?！椤た茽栴D10、一切法律都是無用的，因為好人用不著它們，而壞人又不會因為它們而變得規(guī)矩起來?！轮円怂箤嵪謹?shù)據(jù)清洗和數(shù)據(jù)預(yù)處理熵值歸一化方法抽樣方法實溪太字教學目標■認識數(shù)據(jù)挖掘前數(shù)據(jù)進行適當處理的必要性■掌握常用數(shù)據(jù)預(yù)處理的方法數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹6、法律的基礎(chǔ)有兩個，而1實溪太字數(shù)據(jù)清洗和數(shù)據(jù)預(yù)處理熵值歸一化方法抽樣方法實溪太字2實溪太字教學目標■認識數(shù)據(jù)挖掘前數(shù)據(jù)進行適當處理的必要性■掌握常用數(shù)據(jù)預(yù)處理的方法實溪太字3實溪太字教學要求知識要點能力要求相關(guān)知識點(1)了解原始數(shù)據(jù)存在的主要(1)數(shù)據(jù)的一致性問題數(shù)據(jù)預(yù)處理問題(2數(shù)據(jù)的噪聲問題的原因(2)明白數(shù)據(jù)預(yù)處理的作用和(3原始數(shù)據(jù)的不完整和高維作任務(wù)度問題(1)掌握數(shù)據(jù)清洗的主要任務(wù)與常用方法2)掌握數(shù)據(jù)集成的主要內(nèi)容()數(shù)據(jù)清洗數(shù)據(jù)預(yù)處理和常用方法2)數(shù)據(jù)集成的方法(3)掌握數(shù)據(jù)變換的主要內(nèi)容(3)數(shù)據(jù)變換和常用方法(4)數(shù)據(jù)歸約(4)掌握數(shù)據(jù)歸約的主要內(nèi)容和常用方法實溪太字4實溪太字為什么要預(yù)處理數(shù)據(jù)?現(xiàn)實世界的數(shù)據(jù)是“骯臟的”不完整的>含噪聲的>不一致的■沒有高質(zhì)量的數(shù)據(jù),就沒有高質(zhì)量的挖掘結(jié)果≯高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫需要對高質(zhì)量的數(shù)據(jù)進行一致地集成實溪太字5實溪太字原始數(shù)據(jù)中存在的問題1.不一致——數(shù)據(jù)內(nèi)涵出現(xiàn)不一致情況2.重復(fù)3.不完整——感興趣的屬性沒有值4.含噪聲——數(shù)據(jù)中存在著錯誤、或異常(偏離期望值)的數(shù)據(jù)5.高維度實溪太字6實溪太字數(shù)據(jù)預(yù)處理的方法1.數(shù)據(jù)清洗去掉噪聲和無關(guān)藪據(jù)2數(shù)據(jù)集成將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個一致的數(shù)據(jù)存儲中3.數(shù)據(jù)變換把原始數(shù)據(jù)轉(zhuǎn)換成為適合數(shù)據(jù)挖掘的形式4.數(shù)據(jù)歸約≯主要方法包括:數(shù)據(jù)立方體聚集,維歸約,數(shù)據(jù)壓縮,數(shù)值歸約,離散化和概念分層等實溪太字7實溪太字數(shù)據(jù)清洗數(shù)據(jù)選取參考原則:1.盡可能賦予屬性名和屬性值明確的含義2.統(tǒng)一多數(shù)據(jù)源的屬性值編碼>3.去除惟一屬性4.去除重復(fù)屬性>5.去除可忽略字段>6.合理選擇關(guān)聯(lián)字段進一步處理≯通過填補遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù),以及糾正不一致的藪據(jù),去掉藪據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)實溪太字8實溪太字數(shù)據(jù)清洗——處理空缺值數(shù)據(jù)并不總是完整的在分析一個商場銷售數(shù)據(jù)時,發(fā)現(xiàn)有多個記錄中的屬性值為空,如:顧客的收入屬性對于為空的屬性值引起空缺值的原因設(shè)備異?！叟c其他已有數(shù)據(jù)不一致而被刪除≯因為誤解而沒有被輸入的數(shù)據(jù)≯在輸入時,有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對數(shù)據(jù)的改變沒有進行日志記載實溪太字9實溪太字數(shù)據(jù)清洗—一處理空缺值■空缺值要經(jīng)過推斷而補上>1忽略該記錄2.去掉屬性3.手工填寫空缺值>4.使用默認值5.使用屬性平均值>6.使用同類樣本平均值>7.預(yù)測最可能的值實溪太字10實溪太字數(shù)據(jù)清洗——噪聲數(shù)據(jù)的處理■噪聲:在測量一個變量時可能出現(xiàn)的測量值相對于真實值的偏差或者錯誤實溪太字11數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件12數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件13數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件14數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件15數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件16數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件17數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件18數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件19數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件20數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件21數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件22數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件23數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件24數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件25數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件26數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件27數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件28數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件29數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件30數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件31數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件32數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件33數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件34數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件35數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件36數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件37數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件38數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件39數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件40數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件41數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件42數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件43數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件44數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件45數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件46數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件47數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件48數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件49數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件50數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件51數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件52數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件53數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件54數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件55數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件56數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件57數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件58數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件59數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件60數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件61數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件62數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件63數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件64數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件65數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細介紹課件66謝謝你的閱讀知識就是財富豐富你的人生71、既然我已經(jīng)踏上這條道路，那么，任何東西都不應(yīng)妨礙我沿著這條路走下去?！档?/p>

72、家