數(shù)據(jù)采集與處理-教案設(shè)計-第7章-數(shù)據(jù)清洗與預(yù)處理

NUMPAGES3.數(shù)據(jù)清洗與預(yù)處理一、數(shù)據(jù)清洗與預(yù)處理日期:2024-05-09學(xué)生數(shù)量:34主題:數(shù)據(jù)預(yù)處理與Python方法備注說明教學(xué)目標(biāo)：使學(xué)生了解數(shù)據(jù)預(yù)處理階段所面臨的問題、方法和技術(shù)，如數(shù)據(jù)清洗、集成、轉(zhuǎn)換、加載、歸約等，并能使用Pandas、sklearn等相關(guān)模塊進(jìn)行相關(guān)操作，為數(shù)據(jù)分析提供符合要求的規(guī)范數(shù)據(jù)。強(qiáng)調(diào)數(shù)據(jù)預(yù)處理在數(shù)據(jù)科學(xué)中的重要性：工作量占比較大使用材料：中文課件PPT和基于JupyterNotebook的示例代碼，錄制課程視頻授課形式：線上資源設(shè)置學(xué)習(xí)任務(wù)，線上或線下授課，隨堂練習(xí)，隨堂提問，上機(jī)作業(yè)線上資源作為學(xué)習(xí)任務(wù)，不占用上課時間授課學(xué)生假設(shè)：已掌握Python基本語法、基本數(shù)據(jù)類型、Numpy和Pandas的基本使用二、階段計劃：1、數(shù)據(jù)預(yù)處理-Week1：2課時階段目標(biāo)老師程序?qū)W生程序時間(分鐘)間隔(分鐘)備注說明了解數(shù)據(jù)預(yù)處理概念和方法，掌握Python數(shù)據(jù)清洗方法介紹數(shù)據(jù)預(yù)處理基本概念和常見方法，理解數(shù)據(jù)清洗問題如異常數(shù)據(jù)、重復(fù)數(shù)據(jù)、缺失值等的處理方法演示Python的數(shù)據(jù)清洗方法示例、Pandas相關(guān)方法等觀察老師的操作和效果根據(jù)提供的JupyterNotebook示例代碼，嘗試使用Pandas進(jìn)行多種數(shù)據(jù)清洗操作練習(xí)查看結(jié)果并比較不同方法3510線上或線下課堂形式，學(xué)生自帶筆記本。老師先講解和演示，之后指導(dǎo)學(xué)生完成示例代碼操作了解數(shù)據(jù)集成問題，掌握集成技術(shù)、分組統(tǒng)計與Python方法介紹數(shù)據(jù)集成面臨問題和處理方法，關(guān)聯(lián)Numpy數(shù)組和Pandas的DataFrame之間的連接、合并、分組聚合方法演示基于Pandas的DataFrame之間的連接、合并、分組聚合方法和示例觀察老師的操作和效果根據(jù)提供的JupyterNotebook示例代碼，同步練習(xí)Pandas的DataFrame的連接、合并、分組聚合等操作2510隨堂提問打開隨機(jī)抽獎程序，從學(xué)生名單中抽取學(xué)生。學(xué)生如果回答不完整或有偏差，老師補(bǔ)充或糾偏抽中的學(xué)生回答問題，允許隨時查閱資料372、數(shù)據(jù)預(yù)處理-Week2：1課時階段目標(biāo)老師程序?qū)W生程序時間(分鐘)間隔(分鐘)備注說明了解數(shù)據(jù)轉(zhuǎn)換常用方法和原理，掌握Pandas、sklearn模塊對應(yīng)數(shù)據(jù)轉(zhuǎn)換方法介紹數(shù)據(jù)轉(zhuǎn)換常用方法和原理介紹Pandas、sklearn模塊對應(yīng)數(shù)據(jù)轉(zhuǎn)換方法，并演示相應(yīng)示例和代碼觀察老師的操作和效果根據(jù)老師提供的JupyterNotebook示例代碼，同步練習(xí)Pandas、sklearn模塊對應(yīng)數(shù)據(jù)轉(zhuǎn)換方法查看結(jié)果，比較不同方法差異105線上或線下課堂形式，學(xué)生自帶筆記本。老師先講解和演示，之后指導(dǎo)學(xué)生完成示例代碼操作理解數(shù)據(jù)歸約概念和方法，了解Python相應(yīng)模塊和方法介紹數(shù)據(jù)歸約概念、方法和Python相應(yīng)模塊和方法，如PCA和抽樣等方法演示Python對應(yīng)數(shù)據(jù)歸約示例和代碼觀察老師的操作和效果根據(jù)老師提供的JupyterNotebook示例代碼，練習(xí)Python對應(yīng)數(shù)據(jù)歸約示例和代碼，加深知識理解1010由于課時關(guān)系，該節(jié)只要求理解和了解即可隨堂提問打開隨機(jī)抽獎程序，從學(xué)生名單中抽取學(xué)生。學(xué)生如果回答不完整或有偏差，老師補(bǔ)充或糾偏抽中的學(xué)生回答問題，允許隨時查閱資料55三、隨堂提問問題：1）數(shù)據(jù)預(yù)處理常見的方法有哪幾類，都有哪些方法？2）查看確定異常值都有哪些方法？異常數(shù)據(jù)處理都有哪些方法？3）如何查看缺失值？處理缺失值都有哪些方法？4）噪聲數(shù)據(jù)處理方法都有哪些？對應(yīng)Python方法有哪些？5）對于不同來源的數(shù)據(jù)進(jìn)行整合，可能存在哪些問題？6）數(shù)據(jù)變換都有哪些方法？7）什么是數(shù)據(jù)歸一化？歸一化有什么好處？對應(yīng)Python方法都有哪些？8）連續(xù)變量離散化都有哪些方法？9）什么是數(shù)據(jù)歸約？常見方法有哪些？10）Python都有哪些模塊和哪些方法，可以進(jìn)行數(shù)據(jù)預(yù)處理？11）使用DataFrame對象，都有哪些抽樣方法？四、互動與反饋：OverallCommentCommentaboutthelessonplanoneortwothingsthatworked隨堂問題基本覆蓋章節(jié)關(guān)鍵知識點oneortwothingsthatdidn’tworksowell沒有考慮五一和清明假期影響，課時受到縮減影響數(shù)據(jù)預(yù)處理涉及技術(shù)較多，授課課時受限Commentabouttheteachingoneortwothingsthatwentwell相關(guān)知識和示例代