預(yù)處理部分地區(qū)信息案例需求和數(shù)據(jù)準(zhǔn)備

案例需求和數(shù)據(jù)準(zhǔn)備教師：亢華愛北京信息職業(yè)技術(shù)學(xué)院商務(wù)數(shù)據(jù)分析與應(yīng)用專業(yè)教學(xué)資源庫目錄Contents數(shù)據(jù)準(zhǔn)備案例需求1PART案例需求案例需求為了讓讀者更好地理解Pandas的預(yù)處理，能夠在實(shí)際應(yīng)用中運(yùn)用所學(xué)的知識，接下來，本節(jié)將通過對2016年北京地區(qū)和天津地區(qū)數(shù)據(jù)處理過程，帶領(lǐng)大家學(xué)習(xí)如何使用Pandas對數(shù)據(jù)進(jìn)行預(yù)處理操作檢查重復(fù)數(shù)據(jù)，一旦發(fā)現(xiàn)有重復(fù)的數(shù)據(jù)，就需要將其進(jìn)行刪除本案例準(zhǔn)備了一些從網(wǎng)上爬取的關(guān)于北京和天津地區(qū)的統(tǒng)計(jì)信息，這些數(shù)據(jù)中都或多或少存在一些問題，比如重復(fù)的數(shù)據(jù)、缺失的數(shù)據(jù)。本案例將使用Pandas對爬取的數(shù)據(jù)進(jìn)行預(yù)處理操作。檢查缺失值，為了保持?jǐn)?shù)據(jù)的完整性，通常會使用某個數(shù)據(jù)填充檢查異常值，一旦發(fā)現(xiàn)數(shù)據(jù)中存在異常值，通常先要對照原始數(shù)據(jù)進(jìn)一步確認(rèn)，如果是錯誤的數(shù)值，則直接使用正確的數(shù)值進(jìn)行替換即可案例需求當(dāng)所有的數(shù)據(jù)確認(rèn)無誤以后，這里我們增加一步合并的操作，將多張表格信息合并為一張表格，從而教會大家如何在實(shí)際應(yīng)用中，根據(jù)自己的需求選擇合適的合并功能函數(shù)案例需求2PART數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備通過網(wǎng)絡(luò)爬蟲爬取了2016年北京地區(qū)和天津地區(qū)的一些統(tǒng)計(jì)信息，并根據(jù)不同的地區(qū)整理成兩個文件，分別為“北京地區(qū)信息?csv”和“天津地區(qū)信息.csv”，用Excel工具打開后如圖所示北京和天津地區(qū)統(tǒng)計(jì)信息表數(shù)據(jù)準(zhǔn)備通過網(wǎng)絡(luò)爬蟲爬取了2016年北京地區(qū)和天津地區(qū)的一些統(tǒng)計(jì)信息，并根據(jù)不同的地區(qū)整理成兩個文件，分別為“北京地區(qū)信息?csv”和“天津地區(qū)信息.csv”，用Excel工具打開后如圖所示北京和天津地區(qū)統(tǒng)計(jì)信息表(續(xù))通過觀察上述表格可知，“北京地區(qū)信息”的表格中存在著重復(fù)的數(shù)據(jù)（比如，第4行和第8行），“天津地區(qū)信息”的表格中存在著缺失數(shù)據(jù)（第11行），這些有問題的數(shù)據(jù)都可以利用Pandas的預(yù)處理技術(shù)進(jìn)行解決

數(shù)據(jù)準(zhǔn)備參考文獻(xiàn)[1]黑馬程序員.Python數(shù)據(jù)分析與應(yīng)用:從數(shù)據(jù)獲取到可視化.中國鐵道出版社：2