Python數(shù)據(jù)分析與可視化項(xiàng)目實(shí)戰(zhàn) 課件 項(xiàng)目5 全流程數(shù)據(jù)分析之浙江省歷史名人數(shù)據(jù)分析

項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展浙江歷史悠久，文化燦爛，是中國(guó)古代文明的發(fā)祥地之一，吳越文化的重要發(fā)祥地，被稱為“絲綢之府”、“魚米之鄉(xiāng)”和“文物之邦”，更是孕育了眾多的文化名人，涌現(xiàn)出許多杰出的文學(xué)家、藝術(shù)家、學(xué)者和政治家。他們的作品和思想對(duì)中國(guó)歷史和文化產(chǎn)生了深遠(yuǎn)的影響。浙江的省會(huì)杭州是一座歷史悠久，享有盛譽(yù)的歷史名城和文化之都。杭州作為“第19屆亞洲運(yùn)動(dòng)會(huì)”舉辦城市，以優(yōu)美的城市環(huán)境、便利的交通優(yōu)勢(shì)和強(qiáng)大的經(jīng)濟(jì)實(shí)力向世界展示著現(xiàn)代都市的魅力，同時(shí)也展示了獨(dú)特的文化魅力。本項(xiàng)目通過對(duì)浙江省歷史名人的數(shù)據(jù)分析，可以更全面地了解這個(gè)地區(qū)的歷史和文化特點(diǎn)。這將有助于推動(dòng)浙江省歷史文化的傳承與發(fā)展，進(jìn)一步提升浙江省在國(guó)內(nèi)外的知名度和影響力。同時(shí)也有利于提升文化自信、傳承文化遺產(chǎn)。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1、確定分析目標(biāo)只有弄清分析的目的是什么？才能準(zhǔn)確定位分析因子，提出有價(jià)值的問題，提供清晰的思路。2、數(shù)據(jù)獲取目標(biāo)定下來了，接下來要去找相應(yīng)的數(shù)據(jù)。如果制定目標(biāo)時(shí)完全遵循了第一步的三個(gè)注意點(diǎn)，那么現(xiàn)在會(huì)很明確要找哪些數(shù)據(jù)。獲取目標(biāo)數(shù)據(jù)的三類方法：一是從一些有公開數(shù)據(jù)的網(wǎng)站上復(fù)制/下載，比如統(tǒng)計(jì)局網(wǎng)站、各類行業(yè)網(wǎng)站等，通過搜索引擎可以很容易找到這些網(wǎng)站；二是通過一些專門做數(shù)據(jù)整理打包的網(wǎng)站/api來下載；三是自行收集所需數(shù)據(jù)。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景3、數(shù)據(jù)清洗在工作中90%以上的情況，你拿到的數(shù)據(jù)都需要先做清洗工作，排除異常值、空白值、無效值、重復(fù)值等等。這項(xiàng)工作經(jīng)常會(huì)占到整個(gè)數(shù)據(jù)分析過程將近一半的時(shí)間。數(shù)據(jù)清洗是確保數(shù)據(jù)質(zhì)量的重要工作。4、數(shù)據(jù)整理清洗過后，需要進(jìn)行數(shù)據(jù)整理，即將數(shù)據(jù)整理為能夠進(jìn)行下一步分析的格式，對(duì)于初學(xué)者，可以用Excel來完成這一工作。5、描述分析數(shù)據(jù)描述：對(duì)數(shù)據(jù)的基本情況進(jìn)行描述，如數(shù)據(jù)的總數(shù)、時(shí)間跨度、數(shù)據(jù)來源等。指標(biāo)統(tǒng)計(jì)：分析實(shí)際情況的數(shù)據(jù)指標(biāo)，主要包括四個(gè)部分：（1）變化：數(shù)據(jù)隨著時(shí)間的變動(dòng)而增減，如近期銷售額表現(xiàn)。（2）分布：數(shù)據(jù)在不同層次上的表現(xiàn)，如地域分布、人群分布。（3）對(duì)比：數(shù)據(jù)項(xiàng)之間的對(duì)比，如產(chǎn)品線對(duì)比、用戶數(shù)對(duì)比。（4）預(yù)測(cè)：根據(jù)數(shù)據(jù)現(xiàn)有的增減幅度，預(yù)測(cè)未來的狀況。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景6、數(shù)據(jù)可視化將數(shù)據(jù)可視化也是一個(gè)學(xué)問。通過數(shù)據(jù)分析得出結(jié)論后，還需要用圖表展示出來，俗話說得好，“文不如表，表不如圖"，用圖表可以更清晰展結(jié)論。7、洞察結(jié)論這一步是數(shù)據(jù)報(bào)告的核心，也是最能看出數(shù)據(jù)分析師水平的部分。一個(gè)年輕的分析師和一個(gè)年長(zhǎng)的分析師拿到同樣的圖表，完全有可能解讀出不同的內(nèi)容。8、報(bào)告撰寫報(bào)告撰寫是整個(gè)數(shù)據(jù)分析的最后一步，是對(duì)整個(gè)數(shù)據(jù)分析過程的總結(jié)。一份優(yōu)秀的報(bào)告需要一個(gè)明確的主題、清晰的目錄、圖文并茂描述數(shù)據(jù)、結(jié)論與建議。應(yīng)至少包含以下六塊內(nèi)容：報(bào)告背景、報(bào)告目的、數(shù)據(jù)來源、數(shù)量等基本情況、分頁圖表內(nèi)容及本頁結(jié)論、各部分小結(jié)及最終總結(jié)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備1.分析目標(biāo)分析唐宋元明清時(shí)期籍貫為浙江省的歷史名人中的性別占比、各時(shí)期不同地區(qū)的名人數(shù)對(duì)比，并根據(jù)數(shù)據(jù)統(tǒng)計(jì)出唐宋元明清時(shí)期歷史名人最多的地區(qū)。2.數(shù)據(jù)獲取2023年2月，中共中央、國(guó)務(wù)院印發(fā)《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》，提出要推動(dòng)公共數(shù)據(jù)匯聚利用，暢通數(shù)據(jù)資源大循環(huán)，夯實(shí)數(shù)字中國(guó)建設(shè)基礎(chǔ)。《中共中央國(guó)務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》（以下簡(jiǎn)稱“數(shù)據(jù)二十條”）提出，對(duì)各級(jí)黨政機(jī)關(guān)、企事業(yè)單位依法履職或提供公共服務(wù)過程中產(chǎn)生的公共數(shù)據(jù)，加強(qiáng)匯聚共享和開放開發(fā)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備數(shù)據(jù)作為生產(chǎn)要素已經(jīng)成為數(shù)字時(shí)代創(chuàng)新發(fā)展的最新聚焦點(diǎn)。培育數(shù)據(jù)要素市場(chǎng)、發(fā)揮數(shù)據(jù)要素價(jià)值、促進(jìn)經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展成為構(gòu)筑國(guó)家競(jìng)爭(zhēng)新優(yōu)勢(shì)的重要舉措。公共數(shù)據(jù)作為數(shù)據(jù)要素中權(quán)威性、通用性、基礎(chǔ)性、可控性、公益性較強(qiáng)的數(shù)據(jù)類型，是數(shù)據(jù)要素的重要組成部分，是推進(jìn)數(shù)據(jù)要素作用充分發(fā)揮的有機(jī)組成部分和有力落地抓手之一。公共數(shù)據(jù)關(guān)乎國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展中生產(chǎn)生活的各個(gè)方面，蘊(yùn)藏著巨大的經(jīng)濟(jì)和社會(huì)價(jià)值，是數(shù)字中國(guó)建設(shè)的重要數(shù)據(jù)基礎(chǔ)。推進(jìn)公共數(shù)據(jù)開放利用，已成為推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化的重要手段，也是推動(dòng)數(shù)據(jù)這一生產(chǎn)要素更好發(fā)揮其價(jià)值的必由之路，對(duì)于賦能現(xiàn)代治理、賦能經(jīng)濟(jì)發(fā)展、賦能共同富裕具有十分重要的意義。從開放數(shù)據(jù)平臺(tái)獲取數(shù)據(jù)。/dxsy/202306/t20230630_158461.shtml項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3數(shù)據(jù)清洗3.1空值的處理合并后的32207條數(shù)據(jù)中會(huì)有空值，這些值對(duì)于數(shù)據(jù)統(tǒng)計(jì)沒有意義，因此可以進(jìn)行判斷并作刪除。（1）刪除含有空值的行或列：用dropna()時(shí)可以同時(shí)剔除Nan和NaT，參數(shù)如下：axis：維度，axis=0表示index行，axis=1表示columns列，默認(rèn)為0；how："all"表示這一行或列中的元素全部缺失（為nan）才刪除這一行或列，"any"表示這一行或列中只要有元素缺失，就刪除這一行或列；thresh：一行或一列中至少出現(xiàn)了thresh個(gè)才刪除；subset：在某些列的子集中選擇出現(xiàn)了缺失值的列刪除，不在子集中的含有缺失值的列或行不會(huì)刪除（有axis決定是行還是列）；inplace：篩選過缺失值的新數(shù)據(jù)是存為副本還是直接在原數(shù)據(jù)上進(jìn)行修改。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備（2）若發(fā)現(xiàn)dropna()后仍然存在空值，則有可能其中并不是空值，而是空字符串，這里就可以將空字符串替換成空值再進(jìn)行dropna()操作：df.replace(to_replace=r'^\s*$',value=np.nan,regex=True,inplace=True)df['訂單付款時(shí)間'].dropna()（3）填充含有空值的行或列（ffill/bfill），參數(shù)如下：value：需要用什么值去填充缺失值axis：確定填充維度，從行開始或是從列開始method：ffill，用缺失值前面的一個(gè)值代替缺失值，如果axis=1，那么就是橫向的前面的值替換后面的缺失值，如果axis=0，那么則是上面的值替換下面的缺失值。backfill/bfill，缺失值后面的一個(gè)值代替前面的缺失值。注意這個(gè)參數(shù)不能與value同時(shí)出現(xiàn)limit：確定填充的個(gè)數(shù)，如果limit=2，則只填充兩個(gè)缺失值。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.2從傳記列獲取姓名在所提供的數(shù)據(jù)中可以看到，第一列為人物傳記，但缺少人物的姓名，因此可以通過分割字符的方式從傳記列中獲取姓名。由于合并后的數(shù)據(jù)有三萬多條，考慮到處理處理效率，同學(xué)們可以選擇部分?jǐn)?shù)據(jù)進(jìn)行操作練習(xí)。

通過觀察可以看到傳記列中的姓名與后面的介紹中間有一個(gè)空格，因此可以將空格作為分隔符，使用split()方法實(shí)現(xiàn)。操作過程為：1、打開工作表，通過for循環(huán)依次遍歷每行數(shù)據(jù)，對(duì)傳記所在的A列數(shù)據(jù)進(jìn)行分割，取出第一個(gè)值，也就是索引號(hào)為0的值賦給變量model，并追加到data[]中。2、然后再次循環(huán)，將取出的姓名值通過sheet.cell(row=i,column=2).value=word依次放入第二列中，如果要放入其他列，則修改column對(duì)應(yīng)的值。最后通過book.save將數(shù)據(jù)存入新表中。3、最后，增加一列“姓名”，用于保存從傳記中獲取的值，項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.3補(bǔ)全性別和民族從數(shù)據(jù)中可以看到，性別一欄特別標(biāo)注了女性，空值默認(rèn)為男性，民族列中，非漢族進(jìn)行了標(biāo)注，空值則默認(rèn)為“漢族”。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.4常用的格式轉(zhuǎn)換在數(shù)據(jù)處理中常用的格式轉(zhuǎn)換有：（1）清除空格字符strip：調(diào)用map函數(shù)對(duì)str對(duì)象進(jìn)行空格去除，若去除逗號(hào)可以用map(str.strip(‘,’))df['收貨地址']=df['收貨地址'].map(str.strip())（2）大小寫轉(zhuǎn)換lower/upperdf['編碼']=df['編碼'].strip().lower()#大寫同理，upper()（3）更改數(shù)據(jù)格式astypedf['訂單金額'].astype('int')#int整數(shù)類型，同理float浮點(diǎn)型（4）更改列名即字段名文章來源地址:/blog/411922.htmldf.rename(columns={'實(shí)付金額':'實(shí)付'})#把實(shí)付金額，改成實(shí)付（5）保留一個(gè)重復(fù)值df['收貨地址'].drop_duplicates()#刪除列中后出現(xiàn)的值df['收貨地址'].drop_duplicates(keep='last')#刪除列中先出現(xiàn)的值，即保留最后一個(gè)值（6）數(shù)據(jù)替換把收貨地址中的四川改為四川省df['收貨地址'].replace('四川','四川省')項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.5將年份轉(zhuǎn)換為對(duì)應(yīng)的朝代1、取出出生年份從數(shù)據(jù)表中可以看到，部分“生卒年”中給的是對(duì)應(yīng)的年份信息，通常是根據(jù)出生年份算所歸屬的朝代，因此需要將類似于1145-1196的年份信息中的出生年份取出來，可以使用“——”作為分隔符來取出出生年。2、確定唐宋元明清時(shí)期對(duì)應(yīng)的年份取出年份后通過出生年份對(duì)應(yīng)到所屬年份，由于歷史年代的劃分會(huì)有重疊，這里按照以下范圍進(jìn)行劃分：唐：618-907年宋：960-1270年元：1271-1368年明：1368-1636年，部分記載為1369-1644年，單重疊部分不利于劃分，因此在此次統(tǒng)計(jì)中將1368-1636劃分為明代。清：1636-1912年項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3、確定數(shù)據(jù)的對(duì)應(yīng)邏輯打開整理后的數(shù)據(jù)可以看到，“出生年份”列中包括了年代信息如“明”“清”，還有“？”，以及分割出的出生年份，因此在程序中需要分別判斷屬于哪些類型，比如所屬年代已經(jīng)為漢字的，則保留。可以用u'\u4e00'<=sheet["C"+str(row)].value<=u'\u9fff':判斷是否是漢字，如果是出生年份的，再根據(jù)年代值判斷屬于哪個(gè)朝代，由于原記錄為文本信息，進(jìn)行分割后依然是文本，所以在做范圍判斷時(shí)，需要進(jìn)行類型轉(zhuǎn)換，比如唐朝的判斷語句中，用int將sheet["C"+str(row)].value的值由字符型轉(zhuǎn)換為數(shù)值型：int(sheet["C"+str(row)].value)>=618andint(sheet["C"+str(row)].value)<=907)項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4數(shù)據(jù)篩選根據(jù)數(shù)據(jù)分析的目標(biāo)，需要統(tǒng)計(jì)的是唐宋元明清五個(gè)朝代的歷史名人，因此，需要將數(shù)據(jù)進(jìn)行篩選。5分析描述經(jīng)過篩選后唐宋元明清期間的歷史名人數(shù)據(jù)共有2萬條左右，包括了需要統(tǒng)計(jì)信息中的姓名、生卒年、性別、籍貫等字段。主要做以下分析：1、唐宋元明清期間的性別比例、女性在各個(gè)朝代的分布情況；2、唐宋元明清的名人數(shù)量占比圖；3、某些地區(qū)在唐宋元明清期間的名人數(shù)量對(duì)比；4、找出名人數(shù)量最多的地區(qū)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備6數(shù)據(jù)分析及可視化6.1性別比例通過性別列中的值，使用data.groupby("性別")["性別"].count()分組統(tǒng)計(jì)統(tǒng)計(jì)唐宋元明清時(shí)期名人的男女名人數(shù)量，并用餅圖進(jìn)行展示。6.2女性分布柱形圖根據(jù)上述統(tǒng)計(jì)可以看出，浙江省在唐宋元明清期間的女性名人僅占2.9%，下面就來看他們都分布在哪些朝代？可以通過性別進(jìn)行篩選，并通過生卒年進(jìn)行分組統(tǒng)計(jì)，使用data.query("性別=='女'").groupby("生卒年")["姓名"].count()語句。6.3每個(gè)朝代的名人數(shù)餅圖統(tǒng)計(jì)唐宋元明清每個(gè)朝代的名人數(shù)，可以按“生卒年”進(jìn)行分組統(tǒng)計(jì)，使用data.groupby("生卒年")["姓名"].count()實(shí)現(xiàn)，統(tǒng)計(jì)結(jié)果用餅圖展示占比情況。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備6.4統(tǒng)計(jì)某個(gè)地區(qū)每個(gè)朝代的名人數(shù)量想要得到自己家鄉(xiāng)的名人分布情況，可以通過“籍貫”進(jìn)行篩選，如查看湖州在唐宋元明清期間的浙江歷史名人數(shù)量，可以使用程序5-13代碼。如果想要對(duì)比幾個(gè)地區(qū)的數(shù)據(jù)，可以使用折線圖，注意：做對(duì)比圖時(shí)，必須是相同朝代的數(shù)量對(duì)比，比如山陰人中只有清代有2個(gè)名人，其他時(shí)期沒有，就不能與湖州人的數(shù)據(jù)做對(duì)比圖，而義烏人和湖州人的朝代一致6.5.名人數(shù)量較多的地區(qū)統(tǒng)計(jì)由于籍貫數(shù)據(jù)較多，使用分組統(tǒng)計(jì)計(jì)算量太大，因此可以使用詞云展示籍貫信息。通過詞云分析可見浙江歷史名人中嘉興人最多，但是觀察數(shù)據(jù)后會(huì)發(fā)現(xiàn)，由于不同時(shí)期劃分的范圍有所不同，包括地名也有變化，因此，要統(tǒng)計(jì)杭州的名人，應(yīng)包括“今屬杭州”的范圍，因此應(yīng)通過對(duì)籍貫中帶’杭州‘的字段進(jìn)行模糊篩選，從而計(jì)算籍貫為杭州的歷史名人數(shù)量。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備7.分析結(jié)論7.1.性別比例分析通過對(duì)浙江省唐宋元明清期間的歷史名人數(shù)據(jù)的量化分析，可以看出古代女性地位較低，因此很少有女性能夠成為歷史名人，從唐朝到清朝近1300年間，僅有523名女性，占總數(shù)的2.9%。男性占比97.1%。7.2.各朝代名人比例分析通過對(duì)浙江省唐宋元明清期間的歷史名人統(tǒng)計(jì)，看到清朝占比最高為64.1%，唐朝最少為1.3%。根據(jù)提供的數(shù)據(jù)可以看出載入史冊(cè)的名人主要為文人墨客、官員及革命工作者，清朝名人較多主要有兩個(gè)原因：項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備第一，江浙地區(qū)是清朝時(shí)期我國(guó)經(jīng)濟(jì)最發(fā)達(dá)的地區(qū)，素有“蘇湖熟、天下足”、“衣被天下”的說法。江浙地區(qū)地少人多，讀書是人們謀生的一種重要手段。在傳統(tǒng)的農(nóng)耕社會(huì)，一人中舉會(huì)為整個(gè)家族帶來豐厚的利益，所以整個(gè)家族都會(huì)不遺余力的保障子女的教育，這種情況在江浙地區(qū)尤為突出。這種家族式的投入自然產(chǎn)生了豐厚的回報(bào)，使得江浙地區(qū)文風(fēng)盛行、人才輩出，出現(xiàn)了很多“耕讀傳家”的書香門第和有名望的家族。第二，清朝是封建社會(huì)的最后一個(gè)朝代，浙江受江南文脈所傳承，受儒家家國(guó)情懷熏陶，使得他們更有挽救民眾、振興民族的天然的覺悟與擔(dān)當(dāng)，因此投身革命的共產(chǎn)黨人也納入了歷史名人范圍內(nèi)。因此清朝的歷史名人占比最高。而在唐朝時(shí)期，浙江地區(qū)相對(duì)其他地區(qū)出