大學(xué)計(jì)算機(jī)課程報(bào)告Python爬蟲(chóng)與可視化

《大學(xué)計(jì)算機(jī)》課程匯報(bào)專(zhuān)業(yè)班級(jí)學(xué)號(hào)姓名項(xiàng)目計(jì)算機(jī)基礎(chǔ)測(cè)驗(yàn)（20分）課程匯報(bào)（80分）總分得分評(píng)閱教師年6月15日中超球隊(duì)身價(jià)歷年排名數(shù)據(jù)分析處理一、任務(wù)描述使用python編寫(xiě)爬蟲(chóng)程序獲取中超球隊(duì)-身價(jià)排名，內(nèi)容包含排名序號(hào)、球隊(duì)名稱(chēng)、球隊(duì)身價(jià)、年份，并將獲取數(shù)據(jù)保留到txt文件中，再將txt文件數(shù)據(jù)轉(zhuǎn)入excel文件中。使用excel工具對(duì)獲取電影信息進(jìn)行數(shù)據(jù)處理。使用Jannchie/Historical工具對(duì)統(tǒng)計(jì)分析結(jié)果進(jìn)行動(dòng)態(tài)可視化處理，利用excel工具對(duì)統(tǒng)計(jì)分析結(jié)果進(jìn)行圖表可視化處理，使用baidu圖說(shuō)對(duì)統(tǒng)計(jì)分析結(jié)果進(jìn)行可視化處理。二、數(shù)據(jù)獲取1數(shù)據(jù)描述數(shù)據(jù)起源：500彩票網(wǎng)中超頁(yè)面球隊(duì)身價(jià)排名。數(shù)據(jù)獲取：Python爬蟲(chóng)爬取網(wǎng)頁(yè)數(shù)據(jù)。2使用工具Python是一個(gè)高層次結(jié)合了解釋性、編譯性、互動(dòng)性和面向?qū)ο竽_本語(yǔ)言，它擁有一個(gè)強(qiáng)大基本類(lèi)庫(kù)和數(shù)量眾多第三方擴(kuò)展。3數(shù)據(jù)獲取步驟第一步：從網(wǎng)頁(yè)上獲取HTML內(nèi)容。第二步：分析網(wǎng)頁(yè)內(nèi)容并提取有用數(shù)據(jù)，采取列表存放球隊(duì)所包括表單數(shù)據(jù)第三步：將取得數(shù)據(jù)寫(xiě)入Excel文件。4程序代碼1)獲取數(shù)據(jù)代碼以下importrequestsimportrequestsfrombs4importBeautifulSoupimportbs4defgetHTMLText(url):try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturnr.textexcept:return""deffillUnivList(ulist,html):soup=BeautifulSoup(html,"html.parser")fortrinsoup.find('tbody').children:ifisinstance(tr,bs4.element.Tag):tds=tr('td')ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string,tds[5].string,tds[6].string])num=10file=open('wz.txt','r',encoding='UTF-8')f=open('pm.txt','w',encoding='UTF-8')print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}".format("排名","球隊(duì)名稱(chēng)","球隊(duì)身價(jià)","平均身價(jià)","球員數(shù)量","平均年紀(jì)","聯(lián)賽排名","年份"))f.write("{:^10},{:^6},{:^10},{:^6},{:^10},{:^6},{:^10},{:^6}".format("排名","球隊(duì)名稱(chēng)","球隊(duì)身價(jià)","平均身價(jià)","球員數(shù)量","平均年紀(jì)","聯(lián)賽排名","年份")+"\n")forlineinfile:url=line[5:]a=line[0:5]uinfo=[]html=getHTMLText(url)fillUnivList(uinfo,html)foriinrange(num):u=uinfo[i]print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}".format(u[0],u[1],u[2][1:-1],u[3][1:-1],u[4],u[5],u[6],a))f.write("{:^10},{:^6},{:^10},{:^6},{:^10},{:^6},{:^10},{:^6}".format(u[0],u[1],u[2][1:-1],u[3][1:-1],u[4],u[5],u[6],a)+"\n")f.close()file.close()2)讀取wz.txt文件中網(wǎng)址信息圖1網(wǎng)址信息txt文件截圖3)將取得全部球隊(duì)信息由txt文件（如圖2）轉(zhuǎn)到Excel表格（如圖2）中。圖2球隊(duì)數(shù)據(jù)txt文件截圖圖3球隊(duì)數(shù)據(jù)excel文件截圖三、數(shù)據(jù)分析（文管類(lèi)能夠是數(shù)據(jù)存放、檢索等等）1數(shù)據(jù)分析工具Excel是一款電子表格軟件。直觀界面、出眾計(jì)算功效和圖表工具，使Excel成為最流行個(gè)人計(jì)算機(jī)數(shù)據(jù)處理軟件。Excel具備強(qiáng)大數(shù)據(jù)統(tǒng)計(jì)分析處理能力，能進(jìn)行多個(gè)數(shù)據(jù)統(tǒng)計(jì)計(jì)算分析功效,廣泛應(yīng)用于管理、統(tǒng)計(jì)財(cái)經(jīng)、金融等眾多領(lǐng)域。2使用excel工具以年份以及球隊(duì)身價(jià)進(jìn)行中超球隊(duì)身價(jià)排名分析最具備商業(yè)價(jià)值與潛力球隊(duì)。球隊(duì)身價(jià)排名后結(jié)果如圖4：圖4球隊(duì)身價(jià)排名排序后excel文件截圖3使用excel工具進(jìn)行中超球隊(duì)數(shù)據(jù)統(tǒng)計(jì)方法步驟：篩選歷年身價(jià)排名前十隊(duì)伍以及其球隊(duì)身價(jià)，如圖5：圖5歷年球隊(duì)身價(jià)排名前十excel文件截圖篩選球隊(duì)名稱(chēng)（廣州恒大淘寶、江蘇蘇寧易購(gòu)），篩選所需要數(shù)據(jù)（球隊(duì)身價(jià)、年份），如圖6：圖6江蘇蘇寧易購(gòu)與廣州恒大淘寶身價(jià)excel文件截圖篩選球隊(duì)名稱(chēng)（江蘇蘇寧易購(gòu)），篩選所需要數(shù)據(jù)（平均身價(jià)、聯(lián)賽排名、年份），如圖7：圖7江蘇蘇寧易購(gòu)歷年平均身價(jià)與聯(lián)賽排名excel文件截圖4）統(tǒng)計(jì)中超身價(jià)歷年前15球隊(duì)所在地次數(shù)（總計(jì)90），如圖8：圖8中超球隊(duì)前15名所在地次數(shù)excel文件截圖四、結(jié)果可視化展示1數(shù)據(jù)可視化工具Excel能繪制圖表多達(dá)數(shù)十種，基本能夠?qū)崿F(xiàn)一維和二維圖表繪制，比較慣用圖表類(lèi)型包含散點(diǎn)圖、條形圖、餅圖、折線圖等等。Jannchie/Historical是一個(gè)數(shù)據(jù)可視化項(xiàng)目，基于D3.js。能夠?qū)v史數(shù)據(jù)排名轉(zhuǎn)化為動(dòng)態(tài)柱狀圖圖表。baidu圖說(shuō)是baiduEcharts團(tuán)體出品，一款專(zhuān)業(yè)大數(shù)據(jù)可視化分析平臺(tái)。2(1)使用Jannchie/Historical工具對(duì)排名前十球隊(duì)進(jìn)行動(dòng)態(tài)可視化展示方法步驟：將excel處理過(guò)數(shù)據(jù)表格到Jannchie/Historical工具中，運(yùn)行工具。中超球隊(duì)身價(jià)-歷年身價(jià)改變動(dòng)態(tài)可視化（視頻1）(2)使用excel工具對(duì)廣州恒大淘寶與江蘇蘇寧易購(gòu)身價(jià)數(shù)據(jù)制作折線圖方法步驟：使用excel圖表功效制作折線圖，更改系列（廣州恒大淘寶與江蘇蘇寧易購(gòu)）和橫軸數(shù)據(jù)，更改圖標(biāo)標(biāo)題。廣州恒大淘寶與江蘇蘇寧易購(gòu)身價(jià)對(duì)比折線圖如圖9所表示。圖9廣州恒大淘寶與江蘇蘇寧易購(gòu)身價(jià)對(duì)比折線圖(3)使用excel工具對(duì)江蘇蘇寧易購(gòu)平均身價(jià)與聯(lián)賽排名數(shù)據(jù)制作疊加柱狀圖方法步驟：使用excel圖表功效制作橫板柱狀圖，更改系列（平均身價(jià)與聯(lián)賽排名）和橫軸數(shù)據(jù)，更改圖標(biāo)標(biāo)題，導(dǎo)出圖表。江蘇蘇寧易購(gòu)平均身價(jià)與聯(lián)賽排名數(shù)據(jù)制作疊加柱狀圖如圖10所表示。圖10江蘇蘇寧易購(gòu)平均身價(jià)與聯(lián)賽排名數(shù)據(jù)制作疊加柱狀圖(4)使用baidu圖說(shuō)工具制作中超球隊(duì)身價(jià)排名前15所在地次數(shù)統(tǒng)計(jì)圖方法步驟：將excel處理好表格導(dǎo)入baidu圖說(shuō)工具，生成地圖統(tǒng)計(jì)圖，更改標(biāo)題。-中超球隊(duì)身價(jià)排名前15所在地次數(shù)統(tǒng)計(jì)圖如圖11所表示。圖11-中超球隊(duì)身價(jià)排名前15所在地次數(shù)統(tǒng)計(jì)圖五、碰到問(wèn)題與處理方法問(wèn)題：Python爬蟲(chóng)程序中出現(xiàn)AttributeError:'NoneType'objecthasnoattribute'children'錯(cuò)誤。處理方法：這種問(wèn)題出現(xiàn)有多個(gè)可能，假如是wz.txt文件，則需要?jiǎng)h除文件中一些空白行（讀取到空白行犯錯(cuò)）；假如是爬取網(wǎng)址一些數(shù)據(jù)空白，能夠加入判斷語(yǔ)句，跳過(guò)空白數(shù)據(jù)；也有可能是代碼傳遞時(shí)發(fā)生錯(cuò)誤，需要更改代碼中不合理地方。問(wèn)題：excel制作圖表，一些數(shù)據(jù)無(wú)法被識(shí)別，圖形中不顯示。處理方法：一些數(shù)據(jù)在處理中并非數(shù)值型，需要更改為數(shù)值才能被圖標(biāo)識(shí)別。問(wèn)題：Python爬蟲(chóng)爬取數(shù)據(jù)轉(zhuǎn)成excel文件后數(shù)據(jù)變成亂碼，沒(méi)有正常顯示。處理方法：文字編碼方式不一樣，需要在導(dǎo)入時(shí)手動(dòng)選擇編碼方式‘UTF-8’，之后就沒(méi)有出現(xiàn)亂碼能夠正常顯示全部數(shù)據(jù)。六、學(xué)習(xí)總結(jié)與反思經(jīng)過(guò)半個(gè)學(xué)期大學(xué)計(jì)算機(jī)課程學(xué)習(xí)，讓我領(lǐng)會(huì)到了Python語(yǔ)言魅力。作為一個(gè)解釋型、面向?qū)ο?、?dòng)態(tài)數(shù)據(jù)類(lèi)型高級(jí)程序設(shè)計(jì)語(yǔ)言，Python與我們之前學(xué)習(xí)C++語(yǔ)言有顯著不一樣，愈加簡(jiǎn)練靠近于自然語(yǔ)言，不過(guò)其也是基于C語(yǔ)言，使得我們?cè)趯W(xué)習(xí)過(guò)程中相對(duì)輕松。借助Python我們學(xué)習(xí)了爬蟲(chóng)以及數(shù)據(jù)可視化，在當(dāng)下大數(shù)據(jù)背景下，我們了解了關(guān)于數(shù)據(jù)內(nèi)容（數(shù)據(jù)獲取、數(shù)據(jù)甄別、數(shù)據(jù)處理以及數(shù)據(jù)可視化），首先緊跟時(shí)代、不落后于社會(huì)，另首先也鞏固了編程語(yǔ)言，對(duì)于之后學(xué)習(xí)有著主要幫助。在這過(guò)程中，我也經(jīng)過(guò)自學(xué)接觸到了許多優(yōu)異項(xiàng)目，比如GitHub上Jannchie/Historical以及Deeofacelab、baidu圖說(shuō)工具，這些前輩這成熟數(shù)據(jù)可視化項(xiàng)目對(duì)于我學(xué)習(xí)以及視野擴(kuò)展都有主動(dòng)意義，為我打開(kāi)了當(dāng)下網(wǎng)絡(luò)信息行業(yè)窗戶(hù)