《Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù)（第2版）（微課版）》教學(xué)進(jìn)度表

學(xué)院課程教學(xué)進(jìn)度計(jì)劃表（20～20學(xué)年第二學(xué)期） 課程名稱Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù) 授課學(xué)時(shí)64學(xué)時(shí) 參與教學(xué)教師 授課班級(jí)/人數(shù) 專業(yè)（教研室） 填表時(shí)間教務(wù)處編印年月打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺(tái)打造基于產(chǎn)教融合的就業(yè)育人綜合服務(wù)平臺(tái)泰迪泰迪智能科技官網(wǎng)：/聯(lián)系方式：4006840020課程教學(xué)目的通過(guò)本課程的學(xué)習(xí)，掌握使用Python基本語(yǔ)法完成爬蟲(chóng)任務(wù)編寫，使用Requests庫(kù)向指定網(wǎng)址發(fā)送請(qǐng)求，Xpath或BeautifulSoup庫(kù)對(duì)靜態(tài)網(wǎng)頁(yè)進(jìn)行解析，Selenium庫(kù)爬取動(dòng)態(tài)頁(yè)面；使用JSON文件、MySQL數(shù)據(jù)庫(kù)、MongoDB數(shù)據(jù)庫(kù)對(duì)爬取下來(lái)的數(shù)據(jù)進(jìn)行存儲(chǔ)；使用表單登錄方法、Cookie登錄方法實(shí)現(xiàn)模擬登錄；使用HTTPAnalyzer和Fiddler工具抓包，并分析終端協(xié)議；使用Scrapy框架進(jìn)行網(wǎng)頁(yè)內(nèi)容爬取，理論結(jié)合實(shí)踐，每個(gè)章節(jié)中都配有多個(gè)案例，為學(xué)生將來(lái)從事數(shù)據(jù)采集、數(shù)據(jù)爬取的工作、研究奠定基礎(chǔ)。教學(xué)方法及手段本課程將采用理論與實(shí)踐相結(jié)合的教學(xué)方法。在理論上，通過(guò)任務(wù)引入概念、原理和方法。在實(shí)踐上，充分地利用現(xiàn)有的硬件資源，發(fā)揮學(xué)生主觀能動(dòng)性，指導(dǎo)學(xué)生按照PyCharm、MySQL、MongoDB作為數(shù)據(jù)爬取的基礎(chǔ)環(huán)境，使用Requests或者urllib3發(fā)送請(qǐng)求，使用Xpath、BeautifulSoup或者正則表達(dá)式進(jìn)行頁(yè)面解析，使用Selenium進(jìn)行動(dòng)態(tài)頁(yè)面解析，使用JSON文件、MySQL數(shù)據(jù)庫(kù)或者M(jìn)ongoDB數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)，使用POST請(qǐng)求模擬登錄網(wǎng)站，使用HTTPAnalyzer或者Fiddler工具對(duì)終端數(shù)據(jù)進(jìn)行爬取，使用Scrapy框架進(jìn)行內(nèi)容爬取解析，引導(dǎo)學(xué)生將所學(xué)知識(shí)與企業(yè)需求相結(jié)合，將知識(shí)活學(xué)活用。要求學(xué)生自己動(dòng)手分析實(shí)例，學(xué)習(xí)基本理論和方法，結(jié)合已有的知識(shí)，適當(dāng)組織一些討論，充分調(diào)動(dòng)學(xué)生的主觀能動(dòng)性，以達(dá)到本課程的教學(xué)目的。課程考核方法突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開(kāi)卷形式，試題應(yīng)包括發(fā)送HTTP請(qǐng)求、解析靜態(tài)網(wǎng)頁(yè)內(nèi)容、解析動(dòng)態(tài)網(wǎng)頁(yè)內(nèi)容、數(shù)據(jù)存儲(chǔ)為JSON文件、數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)、數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫(kù)、使用表單和Cookie模擬登錄、使用HTTPAnalyzer獲取PC端數(shù)據(jù)、使用Fiddler獲取APP端數(shù)據(jù)、Scrapy框架使用等部分，題型可采用判斷題、選擇、簡(jiǎn)答、編程題等方式。

《Python數(shù)據(jù)分析與應(yīng)用》教學(xué)日歷周次學(xué)時(shí)授課內(nèi)容作業(yè)要求備注14第1章了解爬蟲(chóng)與爬蟲(chóng)環(huán)境第1章實(shí)訓(xùn)，思考題，課后習(xí)題24第2章爬蟲(chóng)基礎(chǔ)知識(shí)準(zhǔn)備（1）第2章實(shí)訓(xùn)1，思考題，課后習(xí)題34爬蟲(chóng)基礎(chǔ)知識(shí)準(zhǔn)備（2）簡(jiǎn)單靜態(tài)網(wǎng)頁(yè)爬取——獲取某企業(yè)官網(wǎng)基本信息（1）第2章實(shí)訓(xùn)2，思考題，課后習(xí)題44第3章簡(jiǎn)單靜態(tài)網(wǎng)頁(yè)爬取——獲取某企業(yè)官網(wǎng)基本信息（2）第3章實(shí)訓(xùn)1、實(shí)訓(xùn)254第3章簡(jiǎn)單靜態(tài)網(wǎng)頁(yè)爬取——獲取某企業(yè)官網(wǎng)基本信息（3）第3章實(shí)訓(xùn)364第3章簡(jiǎn)單靜態(tài)網(wǎng)頁(yè)爬取——獲取某企業(yè)官網(wǎng)基本信息（4）第3章思考題74第3章簡(jiǎn)單靜態(tài)網(wǎng)頁(yè)爬取——獲取某企業(yè)官網(wǎng)基本信息（5）爬取動(dòng)態(tài)網(wǎng)頁(yè)——獲取圖書(shū)基本信息（1）第3章課后習(xí)題84第4章爬取動(dòng)態(tài)網(wǎng)頁(yè)——獲取圖書(shū)基本信息（2）第4章實(shí)訓(xùn)194第4章爬取動(dòng)態(tài)網(wǎng)頁(yè)——獲取圖書(shū)基本信息（3）第4章實(shí)訓(xùn)2104第4章爬取動(dòng)態(tài)網(wǎng)頁(yè)——獲取圖書(shū)基本信息（4）第4章思考題、課后習(xí)題114第5章模擬登錄——登錄某企業(yè)官網(wǎng)（1）第5章實(shí)訓(xùn)124第5章模擬登錄——登錄某企業(yè)官網(wǎng)（2）第6章終端協(xié)議分析——獲取某音樂(lè)PC客戶端和APP數(shù)據(jù)（1）第5章思考題，課后習(xí)題134第6章終端協(xié)議分析——獲取某音樂(lè)PC客戶端和APP數(shù)據(jù)（2）第6章實(shí)訓(xùn)144第6章終端協(xié)議分析——獲取某音樂(lè)PC客戶端和APP數(shù)據(jù)（3）第7章使用Scrapy爬蟲(chóng)——爬取某企業(yè)官網(wǎng)新聞動(dòng)態(tài)（1）第6章思考題，課后習(xí)題154第7章使用Scrapy爬蟲(chóng)——爬取某企業(yè)官網(wǎng)新聞動(dòng)態(tài)（2）第7