Python網(wǎng)絡(luò)爬蟲技術(shù)-第7章-Scrapy爬蟲-教案

第7章Scrapy爬蟲教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：32學(xué)時（其中理論14學(xué)時，實驗18學(xué)時）總學(xué)分：2.0學(xué)分本章學(xué)時：5學(xué)時材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)使用Scrapy框架爬取網(wǎng)站，學(xué)會Scrapy的數(shù)據(jù)流向、框架，以及框架各組成部分的作用。Scrapy的常用命令及其作用。創(chuàng)建Scrapy爬蟲項目，創(chuàng)建爬蟲模板的方法。根據(jù)項目最終目標(biāo)修改items/piplines腳本。編寫spider腳本，解析網(wǎng)頁。修改settings腳本，實現(xiàn)下載延遲設(shè)置等。定制下載中間件，實現(xiàn)隨機(jī)選擇訪問USER_AGENT與IP?；疽罅私釹crapy爬蟲框架。熟悉Scrapy常用命令。修改items/piplines腳本存儲數(shù)據(jù)。編寫spider腳本解析網(wǎng)頁信息。修改settings腳本設(shè)置爬蟲參數(shù)。定制Scrapy中間件。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。如何實現(xiàn)對爬取過的內(nèi)容不重新爬??？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點、難點問題切入，進(jìn)行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。如何實現(xiàn)日志打印到文件中？piplines腳本中item是什么數(shù)據(jù)類型？如何實現(xiàn)保存數(shù)據(jù)到MongoDB數(shù)據(jù)庫？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。Requests庫和Scarpy庫對比各有什么優(yōu)缺點？Scarpy如何實現(xiàn)人工驗證碼驗證？主要知識點、重點與難點主要知識點了解Scrapy爬蟲框架。熟悉Scrapy常用命令。創(chuàng)建Scrapy爬蟲項目。修改items/piplines腳本。編寫spider腳本。修改settings腳本。定制下載器中間件。定制Spider中間件。重點熟悉Scrapy常用命令。創(chuàng)建Scrapy爬蟲項目。修改items/piplines腳本。編寫spider腳本。難點修改items/piplines腳本。編寫spider腳本。教學(xué)過程設(shè)計理論教學(xué)過程了解Scrapy的框架構(gòu)成。了解Scrapy各組件的作用。熟悉常見的Scrapy命令。創(chuàng)建Scrapy爬蟲項目。定義items/piplines腳本，將數(shù)據(jù)存儲至csv文件與MySQL數(shù)據(jù)庫。創(chuàng)建spider爬蟲腳本模板。定義spider腳本。運行爬蟲。創(chuàng)建中間件腳本。激活中間件。實驗教學(xué)過程創(chuàng)建Scrapy爬蟲項目。定義items/piplines腳本，將數(shù)據(jù)