《網(wǎng)絡爬蟲項目實踐》課件-項目三：scrapy框架爬蟲（教案）

項目三scrapy框架爬蟲教案課程名稱：網(wǎng)絡爬蟲項目實踐課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學時：64學時（其中理論28學時，實驗36學時）總學分：4.0學分本章學時：3學時材料清單《網(wǎng)絡爬蟲項目實踐》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標本項目分為三個任務，任務1通過當當網(wǎng)的爬取演示如何使用Scrapy的基本使用，任務2通過趕集網(wǎng)的登錄演示Scrapy的模擬登錄功能，任務3通過失信人信息爬取演示Scrapy爬取復雜網(wǎng)站的方法。、基本要求掌握使用Scrapy創(chuàng)建爬蟲項目的方式掌握Scrapy創(chuàng)建爬蟲文件命令的使用掌握使用Scrapy進行數(shù)據(jù)爬取的基本方法掌握使用Scrapy模擬登錄趕集網(wǎng)的方法掌握將爬取結(jié)果存儲到MySQL數(shù)據(jù)庫的方法掌握Ajax數(shù)據(jù)爬取方式問題引導性提問引導性提問需要教師根據(jù)教材內(nèi)容和學生實際水平，提出問題，啟發(fā)引導學生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。Scrapy項目是由哪些主要文件和目錄組成的？Scrapy如何定義提取的結(jié)構(gòu)化數(shù)據(jù)（Item）？Scrapy如何編寫爬蟲（Spider）并從網(wǎng)頁中提取Item？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑教釂栔猩形瓷婕暗谡n文中又是重要的問題加以設問。Scrapy如何使用管道（Pipeline）來存儲或處理提取到的Item？Scrapy如何使用中間件（Middleware）來自定義下載或處理請求和響應？Scrapy如何使用選擇器（Selector）或BeautifulSoup來解析HTML或XML文檔？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態(tài)后，根據(jù)學生學習層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。Scrapy如何使用信號（Signal）來在爬蟲的不同階段執(zhí)行自定義操作？Scrapy如何使用擴展（Extension）來增加或修改Scrapy的核心功能？Scrapy如何使用調(diào)度器（Scheduler）來控制請求的優(yōu)先級或延遲？主要知識點、重點與難點主要知識點Scrapy創(chuàng)建爬蟲項目的方式Scrapy常見命令的使用Scrapy模擬登錄的方式Scrapy數(shù)據(jù)存儲的方式重點Scrapy創(chuàng)建爬蟲項目的方式Scrapy常見命令的使用Scrapy模擬登錄的方式Scrapy數(shù)據(jù)存儲的方式難點Scrapy創(chuàng)建爬蟲項目的方式Scrapy常見命令的使用Scrapy模擬登錄的方式Scrapy數(shù)據(jù)存儲的方式教學過程設計理論教學過程Scrapy項目是由一些主要文件和目錄組成的，包括scrapy.cfg,items.py,pipelines.py,settings.py,spiders等。Scrapy項目中定義了Item類，用來封裝提取的結(jié)構(gòu)化數(shù)據(jù)，類似于Python中的字典，但是提供了一些額外的保護減少錯誤。Scrapy項目中編寫了Spider類，用來定義爬蟲的行為和邏輯，如起始URL，請求方式，解析規(guī)則等。Scrapy項目中使用了Pipeline類，用來處理Spider提取到的Item，并進行后期處理（詳細分析、過濾、存儲等）。Scrapy項目中使用了Middleware類，用來自定義下載或處理請求和響應，如設置代理、修改頭部、重試等。Scrapy項目中使用了Selector類，用來解析HTML或XML文檔，支持XPath和CSS選擇器兩種語法。Scrapy項目中使用了Engine類，用來負責Spider、ItemPipeline、Downloader、Scheduler之間的通訊，信號、數(shù)據(jù)傳遞等。Scrapy項目中使用了Scheduler類，用來接受引擎發(fā)送過來的Request請求，并按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。Scrapy項目中使用了Downloader類，用來下載ScrapyEngine發(fā)送的所有Requests請求，并將其獲取到的Responses交還給ScrapyEngine。Scrapy項目中使用了Signal類，用來在爬蟲的不同階段執(zhí)行自定義操作，如爬蟲啟動、關(guān)閉、異常等。實驗教學過程創(chuàng)建Scrapy項目商品數(shù)據(jù)爬取商品數(shù)據(jù)處理獲取表單HashCode獲取驗證碼定義數(shù)據(jù)模型創(chuàng)建下載器中間件教材與參考資料教材李程文，唐建生，馮欣悅．網(wǎng)絡爬蟲項目實踐[M]．西安：西安電子科技大學出版社．2023．參考資料[1] 趙國生，王?。畃ython網(wǎng)絡爬蟲技術(shù)與實戰(zhàn)[M]．北京：機械工