《網(wǎng)絡(luò)爬蟲項目實踐》課件-項目一：網(wǎng)頁數(shù)據(jù)獲?。ń贪福?/h1>

上傳人：1***

認證信息

認證類型：個人認證

認證主體：田**（實名認證）

IP屬地：廣東

IP屬地：廣東 上傳時間：2025-02-15 格式：DOCX 頁數(shù)：5 大小：26.58KB 積分：15 舉報 版權(quán)申訴

項目一網(wǎng)頁數(shù)據(jù)獲取教案課程名稱：網(wǎng)絡(luò)爬蟲項目實踐課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時（其中理論28學(xué)時，實驗36學(xué)時）總學(xué)分：4.0學(xué)分本章學(xué)時：3學(xué)時材料清單《網(wǎng)絡(luò)爬蟲項目實踐》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標與基本要求教學(xué)目標網(wǎng)頁數(shù)據(jù)爬取是互聯(lián)網(wǎng)行業(yè)的一項重要的基礎(chǔ)能力，“網(wǎng)頁數(shù)據(jù)”包括網(wǎng)頁上的文字、圖像、聲音、視頻和動畫等。本項目網(wǎng)頁數(shù)據(jù)獲取將通過三個任務(wù)由淺入深來完成如何爬取網(wǎng)頁數(shù)據(jù)。任務(wù)1，通過讀書網(wǎng)信息爬取任務(wù)，介紹正則表達式爬取數(shù)據(jù)方法，以及處理數(shù)據(jù)亂碼和爬取鏈接不完整的方法。任務(wù)2，通過今日頭條數(shù)據(jù)爬取任務(wù)，闡述關(guān)鍵字搜索、重定向網(wǎng)頁過濾、MongoDB數(shù)據(jù)庫使用方法。最后，任務(wù)3，通過京東動態(tài)渲染頁面的信息爬取，講授了動態(tài)渲染頁面的爬取過程、Selenium構(gòu)造自定義瀏覽器渲染引擎搜索關(guān)鍵字和模擬翻頁、PyQuery分析頁面源代碼獲取商品內(nèi)容，最后保存數(shù)據(jù)信息至MongoDB。、基本要求熟練掌握第三方庫的安裝方法熟練掌握requests庫的使用熟練掌握re庫的使用熟練掌握JOSN數(shù)據(jù)爬取方式熟練掌握Selenium、PyMongo、PyQuery模塊的使用方法熟練使用Python的多進程數(shù)據(jù)爬取方式熟練掌握爬蟲結(jié)果亂碼處理方式問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。網(wǎng)頁數(shù)據(jù)獲取能夠做什么？網(wǎng)頁數(shù)據(jù)獲取都使用了哪些技術(shù)？Python進行網(wǎng)頁數(shù)據(jù)獲取的優(yōu)勢？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。網(wǎng)頁數(shù)據(jù)獲取能夠應(yīng)用在哪些場景？不同頁面的數(shù)據(jù)獲取方法有什么不同？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。網(wǎng)頁數(shù)據(jù)獲取可以應(yīng)用在哪些行業(yè)？網(wǎng)頁數(shù)據(jù)獲取得到的數(shù)據(jù)如何進行數(shù)據(jù)分析？主要知識點、重點與難點主要知識點requests庫的使用。re庫的使用。JOSN數(shù)據(jù)爬取方式。Selenium、PyMongo、PyQuery模塊的使用方法。Python的多進程數(shù)據(jù)爬取方式。爬蟲結(jié)果亂碼處理方式。重點第三方庫的安裝。第三方庫的使用。JSON數(shù)據(jù)爬取。中文亂碼問題的處理。難點第三方庫的使用方法。JSON數(shù)據(jù)爬取。教學(xué)過程設(shè)計理論教學(xué)過程網(wǎng)頁數(shù)據(jù)獲取的概念和意義。不同網(wǎng)頁數(shù)據(jù)獲取的流程。網(wǎng)頁數(shù)據(jù)獲取的應(yīng)用場景。網(wǎng)頁數(shù)據(jù)獲取常用工具的安裝和使用方法。網(wǎng)頁數(shù)據(jù)獲取的常用類庫。實驗教學(xué)過程網(wǎng)頁結(jié)構(gòu)分析第三方庫安裝解決爬蟲中文亂碼網(wǎng)頁數(shù)據(jù)爬取爬取網(wǎng)頁數(shù)據(jù)獲取搜索結(jié)果詳情解析詳情頁數(shù)據(jù)保存數(shù)據(jù)搜索關(guān)鍵字分析頁面并翻頁分析提取商品內(nèi)容信息保存至MongoDB教材與參考資料教材李程文，唐建生，馮欣悅．網(wǎng)絡(luò)爬蟲項目實踐[M]．西安：西安電子科技大學(xué)出版社．2023．參考資料[1] 趙國生，王健．python網(wǎng)絡(luò)爬蟲技術(shù)與實戰(zhàn)[M]．北京：機械工業(yè)出版社．2021．[2] 黑馬程序員．Python網(wǎng)絡(luò)爬