《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教案全套 池瑞楠 項(xiàng)目1-7 了解爬蟲與Python爬蟲環(huán)境-使用Scrapy爬蟲 爬取某企業(yè)官網(wǎng)新聞動(dòng)態(tài)

項(xiàng)目1了解爬蟲與Python爬蟲環(huán)境教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：4學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)先對(duì)爬蟲的概念和原理，及反爬蟲的概念進(jìn)行基本的概述，列舉針對(duì)反爬蟲的常用手段制定對(duì)應(yīng)爬取策略。而后簡(jiǎn)要介紹了Python常用爬蟲庫和爬蟲環(huán)境，以及用于存儲(chǔ)爬取的數(shù)據(jù)的MySQL、MongoDB數(shù)據(jù)庫?；疽罅私馀老x的原理。了解爬蟲運(yùn)行時(shí)應(yīng)遵守的規(guī)則和相關(guān)法律法規(guī)。了解反爬蟲的目的和常用的爬蟲策略。了解Python爬蟲常用爬蟲庫。掌握PyCharm的安裝和使用。掌握MySQL、MongoDB數(shù)據(jù)庫的配置方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。在大數(shù)據(jù)時(shí)代，如何通過網(wǎng)絡(luò)收集數(shù)據(jù)？現(xiàn)實(shí)生活中收集數(shù)據(jù)的方式有那些？如何保存收集到的結(jié)構(gòu)型和非結(jié)構(gòu)型數(shù)據(jù)？Python語言有哪些優(yōu)勢(shì)？PyCharm這個(gè)IDE有那些優(yōu)點(diǎn)和缺點(diǎn)？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。如何收集網(wǎng)絡(luò)上的公開數(shù)據(jù)？網(wǎng)站如何防止被爬蟲批量收集數(shù)據(jù)？在瀏覽網(wǎng)絡(luò)過程中，遇到了那些反爬蟲技術(shù)手段，又該怎么克服？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。網(wǎng)絡(luò)上的一切數(shù)據(jù)是否皆可通過網(wǎng)絡(luò)爬蟲獲??？Python語言用于做網(wǎng)絡(luò)爬蟲有哪些優(yōu)勢(shì)？討論網(wǎng)絡(luò)爬蟲會(huì)引發(fā)那些法律風(fēng)險(xiǎn)問題？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)爬蟲的概念、分類。爬蟲的合法性與robots協(xié)議。反爬蟲的手段與爬蟲策略制定。爬蟲環(huán)境的搭建PyCharm的使用。重點(diǎn)爬蟲的概念、爬蟲策略制定。PyCharm的使用。難點(diǎn)爬蟲的分類。教學(xué)過程設(shè)計(jì)理論教學(xué)過程爬蟲的概念。爬蟲的分類。爬蟲的合法性與robots協(xié)議。網(wǎng)站反爬蟲的目的與手段。爬蟲策略制定。爬蟲需要用到的編程環(huán)境、工具介紹。實(shí)驗(yàn)教學(xué)過程在Windows/Linux系統(tǒng)上安裝Python、PyCharm、MySQL、MongoDB。PyCharm的使用。教材與參考資料教材池瑞楠．Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網(wǎng)絡(luò)爬蟲技術(shù)[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項(xiàng)目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程[M]．人民郵電出版社．2022．項(xiàng)目2爬蟲基礎(chǔ)知識(shí)準(zhǔn)備教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：6學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)結(jié)合具體網(wǎng)頁，分析網(wǎng)頁技術(shù)和網(wǎng)頁結(jié)構(gòu)，講解網(wǎng)頁中常用的HTTP標(biāo)簽功能和具體用法；通過具體的網(wǎng)頁分析HTTP請(qǐng)求過程和方法，以及常見的狀態(tài)碼，闡述具體的HTTP頭部信息中各項(xiàng)字段的功能并借助開發(fā)者工具查看Cookie信息的方法?；疽罅私饩W(wǎng)頁開發(fā)技術(shù)和網(wǎng)頁基本結(jié)構(gòu)。了解網(wǎng)頁中常用的HTTP標(biāo)簽。熟悉HTTP請(qǐng)求的原理、狀態(tài)碼和頭部常用字段。熟悉在網(wǎng)頁中訪問網(wǎng)址，實(shí)現(xiàn)HTTP請(qǐng)求的對(duì)應(yīng)處理流程。熟悉Cookie的運(yùn)行機(jī)制。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。什么是網(wǎng)頁？網(wǎng)頁當(dāng)中包含哪些類型的資源？我們經(jīng)常使用到HTTP，是在什么時(shí)候用到？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。是否所有網(wǎng)頁都具有統(tǒng)一的網(wǎng)頁結(jié)構(gòu)？如何區(qū)分靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁？HTTP請(qǐng)求過程是分為哪幾步？Cookie信息是存儲(chǔ)在客戶端還是服務(wù)器端？如何查看Cookie信息？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。指定具體網(wǎng)頁，分析其中HTML、CSS和JavaScript技術(shù)各自實(shí)現(xiàn)的功能是什么？Cookie值中各字段有什么含義？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)網(wǎng)頁開發(fā)技術(shù)和網(wǎng)頁基本結(jié)構(gòu)。網(wǎng)頁中常用的HTTP標(biāo)簽。HTTP請(qǐng)求的過程、狀態(tài)碼和頭部常用字段。Cookie的運(yùn)行機(jī)制。重點(diǎn)網(wǎng)頁中常用的HTTP標(biāo)簽。HTTP請(qǐng)求的過程。難點(diǎn)HTTP請(qǐng)求過程。教學(xué)過程設(shè)計(jì)理論教學(xué)過程了解網(wǎng)頁開發(fā)技術(shù)。了解網(wǎng)頁的結(jié)構(gòu)。了解網(wǎng)頁的分類。了解網(wǎng)頁的數(shù)據(jù)結(jié)構(gòu)。熟悉HTTP請(qǐng)求方法與過程。熟悉常見HTTP狀態(tài)碼。熟悉HTTP頭部信息。熟悉Cookie。實(shí)驗(yàn)教學(xué)過程使用html標(biāo)簽和CSS樣式創(chuàng)建網(wǎng)頁。分析HTTP請(qǐng)求的過程。使用瀏覽器查看HTTP報(bào)文并分析報(bào)文的頭部信息。教材與參考資料教材池瑞楠．Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網(wǎng)絡(luò)爬蟲技術(shù)[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項(xiàng)目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程[M]．人民郵電出版社．2022．項(xiàng)目3簡(jiǎn)單靜態(tài)網(wǎng)頁爬取——獲取某企業(yè)官網(wǎng)基本信息教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：16學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)使用Chrome開發(fā)者工具定位目標(biāo)元素，查看網(wǎng)頁資源加載情況；使用urllib3和Requests庫實(shí)現(xiàn)HTTP請(qǐng)求，并使用Xpath、BeautifulSoup庫和正則表達(dá)式解析網(wǎng)頁內(nèi)容；講解將解析得到的數(shù)據(jù)存儲(chǔ)到JSON文件、MySQL數(shù)據(jù)庫當(dāng)中的方法?；疽笳莆誄hrome瀏覽器開發(fā)者工具的使用方法。掌握使用urllib3和Requests庫實(shí)現(xiàn)HTTP請(qǐng)求的流程。掌握Xpath的基本語法和常用函數(shù)。掌握創(chuàng)建BeautifulSoup對(duì)象的方法。掌握正則表達(dá)式解析網(wǎng)頁的常用方法。掌握使用JSON模塊和PyMySQL庫存儲(chǔ)數(shù)據(jù)的方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。Chrome開發(fā)者模式中如何查看網(wǎng)頁源碼？定位某個(gè)元素？創(chuàng)建HTML文件時(shí)，使用到了各種標(biāo)簽，能否使用標(biāo)簽之間的關(guān)系定位到某個(gè)標(biāo)簽？結(jié)合之前課程的學(xué)習(xí)，文本信息保存到本地，使用Python代碼可以保存為什么類型？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問。或者是對(duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。Xpath和BeautiuflSoup定位標(biāo)簽元素時(shí)，有何異同點(diǎn)？正則表達(dá)式中貪婪模式和非貪婪模式分別是何含義？如何區(qū)分？MySQL是用什么SQL指令實(shí)現(xiàn)數(shù)據(jù)插入？如何實(shí)現(xiàn)多行數(shù)據(jù)插入？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。使用PyMySQL庫如何從數(shù)據(jù)表中刪除數(shù)據(jù)？更新數(shù)據(jù)？Chrome開發(fā)者工具中，其他選項(xiàng)卡的作用是什么？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)Chrome瀏覽器查看網(wǎng)頁。urllib3庫實(shí)現(xiàn)HTTP請(qǐng)求。Requests庫實(shí)現(xiàn)HTTP請(qǐng)求。Xpath解析網(wǎng)頁。BeautifulSoup庫解析網(wǎng)頁。正則表達(dá)式解析網(wǎng)頁。將數(shù)據(jù)存儲(chǔ)為JSON文件。將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫。重點(diǎn)Requests庫實(shí)現(xiàn)HTTP請(qǐng)求。Xpath解析網(wǎng)頁。BeautifulSoup庫解析網(wǎng)頁。將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫。難點(diǎn)正則表達(dá)式解析網(wǎng)頁。將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫。教學(xué)過程設(shè)計(jì)理論教學(xué)過程使用Chrome瀏覽器查看網(wǎng)頁。使用urllib3庫實(shí)現(xiàn)HTTP請(qǐng)求。使用Requests庫實(shí)現(xiàn)HTTP請(qǐng)求。使用Xpath解析網(wǎng)頁。使用BeautifulSoup庫解析網(wǎng)頁。使用正則表達(dá)式解析網(wǎng)頁。將數(shù)據(jù)存儲(chǔ)為JSON文件。將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫。實(shí)驗(yàn)教學(xué)過程使用Chrome瀏覽器查看網(wǎng)頁源碼，并定位節(jié)點(diǎn)。使用urllib3和Requests實(shí)現(xiàn)HTTP請(qǐng)求發(fā)送和接收響應(yīng)結(jié)果。使用Xpath、BeautifulSoup或者正則表達(dá)式對(duì)響應(yīng)的內(nèi)容進(jìn)行解析。將數(shù)據(jù)存儲(chǔ)到JSON文件中。將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫中。教材與參考資料教材池瑞楠．Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網(wǎng)絡(luò)爬蟲技術(shù)[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項(xiàng)目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程[M]．人民郵電出版社．2022．項(xiàng)目4爬取動(dòng)態(tài)網(wǎng)頁——獲取圖書基本信息教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：14學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)結(jié)合某出版社網(wǎng)站，講解使用Chrome開發(fā)者工具采用逆向分析的方法分析定位動(dòng)態(tài)數(shù)據(jù)所在的網(wǎng)址，并從該網(wǎng)址解析數(shù)據(jù)的方法；演示Chrome瀏覽器驅(qū)動(dòng)的安裝和配置方法；介紹Selenium庫的常用方法和具體使用操作；介紹數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫的操作方法?；疽笳莆漳嫦蚍治龆ㄎ粍?dòng)態(tài)數(shù)據(jù)所在網(wǎng)址的方法。掌握Selenium庫的安裝和配置方法。掌握Selenium庫的常用函數(shù)。掌握MongoDB存儲(chǔ)數(shù)據(jù)的基本方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。網(wǎng)頁中所有內(nèi)容都可以通過靜態(tài)提取的方法獲得？嘗試用靜態(tài)提取的方法嘗試能否獲取到某出版社官網(wǎng)中新書推薦欄的圖書名稱？結(jié)合前面章節(jié)內(nèi)容，談?wù)劸W(wǎng)頁中什么算動(dòng)態(tài)數(shù)據(jù)？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。逆向分析的具體步驟是什么？Selenium是否可以驅(qū)動(dòng)其他瀏覽器？Selenium能否爬取靜態(tài)數(shù)據(jù)？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。請(qǐng)大家自行探索了解AJAX技術(shù)?？偨Y(jié)當(dāng)前我們已經(jīng)學(xué)習(xí)過的數(shù)據(jù)存儲(chǔ)方式。主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)逆向分析判斷網(wǎng)頁類型。逆向分析獲取動(dòng)態(tài)網(wǎng)頁信息。Selenium庫打開瀏覽器對(duì)象并訪問頁面。Selenium庫進(jìn)行元素選取、交互、頁面操作、等待。MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫的區(qū)別。將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫。重點(diǎn)逆向分析獲取動(dòng)態(tài)網(wǎng)頁信息。Selenium庫打開瀏覽器對(duì)象并訪問頁面。Selenium庫進(jìn)行元素選取、交互、頁面操作、等待。將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫。難點(diǎn)逆向分析獲取動(dòng)態(tài)網(wǎng)頁信息。將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫。教學(xué)過程設(shè)計(jì)理論教學(xué)過程逆向分析判斷網(wǎng)頁類型。逆向分析獲取動(dòng)態(tài)網(wǎng)頁信息。使用Selenium庫打開瀏覽器對(duì)象并訪問頁面。Selenium庫進(jìn)行元素選取、交互、頁面操作、等待。MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫的區(qū)別。將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫。實(shí)驗(yàn)教學(xué)過程判斷網(wǎng)頁類型。使用逆向分析的方法獲取網(wǎng)頁信息。Selenium庫及瀏覽器驅(qū)動(dòng)安裝。使用Selenium庫爬取動(dòng)態(tài)網(wǎng)頁。網(wǎng)頁元素選取。網(wǎng)頁元素交互。網(wǎng)頁頁面操作。網(wǎng)頁頁面等待。將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫中。教材與參考資料教材池瑞楠．Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網(wǎng)絡(luò)爬蟲技術(shù)[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項(xiàng)目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程[M]．人民郵電出版社．2022．項(xiàng)目5模擬登錄——登錄某企業(yè)官網(wǎng)教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：6學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)分別用表單和Cookie實(shí)現(xiàn)模擬登錄。在表單模擬登錄時(shí)，學(xué)會(huì)查找提交入口、查找并獲取需要提交的表單數(shù)據(jù)、使用POST方法請(qǐng)求登錄。在Cookie實(shí)現(xiàn)模擬登錄時(shí)，知道保存已經(jīng)成功登錄的Cookie、使用保存的Cookie發(fā)送請(qǐng)求。基本要求掌握使用開發(fā)者工具查找登錄入口。掌握使用開發(fā)者工具查找模擬登錄需要的相關(guān)信息。掌握表單登錄、Cookie登錄的流程。掌握保存和加載Cookie實(shí)現(xiàn)登錄的方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。當(dāng)你成功登錄了一個(gè)網(wǎng)站，關(guān)閉后短時(shí)間內(nèi)再進(jìn)去網(wǎng)站并不用登錄是為什么？當(dāng)你成功登錄了一個(gè)網(wǎng)站，關(guān)閉后長(zhǎng)時(shí)間內(nèi)再進(jìn)去網(wǎng)站卻要登錄是為什么？為什么登錄網(wǎng)站時(shí)，除了輸入賬號(hào)和密碼外，往往還需要輸入驗(yàn)證碼？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問。或者是對(duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。為什么表單登錄要用POST請(qǐng)求？使用瀏覽器Cookie登錄和基于表單登錄的Cookie登錄，兩種基于Cookie的模擬登錄各有什么優(yōu)缺點(diǎn)？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。你能想到哪些Cookie泄露帶來的安全問題？除了字符驗(yàn)證碼外，在上網(wǎng)過程中還遇見了哪些驗(yàn)證方式？除人工識(shí)別字符驗(yàn)證碼外，還有那些方法識(shí)別驗(yàn)證碼？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)查找表單登錄的提交入口。查找并獲取需要提交的表單數(shù)據(jù)。如何驗(yàn)證是否模擬登錄成功。使用POST請(qǐng)求方法登錄。使用瀏覽器Cookie登錄?；诒韱蔚卿浀腃ookie登錄。重點(diǎn)查找表單登錄的提交入口。使用瀏覽器Cookie登錄?；诒韱蔚卿浀腃ookie登錄難點(diǎn)查找表單登錄的提交入口。教學(xué)過程設(shè)計(jì)理論教學(xué)過程掌握使用Chrome開發(fā)者工具，查找提交入口、查找需要提交的表單數(shù)據(jù)。掌握獲取驗(yàn)證碼數(shù)據(jù)的方法。掌握使用POST方法向服務(wù)器發(fā)送登錄請(qǐng)求。掌握使用Chrome開發(fā)者工具獲取瀏覽器的Cookie，實(shí)現(xiàn)模擬登錄。掌握通過加載已經(jīng)保存的表單登錄后的Cookie實(shí)現(xiàn)模擬登錄。實(shí)驗(yàn)教學(xué)過程使用Chrome開發(fā)者工具，查找提交入口。使用Chrome開發(fā)者工具，查找需要提交的表單數(shù)據(jù)。獲取驗(yàn)證碼數(shù)據(jù)。使用POST方法向服務(wù)器發(fā)送登錄請(qǐng)求。使用Chrome開發(fā)者工具獲取瀏覽器的Cookie，實(shí)現(xiàn)模擬登錄。加載已經(jīng)保存的表單登錄后的Cookie，實(shí)現(xiàn)模擬登錄。教材與參考資料教材池瑞楠．Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網(wǎng)絡(luò)爬蟲技術(shù)[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項(xiàng)目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程[M]．人民郵電出版社．2022．項(xiàng)目6終端協(xié)議分析——獲取某音樂PC客戶端和App客戶端數(shù)據(jù)教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)分析目前互聯(lián)網(wǎng)數(shù)據(jù)獲取的現(xiàn)狀，獲取數(shù)據(jù)逐漸從Web端轉(zhuǎn)向了PC端和APP客戶端。而后介紹了HTTPAnalyzer工具的基本功能，利用HTTPAnalyzer工具進(jìn)行抓包，以及通過抓包分析獲得在酷我音樂PC客戶端搜索的數(shù)據(jù)。緊接著了解并設(shè)置Fiddler工具，通過Fiddler工具得到酷我音樂App客戶端的JSON格式數(shù)據(jù)，利用Fiddler工具抓取的包，對(duì)酷我音樂App客戶端的圖片信息進(jìn)行爬取。基本要求了解HTTPAnalyzer工具的基礎(chǔ)知識(shí)。掌握酷我音樂PC客戶端數(shù)據(jù)的爬取流程。了解Fiddler工具的基礎(chǔ)知識(shí)。掌握HTTPAnalyzer和Fiddler工具的抓包和數(shù)據(jù)分析方法。掌握酷我音樂App客戶端的數(shù)據(jù)分析方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。（1）如何從網(wǎng)絡(luò)中獲取相關(guān)數(shù)據(jù)？（2）現(xiàn)實(shí)生活中可以使用哪些數(shù)據(jù)獲取的技術(shù)？（3）該如何進(jìn)行數(shù)據(jù)爬?。浚?）Python語言編寫爬蟲有哪些優(yōu)勢(shì)？（5）通過Web端爬取數(shù)據(jù)的一般流程是什么？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問。或者是對(duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。PC客戶端和APP客戶端抓包的完整流程是怎樣的？抓包軟件的能夠應(yīng)用在那些場(chǎng)景？HTTPAnalyzer和Fiddler有哪些優(yōu)缺點(diǎn)？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。有沒有更好的APP客戶端抓包方案（例如使用安卓模擬器等）？Python語言用于做數(shù)據(jù)分析有哪些優(yōu)勢(shì)？如何從抓取的數(shù)據(jù)包中快速定位要爬取的資源？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)（1）了解HTTPAnalyzer工具的基礎(chǔ)知識(shí)。（2）掌握酷我音樂PC客戶端數(shù)據(jù)的爬取流程。（3）了解Fiddler工具的基礎(chǔ)知識(shí)。（4）掌握HTTPAnalyzer和Fiddler工具的抓包和數(shù)據(jù)分析方法。（5）掌握酷我音樂App客戶端的數(shù)據(jù)分析方法。重點(diǎn)抓包的概念、流程與應(yīng)用場(chǎng)景。HTTPAnalyzer和Fiddler工具的常用功能。難點(diǎn)抓包的概念與流程。教學(xué)過程設(shè)計(jì)理論教學(xué)過程（1）HTTPAnalyzer的安裝。（2）HTTPAnalyzer的基本功能。（3）使用HTTPAnalyzer進(jìn)行抓包。（4）對(duì)酷我客戶端抓取的數(shù)據(jù)包進(jìn)行分析。（5）對(duì)數(shù)據(jù)包內(nèi)容進(jìn)行解析和數(shù)據(jù)提取。（6）編寫爬蟲下載歌手?jǐn)?shù)據(jù)。（7）Fiddler工具的安裝。（8）Fiddler工具的基本功能。（9）設(shè)置Android系統(tǒng)的手機(jī)。（10）利用Fiddler工具進(jìn)行抓包測(cè)試。（11）分析酷我音樂App客戶端數(shù)據(jù)。（12）編寫爬蟲下載首頁圖片。實(shí)驗(yàn)教學(xué)過程通過HTTPAnalyzer抓包分析獲得在酷我音樂PC客戶端搜索的數(shù)據(jù)。使用Fiddler工具對(duì)酷我音樂App客戶端的圖片信息進(jìn)行爬取。教材與參考資料教材池瑞楠．Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）[M]．人民郵電出版社．2023．參考資料江吉彬．Python網(wǎng)絡(luò)爬蟲技術(shù)[M]．人民郵電出版社．2019．黃瑞軍．Python爬蟲項(xiàng)目教程（微課版）[M]．人民郵電出版社．2021．黑馬程序員．Python網(wǎng)絡(luò)爬蟲基礎(chǔ)教程[M]．人民郵電出版社．2022．項(xiàng)目7使用Scrapy爬蟲——爬取某企業(yè)官網(wǎng)新聞動(dòng)態(tài)教案課程名稱：Python網(wǎng)絡(luò)爬蟲技術(shù)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論24學(xué)時(shí)，實(shí)驗(yàn)40學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：10學(xué)時(shí)材料清單《Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版）（微課版）》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)分析目前數(shù)據(jù)流通的現(xiàn)狀，明確數(shù)據(jù)爬取是實(shí)現(xiàn)數(shù)據(jù)要素化的重要方式。而后介紹Scrapy爬蟲框架，闡述該框架與一般Python爬蟲的區(qū)別，講解Scrapy爬蟲框架的安裝、創(chuàng)建爬蟲項(xiàng)目，框架中各組件的功能和用途，最后以某企業(yè)官網(wǎng)的“新聞中心”頁面為例，使用Scrapy框架實(shí)現(xiàn)爬蟲，抓取指定網(wǎng)站的內(nèi)容或圖片，實(shí)時(shí)獲取企業(yè)動(dòng)態(tài)，并進(jìn)行備份和存儲(chǔ)?；疽螅?）了解Scrapy框架各組件的作用以及數(shù)據(jù)流向。（2）熟悉Scrapy的常用命令及其作用。（3）掌握Scrapy爬取文本信息的方法。（4）能夠使用Scrapy框架爬取網(wǎng)站信息。（5）能夠根據(jù)項(xiàng)目最終目標(biāo)修改items/pipelines腳