爬蟲技術與應用課程標準

信息技術產(chǎn)業(yè)學院《爬蟲技術與應用》課程標準課程代碼：適用專業(yè)：大數(shù)據(jù)技術編者：計算機教研室（大數(shù)據(jù)課程組）課程負責人：審核人：編制單位：云南能源職業(yè)技術學院信息技術產(chǎn)業(yè)學院系（部）合作單位：武漢偉創(chuàng)聚贏科技有限公司編制日期：年月日

《爬蟲技術與應用》課程標準（一）課程基本信息課程代碼：課程名稱：爬蟲技術與應用承擔單位：計算機教研室大數(shù)據(jù)課程組課程學分：4課程類別一：B類參考學時：64課程類別二：專業(yè)基礎課課程類別三：必修課/考試適用專業(yè)（層次）：三年制普專先修課程：《Linux操作系統(tǒng)實戰(zhàn)》后續(xù)課程：《Hadoop大數(shù)據(jù)基礎》職業(yè)資格：工信部NCIE中級軟件工程師編制：《爬蟲技術與應用》課程開發(fā)團隊批準人：課程負責人：（二）課程詳細信息1．適用對象三年制學生/五年制學生。2．適用專業(yè)大數(shù)據(jù)技術3.參考學時64學分4

4.課程簡介《爬蟲技術與應用》較為全面地介紹了不同場景下Python爬取網(wǎng)絡數(shù)據(jù)的方法，包括靜態(tài)網(wǎng)頁、動態(tài)網(wǎng)頁、登錄后才能訪問的網(wǎng)頁、PC客戶端、App等場景。全書共7章，第1章介紹了爬蟲與反爬蟲的基本概念，以及Python爬蟲環(huán)境的配置，第2章介紹了爬取過程中涉及的網(wǎng)頁前端基礎，第3章介紹了在靜態(tài)網(wǎng)頁中爬取數(shù)據(jù)的過程，第4章介紹了在動態(tài)網(wǎng)頁中爬取數(shù)據(jù)的過程，第5章介紹了對登錄后才能訪問的網(wǎng)頁進行模擬登錄的方法，第6章介紹了爬取PC客戶端、App的數(shù)據(jù)的方法，第7章介紹了使用Scrapy爬蟲框架爬取數(shù)據(jù)的過程。本書所有章節(jié)都包含了實訓與課后習題，通過練習和操作實戰(zhàn)，可幫助學生鞏固所學的內(nèi)容。5.課程性質(zhì)與定位①課程性質(zhì)：專業(yè)必修課②課程定位：大數(shù)據(jù)時代已經(jīng)到來，在商業(yè)、經(jīng)濟及其他領域中基于數(shù)據(jù)和分析去發(fā)現(xiàn)問題并做出科學、客觀的決策越來越重要。在數(shù)據(jù)分析技術的研究和應用中，爬蟲作為數(shù)據(jù)獲取來源之一，扮演著至關重要的角色。為了推動我國大數(shù)據(jù)，云計算，人工智能行業(yè)的發(fā)展，滿足日益增長的數(shù)據(jù)分析人才需求，特開設Python網(wǎng)絡爬蟲技術課程。6.課程設計思路①課程設計依據(jù)：隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)挖掘?qū)⒏訌V泛地滲透到各行各業(yè)中去，而完全面向?qū)ο蟮腜ython的教學工作也將成為高校中數(shù)學和統(tǒng)計學等專業(yè)的重點發(fā)展對象，這是大數(shù)據(jù)時代下的必然趨勢。②具體設計思路：在每章的理論部分講解主要采用講授法，對于每章的難點和重點部分的講解可采用啟發(fā)法，讓學生做到由淺入深，循序漸進的理解和掌握相應的知識點，對于難點內(nèi)容亦可以采用課堂討論法以調(diào)動學生的積極性，對于基本概念部分建議采用課上練習法加以鞏固。要求學生自己動手分析實例，學習基本理論和方法，結(jié)合已有的知識，適當組織一些討論，充分調(diào)動學生的主觀能動性，以達到本課程的教學目的。7.課程目標與要求（1）總體目標：培養(yǎng)德、智、體、美、勞全面發(fā)展的綜合型IT技能型人才，通過本課程的學習，使學生學會使用Python在靜態(tài)網(wǎng)頁、動態(tài)網(wǎng)頁、需要登錄后才能訪問的網(wǎng)頁、PC客戶端、APP中爬取數(shù)據(jù)，將理論與實踐相結(jié)合，為將來從事數(shù)據(jù)爬蟲、分析研究工作奠定基礎。（2）具體目標1）知識目標①掌握python3網(wǎng)絡爬蟲原理②掌握使用第三方庫進行網(wǎng)頁爬?、劾斫馐褂米グぞ哌M行數(shù)據(jù)爬?、苷莆誷carpy框架的使用⑤了解后期數(shù)據(jù)處理2）能力目標①具備python爬蟲基礎編程能力②具備python使用抓包工具與Srcapy框架思想能力3）素質(zhì)目標①學生自主探究學習狀態(tài)②學生合作學習狀態(tài)③學生的自我感受(共鳴度、愉悅度、價值度)④與人合作的積極性教學內(nèi)容組織與安排序號項目/模塊/任務教學內(nèi)容/任務教學/學習目標教學活動設計教學資源學習地點學時1Python爬蟲基礎知識Python爬蟲環(huán)境與爬蟲簡介認識爬蟲的概念認識爬蟲的原理了解爬蟲運作時應遵守的規(guī)則了解反爬蟲的目的和常用手段針對反爬蟲的常用手段制定對應爬取策略了解Python常用爬蟲庫掌握MySQL數(shù)據(jù)庫的配置方法掌握MongoDB數(shù)據(jù)庫的配置方法認識爬蟲的概念及原理認識反爬蟲的概念及對應爬取策略掌握Python爬蟲的環(huán)境配置方法課件、教案、素材、教學環(huán)境、實踐項目實訓機房42網(wǎng)頁前端基礎了解Socket庫的作用及其包含的協(xié)議類型了解Socket庫中的3種函數(shù)及其作用熟悉使用Socket建立服務器端和客戶端進行TCP通信，通過TCP通信從客戶端發(fā)送請求并接受服務器端的響應熟悉使用Socket建立服務器端和客戶端進行UDP通信，通過UDP通信從客戶端發(fā)送請求并接受服務器端的響應熟悉HTTP通信過程中的客戶端發(fā)起請求的方式與服務器發(fā)送響應的過程熟悉HTTP通信過程中服務器發(fā)送響應的常見HTTP狀態(tài)碼熟悉HTTP協(xié)議中的頭部類型與對應類型的常用的頭字段熟悉Cookie機制的運作原理及其作用了解網(wǎng)絡編程Socket庫掌握使用Socket進行TCP編程掌握使用Socket進行UDP編程熟悉HTTP請求方式與過程熟悉常見HTTP狀態(tài)碼熟悉Cookie課件、教案、素材、教學環(huán)境、實踐項目實訓機房43簡單靜態(tài)網(wǎng)頁爬取掌握使用urllib3庫生成HTTP請求、處理請求頭、設置超時、設置請求重試掌握使用Requests庫生成HTTP請求、查看狀態(tài)碼與編碼、處理請求頭與響應頭、設置超時掌握使用chrome開發(fā)者工具查看頁面元素、查看頁面源碼、查看資源詳細信息掌握使用正則表達式模塊匹配字符串、查找網(wǎng)頁中的標題內(nèi)容掌握使用etree模塊實現(xiàn)通過Xpath獲取標題內(nèi)容、節(jié)點下的文本內(nèi)容掌握使用BeautifulSoup4模塊創(chuàng)建BeautifulSoup對象掌握BeautifulSoup中的對象類型掌握使用BeautifulSoup4模塊遍歷文檔樹、搜索文檔樹掌握使用JSON模塊存儲Xpath獲取的文本內(nèi)容為JSON文件掌握使用PyMySQL庫將BeautifulSoup庫獲取的標題存儲入MySQL數(shù)據(jù)庫掌握使用urllib3庫、Requests庫實現(xiàn)HTTP請求掌握使用chrome開發(fā)者工具、正則表達式、Xpath和BeautifulSoup解析網(wǎng)頁掌握使用JSON庫、PyMySQL庫存儲數(shù)據(jù)課件、教案、素材、教學環(huán)境、實踐項目實訓機房44常規(guī)動態(tài)網(wǎng)頁爬取了解靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁的區(qū)別。獲取“”首頁的信息。對“”首頁進行逆向分析爬取。了解Selenium庫的使用方法。分析“/search/books”首頁的網(wǎng)頁結(jié)構(gòu)。分析網(wǎng)頁“/search/books”搜索“Python編程”圖書的操作。使用Selenium庫模擬瀏覽器的操作。了解MongoDB數(shù)據(jù)庫與MySQL的區(qū)別。在Python上建立連接MongoDB數(shù)據(jù)庫。將數(shù)據(jù)插入MongoDB數(shù)據(jù)庫的集合中。了解靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁的區(qū)別掌握逆向分析爬取動態(tài)網(wǎng)頁掌握使用selenium爬取動態(tài)網(wǎng)頁掌握使用MongoDB儲存數(shù)據(jù)課件、教案、素材、教學環(huán)境、實踐項目實訓機房85模擬登錄掌握使用Chrome開發(fā)者工具，查找提交入口、查找需要提交的表單數(shù)據(jù)掌握獲取驗證碼數(shù)據(jù)的方法掌握使用POST方法向服務器發(fā)送登錄請求掌握使用Chrome開發(fā)者工具獲取瀏覽器的Cookie，實現(xiàn)模擬登錄掌握通過加載已經(jīng)保存的表單登錄后的Cookie實現(xiàn)模擬登錄掌握使用Requests庫實現(xiàn)POST請求掌握使用Chrome開發(fā)者工具查找模擬登錄需要的相關信息掌握表單登錄、Cookie登錄的流程課件、教案、素材、教學環(huán)境、實踐項目實訓機房46Python爬蟲高階框架知識終端協(xié)議分析了解PC客戶端了解HttpAnalyzer的一些基本功能掌握利用HttpAnalyzer進行抓包分析，得到一個標準的HTML文檔了解Fiddler軟件掌握使用Fiddler軟件抓取的包，對人民日報APP新聞信息進行爬取掌握使用HttpAnalyzer工具來抓取PC客戶端的包掌握使用Fiddler工具抓取中國日報手機APP的包掌握利用Fiddler抓取的包，來爬取人民日報手機APP的數(shù)據(jù)課件、教案、素材、教學環(huán)境、實踐項目實訓機房47Scrapy爬蟲了解Scrapy的框架構(gòu)成了解Scrapy各組件的作用熟悉常見的Scrapy命令創(chuàng)建Scrapy爬蟲項目定義items/piplines腳本，將數(shù)據(jù)存儲至csv文件與MySQL數(shù)據(jù)庫創(chuàng)建spider爬蟲腳本模板定義spider腳本運行爬蟲創(chuàng)建中間件腳本激活中間件了解Scrapy爬蟲框架熟悉Scrapy常用命令修改items/piplines腳本存儲數(shù)據(jù)編寫spider腳本解析網(wǎng)頁信息修改setting腳本設置爬蟲參數(shù)定制Scrapy中間件課件、教案、素材、教學環(huán)境、實踐項目實訓機房89.課程內(nèi)容與教學要求①學習領域和項目化教學課程通過表格對學習內(nèi)容進行描述。如：單元1Python爬蟲環(huán)境與爬蟲簡介學時理論2實踐2一體化學習目標：1、知識目標：了解爬蟲的概念和原理理解反爬蟲的原理掌握python爬蟲環(huán)境2、素質(zhì)目標：1）培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法任務1.1認識爬蟲1.1.1爬蟲的概念1.1.2爬蟲的原理1.1.3爬蟲的合法性與robot.txt協(xié)議任務1.2認識反爬蟲1.2.1網(wǎng)站反爬蟲的目的與手段1.2.2爬取策略制定任務1.3配置Python爬蟲環(huán)境1.3.1Python爬蟲相關庫介紹與配置1.3.2配置MySQL數(shù)據(jù)庫1.3.3配置MongoDB數(shù)據(jù)庫視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配本章內(nèi)容，占整門課程的分值為5%本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%5%單元2網(wǎng)頁前端基礎學時理論2實踐2一體化學習目標：1、知識目標：了解python網(wǎng)絡編程理解http的組成與狀態(tài)碼2、素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法2.1.1了解Python網(wǎng)絡編程Socket庫2.1.2使用Socket庫進行TCP編程2.1.3使用Socket庫進行UDP編程任務2.2認識HTTP2.2.1熟悉HTTP請求方法與過程2.2.2熟悉常見HTTP狀態(tài)碼2.2.3熟悉HTTP頭部信息2.2.4熟悉Cookie視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為5%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%5%單元3簡單靜態(tài)網(wǎng)頁爬取學時理論2實踐2一體化學習目標：1、知識目標：掌握htpp請求掌握網(wǎng)頁解析的方法掌握數(shù)據(jù)存儲的方法素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法任務3.1實現(xiàn)HTTP請求3.1.1使用urllib3庫實現(xiàn)3.1.2使用Requests庫實現(xiàn)任務3.2解析網(wǎng)頁3.2.1使用Chrome開發(fā)者工具查看網(wǎng)頁3.2.2使用正則表達式解析網(wǎng)頁3.2.3使用Xpath解析網(wǎng)頁3.2.4使用BeautifulSoup庫解析網(wǎng)頁任務3.3數(shù)據(jù)存儲3.3.1將數(shù)據(jù)存儲為JSON文件3.3.2將數(shù)據(jù)存儲到MySQL數(shù)據(jù)庫視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為5%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%5%單元4常規(guī)動態(tài)網(wǎng)頁爬取學時理論2實踐2一體化學習目標：知識目標：了解逆向分析爬取動態(tài)網(wǎng)頁掌握使用Selenium庫爬取動態(tài)網(wǎng)頁掌握存儲數(shù)據(jù)至MongoDB數(shù)據(jù)庫素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法任務4.1逆向分析爬取動態(tài)網(wǎng)頁4.1.1了解靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁的區(qū)別4.1.2逆向分析爬取動態(tài)網(wǎng)頁任務4.2使用Selenium庫爬取動態(tài)網(wǎng)頁4.2.1安裝Selenium庫及下載瀏覽器補丁4.2.2打開瀏覽對象并訪問頁面4.2.3頁面等待4.2.4頁面操作4.2.5元素選取4.2.6預期條件任務4.3存儲數(shù)據(jù)至MongoDB數(shù)據(jù)庫4.3.1了解MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫的區(qū)別4.3.2將數(shù)據(jù)存儲到MongoDB數(shù)據(jù)庫 視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為15%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%15%單元5模擬登錄學時理論2實踐2一體化學習目標：知識目標：掌握表單登錄的方法掌握cookie登錄的方法素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法任務5.1使用表單登錄方法實現(xiàn)模擬登錄5.1.1查找提交入口5.1.2查找并獲取需要提交的表單數(shù)據(jù)5.1.3使用POST請求方法登錄任務5.2使用Cookie登錄方法實現(xiàn)模擬登錄5.2.1使用瀏覽器Cookie登錄5.2.2基于表單登錄的Cookie登錄視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為10%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%10%單元6終端協(xié)議分析學時理論2實踐2一體化學習目標：知識目標：掌握PC客戶端抓包掌握app抓包素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法任務6.1分析PC客戶端抓包6.1.1了解HTTPAnalyzer工具6.1.2爬取千千音樂PC客戶端數(shù)據(jù)任務6.2分析App抓包6.2.1了解Fiddler工具6.2.2分析人民日報App視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為10%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%10%單元7Scrapy爬蟲學時理論2實踐2一體化學習目標：知識目標：了解文件分類掌握文本文件的讀寫操作掌握處理表格數(shù)據(jù)的方法掌握存儲半結(jié)構(gòu)化數(shù)據(jù)掌握模塊和庫素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法7.1認識文件7.1.1文本文件和二進制文件7.1.2常用的中文編碼格式7.2文本文件的讀/寫操作7.2.1讀取文件全文7.2.2按行讀取文件7.2.3實現(xiàn)文件的編碼格式轉(zhuǎn)換7.2.4使用with-as語句7.3處理表格數(shù)據(jù)的3種方法7.4存儲半結(jié)構(gòu)化數(shù)據(jù)：JSON數(shù)據(jù)和pickle數(shù)據(jù)7.5常用文件模塊os和shutil7.5.1模塊os和shutil簡介7.5.2文件模塊的主要函數(shù)7.5.3應用示例7.6模塊和庫*7.6.1模塊的制作7.6.2庫的發(fā)布視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為10%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%10%單元8正則表達式學時理論2實踐2一體化學習目標：知識目標：了解正則表達式的作用掌握python中的正則函數(shù)素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法8.1正則表達式簡介8.2Python中常用的正則函數(shù)8.2.1正則函數(shù)初步使用8.2.2查找所有匹配8.2.3查找第一個匹配8.2.4替換8.3RegexOne的闖關游戲8.3.1闖關：通配符8.3.2闖關：排除特定字符8.3.3闖關：重復次數(shù)8.4編譯模式pile和匹配參數(shù)視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為10%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%10%單元9網(wǎng)絡爬蟲入門學時理論2實踐2一體化學習目標：知識目標：了解爬蟲基本原理和流程掌握網(wǎng)絡爬蟲的基本操作素質(zhì)目標：1)培養(yǎng)學生自主、開放的學習能力2）培養(yǎng)學生良好職業(yè)素養(yǎng)和職業(yè)道德主要內(nèi)容主要教學方法9.1網(wǎng)絡爬蟲簡介和基本處理流程9.1.1什么是網(wǎng)絡爬蟲9.1.2使用網(wǎng)絡爬蟲的法律風險9.1.3網(wǎng)絡爬蟲的基本處理流程9.2實戰(zhàn)：使用pandas庫獲取2018年中國企業(yè)500強榜單9.3使用Requests庫獲取網(wǎng)頁9.4使用BeautifulSoup4庫解析網(wǎng)頁9.4.1獲取節(jié)點的主要方式9.4.2從節(jié)點中提取信息9.5實戰(zhàn)：獲取唐詩三百首視頻教學法，案例教學法，課堂陷阱教學地點多媒體教室、實訓機房教學及參考資料教材，教案，課件練習與習題建議考核與評價方式說明權重分配1、本章內(nèi)容，占整門課程的分值為10%2、本章內(nèi)容：出勤15%+作業(yè)70%+課堂表現(xiàn)15%10%10.課程實施建議①教材選用和編寫建議1）教材選用：本課程選用人民郵電出版社和中國工信出版集團聯(lián)合出版的《爬蟲技術與應用與制作》。2）教材編寫原則與要求：以“真實項目貫穿，案例任務驅(qū)動”，從易到難，邏輯嚴密，實例豐富，內(nèi)容詳實，通過豐富的應用場景，將理論知識，轉(zhuǎn)化為實操能力，并不斷強化和鞏固。3）教材、教學參考資料使用建議：結(jié)合爬蟲技術與應用這門課程的特點，建議選取以案例為