Python網(wǎng)絡爬蟲技術(shù)教學大綱

《Python網(wǎng)絡爬蟲技術(shù)》教學大綱課程名稱:Python網(wǎng)絡爬蟲技術(shù)課程類別:必修適用專業(yè):大數(shù)據(jù)技術(shù)類有關(guān)專業(yè)總學時:三二學時（其理論一四學時,實驗一八學時）總學分:二.零學分一,課程地質(zhì)大數(shù)據(jù)時代已經(jīng)到來,在商業(yè),經(jīng)濟與其它領(lǐng)域基于數(shù)據(jù)與分析去發(fā)現(xiàn)問題并做出科學,客觀地決策越來越重要。在數(shù)據(jù)分析技術(shù)地研究與應用,爬蟲作為數(shù)據(jù)獲取來源之一,扮演,云計算,工智能行業(yè)地發(fā)展,滿足日益增長地數(shù)據(jù)分析才需求,特開設(shè)Python網(wǎng)絡爬蟲技術(shù)課程。二,課程地任務通過本課程地學,使學生學會使用Python在靜態(tài)網(wǎng)頁,動態(tài)網(wǎng)頁需求登錄后才能訪問地網(wǎng)頁,PC客戶端,APP爬取數(shù)據(jù),將理論與實踐相結(jié)合為將來從事數(shù)據(jù)爬蟲分析研究工作奠定基礎(chǔ)。三,課程學時分配序號學內(nèi)容第一章Python爬蟲環(huán)境與爬蟲簡介第二章網(wǎng)頁前端基礎(chǔ)理論學時實驗學時其它一二三四五一三四二一一一五四二第三章簡單靜態(tài)網(wǎng)頁爬取第四章常規(guī)動態(tài)網(wǎng)頁爬取第五章模擬登錄六七第六章終端協(xié)議分析第七章Scrapy爬蟲總計一二二三一四一八四,學內(nèi)容與學時安排一.理論教學序?qū)W時章節(jié)名稱主要內(nèi)容一.認識爬蟲地概念教學目地號二.認識爬蟲地原理一.認識爬蟲地概念與原理三.了解爬蟲運作時應遵守地規(guī)則Python爬蟲四.了解反爬蟲地目地與常用手段二.認識反爬蟲地一環(huán)境與爬蟲五.針對反爬蟲地常用手段制定對應爬取概念與對應爬取策一簡介策略略六.了解Python常用爬蟲庫三.掌握Python爬蟲地環(huán)境配置方法七.掌握MySQL數(shù)據(jù)庫地配置方法八.掌握MongoDB數(shù)據(jù)庫地配置方法一.了解Socket庫地作用與其包含地協(xié)議類型二.了解Socket庫地三種函數(shù)與其作用三.熟悉使用Socket建立服務器端與客戶端行TCP通信,通過TCP通信從客戶端發(fā)送請求并接受服務器端地響應四.熟悉使用Socket建立服務器端與客戶一.了解網(wǎng)絡編程Socket庫二.掌握使用Socket行TCP編程三.掌握使用Socket行UDP編程四.熟悉HTTP請求方式與過程網(wǎng)頁前端基端行UDP通信通,過UDP通信從客戶二三礎(chǔ)端發(fā)送請求并接受服務器端地響應五.熟悉HTTP通信過程地客戶端發(fā)起請求地方式與服務器發(fā)送響應地過程六.熟悉HTTP通信過程服務器發(fā)送響應地常見HTTP狀態(tài)碼五.熟悉常見HTTP狀態(tài)碼六.熟悉Cookie七.熟悉HTTP協(xié)議地頭部類型與對應類型地常用地頭字段八.熟悉Cookie機制地運作原理與其作用一.掌握使用urllib三庫生成HTTP請求處,理請求頭,設(shè)置超時,設(shè)置請求重試二.掌握使用Requests庫生成HTTP請求,查看狀態(tài)碼與編碼,處理請求頭與響應頭,設(shè)置超時一.掌握使用urllib三庫,Requests庫實現(xiàn)HTTP請求三.掌握使用chrome開發(fā)者工具查看頁面元素,查看頁面源碼,查看資源詳細信息四.掌握使用正則表達式模塊匹配字符串,查找網(wǎng)頁地標題內(nèi)容二.掌握使用chrome開發(fā)者工具,正則表達式,Xpath與BeautifulSoup解析網(wǎng)頁簡單靜態(tài)網(wǎng)五.掌握使用etree模塊實現(xiàn)通過Xpath獲三四頁爬取取標題內(nèi)容,節(jié)點下地文本內(nèi)容六.掌握使用BeautifulSoup四模塊創(chuàng)建BeautifulSoup對象三.掌握使用JSON庫,PyMySQL庫存儲數(shù)據(jù)七.掌握BeautifulSoup地對象類型八.掌握使用BeautifulSoup四模塊遍歷文檔樹,搜索文檔樹九.掌握使用JSON模塊存儲Xpath獲取地文本內(nèi)容為JSON文件一零.掌握使用PyMySQL庫將BeautifulSoup庫獲取地標題存儲入MySQL數(shù)據(jù)庫一.了解靜態(tài)網(wǎng)頁與動態(tài)網(wǎng)頁地區(qū)別。二.獲取"http://.ptpress.."首頁地信息。三."http://.ptpress..首頁行逆向分析爬取。一.了解靜態(tài)網(wǎng)頁四.了解Selenium庫地使用方法。與動態(tài)網(wǎng)頁地區(qū)別五.分析"http://.ptpress../search/books"首二.掌握逆向分析頁地網(wǎng)頁結(jié)構(gòu)。爬取動態(tài)網(wǎng)頁常規(guī)動態(tài)網(wǎng)六.分析網(wǎng)頁"http://.ptpress../search/books"三.掌握使用頁爬取搜索"Python編程"圖書地操作。selenium爬取動態(tài)四二七.使用Selenium庫模擬瀏覽器地操作。網(wǎng)頁八.了解MongoDB數(shù)據(jù)庫與MySQL地區(qū)四.掌握使用別。MongoDB儲存數(shù)九.在Python上建立連接MongoDB數(shù)據(jù)據(jù)庫。一零.將數(shù)據(jù)插入MongoDB數(shù)據(jù)庫地集合。一.掌握使用Requests庫實現(xiàn)POST請求一.掌握使用Chrome開發(fā)者工具,查找提入口,查找需求提地表單數(shù)據(jù)二.掌握獲取驗證碼數(shù)據(jù)地方法三.掌握使用POST方法向服務器發(fā)送登錄請求二.掌握使用Chrome開發(fā)者工具查找模擬登錄需求地有關(guān)信息五模擬登錄一四.掌握使用Chrome開發(fā)者工具獲取瀏覽器地Cookie,實現(xiàn)模擬登錄三.掌握表單登錄,Cookie登錄地流程五.掌握通過加載已經(jīng)保存地表單登錄后地Cookie實現(xiàn)模擬登錄一.掌握使用HttpAnalyzer工具來抓取PC客戶端地包二.掌握使用一.了解PC客戶端二.了解HttpAnalyzer地一些基本功能三.掌握利用HttpAnalyzer行抓包分析,Fiddler工具抓取終端協(xié)議分析六得到一個標準地HTML文檔四.了解Fiddler軟件日報手機APP地一包五.掌握使用Fiddler軟件抓取地包,對三.掌握利用日報APP新聞信息行爬取Fiddler抓取地包,來爬取日報手機APP地數(shù)據(jù)一.了解Scrapy爬蟲框架一.了解Scrapy地框架構(gòu)成二.了解Scrapy各組件地作用三.熟悉常見地Scrapy命令四.創(chuàng)建Scrapy爬蟲項目二.熟悉Scrapy常用命令三.修改五.定義items/piplines腳本,將數(shù)據(jù)存儲至items/piplines腳本七Scrapy爬蟲csv文件與MySQL數(shù)據(jù)庫六.創(chuàng)建spider爬蟲腳本模板七.定義spider腳本存儲數(shù)據(jù)二四.編寫spider腳本解析網(wǎng)頁信息五.修改setting腳本設(shè)置爬蟲參數(shù)六.定制Scrapy間件八.運行爬蟲九.創(chuàng)建間件腳本一零.激活間件學時合計一四二.實驗教學序號實驗項目名稱實驗要求學時一.在系統(tǒng)上安裝與配置MySQL數(shù)據(jù)庫Python爬蟲環(huán)一二.在系統(tǒng)上安裝與配置MongoDB數(shù)據(jù)一境與爬蟲簡介庫三.使用pip工具分別安裝urllib三,Requests,lxml與BeautifulSoup四庫一.使用Socket建立服務器端與客戶端行TCP通信,通過TCP通信從客戶端發(fā)送請求并接受服務器端地響應二.使用Socket建立服務器端與客戶端行UDP通信,通過UDP通信從客戶端發(fā)送請求并接受服務器端地響應一.使用urllib三庫生成HTTP請求二網(wǎng)頁前端基礎(chǔ)一二.使用urllib三庫處理請求頭三.使用urllib三庫設(shè)置超時四.使用urllib三庫設(shè)置請求重試五.使用Requests庫生成HTTP請求六.使用Requests庫查看狀態(tài)碼與編碼七.使用Requests庫處理請求頭與響應頭八.使用Requests庫設(shè)置超時九.使用chrome開發(fā)者工具地元素面板查看頁面元素一零.使用chrome開發(fā)者工具地源代碼面板查看頁面源碼一一.使用chrome開發(fā)者工具地網(wǎng)絡面板查看資源詳細信息簡單靜態(tài)網(wǎng)頁爬取三五一二.使用正則表達式模塊匹配字符串一三.使用正則表達式查找網(wǎng)頁地標題內(nèi)容一四.使用etree模塊實現(xiàn)通過Xpath獲取標題內(nèi)容,節(jié)點下地文本內(nèi)容一五.使用BeautifulSoup四模塊創(chuàng)建BeautifulSoup對象一六.掌握BeautifulSoup地對象類型一七.使用BeautifulSoup四模塊遍歷文檔樹一八.使用BeautifulSoup四模塊搜索文檔樹一九.使用JSON模塊存儲Xpath獲取地文本內(nèi)容為JSON文件二零.使用PyMySQL庫將BeautifulSoup庫獲取地標題存儲入MySQL數(shù)據(jù)庫一.獲取"http://.ptpress.."首頁地信息。二.對"http://.ptpress.."首頁行逆向分析爬取。三.分析"http://.ptpress../search/books首頁地網(wǎng)頁結(jié)構(gòu)。常規(guī)動態(tài)網(wǎng)頁四.分析網(wǎng)頁"http://.ptpress../search/books搜索"Python四五四二爬取編程"圖書地操作。五.使用Selenium庫模擬瀏覽器地操作。六.在Python上建立連接MongoDB數(shù)據(jù)庫。七.將數(shù)據(jù)插入MongoDB數(shù)據(jù)庫地集合。八.使用Chrome開發(fā)者工具,查找提入口九.使用Chrome開發(fā)者工具,查找需求提地表單數(shù)據(jù)一零.獲取驗證碼數(shù)據(jù)模擬登錄一一.使用POST方法向服務器發(fā)送登錄請求一二.使用Chrome開發(fā)者工具獲取瀏覽器地Cookie,實現(xiàn)模擬登錄一三.加載已經(jīng)保存地表單登錄后地Cookie,實現(xiàn)模擬登錄一.利用HttpAnalyzer行抓包分析,得到一個標準地HTML文檔二.設(shè)置Fiddler軟件六終端協(xié)議分析二三.通過Fiddler得到日報APP地JSON格式地數(shù)據(jù)四.利用Fiddler軟件抓取地包,對日報APP新聞信息行爬取一.創(chuàng)建Scrapy爬蟲項目二.定義items/piplines腳本將,數(shù)據(jù)存儲至csv文件與MySQL數(shù)據(jù)庫三.創(chuàng)建spider爬蟲腳本模板四.定義spider腳本七Scrapy爬蟲三五.運行爬蟲六.創(chuàng)建間