爬蟲高級(jí)空山060512解答python課件三

Python爬蟲高級(jí)課教室講師：空山時(shí)間：2018年5月教學(xué)監(jiān)督熱線免責(zé)聲明：如果本課程內(nèi)有任何內(nèi)容侵害了您的權(quán)益，請(qǐng)您及時(shí)聯(lián)系我們

潭州教育全球教學(xué)服務(wù)中心熱線：上節(jié)知識(shí)點(diǎn)回顧01.Scrapyshell使用教學(xué)監(jiān)督熱線02.Spider源碼解析03.騰訊招聘信息抓取案例PARTTHERR課時(shí)三教學(xué)監(jiān)督熱線課時(shí)三問題引入010302為什么要學(xué)Crawlspider?怎樣創(chuàng)建Crawlspider類文件？怎樣編寫crawlspider爬數(shù)據(jù)？04CrawlSpider重要方法有哪些？知識(shí)點(diǎn)一問題解答01為什么要學(xué)crawlSpider?官方文檔：爬取一般網(wǎng)站常用的spider。其定義了一些規(guī)則(rule)來提供跟進(jìn)link的方便的機(jī)制。也許該spider并不是完全適合您的特定網(wǎng)站或項(xiàng)目，但其對(duì)很多情況都使用。因此您可以以其為起點(diǎn)，根據(jù)需求修改部分方法。當(dāng)然您也可以實(shí)現(xiàn)自己的spider。知識(shí)點(diǎn)二問題解答CrawlSpider重要方法有哪些？----》rules（1）0302CrawlSpider使用rules來決定爬蟲的爬取規(guī)則，并將匹配后的url請(qǐng)求提交給引擎。所以在正常情況下，CrawlSpider不需要單獨(dú)手動(dòng)返回請(qǐng)求了。在rules中包含一個(gè)或多個(gè)Rule對(duì)象，每個(gè)Rule對(duì)爬取網(wǎng)站的動(dòng)作定義了某種特定操作，比如提取當(dāng)前相應(yīng)內(nèi)容里的特定鏈接，是否對(duì)提取的鏈接跟進(jìn)爬取，對(duì)提交的請(qǐng)求設(shè)置回調(diào)函數(shù)等。如果多個(gè)rule匹配了相同的鏈接，則根據(jù)規(guī)則在本集合中被定義的順序，第一個(gè)會(huì)被使用。知識(shí)點(diǎn)二問題解答CrawlSpider重要方法有哪些？----》rules（2）0302classscrapy.spiders.Rule(Link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)link_extractor：是一個(gè)LinkExtractor對(duì)象，用于定義需要提取的鏈接。callback：從link_extractor中每獲取到鏈接時(shí)，參數(shù)所指定的值作為回調(diào)函數(shù)，該回調(diào)函數(shù)接受一個(gè)response作為其第一個(gè)參數(shù)。

注意：當(dāng)編寫爬蟲規(guī)則時(shí)，避免使用parse作為回調(diào)函數(shù)。由于CrawlSpider使用parse方法來實(shí)現(xiàn)其邏輯，如果覆蓋了parse方法，crawlspider將會(huì)運(yùn)行失敗。follow：是一個(gè)布爾(boolean)值，指定了根據(jù)該規(guī)則從response提取的鏈接是否需要跟進(jìn)。如果callback為None，follow默認(rèn)設(shè)置為True，否則默認(rèn)為False。process_links：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用，從link_extractor中獲取到鏈接列表時(shí)將會(huì)調(diào)用該函數(shù)。該方法主要用來過濾。process_request：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用，該規(guī)則提取到每個(gè)request時(shí)都會(huì)調(diào)用該函數(shù)。(用來過濾request)知識(shí)點(diǎn)二問題解答CrawlSpider重要方法有哪些？----》LinkExtractors0302classscrapy.linkextractors.LinkExtractor(allow=(),deny=(),allow_domains=(),deny_domains=(),deny_extensions=None,restrict_xpaths=(),tags=('a','area'),attrs=('href'),canonicalize=True,unique=True,process_value=None)主要參數(shù)：allow：滿足括號(hào)中“正則表達(dá)式”的URL會(huì)被提取，如果為空，則全部匹配。deny：滿足括號(hào)中“正則表達(dá)式”的URL一定不提取（優(yōu)先級(jí)高于allow）。allow_domains：會(huì)被提取的鏈接的domains。deny_domains：一定不會(huì)被提取鏈接的domains。restrict_xpaths：使用xpath表達(dá)式，和allow共同作用過濾鏈接。知識(shí)點(diǎn)三問題解答Crawlspider怎樣使用？——》創(chuàng)建爬蟲文件03創(chuàng)建一個(gè)crawlspider文件：Scrapygenspider–tcrawl“spider_name”“url”知識(shí)點(diǎn)三問題解答Crawlspider怎樣使用？——》CrawlSpider03CrawlSpider是Spider的派生類，Spider類的設(shè)計(jì)原則是只爬取start_url列表中的網(wǎng)頁，而CrawlSpider類定義了一些規(guī)則(rule)來提供跟進(jìn)link的方便的機(jī)制，從爬取的網(wǎng)頁中獲取link并繼續(xù)爬取的工作更適合。怎樣編寫spider爬數(shù)據(jù)？==》爬取騰訊招聘信息0303怎樣編寫cr