《數(shù)據(jù)采集技術(shù)》課件-Spiders

SpidersSpidersScrapy框架提供了scrapy.Spider做為爬蟲的基類，所有自定義的爬蟲必須從它那里繼承SpidersSpiders負(fù)責(zé)定義如何爬取及解析數(shù)據(jù)Spidersscrapy.Spider類的字段：主要字段描述name定義爬蟲名稱的字符串a(chǎn)llowed_domains包含了允許爬取的域名列表start_urls表示初始URL列表custom_settings定義該spider配置的字典拓展關(guān)于設(shè)置settings中的值的幾種方法，優(yōu)先級(jí)從高到低如下命令行選項(xiàng)1custom_settings2拓展關(guān)于設(shè)置settings中的值的幾種方法，優(yōu)先級(jí)從高到低如下命令行選項(xiàng)1custom_settings2settings.py文件3命令行的默認(rèn)設(shè)置，每一個(gè)命令行都有它自己的默認(rèn)設(shè)置4默認(rèn)的全局設(shè)置，被定義在scrapy.settings.default_settings中5Spidersscrapy.Spider類的字段：主要字段描述name定義爬蟲名稱的字符串a(chǎn)llowed_domains包含了允許爬取的域名列表start_urls表示初始URL列表custom_settings定義該spider配置的字典crawler定義spider實(shí)例綁定的crawler對(duì)象Spidersscrapy.Spider類的字段：主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段：主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段：主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段：主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段：主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spider參數(shù)使用帶-a選項(xiàng)的爬行命令傳遞，如下所示：scrapycrawlfirst_scrapy-agroup=accessoriesSpider參數(shù)用于指定起始URLSpider參數(shù)使用帶-a選項(xiàng)的爬行命令傳遞，如下所示：scrapycrawlfirst_scrapy-agroup=accessoriesSpider參數(shù)用于指定起始URLSpider參數(shù)演示一個(gè)Spider如何接收參數(shù)：importscrapyclassFirstSpider(scrapy.Spider):name="first"def__init__(self,group=None,*args,**kwargs):super(FirstSpider,self).__init__(*args,**kwargs)self.start_urls=["/group/%s"%group]通用SpidersCrawlSpider自定義規(guī)則來爬取所有返回頁(yè)面中的鏈接XMLFeedSpider用來爬取XMLCSVFeedSpider用來爬取csvSitemapSpider通過Sitemap來發(fā)現(xiàn)爬取的URL通用SpidersCrawlSpider自定義規(guī)則來爬取所有返回頁(yè)面中的鏈接XMLFeedSpider用來爬取XMLCSVFeedSpider用來爬取csvSitemapSpider通過Sitemap來發(fā)現(xiàn)爬取的URLCrawlSpiderCrawlSpiderCrawlSpider繼承于Spiders類，有以下類：classscrapy.spiders.CrawlSpider在scrapy的源碼中的位置在scrapy->spiders->crawl.py中Rule規(guī)則是一個(gè)規(guī)則對(duì)象的列表，定義了爬蟲如何跟蹤鏈接classscrapy.spiders.Rule(link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)Rule類跟CrawlSpider在同一文件中：參數(shù)說明LinkExtractor規(guī)定了Spider如何跟蹤鏈接并提取數(shù)據(jù)callback在每個(gè)頁(yè)面被爬取后被調(diào)用cb_kwargs傳遞參數(shù)給回調(diào)函數(shù)的字典類型follow指定是否繼續(xù)跟蹤鏈接process_links回調(diào)函數(shù)process_request回調(diào)函數(shù)parse_start_url(response)start_urls默認(rèn)回調(diào)方法，通過允許解析初始響應(yīng)來返回項(xiàng)目或請(qǐng)求對(duì)象注意：在編寫規(guī)則時(shí)，請(qǐng)確保重命名parse函數(shù)，因?yàn)閜arse函數(shù)被CrawlSpider用來實(shí)現(xiàn)其邏輯fromscrapy.spidersimportCrawlSpider,Rulefromscrapy.linkextractorsimportLinkExtractorclassTestSpider(CrawlSpider):name='test'start_urls=['/',]rules=(Rule(link_extractor=LinkExtractor(deny=('page/2')),callback='parse_item_first',follow=True),Rule(link_extractor=LinkExtractor(allow=('page/3')),callback='parse_item_second'))defparse_item_first(self,response):print('parse_item_first:',response.url)defparse_item_second(self,response):print('