《數(shù)據(jù)采集技術(shù)》課件-Request 和 Response類(lèi)

Request和ResponseRequest和ResponseRequest類(lèi)源碼位置：Request類(lèi)源碼位置：Request類(lèi)Request類(lèi)是Scrapy框架中用于定義爬取請(qǐng)求的類(lèi)創(chuàng)建Request對(duì)象，可以指定要爬取：URL請(qǐng)求的方法HeadersCookiesRequest類(lèi)Request類(lèi)是Scrapy框架中用于定義爬取請(qǐng)求的類(lèi)創(chuàng)建Request對(duì)象，可以指定要爬?。篣RL請(qǐng)求的方法HeadersCookiesRequest類(lèi)Request對(duì)象包含了HTTP請(qǐng)求的基本信息Request的構(gòu)造參數(shù)梳理如下：urlRequest的頁(yè)面鏈接，即要爬取的地址callbackRequest的回調(diào)方法methodRequest的方法，GET、POST、PUT、DELETE等Request類(lèi)Request對(duì)象包含了HTTP請(qǐng)求的基本信息Request的構(gòu)造參數(shù)梳理如下：metaRequest請(qǐng)求攜帶的額外參數(shù)可以指定任意處理參數(shù)，特定的參數(shù)經(jīng)由Scrapy各個(gè)組件的處理，得到不同的效果?？梢杂脕?lái)向回調(diào)方法傳遞信息?？梢砸宰值涞男问絺鬟f，包含的信息不受限制。Request類(lèi)Request對(duì)象包含了HTTP請(qǐng)求的基本信息Request的構(gòu)造參數(shù)梳理如下：更方便地實(shí)現(xiàn)POST請(qǐng)求使用FormRequest或JsonRequest（Scrapy專(zhuān)門(mén)為POST請(qǐng)求提供了兩個(gè)類(lèi)）bodyRequest的內(nèi)容，往往RequestBody對(duì)應(yīng)的是POST請(qǐng)求Request類(lèi)Request對(duì)象包含了HTTP請(qǐng)求的基本信息Request的構(gòu)造參數(shù)梳理如下：bodyRequest的內(nèi)容，往往RequestBody對(duì)應(yīng)的是POST請(qǐng)求headersRequestHeaders，字典形式cookiesRequest攜帶的Cookies，字典或列表形式encodingRequest的編碼，默認(rèn)是utf-8prorityRequest優(yōu)先級(jí)，數(shù)值越大，就越被優(yōu)先調(diào)度并執(zhí)行Request類(lèi)Request對(duì)象包含了HTTP請(qǐng)求的基本信息Request的構(gòu)造參數(shù)梳理如下：dont_filterRequest不去重，設(shè)置為T(mén)rue代表這個(gè)Request會(huì)被忽略去重操作，默認(rèn)是Falseerrback錯(cuò)誤處理方法cb_kwargs回調(diào)方法的額外參數(shù)，可以作為字典傳遞flags請(qǐng)求的標(biāo)志，可以用于記錄類(lèi)似的處理Request類(lèi)callback示例：defparse_page_1(self,response):returnscrapy.Request('/some_page.html',

callback=self.parse_page_2)

defparse_page_2(self,response):

(f'Visited{response.url}')Request類(lèi)cb_kwargs示例：defparse_page_1(self,response)：

request=scrapy.Request('/some_page.html',callback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))request.cb_kwargs['foo']='bar'yieldrequest

defparse_page_2(self,response,main_url,foo):yielddict(main_url=main_url,other_url=response.url,foo=foo)Request類(lèi)errback示例：importscrapyfromscrapy.spidermiddlewares.httperrorimportHttpErrorfromernet.errorimportDNSLookupErrorfromernet.errorimportTimeoutError,TCPTimedOutErrordefparse(self,response):request=scrapy.Request('/some_page.html',callback=self.parse_page_1,

errback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))yieldrequestdefparse_page_1(self,response,main_url):passdefparse_page_2(self,failure):iffailure.check(HttpError):response=failure.value.responseself.logger.error(f"HttpErroron{response.url}")eliffailure.check(DNSLookupError):request=failure.requestself.logger.error(f"DNSLookupErroron{request.url}")eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error(f'TimeoutErroron{request.url}')eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error('TimeoutErroron%s',request.url)Response類(lèi)errback示例：錯(cuò)誤處理方法Response類(lèi)源碼位置：Response類(lèi)源碼位置：Response類(lèi)是HTTP請(qǐng)求得到的響應(yīng)結(jié)果Response的可用的屬性和方法梳理如下：urlRequestURLstatusResponse狀態(tài)碼headersResponseHeaders，字典形式，字段一一對(duì)應(yīng)bodyResponseBody，訪問(wèn)頁(yè)面之后得到的源代碼，其結(jié)果是bytes類(lèi)型requestResponse對(duì)應(yīng)的Request對(duì)象Response類(lèi)Response類(lèi)是HTTP請(qǐng)求得到的響應(yīng)結(jié)果Response的可用的屬性和方法梳理如下：ip_address代表服務(wù)器的IP地址urljoin對(duì)URL的處理方法follow/follow_all根據(jù)URL來(lái)生成后續(xù)Request的方法Response類(lèi)Response類(lèi)urljoin示例：fromscrapy.httpimportResponsefromscrapy.utils.urlimporturljoin

response=Response(url='/')

relative_url='/path/to/page'full_url=response.urljoin(relative_url)print(full_url)#輸出:/path/to/page

base_url='/'relative_url='/path/to/page'full_url=response.urljoin(base_url,relative_url)print(full_url)#輸出:/path/to/pageResponse類(lèi)follow示例：importscrapy

classMySpider(scrapy.Spider):name='my_spider'defstart_requests(self):urls=['/page1','/page2']forurlinurls:yieldscrapy.Request(url=url,callback=self.parse)

defparse(self,response:scrapy.Response):title=response.css('title::text').get()links=response.css('a::attr(href)').getall()

print('Title:'