Scrapy修改Settings后爬蟲(chóng)編寫(xiě)

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)成詳細(xì)了解Scrapy五大基本構(gòu)成深入了解Scrapy修改Settings后爬蟲(chóng)編寫(xiě)ut對(duì)象

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)

修改items.py，用于存儲(chǔ)爬取回來(lái)的數(shù)據(jù):

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)

觀察數(shù)據(jù)結(jié)構(gòu)，主要信息有很多字段，以獲取標(biāo)題和推出時(shí)間為例，定義兩個(gè)item項(xiàng)目（items里面定義的內(nèi)容，可以理解為定義了一個(gè)命名為item的字典，每個(gè)定義的項(xiàng)目最為鍵值對(duì)存儲(chǔ)在item字典中——鍵值對(duì)存儲(chǔ)的內(nèi)容可以是任何Python對(duì)象[常用的字符串、列表等]）。

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)修改items.py文件內(nèi)容如下：

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)創(chuàng)建爬蟲(chóng)文件，用于爬取網(wǎng)頁(yè)內(nèi)容:這時(shí)候返回到cms或powershell終端，cd進(jìn)入cq_land目錄，然后創(chuàng)建名為tudinet的爬蟲(chóng)文件，用于爬取土流網(wǎng)的數(shù)據(jù)。

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)完成后，將在spider文件夾下產(chǎn)生一個(gè)叫tudinet.py的文件。這個(gè)文件就是定義爬蟲(chóng)怎么解析網(wǎng)頁(yè)的文件，解析的內(nèi)容怎么存儲(chǔ)到剛才定義好的item中。

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)

編寫(xiě)tudinet.py文件，完成網(wǎng)頁(yè)內(nèi)容解析。首先需要將剛才定義好的item內(nèi)容import進(jìn)來(lái)，然后修改start_urls為我們要爬取的網(wǎng)頁(yè)（這里我們只爬取一個(gè)網(wǎng)頁(yè)作為示例）。然后在parse函數(shù)中定義處理過(guò)程，并返回結(jié)果。

Scrapy修改Settings后爬蟲(chóng)編寫(xiě)importscrapyfromcq_land.itemsimportCqLandItemclassTudinetSpider(scrapy.Spider):name='tudinet'allowed_domains=['']start_urls=['/market-252-0-0-0']defparse(self,response):item=CqLandItem()item['title']=response.xpath("http://div[@class='land-l-bt']/text()").extract()item['list_time']=response.xpath("http://div[@class='land-l-cont']/dl/dd/p[1]/text()").extract()