2023學(xué)年完整公開(kāi)課版Scrapy的架構(gòu)

Scrapy的架構(gòu)什么是Scrap:Scrapy架構(gòu)圖什么是Scrapy/01Scrapy是用純Python實(shí)現(xiàn)一個(gè)為了爬取網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫(xiě)的應(yīng)用框架，用途非常廣泛，也是目前比較流行的爬蟲(chóng)框架，很受歡迎。

什么是ScrapyScrapy架構(gòu)圖/02

Spiders就是針對(duì)特定目標(biāo)網(wǎng)站編寫(xiě)的內(nèi)容提取器，這是在通用網(wǎng)絡(luò)爬蟲(chóng)框架中最需要定制的部分。使用Scrapy創(chuàng)建一個(gè)爬蟲(chóng)工程的時(shí)候，就會(huì)生成一個(gè)Spider架子，只需往里面填寫(xiě)代碼，按照它的運(yùn)行模式填寫(xiě)，就能融入Scrapy整體的數(shù)據(jù)流中。GooSeeker開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)的目標(biāo)是節(jié)省下程序員一半以上的時(shí)間，關(guān)鍵就是提高Spider的定義和測(cè)試速度，下圖是Scrapy的架構(gòu)圖：scrapy架構(gòu)圖Scrapy的架構(gòu)圖：scrapy架構(gòu)圖在該架構(gòu)圖中綠線是數(shù)據(jù)流向，下面是對(duì)架構(gòu)圖中每個(gè)內(nèi)容的詳細(xì)解釋。ScrapyEngine(引擎):負(fù)責(zé)Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號(hào)、數(shù)據(jù)傳遞等。Scheduler(調(diào)度器):它負(fù)責(zé)接受引擎發(fā)送過(guò)來(lái)的Request請(qǐng)求，并按照一定的方式進(jìn)行整理排列，入隊(duì)，當(dāng)引擎需要時(shí)，交還給引擎。Downloader（下載器）：負(fù)責(zé)下載ScrapyEngine(引擎)發(fā)送的所有Requests請(qǐng)求，并將其獲Spider（爬蟲(chóng)）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字

段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)。scrapy架構(gòu)圖ItemPipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、

過(guò)濾、存儲(chǔ)等）的地方。DownloaderMiddlewares（下載中間件）：可以當(dāng)作是一個(gè)可以自定義擴(kuò)展下載功能的組

件。SpiderMiddlewares（Spider中間件）：可以理解為是一個(gè)可以自定擴(kuò)展和操作引擎和

Spide