2023學(xué)年完整公開(kāi)課版Scrapy擴(kuò)展設(shè)置

Scrapy擴(kuò)展設(shè)置setting擴(kuò)展設(shè)置通用擴(kuò)展設(shè)置setting擴(kuò)展設(shè)置/01

擴(kuò)展設(shè)置允許擴(kuò)展和修改Scrapy的幾乎每個(gè)方面。最重要的就是ITEM__PIPELINES。它允許在項(xiàng)目中使用ItemProcessingPipelines。除了pipelines,還可以用多種方式擴(kuò)展Scrapy，還有一些方式。COMMANDS_.MODUL.E允許我們?cè)O(shè)置自定義命令。例如，假設(shè)我們添加了一個(gè)properties/hi.py文件:mandsimportScrapyCommandclassCommand(ScrapyCommand):default_settings={'LOG__ENABLED':False}defrun(self,args,opts):print("he1lo")setting擴(kuò)展設(shè)置一旦在settings.py加入了COMMANDS__MODULE='properties.hi',就可以在Scrapy的help中運(yùn)行hi查看。在命令行的default__settings中定義的設(shè)置會(huì)與項(xiàng)目的設(shè)置合并，但是與settings.py文件的優(yōu)先級(jí)比起來(lái)，它的優(yōu)先級(jí)偏低。Scrapy使用-_BASE字典(例如，F(xiàn)EED_EXPORTERS_BASE)來(lái)存儲(chǔ)不同擴(kuò)展框架的默認(rèn)值，然后可以在settings.py文件和命令行中設(shè)置non-_BASE版本進(jìn)行切換(例如，F(xiàn)EED_EXPORTERS)最后，Scrapy使用設(shè)置，例如DOWNL.OADER或SCHEDULER,保管系統(tǒng)基本組件的包和類的名?？梢岳^承默認(rèn)的下載器(scrapy.core.downloader.Downloader)，加載一些方法，在DOWNL.OADER設(shè)置中自定義的類。這可以讓開(kāi)發(fā)者試驗(yàn)新特性、簡(jiǎn)化自動(dòng)檢測(cè)。setting擴(kuò)展設(shè)置通用擴(kuò)展設(shè)置/02一、日志統(tǒng)計(jì)擴(kuò)展classscrapy.extensions.logstats.LogStats記錄基本的統(tǒng)計(jì)信息，如已爬網(wǎng)的頁(yè)面和已擦除的項(xiàng)目。二、核心統(tǒng)計(jì)擴(kuò)展classscrapy.extensions.corestats.CoreStats啟用核心統(tǒng)計(jì)信息集合，前提是已啟用統(tǒng)計(jì)信息集合通用擴(kuò)展設(shè)置三、Telnet控制臺(tái)擴(kuò)展classscrapy.extensions.telnet.TelnetConsoletelnet控制臺(tái)，用于進(jìn)入當(dāng)前運(yùn)行的scrapy進(jìn)程中的python解釋器，這對(duì)于調(diào)試非常有用。telnet控制臺(tái)必須由TELNETCONSOLE_ENABLED設(shè)置，服務(wù)器