《數(shù)據(jù)采集技術(shù)》課件-Settings - 配置

Settings——配置配置文件管理爬蟲行為和功能的關(guān)鍵部分提供了各種配置選項，可以自定義和控制爬蟲的行為配置文件管理爬蟲行為和功能的關(guān)鍵部分提供了各種配置選項，可以自定義和控制爬蟲的行為Settings—常見配置Settings—常見配置Settings—常見配置Scrapy架構(gòu)Settings—常見配置1基礎(chǔ)配置使用Scrapy實現(xiàn)的bot名稱，也叫項目名稱默認的USER_AGENT由它來構(gòu)成，也作為日志記錄的日志名SPIDER_MODULES=['項目名稱.spiders']NEWSPIDER_MODULE='項目名稱.spiders'BOT_NAMESPIDER_MODULESSettings—常見配置1基礎(chǔ)配置設(shè)置爬取網(wǎng)站時使用的默認User-AgentUSER_AGENT='項目名稱(+)'設(shè)置是否遵循robots.txt中的爬蟲規(guī)則ROBOTSTXT_OBEY=FalseUSER_AGENTROBOTSTXT_OBEYSettings—常見配置1基礎(chǔ)配置設(shè)置禁用Cookies，默認是True，啟用一般將Cookies的功能禁用COOKIES_ENABLED=FalseDEFAULT_REQUEST_HEADERS設(shè)置ScrapyHTTP請求使用的默認headerSettings—常見配置2并發(fā)與延遲設(shè)置Scrapy下載器并發(fā)請求的最大值，默認是16CONCURRENT_REQUESTS每個域名能夠被執(zhí)行的最大并發(fā)請求數(shù)目，默認值8CONCURRENT_REQUESTS_PER_DOMAIN能夠被單個IP處理的并發(fā)請求數(shù)，默認值0，代表無限制CONCURRENT_REQUESTS_PER_IPSettings—常見配置2并發(fā)與延遲設(shè)置ItemPipeline同時處理每個response的item的最大值，默認是100CONCURRENT_ITEMS設(shè)置下載器在下載同一網(wǎng)站兩個請求之間的間隔時間默認值為0，同時也支持小數(shù)DOWNLOAD_DELAYSettings—常見配置2并發(fā)與延遲設(shè)置下載器的超時時間（單位：秒），默認值是180DOWNLOAD_TIMEOUTSettings—常見配置3爬取深度、方式設(shè)置爬取網(wǎng)站最大允許的深度（depth）值。默認值為0，表示沒有限制DEPTH_LIMIT爬取基本原則。爬取時，0表示深度優(yōu)先Lifo(默認值)，后進先出；1表示廣度優(yōu)先FiFo，先進先出。DEPTH_PRIORITYSettings—常見配置4中間件、管道、擴展MIDDLEWARES啟用或禁用中間件。SPIDER_MIDDLEWARES={ '項目名稱.middlewares.SpiderMiddleware':543,}DOWNLOADER_MIDDLEWARES={ '項目名稱.middlewares.DownMiddleware':543,}Settings—常見配置4中間件、管道、擴展SPIDER_MIDDLEWARES啟用或禁用爬蟲中間件DOWNLOADER_MIDDLEWARES啟用或禁用下載器中間件，這里需要使用，否則抓取內(nèi)容無法使用Settings—常見配置4中間件、管道、擴展EXTENSIONS配置并啟用擴展，主要是一些狀態(tài)監(jiān)控ITEM_PIPELINES配置啟用Pipeline持久化數(shù)據(jù)字典的鍵表示pipeline的名稱，可以是任意值，不過值習(xí)慣設(shè)置在0-1000范圍內(nèi)。值越小則優(yōu)先級越高Settings—常見配置以上屬于全局配置項目中所有爬蟲共享很多時候會實現(xiàn)局部配置定義字典類型的custom_settings成員變量局部配置定義custom_settings={ 'DOWNLOAD_DELAY':10}啟動時配置scrap