《數據采集技術》課件-Settings - 配置

Settings——配置配置文件管理爬蟲行為和功能的關鍵部分提供了各種配置選項，可以自定義和控制爬蟲的行為配置文件管理爬蟲行為和功能的關鍵部分提供了各種配置選項，可以自定義和控制爬蟲的行為Settings—常見配置Settings—常見配置Settings—常見配置Scrapy架構Settings—常見配置1基礎配置使用Scrapy實現(xiàn)的bot名稱，也叫項目名稱默認的USER_AGENT由它來構成，也作為日志記錄的日志名SPIDER_MODULES=['項目名稱.spiders']NEWSPIDER_MODULE='項目名稱.spiders'BOT_NAMESPIDER_MODULESSettings—常見配置1基礎配置設置爬取網站時使用的默認User-AgentUSER_AGENT='項目名稱(+)'設置是否遵循robots.txt中的爬蟲規(guī)則ROBOTSTXT_OBEY=FalseUSER_AGENTROBOTSTXT_OBEYSettings—常見配置1基礎配置設置禁用Cookies，默認是True，啟用一般將Cookies的功能禁用COOKIES_ENABLED=FalseDEFAULT_REQUEST_HEADERS設置ScrapyHTTP請求使用的默認headerSettings—常見配置2并發(fā)與延遲設置Scrapy下載器并發(fā)請求的最大值，默認是16CONCURRENT_REQUESTS每個域名能夠被執(zhí)行的最大并發(fā)請求數目，默認值8CONCURRENT_REQUESTS_PER_DOMAIN能夠被單個IP處理的并發(fā)請求數，默認值0，代表無限制CONCURRENT_REQUESTS_PER_IPSettings—常見配置2并發(fā)與延遲設置ItemPipeline同時處理每個response的item的最大值，默認是100CONCURRENT_ITEMS設置下載器在下載同一網站兩個請求之間的間隔時間默認值為0，同時也支持小數DOWNLOAD_DELAYSettings—常見配置2并發(fā)與延遲設置下載器的超時時間（單位：秒），默認值是180DOWNLOAD_TIMEOUTSettings—常見配置3爬取深度、方式設置爬取網站最大允許的深度（depth）值。默認值為0，表示沒有限制DEPTH_LIMIT爬取基本原則。爬取時，0表示深度優(yōu)先Lifo(默認值)，后進先出；1表示廣度優(yōu)先FiFo，先進先出。DEPTH_PRIORITYSettings—常見配置4中間件、管道、擴展MIDDLEWARES啟用或禁用中間件。SPIDER_MIDDLEWARES={ '項目名稱.middlewares.SpiderMiddleware':543,}DOWNLOADER_MIDDLEWARES={ '項目名稱.middlewares.DownMiddleware':543,}Settings—常見配置4中間件、管道、擴展SPIDER_MIDDLEWARES啟用或禁用爬蟲中間件DOWNLOADER_MIDDLEWARES啟用或禁用下載器中間件，這里需要使用，否則抓取內容無法使用Settings—常見配置4中間件、管道、擴展EXTENSIONS配置并啟用擴展，主要是一些狀態(tài)監(jiān)控ITEM_PIPELINES配置啟用Pipeline持久化數據字典的鍵表示pipeline的名稱，可以是任意值，不過值習慣設置在0-1000范圍內。值越小則優(yōu)先級越高Settings—常見配置以上屬于全局配置項目中所有爬蟲共享很多時候會實現(xiàn)局部配置定義字典類型的custom_settings成員變量局部配置定義custom_settings={ 'DOWNLOAD_DELAY':10}啟動時配置scrap