《數(shù)據(jù)采集技術》課件-Item Pipeline

ItemPipelineItemPipelineItemPipelineItem類Item是一個包含數(shù)據(jù)字段的類目的是為了把從網(wǎng)頁解析出來的目標數(shù)據(jù)進行結(jié)構(gòu)化要先確定Item的結(jié)構(gòu)，然后再在程序中構(gòu)造、在pipeline中處理需要注意Item類定義Item在「items.py」中定義Item數(shù)據(jù)構(gòu)造在spider程序中進行構(gòu)造，即填充數(shù)據(jù)#導入Item類，mySpider是包名frommySpider.itemsimportMyspiderItem#構(gòu)造Item對象item=MyspiderItem()item[“title”]=titleItem數(shù)據(jù)構(gòu)造在spider程序中進行構(gòu)造，即填充數(shù)據(jù)#導入Item類，mySpider是包名frommySpider.itemsimportMyspiderItem#構(gòu)造Item對象item=MyspiderItem()item[“title”]=titleItem傳遞到Pipelineyielditemreturn返回函數(shù)運行結(jié)果yield返回一個生成器(generator)對象Item傳遞到Pipelineyielditemreturn返回函數(shù)運行結(jié)果yield返回一個生成器(generator)對象Item傳遞到Pipelineyielditem如果返回的是Request對象引擎交給調(diào)度器進行處理如果返回的是Item對象或字典引擎把這個數(shù)據(jù)交給Pipeline處理Item傳遞到Pipelineyielditem如果返回的是Request對象引擎交給調(diào)度器進行處理如果返回的是Item對象或字典引擎把這個數(shù)據(jù)交給Pipeline處理Item傳遞到PipelineyielditemItem傳遞到PipelineyielditemItemPipelinePipeline負責處理Item數(shù)據(jù)，從而實現(xiàn)持久化清理HTML數(shù)據(jù)功能：驗證數(shù)據(jù)(檢查item包含某些字段)查重(并丟棄)將爬取結(jié)果保存到數(shù)據(jù)庫定義PipelinePipeline定義在pipeline.py中定義PipelinePipeline定義在pipeline.py中ItemPipeline的方法init語法：__init__(self)用法：用來構(gòu)造對象屬性，例如數(shù)據(jù)庫連接等open_spider語法：open_spider(self,spider)參數(shù)：spider(Spiderobject)--spider實例用法：當spider打開時調(diào)用此方法ItemPipeline的方法close_spider語法：close_spider(self,spider)參數(shù)：spider(Spiderobject)--spider實例用法：當spider關閉時調(diào)用此方法from_crawler語法：from_crawler(cls,crawler)參數(shù)：crawler(Crawlerobject)--使用此管道的爬蟲程序用法：初始化變量，調(diào)用此方法從爬蟲程序Crawler生成實例配置Pipeline在settings.py中進行配置，對應的是ITEM_PIPELINE參數(shù)pipeline保存到json文件importjsonclassMyspiderPipeline:def__init__(self):self.file=open("hotlist.json","w",encoding="utf-8")defprocess_item(self,item,spider):content=json.dumps(dict(item),ensure_ascii=False)+"\n"self.file.write(content)returnitemdefclose_spiders(self,spider):self.file.close()pipeline保存到MongoDBimportpymongofromitemadapterimportItemAdapterclassMongoPipeline:collection_name='scrapy_items'def__init__(self,mongo_uri,mongo_db):self.mongo_uri=mongo_uriself.mongo_db=mongo_db@classmethoddeffrom_crawler(cls,crawler):returncls(mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE','items')defopen_spider(self,spider):self.client=pymongo.MongoClient(self.mongo_uri)self.db=self.client[self.mongo_db]defclose_spider(self,spider):self.client.close()defprocess_item(self,item,spider):self.db[self.collection_name].insert_one(I