《數(shù)據(jù)采集技術(shù)》課件-多線程爬蟲

多線程爬蟲Contents知識目標掌握基本的多線程爬蟲技術(shù)技能目標提高數(shù)據(jù)采集和處理能力素養(yǎng)目標培養(yǎng)良好的信息素養(yǎng)和道德意識多線程爬蟲是一種利用多個線程同時進行網(wǎng)絡(luò)數(shù)據(jù)抓取的技術(shù)。多線程網(wǎng)絡(luò)爬蟲傳統(tǒng)的單線程爬蟲爬取網(wǎng)頁的過程是按照順序逐個進行的。先請求一個網(wǎng)頁再請求下一個網(wǎng)頁等待響應(yīng)返回多線程爬蟲同時處理多個網(wǎng)頁請求。多線程網(wǎng)絡(luò)爬蟲充分利用計算機的多核處理能力加快數(shù)據(jù)抓取速度將多線程技術(shù)運用在采集網(wǎng)頁信息和解析網(wǎng)頁內(nèi)容上。多線程爬蟲多線程爬蟲流程如下：1.首先有一個網(wǎng)址列表，是要爬取數(shù)據(jù)的網(wǎng)頁列表。2.同時啟動多個線程抓取網(wǎng)頁內(nèi)容，一般啟動固定數(shù)量的線程。3.將抓取到的網(wǎng)頁源碼存儲在一個列表里。4.同時使用多個線程對網(wǎng)頁源碼表里的網(wǎng)頁內(nèi)容進行解析。5.將解析之后的數(shù)據(jù)存儲起來。多線程爬蟲queue類是Python標準庫中的線程安全的隊列實現(xiàn)，提供了一個適用于多線程編程的先進先出的數(shù)據(jù)結(jié)構(gòu)—隊列。tailhead使用queue模塊實現(xiàn)多線程爬蟲queue模塊是Python內(nèi)置的標準模塊可以直接通過importqueue引用，在Queue模塊中提供了三種同步的、線程安全的隊列，分別是：Queue(先進先出隊列)LifoQueue(后進先出隊列)PriorityQueue(優(yōu)先級隊列)LifoQueue和PriorityQueue都是Queue的子類。這些隊列的唯一區(qū)別是元素取出的順序不同。使用queue模塊實現(xiàn)多線程爬蟲表示一個基本的FIFO（FirstInFirstOut）隊列，即先進先出。queue.Queue（maxsize=0）是個整數(shù)，規(guī)定了隊列的長度maxsize一旦達到上限，再添加數(shù)據(jù)會導(dǎo)致阻塞，直到隊列中的數(shù)據(jù)被消費掉。Queue類如果maxsize小于或者等于0隊列大小沒有限制maxsize的默認值為0。使用Queue的示例示例：fromqueueimportQueuequeue_obj=Queue()foriinrange(4):queue_obj.put(i)whilenotqueue_obj.empty():print(queue_obj.get())運行結(jié)果：0123LifoQueue類后進先出隊列(LastinFirstOut)queue.LifoQueue（maxsize=0）maxsize參數(shù)的含義與Queue類相同。使用LifoQueue的示例示例：fromqueueimportLifoQueuelifo_queue=LifoQueue()foriinrange(4):lifo_queue.put(i)whilenotlifo_queue.empty():print(lifo_queue.get())運行結(jié)果：

3210使用queue模塊實現(xiàn)多線程爬蟲表示優(yōu)先級隊列，按級別順序取出元素，優(yōu)先級隊列中的元素一般采取元組（優(yōu)先級別，數(shù)據(jù)）的形式來存儲。queue.PriorityQueue（maxsize=0）其中，maxsize參數(shù)的含義與前兩個類相同。PriorityQueue類使用PriorityQueue的示例示例：fromqueueimportPriorityQueueclassJob(object):def__init__(self,level,description):self.level=levelself.description=descriptionreturndef__lt__(self,other):returnself.level<other.levelpriority_queue=PriorityQueue()priority_queue.put(Job(5,'中'))priority_queue.put(Job(10,'低'))priority_queue.put(Job(1,'急'))whilenotpriority_queue.empty():next_job=priority_queue.get()print('開始工作：',next_job.description)運行結(jié)果：開始工作：急開始工作：中開始工作：低Queue模塊Queue(先進先出隊列)LifoQueue(后進先出隊列)PriorityQueue(優(yōu)先級隊列)Queue模塊定義了2個異常類：Empty當從空隊列中取數(shù)據(jù)時，可拋出此異常。Full當向一個滿隊列中存數(shù)據(jù)時，可拋出此異常。Queue模塊Queue類提供了數(shù)據(jù)存儲和管理的常用方法方法說明empty()如果隊列為空，返回True，否則返回False。full()如果隊列已滿則返回True，否則返回False。get()從隊頭獲取并刪除第一個元素。put()在隊尾添加一個元素。get_nowait()立即取出一個元素，不等待，相當于get(False)。put_nowait()立即放入一個元素，不等待，相當于put(item,False)。join()阻塞當前線程，直到隊列里的所有元素都已被處理。本講小結(jié)分析了多線程爬蟲的整個流程1結(jié)合實際示例介紹了Python中實現(xiàn)多線程的queue模塊的基本使用2課后作業(yè)使用單線程、多線程、技術(shù)獲取段子網(wǎng)：