第14講：爬蟲框架之分布式_第1頁
第14講：爬蟲框架之分布式_第2頁
第14講：爬蟲框架之分布式_第3頁
第14講：爬蟲框架之分布式_第4頁
第14講：爬蟲框架之分布式_第5頁
已閱讀5頁，還剩6頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

趣學Python爬蟲爬蟲框架之分布式本課目錄INDEX什么是分布式框架實現分布式原理scrapy框架實現分布式什么是分布式分布式的官方解釋在一個分布式系統(tǒng)中，一組獨立的計算機展現給用戶的是一個統(tǒng)一的整體，就好像是一個系統(tǒng)似的。系統(tǒng)擁有多種通用的物理和邏輯資源，可以動態(tài)的分配任務，分散的物理和邏輯資源通過計算機網絡實現信息交換。系統(tǒng)中存在一個以全局的方式管理計算機資源的分布式操作系統(tǒng)。通常，對用戶來說，分布式系統(tǒng)只有一個模型或范型。分布式通俗解讀訪問萬門網站，你看到的都是同一個你熟悉的頁面，但是是由哪個服務器為你提供的頁面你并不知道，但是后臺有多個服務器可以給你提供，具體由哪個服務器為你服務由“統(tǒng)籌方”指定正正訪問服務器1服務器2服務器3服務器4一臺服務器的服務能力是有上限的，在這個案例是平均訪問壓力統(tǒng)籌方爬蟲框架scrapy結構InternetScheduler

調度器Items/Pipelines

管道Downloader

下載器主引擎2345STARTSpider

爬蟲器7 6 1ENGINE88包含中間件包含中間件請求發(fā)起數據解析執(zhí)行請求或下載動作任務存儲任務執(zhí)行調度數據持久化保存特別注意特別注意框架實現分布式原理分布式爬蟲即在多個機器上運行scrapy爬取同一個網站機器1機器2機器3互聯(lián)網一互聯(lián)網二互聯(lián)網三scrapy-1scrapy-2scrapy-3框架實現分布式原理我們再來梳理一下實現過程引擎調度器爬蟲器下載器管

道實現的目標是多個scrapy爬取同一個網站引擎1爬蟲器

下載器scrapy-redis共享調度器單個引擎（單個電腦）目標分布式（多電腦聯(lián)合一個任務）引擎2爬蟲器

下載器引擎3爬蟲器

下載器scrapy-redis共享管道pipinstall

scrapy-redis實現分布式所需的環(huán)境Redis數據庫安裝，

大家可自行下載也可以從課件資料中下載數據庫Python庫https://redis.io/download關于Redis的簡單操作Redis服務配置文件Redis主服務可執(zhí)行文件Redis客戶端可執(zhí)行文件redis-cli–h192.168.X.X–p

6379keys

*查看所有鍵值的鍵名lrange鍵名0-1查看當前鍵下所有值flushdb

清空數據庫lpush 鍵名字

訪問地址

向隊列推入任務關于Redis的簡單操

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論