使用代理和爬蟲(chóng)

使用代理和爬蟲(chóng)為什么使用代理使用代理和Crawlera的智慧代理為什么使用代理/01代理IP可以突破IP訪問(wèn)受到的限制，訪問(wèn)平時(shí)不能訪問(wèn)的網(wǎng)址、站點(diǎn)，注冊(cè)很多IP限制的帳號(hào)等等。下面就為大家舉例介紹。1、隱藏真實(shí)IP。使用代理IP上網(wǎng)可以隱藏我們的真是IP，避免收到攻擊。對(duì)于爬蟲(chóng)來(lái)說(shuō)，用代理IP不僅可以隱藏自身IP，還可以防止自身IP被封鎖。2、提升訪問(wèn)速度。代理服務(wù)器一般都會(huì)設(shè)置一個(gè)較大的硬盤(pán)緩沖區(qū)，外界有信息通過(guò)時(shí)，會(huì)將其保存到緩沖區(qū)中，當(dāng)其他用戶在訪問(wèn)相同的信息，會(huì)在緩沖區(qū)中直接讀取信息，提高了訪問(wèn)的速度。3、訪問(wèn)一些內(nèi)部資源。比如使用教育網(wǎng)內(nèi)地址段免費(fèi)代理服務(wù)，就可以在教育網(wǎng)查詢(xún)共享一些資料等服務(wù)。為什么使用代理

使用代理和Crawlera的智慧代理/02

DynDNS提供了一個(gè)免費(fèi)檢查的IP地址的服務(wù)。使用Scrapyshell，我們向發(fā)送一個(gè)請(qǐng)求，檢查響應(yīng)確定當(dāng)前的IP地址：使用代理和Crawlera的智慧代理要使用代理請(qǐng)求，退出shell，然后使用export命令設(shè)置一個(gè)新代理。可以通過(guò)搜索HMA的公共代理列表（/）測(cè)試一個(gè)免費(fèi)代理。例如，假設(shè)我們選擇一個(gè)代理IP是，端口是80（替換成自己的端口號(hào)），如下運(yùn)行：使用代理和Crawlera的智慧代理再次運(yùn)行Scrapyshell，你可以看到這次請(qǐng)求使用了不同的IP。代理很慢，有時(shí)還會(huì)失敗，這時(shí)可以選擇另一個(gè)IP。要關(guān)閉代理，可以退出Scrapyshell，并使用unsethttp_proxy。Crawlera是Scrapinghub的一個(gè)服務(wù)。除了使用一個(gè)大的IP池，它還能調(diào)整延遲并退出壞的請(qǐng)求，讓連接變得快速穩(wěn)定。這是爬蟲(chóng)工程師夢(mèng)寐以求的產(chǎn)品。使用它，只需設(shè)置http_proxy的環(huán)境變量為：除了HTTP代理，還可以通過(guò)它給Scrapy設(shè)計(jì)的中間件使用Crawlera。使用代理和Crawl