《數(shù)據(jù)采集技術(shù)》課件-使用 requests 庫(kù)爬取網(wǎng)頁(yè)

使用requests庫(kù)爬取網(wǎng)頁(yè)Contents素養(yǎng)目標(biāo)能夠初步建立起大數(shù)據(jù)領(lǐng)域的知識(shí)體系，完成一些初級(jí)技術(shù)實(shí)踐。技能目標(biāo)可以使用requests庫(kù)爬取網(wǎng)頁(yè)。知識(shí)目標(biāo)熟悉requests庫(kù)的定義及包含的類。urllib庫(kù)的局限性僅僅實(shí)現(xiàn)一個(gè)小功能就要用到很多代碼。urllib庫(kù)的函數(shù)使用方式并不簡(jiǎn)潔什么是requests庫(kù)requests是Python的一個(gè)第三方HTTP庫(kù)requests在urlli的基礎(chǔ)上進(jìn)行了高度的封裝。讓Python實(shí)現(xiàn)訪問(wèn)網(wǎng)頁(yè)并獲取源代碼特點(diǎn)比Python自帶的網(wǎng)絡(luò)庫(kù)urllib更加簡(jiǎn)單、方便和人性化。繼承urllib的所有特性還支持其他特性使用cookie保持會(huì)話自動(dòng)確定響應(yīng)內(nèi)容的編碼什么是requests庫(kù)requests是Python的一個(gè)第三方HTTP庫(kù)requests在urllib的基礎(chǔ)上進(jìn)行了高度的封裝。特點(diǎn)比Python自帶的網(wǎng)絡(luò)庫(kù)urllib更加簡(jiǎn)單、方便和人性化。繼承urllib的所有特性還支持其他特性Requests不是Python標(biāo)準(zhǔn)款，需要安裝，可以在命令行中使用pip進(jìn)行安裝。安裝命令如下：>>>pipinstallrequests什么是requests庫(kù)表示請(qǐng)求對(duì)象，用于將一個(gè)請(qǐng)求發(fā)送到服務(wù)器。requests.Request表示響應(yīng)對(duì)象，其中包含服務(wù)器對(duì)HTTP請(qǐng)求的響應(yīng)。request.Response表示請(qǐng)求會(huì)話，提供Cookie持久性、連接池和配置。request.SessionRequest類的對(duì)象表示一個(gè)請(qǐng)求，生命周期只針對(duì)一個(gè)客戶端請(qǐng)求。requests庫(kù)中提供了如下常用的類：一旦請(qǐng)求發(fā)送完畢將釋放掉該請(qǐng)求包含的內(nèi)容什么是requests庫(kù)表示請(qǐng)求對(duì)象，用于將一個(gè)請(qǐng)求發(fā)送到服務(wù)器。requests.Request表示響應(yīng)對(duì)象，其中包含服務(wù)器對(duì)HTTP請(qǐng)求的響應(yīng)。request.Response表示請(qǐng)求會(huì)話，提供Cookie持久性、連接池和配置。request.SessionSession類的對(duì)象可以橫跨多個(gè)頁(yè)面，當(dāng)關(guān)閉這個(gè)客戶端的瀏覽器時(shí)：requests庫(kù)中提供了如下常用的類：在預(yù)先設(shè)置的會(huì)話周期內(nèi)一般是20-30min會(huì)話所包含的內(nèi)容會(huì)一直存在比如，用戶登錄某個(gè)網(wǎng)站時(shí)，可以在多個(gè)IE窗口發(fā)出多個(gè)請(qǐng)求。什么是requests庫(kù)使用Requests庫(kù)發(fā)送網(wǎng)絡(luò)請(qǐng)求的第一步是導(dǎo)入Requests模塊，命令如下：在瀏覽器里面可以直接通過(guò)輸入網(wǎng)址訪問(wèn)的頁(yè)面，就是使用了GET方式。使用GET方法獲取網(wǎng)頁(yè)源碼語(yǔ)法結(jié)構(gòu)為：Requests庫(kù)請(qǐng)求方法>>>importrequestshtml=requests.get('網(wǎng)址')什么是requests庫(kù)Requests庫(kù)請(qǐng)求方法假如要獲取百度首頁(yè)源碼，示例代碼如下：>>>response=requests.get('/')使用的請(qǐng)求方法可以發(fā)現(xiàn)使用GET方法獲取到百度官網(wǎng)，并把數(shù)據(jù)賦值給response對(duì)象。importurllib.requestimporturllib.parseurl='/s'word={"wd":"數(shù)據(jù)采集"}word=urllib.parse.urlencode(word)new_url=url+"?"+wordheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}request=urllib.request.Request(new_url,headers=headers)response=urllib.request.urlopen(request)html=response.read().decode('utf-8')print(html)requests庫(kù)初體驗(yàn)urllib庫(kù)發(fā)送get請(qǐng)求requests庫(kù)初體驗(yàn)requests發(fā)送get請(qǐng)求#導(dǎo)入requests庫(kù)importrequests#請(qǐng)求的URL路徑和查詢參數(shù)url="/s"param={"wd":"數(shù)據(jù)采集"}#請(qǐng)求報(bào)頭headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/51.0.2704.103Safari/537.36"}#發(fā)送GET請(qǐng)求，返回一個(gè)響應(yīng)對(duì)象response=requests.get(url,params=param,headers=headers)#查看響應(yīng)的內(nèi)容print(response.text)使用requests庫(kù)減少了發(fā)送請(qǐng)求的代碼量比較兩段代碼發(fā)現(xiàn)requests庫(kù)初體驗(yàn)requests庫(kù)從細(xì)節(jié)上的便捷之處無(wú)須再轉(zhuǎn)換為URL路徑編碼格式，拼接完整的URL路徑。1無(wú)須再頻繁地為中文轉(zhuǎn)換編碼格式。2從發(fā)送請(qǐng)求的函數(shù)名稱，可以很直觀地判斷發(fā)送到服務(wù)器的方式。3urlopen()函數(shù)方法返回的是一個(gè)文件對(duì)象，需要調(diào)用read()方法一次性讀取；而get函數(shù)返回的是一個(gè)響應(yīng)對(duì)象，可以訪問(wèn)該對(duì)象的text屬性查看響應(yīng)內(nèi)容。4URL什么是requests庫(kù)說(shuō)明data這個(gè)字典的內(nèi)容和項(xiàng)數(shù)需要根據(jù)實(shí)際情況修改，Key和Value在不同的網(wǎng)站是不一樣的。data={'key1':'value1',

'key2':'value2'}html_formdata=requests.post('網(wǎng)址',data=data).content.decode()有些頁(yè)面只能通過(guò)從另一個(gè)頁(yè)面單擊某個(gè)鏈接或者某個(gè)按鈕以后跳過(guò)來(lái)，不能直接通過(guò)在瀏覽器輸入網(wǎng)址訪問(wèn)。這種網(wǎng)頁(yè)就是使用了POST方式。使用POST方法獲取源碼格式如下：什么是requests庫(kù)html_json=requests.post('網(wǎng)址',json=data).content.decode()>>>response=requests.put('/',data={'key':'value'})>>>response=requests.delete('/')>>>response=requests.head('/')>>>response=requests.options('/')有些網(wǎng)址提交的內(nèi)容需要是JSON格式的。Requests實(shí)現(xiàn)HTTP其他的基本請(qǐng)求方式也是比較簡(jiǎn)單的，比如實(shí)現(xiàn)PUT，DELETE，HEAD以及OPTIONS類型代碼如下：requests可以自動(dòng)將字典轉(zhuǎn)換為JSON字符串，示例代碼如下：發(fā)送請(qǐng)求函數(shù)功能說(shuō)明requests.request()構(gòu)造一個(gè)請(qǐng)求，支撐以下各方法的基礎(chǔ)方法。requests.get()獲取HTML網(wǎng)頁(yè)的主要方法，對(duì)應(yīng)于HTTP的GET請(qǐng)求方式。requests.head()獲取HTML網(wǎng)頁(yè)頭信息的方法，對(duì)應(yīng)于HTTP的HEAD請(qǐng)求方式。requests.post()向HTML網(wǎng)頁(yè)提交POST請(qǐng)求的方法，對(duì)應(yīng)于HTTP的POST請(qǐng)求方式。requests.put()向HTML網(wǎng)頁(yè)提交PUT請(qǐng)求的方法，對(duì)應(yīng)于HTTP的PUT請(qǐng)求方式。requests.patch()向HTML網(wǎng)頁(yè)提交局部修改請(qǐng)求，對(duì)應(yīng)于HTTP的PATCH請(qǐng)求方式。requests.delete()向HTML網(wǎng)頁(yè)提交刪除請(qǐng)求，對(duì)應(yīng)于HTTP的DELETE請(qǐng)求方式。requests庫(kù)中提供了很多發(fā)送HTTP請(qǐng)求的函數(shù)發(fā)送請(qǐng)求這些函數(shù)都會(huì)做兩件事情該對(duì)象將被發(fā)送到某個(gè)服務(wù)器上請(qǐng)求或者查詢一些資源。該對(duì)象包含了服務(wù)器返回的所有信息，也包括原來(lái)創(chuàng)建的Request對(duì)象。1構(gòu)建一個(gè)Request類的對(duì)象2一旦得到服務(wù)器返回的響應(yīng)，就會(huì)產(chǎn)生一個(gè)Response對(duì)象。返回響應(yīng)Response類用于動(dòng)態(tài)地響應(yīng)客戶端的請(qǐng)求，控制發(fā)送給用戶的信息，并且將動(dòng)態(tài)地生成響應(yīng)，包括狀態(tài)碼、網(wǎng)頁(yè)的內(nèi)容等。屬性說(shuō)明status_codeHTTP請(qǐng)求的返回狀態(tài)，200表示連接成功，404表示失敗。textHTTP響應(yīng)內(nèi)容的字符串形式，即URL對(duì)應(yīng)的頁(yè)面內(nèi)容。encoding從HTTP請(qǐng)求頭中猜測(cè)的響應(yīng)內(nèi)容編碼方式。apparent_encoding從內(nèi)容中分析出的響應(yīng)編碼的方式（備選編碼方式）。contentHTTP響應(yīng)內(nèi)容的二進(jìn)制形式。返回響應(yīng)Requests庫(kù)可以找出它使用了什么編碼，并且可以設(shè)置encoding屬性進(jìn)行改變。再次調(diào)用text屬性獲取返回的文本內(nèi)容時(shí)，將會(huì)使用上述設(shè)置的新的編碼方式。>>>response.encoding'utf-8'>>>response.encoding='ISO-8859-1'requests庫(kù)有道翻譯requests發(fā)送post請(qǐng)求importrequests#F12打開(kāi)瀏覽器的開(kāi)發(fā)者工具，觀察網(wǎng)頁(yè)變化查找URL和請(qǐng)求參數(shù)：url='/jsonapi_s?doctype=json&jsonversion=4'word=input("請(qǐng)輸入你要翻譯的文字:")form_data={'q':word,'le':'en'}headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/51.0.2704.103Safari/537.36"}res=requests.po