HTTP協(xié)議原理分析

知識點：HTTP協(xié)議目錄01認識requests庫03HTTP協(xié)議04用urllib實現(xiàn)簡單的客戶端訪問02環(huán)境搭建05用requests實現(xiàn)簡單的客戶端訪問目錄06用requests庫發(fā)送請求07帶參數(shù)的請求08請求的異常處理09響應(yīng)的基本API10下載圖片和文本文件目錄11Requests庫示例匯總12HTTP認證13Session和Cookies14爬蟲引發(fā)的Robots協(xié)議15用requests庫和RE模塊完成淘寶比價環(huán)境搭建31.1HTTP協(xié)議基礎(chǔ)知識1.1HTTP協(xié)議基礎(chǔ)知識什么是HTTP協(xié)議？HyperTextTransferProtocol超文本傳輸協(xié)議。HTTP協(xié)議基礎(chǔ)知識來自百科的定義:HTTP是一種無狀態(tài)的應(yīng)用層協(xié)議，用于分布式，協(xié)作式，超文本信息系統(tǒng)。HTTP協(xié)議解決了如何發(fā)request和如何處理對方返回response的問題。當(dāng)我們訪問一個網(wǎng)頁時，到底發(fā)生了什么？如果用googlechrome,打開developtools。如果瀏覽器是firefox,自帶有firebug工具。在360瀏覽器中，打開工具，打開開發(fā)人員工具。點開network選項，刷新頁面，重新鏈接。HTTP協(xié)議基礎(chǔ)知識HTTP協(xié)議基礎(chǔ)知識下面是key:value組成的Requestheaders信息：HTTP協(xié)議基礎(chǔ)知識解讀：Accepte_Encoding:gzipdeflategzip是一種數(shù)據(jù)格式，默認且目前僅使用deflate算法壓縮data部分，主要用于壓縮傳輸

。如果服務(wù)器支持Gzip，數(shù)據(jù)返回給客戶端時候已經(jīng)被gzip壓縮了，瀏覽器可以自動解壓。HTTP協(xié)議基礎(chǔ)知識解讀：cache-controlmax-age>0時直接從瀏覽覽器緩存中提取內(nèi)容。

max-age<=0時向server發(fā)送http請求確認,該資源是否有修改？有的話，從服務(wù)器端讀取返回200,無的話，從瀏覽器緩存提取。HTTP協(xié)議基礎(chǔ)知識解讀：connection:keep-aliveHTTP是一個請求<->響應(yīng)模式的典型范例，在老的HTTP版本中，每個請求都將被創(chuàng)建一個新的客戶端->服務(wù)器的連接，效率很低。Keep-Alive功能使客戶端到服務(wù)器端的連接持續(xù)有效，當(dāng)出現(xiàn)對服務(wù)器的后繼請求時，無需建立或者重新建立連接。大部分Web服務(wù)器，支持

Keep-Alive。HTTP協(xié)議基礎(chǔ)知識服務(wù)器端的responseheaderResponse部分的startline，用以表明狀態(tài)碼并解釋，后面也是由kye:value組成的鍵值對。HTTP協(xié)議基礎(chǔ)知識HTTP協(xié)議基礎(chǔ)知識在response選項卡中是messagebody部分，是服務(wù)器端的響應(yīng)內(nèi)容。HTTP協(xié)議基礎(chǔ)知識這里大家可以看到，useragent就不再是瀏覽器了，而是curl工具。并且客戶端和服