《商務(wù)數(shù)據(jù)分析》 課件 2-3網(wǎng)絡(luò)請(qǐng)求響應(yīng)流程

BusinessDataAnalysis商務(wù)數(shù)據(jù)分析網(wǎng)絡(luò)請(qǐng)求響應(yīng)流程HTTP請(qǐng)求響應(yīng)過程輸入怎么就出現(xiàn)了百度界面？這個(gè)過程是瀏覽器向網(wǎng)站所在的服務(wù)器發(fā)送了一個(gè)HTTP請(qǐng)求，獲得了服務(wù)器的響應(yīng)。HTTP請(qǐng)求響應(yīng)過程HTTP請(qǐng)求響應(yīng)過程HTTP請(qǐng)求響應(yīng)過程客戶端輸入U(xiǎn)RL域名解析發(fā)送HTTP請(qǐng)求與服務(wù)器建立連接服務(wù)器響應(yīng)HTTP請(qǐng)求返回頁(yè)面源代碼客戶端瀏覽器解析網(wǎng)頁(yè)源代碼對(duì)頁(yè)面進(jìn)行渲染URL統(tǒng)一資源定位符（UniformResourceLocator）是一種WWW上資源位置的唯一識(shí)別方法。URL例如：URLURL的一般由4部分組成，語法格式為(帶方括號(hào)[]的為可選項(xiàng)，可省略)：protocol://hostname[:port]/path/[;parameters][?query]#fragmentURLProtocol（協(xié)議）指定使用的傳輸協(xié)議，數(shù)據(jù)采集中最常遇到的是HTTP/HTTPS協(xié)議。Hostname（主機(jī)名）是指存放資源的服務(wù)器的域名系統(tǒng)(DNS)主機(jī)名或IP地址。Port（端口號(hào)）各種傳輸協(xié)議都有默認(rèn)的端口號(hào)，如http協(xié)議的默認(rèn)端口為80。如果輸入時(shí)省略，則使用默認(rèn)端口號(hào)。Path（路徑）由零或多個(gè)“/”符號(hào)隔開的字符串，一般用來表示主機(jī)上的一個(gè)目錄或文件地址。Parameters（參數(shù)）這是用于指定特殊參數(shù)的可選項(xiàng)。Query（查詢）可選，用于給動(dòng)態(tài)網(wǎng)頁(yè)傳遞參數(shù)，可有多個(gè)參數(shù)，用“&”符號(hào)隔開，每個(gè)參數(shù)的名和值用“=”符號(hào)隔開。Fragment（信息片斷）用于指定網(wǎng)絡(luò)資源中的片斷。例如一個(gè)網(wǎng)頁(yè)中有多個(gè)名詞解釋，可使用fragment直接定位到某一名詞解釋。域名解析發(fā)給誰？服務(wù)器1服務(wù)器2服務(wù)器n……？？？？？？我們?cè)L問網(wǎng)頁(yè)常用的方式是在瀏覽器中輸入U(xiǎn)RL例如域名解析服務(wù)器地址：IP域名解析（DNS）域名解析（DNS)是把域名URL指向網(wǎng)站空間IP，讓人們通過注冊(cè)的域名可以方便地訪問到網(wǎng)站的一種服務(wù)。請(qǐng)求HTTP請(qǐng)求報(bào)文請(qǐng)求行請(qǐng)求頭部空行請(qǐng)求數(shù)據(jù)請(qǐng)求以請(qǐng)求簡(jiǎn)書中某文為例：https:///p/5dd5993f981b請(qǐng)求請(qǐng)求行分為三個(gè)部分：請(qǐng)求方法、請(qǐng)求地址URL和HTTP協(xié)議版本。例如，GET/p/5dd5993f981bHTTP/1.1序號(hào)方法描述1GET請(qǐng)求指定的頁(yè)面信息，并返回實(shí)體主體。2HEAD類似于GET請(qǐng)求，只不過返回的響應(yīng)中沒有具體的內(nèi)容，用于獲取報(bào)頭3POST向指定資源提交數(shù)據(jù)進(jìn)行處理請(qǐng)求（例如提交表單或者上傳文件）。數(shù)據(jù)被包含在請(qǐng)求體中。POST請(qǐng)求可能會(huì)導(dǎo)致新的資源的建立和/或已有資源的修改。4PUT從客戶端向服務(wù)器傳送的數(shù)據(jù)取代指定的文檔的內(nèi)容。5DELETE請(qǐng)求服務(wù)器刪除指定的頁(yè)面。6CONNECTHTTP/1.1協(xié)議中預(yù)留給能夠?qū)⑦B接改為管道方式的代理服務(wù)器。7OPTIONS允許客戶端查看服務(wù)器的性能。8TRACE回顯服務(wù)器收到的請(qǐng)求，主要用于測(cè)試或診斷。9PATCH是對(duì)PUT方法的補(bǔ)充，用來對(duì)已知資源進(jìn)行局部更新。請(qǐng)求請(qǐng)求行分為三個(gè)部分：請(qǐng)求方法、請(qǐng)求地址URL和HTTP協(xié)議版本。例如，GET/p/5dd5993f981bHTTP/1.1序號(hào)方法描述1GET請(qǐng)求指定的頁(yè)面信息，并返回實(shí)體主體。2HEAD類似于GET請(qǐng)求，只不過返回的響應(yīng)中沒有具體的內(nèi)容，用于獲取報(bào)頭3POST向指定資源提交數(shù)據(jù)進(jìn)行處理請(qǐng)求（例如提交表單或者上傳文件）。數(shù)據(jù)被包含在請(qǐng)求體中。POST請(qǐng)求可能會(huì)導(dǎo)致新的資源的建立和/或已有資源的修改。4PUT從客戶端向服務(wù)器傳送的數(shù)據(jù)取代指定的文檔的內(nèi)容。5DELETE請(qǐng)求服務(wù)器刪除指定的頁(yè)面。6CONNECTHTTP/1.1協(xié)議中預(yù)留給能夠?qū)⑦B接改為管道方式的代理服務(wù)器。7OPTIONS允許客戶端查看服務(wù)器的性能。8TRACE回顯服務(wù)器收到的請(qǐng)求，主要用于測(cè)試或診斷。9PATCH是對(duì)PUT方法的補(bǔ)充，用來對(duì)已知資源進(jìn)行局部更新。請(qǐng)求GET方法當(dāng)客戶端要從服務(wù)器中讀取文檔時(shí)，當(dāng)點(diǎn)擊網(wǎng)頁(yè)上的鏈接或者通過在瀏覽器的地址欄輸入網(wǎng)址來瀏覽網(wǎng)頁(yè)的，使用的都是GET方式。請(qǐng)求GET方法URL定位的資源響應(yīng)報(bào)文的數(shù)據(jù)部分請(qǐng)求GET方法URL定位的資源響應(yīng)報(bào)文的數(shù)據(jù)部分客戶端請(qǐng)求GET方法搜索PythonGET請(qǐng)求請(qǐng)求GET方法/Search?keyword=python要搜索的關(guān)鍵詞請(qǐng)求GET方法/Search?keyword=python&enc=utf-8傳輸數(shù)據(jù)分隔請(qǐng)求GET方法不同的瀏覽器對(duì)地址的字符限制也有所不同，一般最多只能識(shí)別1024個(gè)字符，所以如果需要傳送大量數(shù)據(jù)的時(shí)候，也不適合使用GET方式。請(qǐng)求POST方法將請(qǐng)求參數(shù)封裝在HTTP請(qǐng)求數(shù)據(jù)中，以名稱/值的形式出現(xiàn)，POST方式對(duì)傳送的數(shù)據(jù)大小沒有限制，而且也不會(huì)顯示在URL中。請(qǐng)求請(qǐng)求頭Accept：請(qǐng)求報(bào)頭域，用于指定客戶端可接受哪些類型的信息。Accept-Language：指定客戶端可接受的語言類型。Accept-Encoding：指定客戶端可接受的內(nèi)容編碼。Host：用于指定請(qǐng)求資源的主機(jī)IP和端口號(hào)，其內(nèi)容為請(qǐng)求URL的原始服務(wù)器或網(wǎng)關(guān)的位置。請(qǐng)求必須包含此內(nèi)容。Cookie：這是網(wǎng)站為了辨別用戶進(jìn)行會(huì)話跟蹤而存儲(chǔ)在用戶本地的數(shù)據(jù)。相關(guān)內(nèi)容將在下文詳細(xì)展開。Referrer：此內(nèi)容用來標(biāo)志性這個(gè)請(qǐng)求是從哪個(gè)頁(yè)面發(fā)過來的，服務(wù)器可以拿到這一信息并做相應(yīng)的處理。User-Agent：簡(jiǎn)稱UA，它是一個(gè)特殊的字符串頭，可以使服務(wù)器識(shí)別客戶使用的操作系統(tǒng)及版本、瀏覽器及版本等信息。在做爬蟲時(shí)加上此信息，可以偽裝為瀏覽器，而不加則可能被識(shí)別為爬蟲。Content-Type：也叫互聯(lián)網(wǎng)媒體類型或者M(jìn)IME類型，在HTTP協(xié)議消息頭中，它用來表示具體請(qǐng)求中的媒體類型信息。例如，text/html代表HTML格式，更多關(guān)系可查看/commons/

。用來說明服務(wù)器要使用的附加信息。請(qǐng)求請(qǐng)求數(shù)據(jù)請(qǐng)求數(shù)據(jù)一般承載的內(nèi)容是POST請(qǐng)求中的表單數(shù)據(jù)，對(duì)于GET請(qǐng)求的請(qǐng)求數(shù)據(jù)為空。注意：當(dāng)RequestHeaders中指定Content-Type為application/x-www-form-urlencoded，會(huì)以表單數(shù)據(jù)的形式提交。京東登錄頁(yè)抓包響應(yīng)客戶端瀏覽器：

你要的網(wǎng)頁(yè)內(nèi)容，發(fā)送給你!響應(yīng)HTTP響應(yīng)報(bào)文響應(yīng)以請(qǐng)求簡(jiǎn)書中某文為例：/p/5dd5993f981b響應(yīng)狀態(tài)行由3部分組成，分別為：協(xié)議版本、狀態(tài)碼、狀態(tài)碼描述。狀態(tài)類型狀態(tài)碼和狀態(tài)信息含義1xx信息100Continue服務(wù)器收到了客戶端的請(qǐng)求行和頭部信息，告訴客戶端繼續(xù)發(fā)送數(shù)據(jù)部分?？蛻舳送ǔＲ劝l(fā)送Expect：100-continue頭部字段告訴服務(wù)器自己還有數(shù)據(jù)要發(fā)送2xx成功200OK請(qǐng)求成功3xx重定向301MovedPermanently資源被轉(zhuǎn)移，請(qǐng)求將被重定向302Found通知客戶端資源能在其他地方找到，但需要使用GET方法來獲得他304NotModified表示被申請(qǐng)的資源沒有更新，和之前獲得的相同307TemporaryRedirect通知客戶端資源能在其他地方找到。與302不同的是，客戶端可以使用和原始請(qǐng)求相同的請(qǐng)求方法來訪問目標(biāo)資源。4xx客戶端錯(cuò)誤400BadRequest通用客戶請(qǐng)求錯(cuò)誤401Unauthorized請(qǐng)求需要認(rèn)證信息403Forbidden訪問被服務(wù)器禁止，通常是由于客戶端沒有權(quán)限訪問該資源404NotFound資源沒有找到407ProxyAuthenticationRequired客戶端需要先獲得代理服務(wù)器的認(rèn)證5xx服務(wù)器錯(cuò)誤500InternalServerError通用服務(wù)器錯(cuò)誤503ServiceUnavailable暫時(shí)無法訪問服務(wù)器響應(yīng)狀態(tài)行由3部分組成，分別為：協(xié)議版本、狀態(tài)碼、狀態(tài)碼描述。狀態(tài)類型狀態(tài)碼和狀態(tài)信息含義1xx信息100Continue服務(wù)器收到了客戶端的請(qǐng)求行和頭部信息，告訴客戶端繼續(xù)發(fā)送數(shù)據(jù)部分。客戶端通常要先發(fā)送Expect：100-continue頭部字段告訴服務(wù)器自己還有數(shù)據(jù)要發(fā)送2xx成功200OK請(qǐng)求成功3xx重定向301MovedPermanently資源被轉(zhuǎn)移，請(qǐng)求將被重定向302Found通知客戶端資源能在其他地方找到，但需要使用GET方法來獲得他304NotModified表示被申請(qǐng)的資源沒有更新，和之前獲得的相同307TemporaryRedirect通知客戶端資源能在其他地方找到。與302不同的是，客戶端可以使用和原始請(qǐng)求相同的請(qǐng)求方法來訪問目標(biāo)資源。4xx客戶端錯(cuò)誤400BadRequest通用客戶請(qǐng)求錯(cuò)誤401Unauthorized請(qǐng)求需要認(rèn)證信息403Forbidden訪問被服務(wù)器禁止，通常是由于客戶端沒有權(quán)限訪問該資源404NotFound資源沒有找到407ProxyAuthenticationRequired客戶端需要先獲得代理服務(wù)器的認(rèn)證5xx服務(wù)器錯(cuò)誤500InternalServerError通用服務(wù)器錯(cuò)誤503ServiceUnavailable暫時(shí)無法訪問服務(wù)器響應(yīng)狀態(tài)行由3部分組成，分別為：協(xié)議版本、狀態(tài)碼、狀態(tài)碼描述。狀態(tài)類型狀態(tài)碼和狀態(tài)信息含義1xx信息100Continue服務(wù)器收到了客戶端的請(qǐng)求行和頭部信息，告訴客戶端繼續(xù)發(fā)送數(shù)據(jù)部分。客戶端通常要先發(fā)送Expect：100-continue頭部字段告訴服務(wù)器自己還有數(shù)據(jù)要發(fā)送2xx成功200OK請(qǐng)求成功3xx重定向301MovedPermanently資源被轉(zhuǎn)移，請(qǐng)求將被重定向302Found通知客戶端資源能在其他地方找到，但需要使用GET方法來獲得他304NotModified表示被申請(qǐng)的資源沒有更新，和之前獲得的相同307TemporaryRedirect通知客戶端資源能在其他地方找到。與302不同的是，客戶端可以使用和原始請(qǐng)求相同的請(qǐng)求方法來訪問目標(biāo)資源。4xx客戶端錯(cuò)誤400BadRequest通用客戶請(qǐng)求錯(cuò)誤401Unauthorized請(qǐng)求需要認(rèn)證信息403Forbidden訪問被服務(wù)器禁止，通常是由于客戶端沒有權(quán)限訪問該資源404NotFound資源沒有找到407ProxyAuthenticationRequired客戶端需要先獲得代理服務(wù)器的認(rèn)證5xx服務(wù)器錯(cuò)誤500InternalServerError通用服務(wù)器錯(cuò)誤503ServiceUnavailable暫時(shí)無法訪問服務(wù)器響應(yīng)狀態(tài)行由3部分組成，分別為：協(xié)議版本、狀態(tài)碼、狀態(tài)碼描述。狀態(tài)類型狀態(tài)碼和狀態(tài)信息含義1xx信息100Continue服務(wù)器收到了客戶端的請(qǐng)求行和頭部信息，告訴客戶端繼續(xù)發(fā)送數(shù)據(jù)部分?？蛻舳送ǔＲ劝l(fā)送Expect：100-continue頭部字段告訴服務(wù)器自己還有數(shù)據(jù)要發(fā)送2xx成功200OK請(qǐng)求成功3xx重定向301MovedPermanently資源被轉(zhuǎn)移，請(qǐng)求將被重定向302Found通知客戶端資源能在其他地方找到，但需要使用GET方法來獲得他304NotModified表示被申請(qǐng)的資源沒有更新，和之前獲得的相同307TemporaryRedirect通知客戶端資源能在其他地方找到。與302不同的是，客戶端可以使用和原始請(qǐng)求相同的請(qǐng)求方法來訪問目標(biāo)資源。4xx客戶端錯(cuò)誤400BadRequest通用客戶請(qǐng)求錯(cuò)誤401Unauthorized請(qǐng)求需要認(rèn)證信息403Forbidden訪問被服務(wù)器禁止，通常是由于客戶端沒有權(quán)限訪問該資源404NotFound資源沒有找到407ProxyAuthenticationRequired客戶端需要先獲得代理服務(wù)器的認(rèn)證5xx服務(wù)器錯(cuò)誤500InternalServerError通用服務(wù)器錯(cuò)誤503ServiceUnavailable暫時(shí)無法訪問服務(wù)器響應(yīng)響應(yīng)頭Data：標(biāo)識(shí)響應(yīng)產(chǎn)生的時(shí)間。Content-Encoding：指定響應(yīng)內(nèi)容的編碼Server：包含服務(wù)器的信息，比如名稱、版本號(hào)等。Cont