《Python程序設(shè)計》課件-項目八 獲取豆瓣讀書Top250網(wǎng)站信息 爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)

Python程序設(shè)計與應用爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)房曉東主講教師爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)怎么準確高效率地保存250本書的詳細信息呢？使用網(wǎng)絡(luò)爬蟲爬取豆瓣讀書Top250網(wǎng)站單個頁面數(shù)據(jù)爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)Python學習目標什么是requests模塊requests模塊爬取網(wǎng)頁requests模塊爬取百度網(wǎng)站首頁和爬取豆瓣讀書Top250網(wǎng)站單個頁面數(shù)據(jù)Python學習目標網(wǎng)頁內(nèi)容爬取不完整或未獲取響應內(nèi)容的原因HTTP消息格式解決網(wǎng)頁內(nèi)容爬取不完整問題爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)爬取網(wǎng)頁數(shù)據(jù)requests爬取網(wǎng)頁信息的第三方模塊方便向網(wǎng)站發(fā)送HTTP請求響應結(jié)果requests模塊在使用之前要先安裝爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)函數(shù)功能說明requests.request()構(gòu)造一個請求，支撐以下各方法的基礎(chǔ)方法equests.get()獲取HTML網(wǎng)頁的主要方法，對應于HTTP的GET請求方式requests.post()向HTML網(wǎng)頁提交POST請求的方法，對應于HTTP的POST請求方式如何模擬瀏覽器向網(wǎng)站發(fā)送HTTP請求，獲取響應呢？requests模塊提供很多發(fā)送HTTP請求的函數(shù)requests模塊還提供了Response類對象用于動態(tài)地響應客戶端的請求、控制發(fā)送給用戶的信息，并動態(tài)地生成響應，包括狀態(tài)碼、網(wǎng)頁的內(nèi)容。爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)屬性說明Status_codeHTTP請求的返回狀態(tài)，200表示連接成功，404表示失敗textHTTP響應內(nèi)容的字符串形式，即URL對應的頁面內(nèi)容encoding從HTTP請求頭中猜測的響應內(nèi)容編碼方式apparent_encoding從內(nèi)容中分析出的響應編碼的方式(備選編碼方式)contentHTTP響應內(nèi)容的二進制形式Response類的常用屬性運行結(jié)果可以看到響應狀態(tài)碼為200，表示已成功處理請求，但在響應內(nèi)容中的中文內(nèi)容是亂碼，這是為什么呢？爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)造成中文亂碼的原因獲取內(nèi)容的編碼方式和實際編碼方式不匹配PyCharm【Ctrl+F】快捷鍵搜索欄導入requests豆瓣讀書Top250網(wǎng)站首頁網(wǎng)址保存到url發(fā)送GET請求爬取豆瓣讀書Top250網(wǎng)站首頁HTTP狀態(tài)碼418是一個非標準的HTTP狀態(tài)碼Python爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)程序運行結(jié)果中可看到響應狀態(tài)碼為418，為什么響應內(nèi)容為空呢？服務器返回418狀態(tài)碼時，服務器認為這是一個爬蟲的請求修改請求頭信息添加代理IP延長請求間隔時間完整爬取網(wǎng)頁內(nèi)容網(wǎng)站反爬蟲策略設(shè)置驗證碼限制IP訪問頻率爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)網(wǎng)頁內(nèi)容爬取不完整或未獲取響應內(nèi)容是因為網(wǎng)站反爬蟲策略導致的。請求信息HTTP請求消息與HTTP響應消息的格式由請求行、請求頭、空行和請求參數(shù)四部分組成爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)瀏覽器會向服務器發(fā)起HTTP請求，也會接收服務器返回的HTTP響應。請求信息響應消息HTTP請求消息與HTTP響應消息的格式由請求行、請求頭、空行和請求參數(shù)四部分組成爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)瀏覽器會向服務器發(fā)起HTTP請求，也會接收服務器返回的HTTP響應。由狀態(tài)行、響應報頭、空行和響應正文組成GoogleChrome瀏覽器【F12】開發(fā)者工具“網(wǎng)絡(luò)”面板服務器headers中的User-Agent判斷訪問者通過什么工具發(fā)送請求Python允許用戶修改User-Agent來模擬瀏覽器訪問，通過攜帶請求頭發(fā)送請求的方法，解決網(wǎng)頁爬取不完整問題。語法格式：headers參數(shù)接收字典形式的請求頭。請求頭字段名作為key，字段對應的值作為value。爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)了解了什么是requests模塊能使用requests模塊爬取百度網(wǎng)站首頁和爬取豆瓣讀書Top250網(wǎng)站單個頁面數(shù)據(jù)爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)如何使用requests模塊爬取網(wǎng)頁爬取豆瓣讀書Top250網(wǎng)站數(shù)據(jù)課程小結(jié)了解網(wǎng)頁內(nèi)容爬取不完整或未獲取響應內(nèi)容的原因HTTP消息格式解決網(wǎng)頁內(nèi)容爬取不完整問題，解決爬取豆瓣讀書Top250