大數(shù)據(jù)采集與預(yù)處理課件：requests技術(shù)應(yīng)用案例-業(yè)務(wù)網(wǎng)站A靜態(tài)數(shù)據(jù)采集1

requests庫技術(shù)應(yīng)用案例——動態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)采集本章學(xué)習(xí)目標(biāo)分析業(yè)務(wù)網(wǎng)站A,B,C和D的網(wǎng)頁結(jié)構(gòu)和內(nèi)容使用requests庫編寫爬蟲代碼獲取指定的靜態(tài)和動態(tài)數(shù)據(jù)使用BeautifulSoup實現(xiàn)數(shù)據(jù)的解析使用pymysql庫和pandas實現(xiàn)數(shù)據(jù)的持久化4.3業(yè)務(wù)網(wǎng)站A靜態(tài)數(shù)據(jù)進入網(wǎng)址:/notebook_index/subcate16_0_list_1_0_99_2_0_1.html

我們可以觀察到網(wǎng)頁主頁顯示的主要的內(nèi)容，有筆記本電腦型號、價格、配置、評價分?jǐn)?shù)等，本次任務(wù)案例，我們將要獲取該頁的所有筆記本電腦信息。圖4.3-1網(wǎng)址主頁

判斷此數(shù)據(jù)是靜態(tài)數(shù)據(jù)還是動態(tài)數(shù)據(jù)。如圖4.3-2所示，由此可知，我們想要獲取的內(nèi)容被標(biāo)簽直接包含在內(nèi)，為靜態(tài)數(shù)據(jù)，所以可以編寫爬蟲獲取網(wǎng)頁標(biāo)簽內(nèi)容即可圖4.3-2標(biāo)簽檢查數(shù)據(jù)類型天問一號成功登陸火星，對于靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)整體把控和分析要求極高。充分體現(xiàn)勞模精神：勞模精神，是指“愛崗敬業(yè)、爭創(chuàng)一流、艱苦奮斗、勇于創(chuàng)新、淡泊名利、甘于奉獻”的勞動模范的精神。

使用python編寫爬蟲獲取網(wǎng)頁靜態(tài)數(shù)據(jù)，有針對性地獲得在網(wǎng)頁中的筆記本電腦型號、價格、配置、評價分?jǐn)?shù)。具體步驟如下。在python中導(dǎo)入requests庫和bs4庫中的BeautifulSoup，并且定義一個空列表new_list，用于存儲爬取下來的靜態(tài)數(shù)據(jù)，并自定義第一個列表，這個列表將作為對應(yīng)數(shù)據(jù)的字段名和后續(xù)數(shù)據(jù)的存儲。importrequestsfrombs4importBeautifulSoupnew_list=[['電腦型號','價格','配置','評分']]構(gòu)造爬蟲代碼請求該URL的Headers頭部信息。在“開發(fā)者工具”的Network欄目下的Headers中得到該默認(rèn)URL的Headers頭部信息。其目的是為了向業(yè)務(wù)網(wǎng)站A網(wǎng)址的后臺服務(wù)器隱藏爬蟲代碼的真實身份，讓爬蟲代碼帶著這些請求信息偽裝成瀏覽器正常訪問該網(wǎng)站服務(wù)器的狀態(tài)而不被服務(wù)器的反爬措施發(fā)現(xiàn)。headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/74.0.3729.108Safari/537.36'}3）定義變量complete_url用于指定的URL網(wǎng)址complete_url="/notebook_index/subcate16_0_list_1_0_99_2_0_1.html"4）使用requests庫的get（）方法獲得網(wǎng)址的Response對象，并設(shè)置headers參數(shù)，并定義變量req進行保存。req=requests.get(url=complete_url,headers=headers)5）使用encoding方法，設(shè)置req變量的編碼方式。req.encoding='GBK'6）使用BeautifulSoup庫解析HTML文檔的代碼。req.txt是一個包含HTML內(nèi)容的字符串，features定義了解析器為’html.parser’,用于將HTML轉(zhuǎn)換為Python對象，定義變量soup進行保存。soup=BeautifulSoup(req.text,features="html.parser")7）定位數(shù)據(jù)圖4.3-3包含數(shù)據(jù)的標(biāo)簽結(jié)構(gòu)8）獲取數(shù)據(jù)圖4.3-4數(shù)據(jù)存儲的標(biāo)簽dd第一步：在網(wǎng)頁結(jié)構(gòu)中，通過分析，我們可以發(fā)現(xiàn)，我們獲取的數(shù)據(jù)都統(tǒng)一存儲在一個ID名叫J_PicMode的標(biāo)簽中，所以我們只需要找到并保存這個標(biāo)簽就可以實現(xiàn)靜態(tài)數(shù)據(jù)的爬取。第二步：聲明及定義4個空列表，用于分別保存筆記本電腦型號、價格、配置、評價分?jǐn)?shù)的數(shù)據(jù)。使用for循環(huán)方式將select（）方法獲得的數(shù)據(jù)遍歷提取，并使用append（）方法追加到4個空列表中，同時使用zip（）方法將數(shù)組中的數(shù)據(jù)整合在一起，完成靜態(tài)數(shù)據(jù)爬取。運行測試，由以上代碼可知，列表a,b,c,d中的數(shù)據(jù)被整合在new_list中保存的就是我們從網(wǎng)頁爬取的靜態(tài)數(shù)據(jù)，我們打印出來觀察是否正確圖4.3-5運行測試1）導(dǎo)入Pandas庫importpandasaspd2）把列表new_list轉(zhuǎn)換為pandas的數(shù)據(jù)結(jié)構(gòu)DataFrame類型，由dataframe保存。dataframe=pd.DataFrame(new_