Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集答案2

1.Python爬蟲的作用是什么？（B）A.爬取網(wǎng)頁上的圖片B.爬取網(wǎng)頁上的文本C.爬取網(wǎng)頁上的視頻D.爬取網(wǎng)頁上的音頻2.以下哪個不是Python爬蟲常用的庫？（D）A.requestsB.BeautifulSoupC.ScrapyD.Pygame3.以下哪個不是HTTP協(xié)議中的請求方法？（D）A.GETB.POSTC.DELETED.UPDATE4.以下哪個正則表達(dá)式可以匹配所有以數(shù)字開頭的字符串？（A）A.^\d+$B.^\d*$C.^\d+$D.^\d{1,}$5.以下哪個不是BeautifulSoup庫中常用的解析器？（D）A.lxmlB.html.parserC.xmlD.json6.以下哪個XPath表達(dá)式可以選取所有class屬性為"example"的元素？（A）A.//*[@class="example"]B.//*[class="example"]C.//*[@class=="example"]D.//*[@*]7.以下哪個不是Python網(wǎng)絡(luò)爬蟲的常用爬取策略？（C）A.深度優(yōu)先策略B.廣度優(yōu)先策略C.貪心策略D.隨機策略8.以下哪個不是Python網(wǎng)絡(luò)爬蟲的常用反爬機制？（D）A.IP代理池B.User-Agent偽裝C.驗證碼識別D.數(shù)據(jù)加密9.以下哪個不是Python網(wǎng)絡(luò)爬蟲的常用反反爬機制？（C）A.動態(tài)IP代理池B.隨機User-Agent偽裝C.模擬登錄驗證機制D.數(shù)據(jù)解密10.Python爬蟲中常用的數(shù)據(jù)處理工具有哪些？（D）A.pandas庫B.numpy庫C.matplotlib庫D.以上所有在字符串前添加r可使字符串不經(jīng)過轉(zhuǎn)義（√）可以直接通過BeautifulSoup或tag對象實現(xiàn)BeautifulSoup中find_all()方法的功能（√）HTTP所有狀態(tài)碼的第一個數(shù)字代表了響應(yīng)的五種狀態(tài)之一（√）HTTP狀態(tài)碼中，200表示請求已成功，數(shù)據(jù)隨此響應(yīng)返回（√）在XPath中，希望選取此節(jié)點的所有子節(jié)點，應(yīng)該使用”//”（√）在XPath中，希望選取所有名稱為”title”的子節(jié)點，應(yīng)該使用”//title”（√）在XPath中，希望選取所有名稱為title且屬于bookstore元素的元素，應(yīng)該使用”//bookstore/title”（√）在XPath中，希望選取所有價格大于或等于30且小于40的書應(yīng)該使用”//book[price>=30andprice<40]”（√）正則表達(dá)式中，使用”a.*”來匹配任意以字母a開頭的字符串（√）BeautifulSoup庫可以通過屬性名和屬性值來查找HTML或XML文件中的元素，比如使用soup.find_all(attrs={"class":"book"})來查找所有屬性名為book的元素，返回值是一個列表（√）在瀏覽器中打開網(wǎng)站后，在網(wǎng)站首頁的地址后面添加/robots.txt，如果網(wǎng)站設(shè)置了訪問許可，按回車就可以看到網(wǎng)站的robots

協(xié)議，即

robots.txt

文件內(nèi)容。Web頁面它具有一定的結(jié)構(gòu)，即由HTML標(biāo)簽構(gòu)成的樹型結(jié)構(gòu)。HTTP狀態(tài)碼是用來表示網(wǎng)頁服務(wù)器HTTP響應(yīng)狀態(tài)的3位數(shù)字代碼。狀態(tài)碼包含了五種類別，即消息、成功、重定向、請求錯誤和服務(wù)器錯誤.404代表“NOTFOUND”，認(rèn)為網(wǎng)頁已經(jīng)失效；503代表“ServiceUnavailable”，認(rèn)為網(wǎng)頁臨時不可訪問；403代表“Forbidden”，認(rèn)為網(wǎng)頁目前禁止訪問；301代表是“MovedPermanently”，認(rèn)為網(wǎng)頁重定向至新url。Requests模塊中，headers參數(shù)的作用是模擬瀏覽器若想要讀寫模式打開文件，應(yīng)該使用a+Cooike是客戶端的，數(shù)據(jù)保存在客戶端；Session是服務(wù)器端的，數(shù)據(jù)保存在服務(wù)器。使用matplotlib繪制散點圖，使用的函數(shù)是scatter()html標(biāo)簽從閉合的角度可以分為閉合標(biāo)簽與空標(biāo)簽。按照鏈接的存在方式不同，分為動態(tài)超鏈接和靜態(tài)超鏈接。什么是爬蟲？爬蟲是一種按照一定的規(guī)則，自動地抓取互聯(lián)網(wǎng)上網(wǎng)頁中相應(yīng)信息，然后把抓取的信息存儲到自己的計算機上的程序或腳本。爬蟲的流程是什么？爬蟲的流程一般包括發(fā)送請求、解析響應(yīng)、存儲數(shù)據(jù)三個步驟。Python中常用的爬蟲庫有哪些？常用的爬蟲庫有urllib、Requests、BeautifulSoup、Scrapy等。寫爬蟲是用單線程好還是多線程好？為什么？多線程。IO密集型任務(wù)，多線程能夠有效提升效率(單線程下有IO操作會進(jìn)行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執(zhí)行效率)。爬蟲中如何處理動態(tài)頁面？爬蟲程序可以通過模擬瀏覽器行為，獲取動態(tài)頁面的數(shù)據(jù)。一些常見的處理動態(tài)頁面的方法包括：直接分析網(wǎng)頁源代碼，找到數(shù)據(jù)所在節(jié)點，然后用BeautifulSoup/XPath/Re等工具獲取數(shù)據(jù)。使用Selenium等工具模擬瀏覽器行為，獲取動態(tài)頁面的數(shù)據(jù)。爬取百度（“”）首頁的HTML代碼importrequestsurl=''response=requests.get(url)print(response.text)爬取豆瓣電影Top250（“/top250”）的電影名稱（按CSS搜索，屬性名為“hd”）和評分（屬性名為“rating_num”）importrequestsimportBeautifulSoupurl='/top250'response=requests.get(url)soup=BeautifulSoup(response.text,'html.parser')movies=soup.find_all('div',class_='hd')formovieinmovies: