《網(wǎng)絡(luò)爬蟲項目實踐》課件-網(wǎng)絡(luò)爬蟲項目實踐題庫

1.()是Scrapy官方開發(fā)的，用來部署、運行和管理Scrapy爬蟲的工具。A.ScrapydB.ScrapyDeployC.DeployD.Scrapy_Deploy答案：A2.當爬蟲創(chuàng)建好了之后，可以使用“scrapy()”命令運行爬蟲。A.startupB.starwarC.drawlD.crawl答案：D3.在Scrapy的目錄下，哪個文件負責(zé)存放爬蟲的各種配置信息?()A.spiders文件夾B.item.pyC.pipeline.pyD.settings.py答案：D4.使用UIAutomatorr根據(jù)坐標來滑動桌面的操作是得到相應(yīng)控件后使用命令()。A.swipeB.moveC.scrollD.fly答案：A5.windows中創(chuàng)建定時任務(wù)的命令為()。A.taskB.schtasksC.createtasksD.maketasks答案：B6.MongoDB中數(shù)據(jù)存儲的形式類似于()。A.列表B.元組C.字典D.集合答案：C7.requests中post請求方法的使用為requests.post(‘網(wǎng)址’，data=data)中的data為()。A.列表B.元組C.字典D.集合答案：C8.Python中把列表轉(zhuǎn)換為集合需要使用()函數(shù)。A.setB.listC.convertD.change答案：A9.使用了RedisSpider作為爬蟲的父類以后，爬蟲會直接監(jiān)控()中的數(shù)據(jù)，并不讀取start_urls中的數(shù)據(jù)。A.RedisB.RedisSpiderC.SpiderD.MongoDB答案：A10.在MacOS下安裝MongoDB使用命令()installmongodb。A.brewB.apt-getC.sudoD.apt答案：A11.當需要把Python里面的數(shù)據(jù)發(fā)送給網(wǎng)頁時，應(yīng)先將其轉(zhuǎn)換成()。A.Json字符串B.GETC.POSTD.Request答案：A12.服務(wù)器端記錄信息確定用戶身份的數(shù)據(jù)是()。A.sessionB.cookiesC.moonpiesD.localstorage答案：A13.下列說法錯誤的是()。A.小程序的請求極其簡單，基本上沒有驗證信息B.用Python來請求小程序的后臺接口從而獲取數(shù)據(jù)，比請求異步加載網(wǎng)頁的后臺接口要復(fù)雜很多C.如果目標網(wǎng)站有微信小程序，那么一定要優(yōu)先調(diào)查能否通過小程序的接口來抓取數(shù)據(jù)D.小程序的反爬蟲能力比網(wǎng)頁版的低很多。使用小程序的接口來爬數(shù)據(jù)，能極大提高爬蟲的開發(fā)效率答案：D14.下面Python代碼輸出為()：defdefault_para_trap(para=[]，value=0):para.append(value)returnparaprint(‘第一步:{}’.format(default_para_trap(value=100)))print(‘第二步:{}’.format(default_para_trap(value=50)))A.第一步:[100]第二步:[100，50]B.第一步:[100]第二步:[50]C.第一步:[100]第二步:[]D.第一步:[100]第二步:[100]答案：A15.在Scrapy的目錄下，哪個文件負責(zé)存放爬蟲文件?()A.spiders文件夾B.item.pyC.pipeline.pyD.settings.py答案：A16.xpath中extract方法返回值類型是()。A.列表B.元組C.字典D.集合答案：A17.參數(shù)headers=()，把請求頭添加到Scrapy請求中，使爬蟲的請求看起來像是從瀏覽器發(fā)起的。A.HEADERB.HEADERSC.HEADD.BODY答案：B18.Python中Object=(1，2，3，4，5)，則Objcet是()。A.列表B.元組C.字典D.集合答案：B19.在Scrapy的目錄下，哪個文件負責(zé)定義需要爬取的數(shù)據(jù)?()A.spiders文件夾B.item.pyC.pipeline.pyD.settings.py答案：B20.Scrapy中使用Xpath獲得的結(jié)果調(diào)用了.extract方法，結(jié)果以()形式生成。A.列表B.元組C.字典D.集合答案：A21.Python中的容器有()。A.列表B.元組C.字典D.集合答案：ABCD22.使用Selennium獲取網(wǎng)頁中元素的方法有()。A.find_element_by_nameB.find_element_by_idC.find_elements_by_nameD.find_elements_by_id答案：ABCD23.一個可行的自動更換代理的爬蟲系統(tǒng)，應(yīng)該下列哪些功能?()A.有一個小爬蟲ProxySpider去各大代理網(wǎng)站爬取免費代理并驗證，將可以使用的代理IP保存到數(shù)據(jù)庫中B.在發(fā)現(xiàn)某個請求已經(jīng)被設(shè)置過代理后，什么也不做，直接返回C.在ProxyMiddlerware的process_request中，每次從數(shù)據(jù)庫里面隨機選擇一條代理IP地址使用D.周期性驗證數(shù)據(jù)庫中的無效代理，及時將其刪除答案：ACD24.下列關(guān)于在IOS上配置charles的說法正確的是()。A.不同ios設(shè)備之間會有比較大的差別，所以配置的時候需要找到對應(yīng)的安裝證書的入口B.手機和電腦需要在同一個局域網(wǎng)下C.HTTP代理可以使用“自動”選項D.安裝好證書以后，打開iOS設(shè)備上的任何一個App，可以看到Charles中有數(shù)據(jù)包在流動答案：BD25.下列說法錯誤的是()。A.mitmproxy的強大之處在于它還自帶一個mitmdump命令。這個命令可以用來運行符合一定規(guī)則的Python腳本，并在Python腳本里面直接操作HTTP和HTTPS的請求，以及返回的數(shù)據(jù)包B.命令行中執(zhí)行mitmdump-sparse_request.py即可運行python腳本C.使用python可以自定義返回的數(shù)據(jù)包，如response.headers，就是返回的頭部信息D.如果返回的是JSON類型的字符串，python無法進行解析答案：D26.以下HTTP狀態(tài)碼表示服務(wù)器本身發(fā)生錯誤的是()。A.400B.503C.302D.500答案：BD27.Python中哪種容器生成后可以修改內(nèi)容?()A.列表B.元組C.字典D.集合答案：ACD28.以下HTTP狀態(tài)碼表示服務(wù)器沒有正常返回結(jié)果的是()。A.200B.301C.404D.500答案：BCD29.如果目標網(wǎng)站有反爬蟲聲明，那么對方在被爬蟲爬取以后，可以根據(jù)()來起訴使用爬蟲的公司。A.服務(wù)器日志B.數(shù)據(jù)庫日志記錄C.程序日志記錄D.服務(wù)器監(jiān)控答案：ABCD30.requests中post請求方法的第二個參數(shù)可以為()。A.字典B.列表C.json數(shù)據(jù)D.字符串答案：AC31.process_spider_output(response，result，output)是在下載器中間件處理完成后，馬上要進入某個回調(diào)函數(shù)parse_xxx()前調(diào)用。()A.正確B.錯誤答案：B32.需要登錄的網(wǎng)站一般通過GET請求就可以實現(xiàn)登錄。()A.正確B.錯誤答案：B33.Python中相比于findall方法，search方法對于從超級大的文本里面只找第1個數(shù)據(jù)特別有用，可以大大提高程序的運行效率。()A.正確B.錯誤答案：A34.UIAutomatorViewer與Pythonuiautomator可以同時使用。()A.正確B.錯誤答案：B35.device.sleep()方法是使用UIAutomatorr關(guān)閉屏幕的命令。()A.正確B.錯誤答案：A36.在發(fā)送請求時需要注意requests提交的請求頭不能與瀏覽器的請求頭一致，因為這樣才能隱藏好自己達到獲取數(shù)據(jù)的目的。()A.正確B.錯誤答案：B37.mitmproxy的強大之處在于它還自帶一個mitmdump命令。這個命令可以用來運行符合一定規(guī)則的Python腳本。()A.正確B.錯誤答案：A38.MongoDB是一個關(guān)系數(shù)據(jù)庫產(chǎn)品。()A.正確B.錯誤答案：B39.Python正則表達式中“.*?”是非貪婪模式，獲取最短的能滿足條件的字符串。()A.正確B.錯誤答案：A40.Charles能截獲HTTP和HTTPS的數(shù)據(jù)包，如果網(wǎng)站使用websocket就可以截獲。()A.正確B.錯誤答案：B41.Charles和Chrome開發(fā)者工具相比，只是多了一個搜索功能。()A.正確B.錯誤答案：B42.爬蟲中間件的激活需要另外寫一個文件來進行。()A.正確B.錯誤答案：B43.Cookies一般包含在請求頭Headers中。()A.正確B.錯誤答案：A44.已經(jīng)創(chuàng)建好的Scrapy爬蟲*.py文件可以直接通過Python來運行。()A.正確B.錯誤答案：B45.如果目標網(wǎng)站本身就是提供公眾查詢服務(wù)的網(wǎng)站，那么使用爬蟲是合法合規(guī)的。()A.正確B.錯誤答案：A46.Redis中使用lrange讀取數(shù)據(jù)后數(shù)據(jù)也會刪除。()A.正確B.錯誤答案：B47.開源庫pytesseract的作用是將圖像中文字轉(zhuǎn)換為文本。()A.正確B.錯誤答案：A48.Scrapy每一次發(fā)起請求之前都會在這里檢查網(wǎng)址