財(cái)務(wù)大數(shù)據(jù)-Python基礎(chǔ) 課件 2.1了解爬蟲

大數(shù)據(jù)分析通用流程數(shù)據(jù)分析是基于商業(yè)目的，有目標(biāo)的進(jìn)行數(shù)據(jù)收集、處理、加工、分析，提煉出有價值的信息的過程，整個過程大致可分為以下階段：確定需求數(shù)據(jù)準(zhǔn)備數(shù)據(jù)清洗數(shù)據(jù)分析數(shù)據(jù)可視化業(yè)務(wù)場景還原分析需求洞察指標(biāo)業(yè)績衡量解決問題思路數(shù)據(jù)特征分析數(shù)據(jù)分類聚類業(yè)務(wù)場景建模指標(biāo)量化分析自動生成圖表報表動態(tài)組合大屏智能播報輔助經(jīng)營決策確定數(shù)據(jù)來源數(shù)據(jù)獲取規(guī)范爬蟲工具抓取數(shù)據(jù)庫獲取數(shù)據(jù)處理異常數(shù)據(jù)處理遺漏數(shù)據(jù)處理噪音數(shù)據(jù)處理不一致的數(shù)據(jù)數(shù)據(jù)采集隨著大數(shù)據(jù)時代的到來，通過對海量數(shù)據(jù)進(jìn)行分析，能夠產(chǎn)生極大的商業(yè)價值，那么，我們?nèi)绾尾拍塬@取大量數(shù)據(jù)呢？數(shù)據(jù)獲取方式：企業(yè)產(chǎn)生的數(shù)據(jù)：在企業(yè)生產(chǎn)運(yùn)營中會產(chǎn)生與自身業(yè)務(wù)相關(guān)的大量數(shù)據(jù)；數(shù)據(jù)平臺購買的數(shù)據(jù)：數(shù)據(jù)平臺是以數(shù)據(jù)交易為主營業(yè)務(wù)的平臺；數(shù)據(jù)管理咨詢公司的數(shù)據(jù)：數(shù)據(jù)管理咨詢公司為提供專業(yè)的咨詢服務(wù)，會收集大量與特定業(yè)務(wù)相關(guān)的數(shù)據(jù)作為支撐；政府、機(jī)構(gòu)公開的數(shù)據(jù)：政府會發(fā)布一些公開的統(tǒng)計(jì)數(shù)據(jù)或信息，成為行業(yè)內(nèi)權(quán)威信息的來源；爬取的網(wǎng)絡(luò)數(shù)據(jù)：利用爬蟲技術(shù)，即可自動抓取所需要的數(shù)據(jù)，獲取更多數(shù)據(jù)源，提高數(shù)據(jù)分析的效率和效果。了解爬蟲目錄0102什么是爬蟲爬蟲基本流程01什么是爬蟲什么是爬蟲？爬蟲(即網(wǎng)絡(luò)爬蟲)，是一種按照一定規(guī)則，自動抓取網(wǎng)絡(luò)信息的程序。網(wǎng)絡(luò)爬蟲可以理解為在網(wǎng)絡(luò)上爬行的一只蜘蛛，互聯(lián)網(wǎng)就像一張大網(wǎng)，爬蟲便是在這張網(wǎng)上爬來爬去的蜘蛛，如果遇到獵物(即所需的資源)，就會將其抓取下來。利用Python爬蟲：Python是一門非常適合網(wǎng)絡(luò)爬蟲的編程語言，提供了許多爬蟲相關(guān)的庫，可以高效實(shí)現(xiàn)網(wǎng)頁抓取，并可用極短的代碼完成網(wǎng)頁的標(biāo)簽過濾功能。什么是爬蟲？瀏覽網(wǎng)頁的過程在日常學(xué)習(xí)中，我們經(jīng)常需要瀏覽網(wǎng)頁上信息，只需要打開瀏覽器，輸入網(wǎng)址即可瀏覽網(wǎng)頁上的文字、圖片，那么，這一過程是如何實(shí)現(xiàn)的呢？瀏覽網(wǎng)頁的過程：用戶輸入網(wǎng)址，計(jì)算機(jī)提取域名；瀏覽器查找域名對應(yīng)的IP地址；瀏覽器獲取IP地址后，向此IP地址發(fā)起對該資源的訪問請求；服務(wù)端響應(yīng)請求，并把相應(yīng)的數(shù)據(jù)傳給瀏覽器(返回html頁面)，瀏覽器將html頁面解析后就是我們看到的文字和圖片。提示HTML(超文本標(biāo)記語言)是用來描述網(wǎng)頁的一種語言。用戶看到的網(wǎng)頁實(shí)質(zhì)是由HTML代碼構(gòu)成的。爬蟲原理簡單來說，爬蟲就是模擬用戶瀏覽網(wǎng)頁的操作，通過模擬瀏覽器向網(wǎng)站發(fā)送請求，獲取資源后提取有用的數(shù)據(jù)并保存。原則上，只要瀏覽器能做的事情，爬蟲都能做到。爬取數(shù)據(jù)類型：HTML文檔json格式化文本二進(jìn)制文件，包括圖片和視頻其他提示JSON是一種輕量級的數(shù)據(jù)交換格式，易于編寫和閱讀，也易于機(jī)器解析，是理想的數(shù)據(jù)交換語言。JSON文本格式類似于Python中的字典，在爬蟲中使用非常廣泛。02爬蟲基本流程爬蟲基本流程爬蟲基本流程：發(fā)送請求→獲取響應(yīng)內(nèi)容→解析內(nèi)容→保存數(shù)據(jù)發(fā)送請求：通過url向服務(wù)器發(fā)送HTTP請求；獲取響應(yīng)內(nèi)容：?若服務(wù)器正常響應(yīng)，會返回一個Response響應(yīng)(即所要獲取的頁面內(nèi)容，可能為html、json、二進(jìn)制數(shù)據(jù)等)；解析內(nèi)容：對返回的響應(yīng)內(nèi)容進(jìn)行解析，提取所需數(shù)據(jù)；保存數(shù)據(jù)：可將數(shù)據(jù)保存為各種形式，如數(shù)據(jù)庫或特定格式的文件(如：json、csv文件等)。HTTP協(xié)議在訪問網(wǎng)頁時，服務(wù)器把網(wǎng)頁傳給瀏覽器，實(shí)際上就是把網(wǎng)頁的HTML代碼發(fā)送給瀏覽器，讓瀏覽器顯示出來。而瀏覽器和服務(wù)器之間的傳輸協(xié)議是HTTP。HTTP協(xié)議：即超文本傳輸協(xié)議，是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議，所有網(wǎng)頁文件都必須遵守這個標(biāo)準(zhǔn)，設(shè)計(jì)HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁面的方法。HTTP協(xié)議是一種基于“請求與響應(yīng)”模式的、無狀態(tài)的應(yīng)用層協(xié)議，采用URL作為定位網(wǎng)絡(luò)資源的標(biāo)識符。URL的含義URL：統(tǒng)一資源定位符，也就是我們所說的網(wǎng)址，URL是對互聯(lián)網(wǎng)上資源位置和訪問方法的一種簡潔的表示，是互聯(lián)網(wǎng)上標(biāo)準(zhǔn)資源的地址。互聯(lián)網(wǎng)上的每個文件都有一個唯一的URL，它包含的信息指出文件的位置以及瀏覽器應(yīng)該怎么處理它。爬蟲爬取數(shù)據(jù)時，必須有一個目標(biāo)URL才可以獲取數(shù)據(jù)，URL是爬蟲獲取數(shù)據(jù)的基本依據(jù)。一個網(wǎng)頁對應(yīng)一個URL，網(wǎng)頁中加載的圖片、視頻、文件也同樣對應(yīng)一個唯一的URL，在一個HTML頁面中可能存在多個URL，想要獲取一個頁面內(nèi)所有URL鏈接，則需在爬取網(wǎng)頁后，利用python解析庫對爬取的頁面進(jìn)行解析，提取所有URL。提示本課程中爬蟲涉及的URL均為最內(nèi)層，爬蟲過程中無需使用解析庫解析響應(yīng)內(nèi)容。課堂小結(jié)爬蟲：按照一定規(guī)則，自動抓取網(wǎng)絡(luò)信息的程序爬蟲原理：模擬瀏覽器請求網(wǎng)