《商務數據分析》 課件 2-3靜態(tài)網頁爬蟲_第1頁
《商務數據分析》 課件 2-3靜態(tài)網頁爬蟲_第2頁
《商務數據分析》 課件 2-3靜態(tài)網頁爬蟲_第3頁
《商務數據分析》 課件 2-3靜態(tài)網頁爬蟲_第4頁
《商務數據分析》 課件 2-3靜態(tài)網頁爬蟲_第5頁
已閱讀5頁，還剩13頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

BusinessDataAnalysisPractice商務數據分析實務01爬蟲基本原理爬蟲基本原理互聯網網絡爬蟲網頁爬蟲爬到這就相當于訪問了該頁面，獲取了其信息。把節(jié)點間的連線比作網頁與網頁之間的鏈接關系，蜘蛛通過一個節(jié)點后，可以順著節(jié)點連線繼續(xù)爬行到下一個節(jié)點。爬蟲基本原理通過一個網頁繼續(xù)獲取后續(xù)的網頁，這樣整個網的節(jié)點便可以被蜘蛛全部爬行到，網站的數據就可以被抓取下來了。爬蟲基本原理爬蟲獲取網頁并提取和保存信息的自動化程序。爬蟲基本原理爬蟲流程1.獲取網頁源代碼代碼里包含了網頁的部分有用信息，所以只要把源代碼獲取下來，就可以從中提取想要的信息。最關鍵的環(huán)節(jié)就是構造一個請求并發(fā)送給服務器，然后接收到響應后便于之后的內容解析。構造一個請求爬蟲基本原理爬蟲流程2.分析網頁源代碼、提取數據正則表達式方法，萬能但效率低。據網頁節(jié)點屬性、CSS選擇器或XPath來提取網頁信息的方法。節(jié)點的屬性文本值爬蟲基本原理爬蟲流程3.保存數據TXT文本、JSON文本、XML關系型數據庫SQLsever、MySQL，非關系型數據庫MongoDB視頻、音頻等特定格式保存形式，多種多樣爬蟲基本原理爬蟲可以代替人來完成這些操作。自動化程序爬蟲基本原理爬蟲就是代替我們來完成這份爬取工作的自動化程序，它可以在抓取過程中進行各種異常處理、錯誤重試等操作，確保爬取工作持續(xù)高效的運行。當手工無法完成提取信息時爬蟲基本原理02常用的爬蟲工具常用的爬蟲工具靜態(tài)網頁爬蟲編程類工具可視化采集器靜態(tài)網頁爬蟲編程類工具可視化采集器代表性工具Python、Java和PHP等八爪魚數據采集器、火車采集器、后羿采集器等優(yōu)點通用性和可協作性

學習簡單、容易上手，可滿足大部分數據采集需求

缺點編碼工作比較煩瑣、學習成本高無法滿足復雜、大規(guī)模的采集任務03八爪魚介紹靜態(tài)網頁爬蟲八爪魚可簡單快速地將網頁數據轉化為結構化數據，存儲于Excel、數據庫等多種形式。八爪魚滿足了網頁數據抓取的大部分需求。靜態(tài)

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論