網絡爬蟲原理與實戰(zhàn)課件

網絡爬蟲原理與實戰(zhàn)

網絡爬蟲原理與實戰(zhàn)

123133美女圖片抓取實例如何解析HTML網絡爬蟲基本原理23133美女圖片抓取實例如何解析HTML網絡爬蟲基本原理23網絡爬蟲基本原理

請求資源HttpPost/Get

解析HTMLJsoup獲取資源圖片.下個資源下載資源HttpClient3網絡爬蟲基本原理請求資源HttpPost/Get解34Java中的JQuery=JSoupgetElementById(Stringid)用id獲得元素getElementsByTag(Stringtag)用標簽獲得元素getElementsByClass(StringclassName)用class獲得元素getElementsByAttribute(Stringkey)用屬性獲得元素

用下面方法獲得元素的數(shù)據(jù)：attr(Stringkey)獲得元素的數(shù)據(jù)attr(Stringkey,Stringvalue)t設置元素數(shù)據(jù)attributes()獲得所以屬性id(),className()classNames()獲得idclass得值text()獲得文本值text(Stringvalue)設置文本值html()獲取htmlhtml(Stringvalue)設置htmlouterHtml()獲得內部html

tagname操作tagns|tagns或tag#id用id獲得元素.class用class獲得元素[attribute]屬性獲得元素[^attr]:以attr開頭的屬性[attr=value]屬性值為value[attr^=value],[attr$=value],[attr*=value][attr~=regex]正則*:所以的標簽選擇組合el#idel和id定位el.classe1和class定位el[attr]e1和屬性定位ancestorchildancestor下面的childJsoup官方網站/相關學習資/topic/1010581/topic/1010582/neverend06/blog/item/1e9acb25114cf3144d088df2.html4Java中的JQuery=JSoupgetEleme45簡單的測試另存?zhèn)€簡單的HTML做測試Fileinput=newFile("/example.html");Documentdoc=Jsoup.parse(input,"UTF-8");//取得class=big的img對象Elementselements=doc.select("img[class=big]");//取得class=big的img對象elements=doc.getElementsByClass("big");//取得ID=img001的對象Elementelement=doc.getElementById("img001");5簡單的測試另存?zhèn)€簡單的HTML做測試56讓我們來抓取一個帖子中的幾張圖片/thread-35975-1-1.html1.發(fā)送請求返回帖子HTML2.分析帖子HTML中的圖片鏈接3.通過HttpClient取得圖片輸出流4.保存輸出流為圖片6讓我們來抓取一個帖子中的幾張圖片http://bbs.we67/forum-3-1.html1.發(fā)送請求返回論壇HTML2.分析論壇HTML中的每個帖子3.取得帖子鏈接，發(fā)送請求返回帖子HTML5.分析帖子HTML中有哪些圖片.6.取得圖片鏈接，通過HttpClient取得圖片輸出流7.保存輸出流為圖片7/forum-3-78如何提升抓取速度1.多線程并發(fā)下載圖片,你帶寬夠嗎？2.分