網(wǎng)頁文章正文采集方法,以微信文章采集為例

網(wǎng)頁文章正文采集方法，以及微信文章采集為例當我們想要將今日頭條上的新聞、搜狗微信上的文章正文內(nèi)容保存下來的時候，怎么辦？一篇篇復(fù)制粘貼？選擇一款通用的網(wǎng)頁數(shù)據(jù)采集器，將會使工作簡單很多。八爪魚是一款通用的網(wǎng)頁數(shù)據(jù)采集器，可采集互聯(lián)網(wǎng)上的公開數(shù)據(jù)。用戶可以設(shè)置從哪個網(wǎng)站爬取數(shù)據(jù)，爬取那些數(shù)據(jù)，爬取什么范圍的數(shù)據(jù)，什么時候去爬取數(shù)據(jù)，爬取的數(shù)據(jù)如何保存等等。言歸正傳，本文將以搜狗微信的文章正文采集為例，講解使用八爪魚采集網(wǎng)頁文章正文的方法。文章正文采集，主要有兩大類情況：一、采集文章正文中的文本，不含圖片；二、采集文章正文中的文本和圖片URL。示例網(wǎng)站：/使用功能點：Xpath/search?query=XPath判斷條件/tutorialdetail-1/judge.html分頁列表信息采集/tutorial/fylb-70.aspx?t=1AJAX滾動教程/tutorialdetail-1/ajgd_7.htmlAJAX點擊和翻頁/tutorialdetail-1/ajaxdjfy_7.html采集文章正文中的文本，不含圖片具體步驟：步驟1：創(chuàng)建采集任務(wù)1）進入主界面，選擇“自定義模式”網(wǎng)頁文章正文采集步驟12）將要采集的網(wǎng)址URL復(fù)制粘貼到網(wǎng)站輸入框中，點擊“保存網(wǎng)址”網(wǎng)頁文章正文采集步驟2步驟2：創(chuàng)建翻頁循環(huán)在頁面右上角，打開“流程”，以展現(xiàn)出“流程設(shè)計器”和“定制當前操作”兩個板塊。網(wǎng)頁打開后，默認顯示“熱門”文章。下拉頁面，找到并點擊“加載更多內(nèi)容”按鈕，在操作提示框中，選擇“更多操作”網(wǎng)頁文章正文采集步驟3選擇“循環(huán)點擊單個元素”，以創(chuàng)建一個翻頁循環(huán)網(wǎng)頁文章正文采集步驟4由于此網(wǎng)頁涉及Ajax技術(shù)，我們需要進行一些高級選項的設(shè)置。選中“點擊元素”步驟，打開“高級選項”，勾選“Ajax加載數(shù)據(jù)”，設(shè)置時間為“2秒”網(wǎng)頁文章正文采集步驟5注：AJAX即延時加載、異步更新的一種腳本技術(shù)，通過在后臺與服務(wù)器進行少量數(shù)據(jù)交換，可以在不重新加載整個網(wǎng)頁的情況下，對網(wǎng)頁的某部分進行更新。具體請看AJAX點擊和翻頁教程：/tutorialdetail-1/ajaxdjfy_7.html觀察網(wǎng)頁，我們發(fā)現(xiàn)，通過5次點擊“加載更多內(nèi)容”，頁面加載到最底部，一共顯示100篇文章。因此，我們設(shè)置整個“循環(huán)翻頁”步驟執(zhí)行5次。選中“循環(huán)翻頁”步驟，打開“高級選項”，打開“滿足以下條件時退出循環(huán)”，設(shè)置循環(huán)次數(shù)等于“5次”，點擊“確定”網(wǎng)頁文章正文采集步驟6步驟3：創(chuàng)建列表循環(huán)并提取數(shù)據(jù)移動鼠標，選中頁面里第一條文章鏈接。系統(tǒng)會自動識別相似鏈接，在操作提示框中，選擇“選中全部”網(wǎng)頁文章正文采集步驟7選擇“循環(huán)點擊每個鏈接”網(wǎng)頁文章正文采集步驟8系統(tǒng)會自動進入文章詳情頁。點擊需要采集的字段（這里先點擊了文章標題），在操作提示框中，選擇“采集該元素的文本”。文章發(fā)布時間、文章來源字段的采集方法同理網(wǎng)頁文章正文采集步驟9接下來開始采集文章正文。先點擊文章正文的第一段，系統(tǒng)會自動識別頁面內(nèi)的同類元素，選擇“選中全部”網(wǎng)頁文章正文采集步驟105）可以看到，所有的正文段落均被選中，變?yōu)榫G色。選擇“采集以下元素文本”網(wǎng)頁文章正文采集步驟11注意：在字段表中，可進行字段的自定義修改網(wǎng)頁文章正文采集步驟126）經(jīng)過如上操作，正文就會被全部采集下來（默認為每一段正文為一個單元格）。一般而言，我們希望采集的正文，合并為同一個單元格。點擊“自定義數(shù)據(jù)字段”按鈕，選擇“自定義數(shù)據(jù)合并方式”，勾選“同一字段多次提取合并為一行，即追加到同一字段，例如正文分頁合并”，再點擊“確定”網(wǎng)頁文章正文采集步驟13“自定義數(shù)據(jù)字段”按鈕網(wǎng)頁文章正文采集步驟14選擇“自定義數(shù)據(jù)合并方式”網(wǎng)頁文章正文采集步驟15如圖進行勾選步驟4：修改Xpath1）選中整個“循環(huán)步驟”，打開“高級選項”，可以看到，八爪魚默認生成的是固定元素列表，定位的是前20篇文章的鏈接網(wǎng)頁文章正文采集步驟162）在火狐瀏覽器中打開要采集的網(wǎng)頁并觀察源碼。我們發(fā)現(xiàn)，通過此條Xpath：//DIV[@class='main-left']/DIV[3]/UL/LI/DIV[2]/H3[1]/A，頁面中所需的100篇文章均被定位了網(wǎng)頁文章正文采集步驟173）將修改后的Xpath，復(fù)制粘貼到八爪魚中所示位置，然后點擊“確定”網(wǎng)頁文章正文采集步驟18步驟5：修改流程圖結(jié)構(gòu)我們繼續(xù)觀察，通過5次點擊“加載更多內(nèi)容”后，此網(wǎng)頁加載出全部100篇文章。因而我們配置規(guī)則的思路是，先建立翻頁循環(huán)，加載出全部100篇文章，再建立循環(huán)列表，提取數(shù)據(jù)1）選中整個“循環(huán)”步驟，將其拖出“循環(huán)翻頁”步驟。如果不進行此項操作，那么將會出現(xiàn)很多重復(fù)數(shù)據(jù)網(wǎng)頁文章正文采集步驟19拖動完成后，如下圖所示網(wǎng)頁文章正文采集步驟20步驟6：數(shù)據(jù)采集及導(dǎo)出1）點擊左上角的“保存”，然后點擊“開始采集”，選擇“啟動本地采集”網(wǎng)頁文章正文采集步驟21采集完成后，會跳出提示，選擇“導(dǎo)出數(shù)據(jù)”，選擇“合適的導(dǎo)出方式”，將采集好的數(shù)據(jù)導(dǎo)出網(wǎng)頁文章正文采集步驟223）這里我們選擇excel作為導(dǎo)出為格式，數(shù)據(jù)導(dǎo)出后如下圖網(wǎng)頁文章正文采集步驟23如上圖，部分文章的正文沒有采集到。那是因為，系統(tǒng)自動生成的文章正文的循環(huán)列表的Xpath：//[@id="js_content"]/P，定位不到此篇文章的正文。將Xpath修改為：//[@id="js_content"]//P，所有的文章正文均可被定位到。再次啟動采集，所有文章的正文內(nèi)容，均被采集到了網(wǎng)頁文章正文采集步驟24修改Xpath前網(wǎng)頁文章正文采集步驟25修改Xpath后經(jīng)過如上操作，目標網(wǎng)址中的微信文章正文中的全部文本被采集下來。如果還需采集圖片，則需往已有的規(guī)則中，加入一個判斷條件。采集文章正文中的文本和圖片URL接一中的步驟6步驟7：增加判斷條件經(jīng)過前6個步驟，我們僅采集了微信文章里的文本內(nèi)容，并不包括文章里的圖片。如果需要采集圖片，則需往規(guī)則里加入一個判斷條件：對文章內(nèi)容列表進行判斷，如果包含img元素（圖片），則執(zhí)行圖片采集分支；如果不包含img元素（圖片），則執(zhí)行文本采集分支。同時，在八爪魚中，默認對左側(cè)分支，設(shè)置判斷條件，滿足此判斷條件，則執(zhí)行左側(cè)分支；默認最右側(cè)分支為“不判斷，總是執(zhí)行該分支”，即當不滿足左側(cè)分支的判斷條件時，則執(zhí)行最右側(cè)分支?；氐酱艘?guī)則，即對左側(cè)分支設(shè)置條件：如果包含img元素（圖片），則執(zhí)行左側(cè)分支；如果不滿足左側(cè)條件分支的條件（即不包含img元素），則執(zhí)行右側(cè)分支。具體操作如下：從左側(cè)工具欄，往流程中拖入一個“判斷條件”步驟（選定圖標拖住不放，拖入箭頭所示的綠色加號位置）網(wǎng)頁文章正文采集步驟26流程圖中出現(xiàn)判斷條件。我們將“提取數(shù)據(jù)”步驟，移動到右側(cè)分支中（綠色加號處）。再點擊右側(cè)分支，在出現(xiàn)的結(jié)果頁面（分支條件檢測結(jié)果-檢測結(jié)果總是True）點擊“確定”網(wǎng)頁文章正文采集步驟27將“提取元素”步驟，拖入右側(cè)分支網(wǎng)頁文章正文采集步驟28右側(cè)分支-檢測結(jié)果總是True點擊左側(cè)分支，在出現(xiàn)的結(jié)果頁面（分支條件檢測結(jié)果-檢測結(jié)果總是True）點擊“確定”。然后對其設(shè)置判斷條件：勾選“當前循環(huán)項包含元素”，輸入元素Xpath：//img（代表圖片），再點擊“確定”網(wǎng)頁文章正文采集步驟29點擊左側(cè)分支對左側(cè)分支，設(shè)置判斷條件網(wǎng)頁文章正文采集步驟304）左側(cè)分支條件設(shè)置完畢后，再進行提取數(shù)據(jù)步驟。從左側(cè)工具欄，拖入一個“提取數(shù)據(jù)”步驟，到流程圖中的左側(cè)分支中（綠色加號處），然后選中頁面內(nèi)一張圖片，在操作提示框中，選擇“采集該圖片地址”拖入新的“提取數(shù)據(jù)”步驟，到左側(cè)分支網(wǎng)頁文章正文采集步驟31采集圖片地址網(wǎng)頁文章正文采集步驟325）選中右側(cè)分支的“提取數(shù)據(jù)”步驟，點擊“自定義數(shù)據(jù)字段”按鈕，選擇“自定義定位元素方式”，將紅框中的“元素匹配的Xpath”：//*[@id="js_content"]/p[1]/span[1]與“相對Xpath”：/span[1]，記錄下來自定義定位元素方式網(wǎng)頁文章正文采集步驟33元素匹配的Xpath、“相對Xpath”網(wǎng)頁文章正文采集步驟346）選中左側(cè)分支的“提取數(shù)據(jù)”步驟，點擊“自定義數(shù)據(jù)字段”按鈕，選擇“自定義定位元素方式”，參照右側(cè)分支相同位置的Xpath進行修改：“元素匹配的Xpath”改為：//*[@id="js_content"]/p[1]/img[1]，“相對Xpath”改為：/img[1]，然后點擊“確定”網(wǎng)頁文章正文采集步驟357）選中左側(cè)分支的“提取數(shù)據(jù)”步驟，點擊“自定義數(shù)據(jù)字段”按鈕，選擇“自定義數(shù)據(jù)合并方式”，如圖進行勾選。勾選后，多次提取的正文將追加為一個字段網(wǎng)頁文章正文采集步驟36

8）注意，在八爪魚中，判斷條件里各分支中的“提取數(shù)據(jù)”步驟中的字段名需相同，字段個數(shù)需一致。這里，我們將左右兩個分支中，提取的字段名均改為“正文”（判斷條件教程，請參考：/tutorialdetail-1/judge.html）網(wǎng)頁文章正文采集步驟379）如上，整個判斷條件設(shè)置完畢。點擊左上角的“保存”并“開始采集”。我們發(fā)現(xiàn)，在導(dǎo)出的excel表格中，圖片地址為一堆亂碼。這是為什么呢？繼續(xù)觀察網(wǎng)頁——搜狗微信文章正文里的圖片，需下拉滾動，才能加載出來，加載出來后才能采集到正確的圖片地址。因而，在打開文章后，需對其進行設(shè)置“頁面加載完成后向下滾動”。在這里，設(shè)置滾動次數(shù)為“30次”，每次間隔“2秒”，滾動方式為“向下滾動一屏”網(wǎng)頁文章正文采集步驟38微信文章正文里的圖片，需下拉滾動，才能加載出來設(shè)置“頁面加載完成后向下滾動”網(wǎng)頁文章正文采集步驟39注意：這里的滾動次數(shù)、時間、方式的設(shè)置，會影響采集數(shù)據(jù)的速度、質(zhì)量。本文僅做參考，大家可按需設(shè)置可參考AJAX滾動教程：/tutorialdetail-1/ajgd_7.html10）重新啟動采集，并導(dǎo)出數(shù)據(jù)，數(shù)據(jù)導(dǎo)出后如圖所示：網(wǎng)頁文章正文采集步驟40導(dǎo)出數(shù)據(jù)網(wǎng)頁文章正文采集步驟41數(shù)據(jù)示例說明：因搜狗微信文章中的圖片，需經(jīng)過下拉滾動，方可加載出來。在采集過程中，大量時間用在等待圖片加載，因而采集速度較慢。如果沒有采集圖片的需求，直接使用文本采集，無需等待圖片加載，采集速度會快很多。相關(guān)采集教程：百度搜索結(jié)果采集新浪微博數(shù)據(jù)采集豆瓣電影短評采集八爪魚——70萬用戶選擇的網(wǎng)頁數(shù)據(jù)采集器。1、操作簡單，任何人都可以用：無需技術(shù)背景，會上網(wǎng)就能采集。完全可視化流程，點擊鼠標完成操作，2分鐘即可快速入門。2、功能強大，任何網(wǎng)站都可以采：對于點擊、登陸、翻頁、識別驗證碼、瀑布流、Ajax腳本異步加載數(shù)據(jù)的網(wǎng)頁，均可經(jīng)過簡單設(shè)置進行采集。3、云采集，關(guān)機也可以。配置好采集任務(wù)后可關(guān)機，任務(wù)可在云端執(zhí)行。龐大云采集集群24*7不間斷運行，不用擔心IP被封，網(wǎng)絡(luò)中斷。4、功能免費+增值服務(wù)，可按需選擇。免費版具備所有功能，能夠滿足用戶的基本采集需求。同時設(shè)置了一些增值服務(wù)（如私有云），滿足高端付費企業(yè)用戶的需要。

咖啡店創(chuàng)業(yè)計劃書第一部分：背景在中國，人們越來越愛喝咖啡。隨之而來的咖啡文化充滿生活的每個時刻。無論在家里、還是在辦公室或各種社交場合，人們都在品著咖啡?？Х戎饾u與時尚、現(xiàn)代生活聯(lián)系在一齊。遍布各地的咖啡屋成為人們交談、聽音樂、休息的好地方，咖啡豐富著我們的生活，也縮短了你我之間的距離，咖啡逐漸發(fā)展為一種文化。隨著咖啡這一有著悠久歷史飲品的廣為人知，咖啡正在被越來越多的中國人所理解。第二部分：項目介紹第三部分：創(chuàng)業(yè)優(yōu)勢目前大學校園的這片市場還是空白，競爭壓力小。而且前期投資也不是很高，此刻國家鼓勵大學生畢業(yè)后自主創(chuàng)業(yè)，有一系列的優(yōu)惠政策以及貸款支持。再者大學生往往對未來充滿期望，他們有著年輕的血液、蓬勃的朝氣，以及初生牛犢不怕虎的精神，而這些都是一個創(chuàng)業(yè)者就應(yīng)具備的素質(zhì)。大學生在學校里學到了很多理論性的東西，有著較高層次的技術(shù)優(yōu)勢，現(xiàn)代大學生有創(chuàng)新精神，有對傳統(tǒng)觀念和傳統(tǒng)行業(yè)挑戰(zhàn)的信心和欲望，而這種創(chuàng)新精神也往往造就了大學生創(chuàng)業(yè)的動力源泉，成為成功創(chuàng)業(yè)的精神基礎(chǔ)。大學生創(chuàng)業(yè)的最大好處在于能提高自己的潛力、增長經(jīng)驗，以及學以致用;最大的誘人之處是透過成功創(chuàng)業(yè)，能夠?qū)崿F(xiàn)自己的理想，證明自己的價值。第四部分：預(yù)算1、咖啡店店面費用咖啡店店面是租賃建筑物。與建筑物業(yè)主經(jīng)過協(xié)商，以合同形式達成房屋租賃協(xié)議。協(xié)議資料包括房屋地址、面積、結(jié)構(gòu)、使用年限、租賃費用、支付費用方法等。租賃的優(yōu)點是投資少、回收期限短。預(yù)算10-15平米店面，啟動費用大約在9-12萬元。2、裝修設(shè)計費用咖啡店的滿座率、桌面的周轉(zhuǎn)率以及氣候、節(jié)日等因素對收益影響較大?？Х瑞^的消費卻相對較高，主要針對的也是學生人群，咖啡店布局、格調(diào)及采用何種材料和咖啡店效果圖、平面圖、施工圖的設(shè)計費用，大約6000元左右3、裝修、裝飾費用具體費用包括以下幾種。(1)外墻裝飾費用。包括招牌、墻面、裝飾費用。(2)店內(nèi)裝修費用。包括天花板、油漆、裝飾費用，木工、等費用。(3)其他裝修材料的費用。玻璃、地板、燈具、人工費用也應(yīng)計算在內(nèi)。整體預(yù)算按標準裝修費用為360元/平米，裝修費用共360*15=5400元。4、設(shè)備設(shè)施購買費用具體設(shè)備主要有以下種類。(1)沙發(fā)、桌、椅、貨架。共計2250元(2)音響系統(tǒng)。共計450(3)吧臺所用的烹飪設(shè)備、儲存設(shè)備、洗滌設(shè)備、加工保溫設(shè)備。共計600(4)產(chǎn)品制造使用所需的吧臺、咖啡杯、沖茶器、各種小碟等。共計300凈水機，采用美的品牌，這種凈水器每一天能生產(chǎn)12l純凈水，每一天銷售咖啡及其他飲料100至200杯，價格大約在人民幣1200元上下?？Х葯C，咖啡機選取的是電控半自動咖啡機，咖啡機的報價此刻就應(yīng)在人民幣350元左右，加上另外的附件也不會超過1200元。磨豆機，價格在330―480元之間。冰砂機，價格大約是400元一臺，有點要說明的是，最好是買兩臺，不然夏天也許會不夠用。制冰機，從制冰量上來說，一般是要留有富余?？钪票鶛C每一天的制冰量是12kg。價格稍高550元，質(zhì)量較好，所以能夠用很多年，這么算來也是比較合算的。5、首次備貨費用包括購買常用物品及低值易耗品，吧臺用各種咖啡豆、奶、茶、水果、冰淇淋等的費用。大約1000元6、開業(yè)費用開業(yè)費用主要包括以下幾種。(1)營業(yè)執(zhí)照辦理費、登記費、保險費;預(yù)計3000元(2)營銷廣告費用;預(yù)計450元7、周轉(zhuǎn)金開業(yè)初期，咖啡店要準備必須量的流動資金，主要用于咖啡店開業(yè)初期的正常運營。預(yù)計2000元共計： 120000+6000+5400+2250+450+600+300+1200+1200+480+400+550+1000+3000+450+2000=145280元第五部分：發(fā)展計劃1、營業(yè)額計劃那里的營業(yè)額是指咖啡店日常營業(yè)收入的多少。在擬定營業(yè)額目標時，必須要依據(jù)目前市場的狀況，再思考到咖啡店的經(jīng)營方向以及當前的物價情形，予以綜合衡量。按照目前流動人口以及人們對咖啡的喜好預(yù)計每一天的營業(yè)額為400-800，根據(jù)淡旺季的不同可能上下浮動2、采購計劃依據(jù)擬訂的商品計劃，實際展開采購作業(yè)時，為使采購資金得到有效運用以及商品構(gòu)成達成平衡，務(wù)必針對設(shè)定的商品資料排定采購計劃。透過營業(yè)額計劃、商品計劃與采購計劃的確立，我們不難了解，一家咖啡店為了營業(yè)目標的達成，同時有效地完成商品構(gòu)成與靈活地運用采購資金，各項基本的計劃是不可或缺的。當一家咖啡店設(shè)定了營業(yè)計劃、商品計劃及采購計劃之后，即可依照設(shè)定的采購金額進行商品的采購。經(jīng)過進貨手續(xù)檢驗、標價之后，即可寫在菜單上。之后務(wù)必思考的事情，就是如何有效地將這些商品銷售出去。3、人員計劃為了到達設(shè)定的經(jīng)營目標，經(jīng)營者務(wù)必對人員的任用與工作的分派有一個明確的計劃。有效利用人力資源，開展人員培訓(xùn)，都是我們務(wù)必思考的。4、經(jīng)費計劃經(jīng)營經(jīng)費的分派是管理的重點工作。通常能夠?qū)⒖Х鹊杲?jīng)營經(jīng)費分為人事類費用(薪資、伙食費、獎金等)、設(shè)備類費用(修繕費、折舊、租金等)、維持類費用(水電費、消耗品費、事務(wù)費、雜費等)和營業(yè)類費用(廣告宣傳費、包裝費、營業(yè)稅等)。還能夠依其性質(zhì)劃分成固定費用與變動費用。我們要針對過去的實際業(yè)績設(shè)定可能增加的經(jīng)費幅度。5、財務(wù)計劃財務(wù)計劃中的損益計劃最能反映全店的經(jīng)營成果?？Х鹊杲?jīng)營者在營運資金的收支上要進行控制，以便做到經(jīng)營資金合理的調(diào)派與運用?？傊陨纤械牧椈居媱?營業(yè)額、商品采購、銷售促進、人員、經(jīng)費、財務(wù))是咖啡店管理不可或缺的。當然，有一些咖啡店為求管理上更深入，也能夠配合工作實際需要制訂一些其他輔助性計劃。第六部分：市場分析2019-2021年中國咖啡市場經(jīng)歷了高速增長的階段，在此期間咖啡市場總體銷售的復(fù)合增長率到達了17%;高速增長的市場為咖啡生產(chǎn)企業(yè)帶給了廣闊的市場空間，國外咖啡生產(chǎn)企業(yè)如雀巢、卡夫、ucc等企業(yè)紛紛加大了在中國的投資力度，為爭取未來中國咖啡市場的領(lǐng)先地位打下了良好的基礎(chǔ)?？Х蕊嬃现饕侵杆偃芸Х群凸嘌b即飲咖啡兩大類咖啡飲品;在速溶咖啡方面，2018-2021年間中國速溶咖啡市場規(guī)模年均增長率到達16%，顯示出還處于成長階段的中國速溶咖啡市場的高增長性和投資空間;在灌裝即飲咖啡方面，2008-2010年間中國灌裝即飲咖啡市場年均增長率也同樣到達15%;未來幾年，中國咖啡飲料的前景仍將被看好?，F(xiàn)今咖啡店主要是以連鎖式經(jīng)營，市場主要被幾個集團壟斷。但由于幾個集團的咖啡店并沒有個性主題，很難配合講求特式的年青人。我們亦有思考到其他飲品店的市場競爭狀況，但發(fā)現(xiàn)這些類似行業(yè)多不是以自助形式經(jīng)營，亦很難配合講求效率的年青人。故我們認為開設(shè)