財經(jīng)大數(shù)據(jù)技術應用基礎 課件 BeautifulSoup模塊-搜索文檔樹

BeautifulSoup模塊搜索文檔樹搜索文檔樹概述BeautifulSoup定義了很多搜索方法，以find_all方法為例，其他方法用法類似。find_all方法，用于搜索當前Tag的所有子節(jié)點，并判斷是否符合過濾器的條件，方法格式如下所示：find_all(name,attrs,recursive,text,**kwargs)find_all方法中各個參數(shù)有不同的功能，接下來講解方法中的三個常用參數(shù):name,text,kwargs。find_all方法參數(shù)1.name參數(shù)name參數(shù)可以查找所有名字為name的Tag對象，字符串對象會被自動過濾掉，name參數(shù)可以是字符串、正則比較式、列表、True和方法。字符串是簡單的過濾器，在搜索方法中傳入字符串，BeautifulSoup會查找與字符串完全匹配的的內(nèi)容，返回內(nèi)容為列表。以上面提到的百度為例子，示例如下圖所示。find_all方法參數(shù)1.name參數(shù)4如果傳入正則表達式作為參數(shù)，BeautifulSoup會通過正則表達式的match()方法來匹配內(nèi)容，返回內(nèi)容為列表。示例如右圖所示。如果傳入?yún)?shù)為列表，BeautifulSoup將返回與列表中所有任意元素匹配的內(nèi)容。示例如左圖所示。find_all方法參數(shù)1.name參數(shù)如果傳入的參數(shù)為True，True可以匹配任何值，但不包括字符串對象，如果上述過濾器都不能滿足要求，還可以自定義方法，例如，可以采用下圖中的示例方法。上述過濾方法hasA（）方法中接收一個Tag節(jié)點元素，如果這個元素符合過濾條件，返回當前匹配到的元素，否則返回None。find_all方法參數(shù)2.kwargs參數(shù)kwargs參數(shù)在Python中表示key_value參數(shù)。搜索時會把該參數(shù)當做當做指定Tag的屬性來搜索。搜索指定的Tag屬性時，可以使用的參數(shù)值包括：字符串、正則表達式、列表、True。以上述百度為例，查找id屬性為“wrapper”，示例如右圖所示。通過上述結果可以看到，如果設置參數(shù)id=“wrapper”，BeautifulSoup會搜索每個包含id=“wrapper”屬性的Tag。find_all方法參數(shù)2.kwargs參數(shù)還可以使用正則表達式，通過正則匹配，搜索Tag標簽包含特定屬性的Tag標簽，返回是一個列表，示例如下圖所示。如果篩選包含某個屬性的固定Tag標簽，可以使用組合屬性方式，示例如下圖所示。標簽中的class屬性，在python中是關鍵字，不能直接使用，需要在class后面加下劃線代替。find_all方法參數(shù)3.text參數(shù)通過text參數(shù)可以搜索文檔中Tag標簽.string屬性與text值相同的Tag標簽對象。與name參數(shù)的可選值一樣，text參數(shù)接收字符串、正則表達式、列表、True。示例如下：text參數(shù)雖然用于搜索字符，還可配合其他參數(shù)混合使用，篩選出符合需求的標簽。如果篩選的結果過多，搜索過程會很慢，可以使用limit參數(shù)限制返回結果的數(shù)量。示例如下：其他搜索函數(shù)其他函數(shù)的使用方法和find_all函數(shù)類似，區(qū)別如下表1所示。表1其他搜索函數(shù)函數(shù)功能介紹find(name,attrs,recursive,text,**kwargs)與find_all(）方法唯一的區(qū)別是：find_all()方法的返回結果是所有滿足要求的值組成的列表；而find()方法直接返回find_all()搜索結果中的第一個值。find_parents(name,attrs,recursive,text,**kwargs)find_parent(name,attrs,recursive,text,**kwargs)find_parents和find_parent函數(shù)用來搜索當前節(jié)點的父節(jié)點。兩者的區(qū)別是：find_parents返回所有符合條件的父節(jié)點；find_parent只返回匹配的第一個。find_next_siblings(name,attrs,recursive,text,**kwargs)find_next_sibling(name,attrs,recursive,text,**kwargs)find_next_siblings和find_next_sibling函數(shù)返回符合條件的后面兄弟節(jié)點。兩者的區(qū)別是:find_next_siblings會返回所有符合條件的兄弟節(jié)點；find_next_sibling只會返回匹配的第一個。find_previous_siblings(name,attrs,recursive,text,**kwargs)find_previous_sibling(name,attrs,recursive,text,**kwargs)這兩個方法