Python爬蟲程序設(shè)計(jì)KC25

1、2.5.1 使用CSS語(yǔ)法2.5.1 使用CSS語(yǔ)法BeautifulSoup除了可以用find與find_all函數(shù)查找HTML文檔樹的節(jié)點(diǎn)元素外，還可以采用CSS類似的語(yǔ)法來(lái)查詢，規(guī)則是：tag.select(css)其中tag是一個(gè)bs4.element.Tag對(duì)象，即HTML中的一個(gè)element節(jié)點(diǎn)元素，select是它的查找方法，css是類似css語(yǔ)法的一個(gè)字符串，一般結(jié)構(gòu)如下：tagNameattName=value其中.部分是可選的；tagName是元素名稱，如果沒(méi)有指定就是所有元素；attName=value是屬性名稱，value是它對(duì)應(yīng)的值，可以不指定屬性，在指定了屬性后也

2、可以不指定值；tag.select(css)返回一個(gè)bs4.element.Tag的列表，哪怕只有一個(gè)元素也時(shí)一個(gè)列表；例2-5-1：soup.select(a) 查找文檔中所有元素節(jié)點(diǎn)；soup.select(p a) 查找文檔中所有節(jié)點(diǎn)下的所有元素節(jié)點(diǎn)；soup.select(pclass=story a) 查找文檔中所有屬性class=story的節(jié)點(diǎn)下的所有元素節(jié)點(diǎn)；soup.select(pclass a) 查找文檔中所有具有class屬性的節(jié)點(diǎn)下的所有元素節(jié)點(diǎn)；soup.select(aid=link1) 查找屬性id=link1的節(jié)點(diǎn)；soup.select(body head

3、title) 查找下面下面的節(jié)點(diǎn)；soup.select(body class ) 查找下面所有具有class屬性的節(jié)點(diǎn)；soup.select(body class a) 查找下面所有具有class屬性的節(jié)點(diǎn)下面的節(jié)點(diǎn)；下面的節(jié)點(diǎn)；例2-5-2： 查找HTML文檔中所有下面的的鏈接from bs4 import BeautifulSoupdoc=The Dormouses storyThe Dormouses storyOnce upon a time there were three little sisters; and their names wereElsie,Lacie andTi

4、llie;and they lived at the bottom of a well.soup=BeautifulSoup(doc,lxml)tags=soup.select(pclass=story a)for tag in tags: print(taghref)程序結(jié)果：/elsie/lacie/tillie另外我們通過(guò)tags=soup.select(p a)tags=soup.select(a)tags=soup.select(pclass a)等也可以得到一樣的結(jié)果。2.5.2 屬性的語(yǔ)法規(guī)則在CSS結(jié)構(gòu)中的attName=value中表示屬性attrName與value相等，也

5、可以指定不等、包含等運(yùn)算關(guān)系，具體運(yùn)算如下表：選擇器描述attName用于選取帶有指定屬性的元素。attName=value用于選取帶有指定屬性和值的元素。attName=value匹配屬性值以指定值開頭的每個(gè)元素。attName$=value匹配屬性值以指定值結(jié)尾的每個(gè)元素。attrName*=value匹配屬性值中包含指定值的每個(gè)元素。因此：soup.select(ahref=/elsie) 查找href=/elsie的節(jié)點(diǎn)；soup.select(ahref$=sie) 查找href以sie結(jié)尾的節(jié)點(diǎn)；soup.select(ahref=) 查找href以開始的節(jié)點(diǎn)；soupselect

6、(ahref*=example) 查找href的值中包含example字符串的節(jié)點(diǎn)；2.5.3 select查找子孫節(jié)點(diǎn)2.5.3 select查找子孫節(jié)點(diǎn)在select(css)中的css有多個(gè)節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)元素之間用空格分開，就是查找子孫節(jié)點(diǎn)，例如soup.select(div p)是查找所有節(jié)點(diǎn)下面的所有子孫節(jié)點(diǎn)。例2-5-3：查找子孫節(jié)點(diǎn)from bs4 import BeautifulSoupdoc=ABCsoup=BeautifulSoup(doc,lxml)tags=soup.select(div p)for tag in tags: print(tag)程序結(jié)果：ABC其中tag

7、s=soup.select(div p)是查找下面的所有子孫節(jié)點(diǎn)，因此包含下面的B。2.5.4 select查找直接子節(jié)點(diǎn)2.5.4 select查找直接子節(jié)點(diǎn)在select(css)中的css有多個(gè)節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)元素之間用 分開(注意的前后至少包含一個(gè)空格)，就是查找直接子節(jié)點(diǎn)，例如soup.select(div p)是查找所有節(jié)點(diǎn)下面的所有直接子節(jié)點(diǎn)，不包含孫節(jié)點(diǎn)。例2-5-4：查找直接子節(jié)點(diǎn)from bs4 import BeautifulSoupdoc=ABCsoup=BeautifulSoup(doc,lxml)tags=soup.select(div p)for tag in tag

8、s: print(tag)程序結(jié)果：AC其中tags=soup.select(div p)是查找下面的直接子節(jié)點(diǎn)，因此不包含下面的B。2.5.5 select查找兄弟節(jié)點(diǎn)2.5.5 select查找兄弟節(jié)點(diǎn)在select中用 連接兩個(gè)節(jié)點(diǎn)表示查找前一個(gè)節(jié)點(diǎn)后面的所有同級(jí)別的兄弟節(jié)點(diǎn)（注意號(hào)前后至少有一個(gè)空格），例如soup.select(div p)查找后面的所有同級(jí)別的兄弟節(jié)點(diǎn)。在select中用 + 連接兩個(gè)節(jié)點(diǎn)表示查找前一個(gè)節(jié)點(diǎn)后面的第一個(gè)同級(jí)別的兄弟節(jié)點(diǎn)（注意+號(hào)前后至少有一個(gè)空格）例2-5-5：查找兄弟節(jié)點(diǎn)from bs4 import BeautifulSoupdoc=demoAXBCDsoup=BeautifulSoup(doc,lxml)print(soup.prettify()tags=soup.select(div p)for tag in tags: print(tag)print()tags=soup.select(div + p)for tag in tags: print(ta