HTML解析大法-Beautiful soup

beautiful soup是一个可以从HTML或XML文件中提取数据的python库。在python爬虫开发中，我们主要用到的是Beautiful soup的查找提取功能，修改文档的方式很少用到。

python用户可以通过anaconda安装beautifulsoup4(推荐)，安装简单，这里不在介绍

安装完成后，接下来讲解BeautifulSoup的使用。

1.快速开始

首先导入bs4库：from bs4 import BeautifulSoup。

本节基于上节获得网页请求后，通过r.text获得网页源代码，即html_str=r.text。接下来都是基于html_str进行数据解析和提取。

然后创建BeautifulSoup对象，方法有两种，一是直接通过字符串创建：

soup=BeautifulSoup(html_str,'lxml',from_encoding='utf-8')

另一种通过文件来创建，假如将html_str字符串保存为index.html文件，创建方式如下：

soup=BeautifulSoup(open(index.html'))

格式化输出网页内容

soup.prettify()

2.对象种类

BeautifulSoup将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是python对象，所有对象可分为4种：Tag, NavigableString, BeautifulSoup, Comment,接下来依次进行介绍。

2.1）Tag

Tag对象就是HTML中的标记，如：<title> The story</title>或<a herf="http://baidu.com",class="sister" id="link1">else</a>，title和a标记及其里面的内容称为Tag对象。提取方法为：

抽取title：soup.title

抽取a：soup.a

以上两个简单的方法是查找所有内容中第一个符合要求的标记，如果要查询所有标记，且看后续分解。

Tag中有两个重要的属性：name和attributes。每个Tag都有自己的名字，通过.name来获取

soup的name为[document]，其他标记的名字是标记的本身的名称。

Tag中具有属性，如a标记中的herf属性，class属性和id属性。其使用方式和字典相同：

soup.a['herf']

soup.a.get('herf')

也可以直接用"点"取属性，比如.attrs，用于获取Tag中的所有属性,以字典形式返回：

soup.a.attrs

2.2）NavigableString

标记中的内容已经可以通过Tag获取，那么其中的文本信息如何获取呢？需要用到.string:

soup.a.string

2.3)BeautifulSoup

BeautifulSoup对象表示的是一个文档的全部内容。大部分时候可以把它当作Tag对象，是一个特殊的Tag。

2.4)Comment

Tag，NavigableString，BeautifulSoup几乎覆盖了HTML和XML中的所有内容，但还有一些文档的注释部分。

在提取字符串时，可以判断一下类型：

if type(soup.a.string)==bs4.element.Comment:

print soup.a.string

3遍历文档树

BeautifulSoup会将HTML转换成文档树进行搜索，既然是树形结构，必然有节点。

3.1）子节点

直接子节点，Tag中的.contents和.children是非常重要的。Tag的.contents属性可以将Tag子节点以列表的形式输出.soup.head.contents

字符串没有.contents属性，因为字符串没有子节点。

.children属性返回一个生成器，可以对Tag的子节点进行循环：

for children in soup.children:

    print(child)

.contents和.children属性只包含Tag的直接节点（儿子节点）,不含其他子孙节点；.descendants属性可以对所有tag的子孙节点进行递归循环。

for children in soup.descendants:

    print(child)

以上都是如何获取子节点，也介绍过获取文本内容，.string，.strings，.stripped_strings三个属性。

.string属性：如果一个标记Tag里面有0个或1个标记了，那么返回标记里面的内容；如果多于一个标记则返回None。

.strings属性：应用于tag中包含多个字符串的情况，可以进行循环遍历，

for string in soup.strings:

    print(rear(string))

.stripped_strings属性可以去掉输入字符串中包含的空格或空行，

for string in soup.stripped_strings:

    print(rear(string))

3.2)父节点

每个Tag都有父节点：被包含在某个Tag中。

通过.parent属性来获取某个元素的父节点。通过.parents属性可以递归得到元素的所有父辈节点。

for parent in soup.a.parents:

    if parent is None:

        print(parent)

    else:

        print(parent.name)

3.3)兄弟节点

兄弟节点是和该节点同一级的节点，.next_sibling属性可以获取该节点的下一个兄弟节点，.previous_sibling用于获取上一个兄弟节点，如果不存在则返回None。

soup.a.next_sibling

soup.a.previous_sibling

通过.next_sibling或.previous_sibling可以对当前节点的兄弟节点迭代输出：

for sibling in soup.a.next_siblings:

    print(sibling)

3.4）前后节点

前后节点需要使用.next_element，.previous_element两个属性，它们是针对所有节点，不分层次。

如果想遍历所有的前后节点，通过.next_elements，.previous_elements的迭代器可以向前或向后访问文档解析内容

for element in soup.a.next_elements:

    print(rear(element))

以上是遍历文档树，接下来讲解核心的搜索文档树。

4搜索文档树

Beautiful Soup定义了多种搜索方法，这里着重介绍find_all()方法。

find_all()方法用于搜索当前Tag的所有Tag子节点，并判断是否符合过滤器的条件，函数原型为：

find_all(name, attrs, recursive, text, **kwargs)

1)name参数

name参数可以查找所有名字为name的标记，字符串对象会被自动忽略掉。name参数的取值可以是字符串，正则表达式，列表，True和方法。

最简单的是字符串。在搜索方法中传入一个字符串参数，查找完整匹配的内容。

soup.find_all('b')#查找所有的<b>标记，返回值为列表

传入正则表达式作为参数，会通过正则表达式的match()来匹配内容，查找以b开头的标记

import re 

for tag in soup.find_all(re.compile('^b')):

    print(tag.name)

传入列表参数，返回与列表中任意匹配的内容，查找所有的<a>,<b>标记：

soup.find_all(['a','b'])

传入参数为True，可以匹配任何值，下面代码会查找所有的Tag,但不会返回字符串节点。

for tag in soup.find_all(True):

    print(tag.name)

如果没有合适的过滤器，还可以定义一个方法，方法只接受一个元素参数Tag节点，如果方法返回True表示当前元素匹配并且被找到，如果返回false。

2）kwargs参数

kwargs参数在python中表示为keyword参数。如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作指定名字Tag属性来搜索。搜索指定名字的属性时可以使用的参数值包括字符串，正则表达式，列表，True.(常用来通过属性搜索)

soup.find_all(id='link2')#搜索每个标记，id属性为'link2'，返回列表

传入正则表达式

import re

soup.find_all(herf=re.compile('elsie'))#查找herf属性中包含'elsie'的标记

查找含有id属性的标记

soup.find_all(id=True)

若想用python的关键字重复的属性过滤，可以在后面加上下划线，如class

soup.find_all('a',class_='sister')

使用多个指定名字的参数可以同时过滤tag的多个属性：

soup.find_all(herf=re.compile("elsie"),id='link1')

3）text参数

通过text参数可以搜索文档中的字符串内容。与name参数的可选值一样，text    参数接受字符串，正则表达式，列表，True。

soup.find_all(text='Elsie')

soup.find_all(text=['Tille','Elsie'])