一，正则表达式解析

 

在爬虫中，下面两种方式用的多一些——

 

大致用法：

 

二，Xpath解析

 

简介及安装

 

简介：XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

 

安装：pip install lxml

 

调用方法：

 

语法简介

 

先准备一个HTML格式的字符串

 

1，选取节点

 

2，谓语

 

3，通配符

 

Xpath通过通配符来选取未知的XML元素

 

4，取多个路径

 

使用 “|” 运算符可以选取多个路径

 

5，Xpath轴

 

轴可以定义相对于当前节点的节点集

 

6，功能函数

 

使用功能函数能够更好的进行模糊搜索

 

三，BeautifulSoup

 

简介及安装

 

简介：

 

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

 

它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

 

安装：pip3 install beautifulsoup4

 

解析器：

 

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快。

 

简单使用

 

使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容

 

语法简介

 

find_all()

 

先准备一个HTML格式的字符串

 

1，五种过滤器

 

字符串、正则表达式、列表、True、方法

 

2、按照类名查找

 

注意：关键字是class_，class_=value,value可以是五种选择器之一

 

3、attrs

 

4、text

 

值可以是：字符，列表，True，正则

 

5、limit参数

 

如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果

 

6、recursive

 

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .

 

tag

 

像调用 find_all() 一样调用tag find_all() 几乎是Beautiful Soup中最常用的搜索方法,所以我们定义了它的简写方法. BeautifulSoup 对象和 tag 对象可以被当作一个方法来使用——

 

这个方法的执行结果与调用这个对象的 find_all() 方法相同——

 

find

 

find( name , attrs , recursive , text , **kwargs )

 

find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个 < body > 标签,那么使用 find_all() 方法来查找< body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法

 

下面两行代码是等价的:

 

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.

 

find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .

 

soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法: