网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。

 

　　优先申明：我们使用的python编译环境为PyCharm

 

　　爬虫调度程序（程序的入口，用于启动整个程序）url管理器（用于管理未爬取得url及已经爬取过的url）网页下载器（用于下载网页内容用于分析）网页解析器（用于解析下载的网页，获取新的url和所需内容）网页输出器（用于把获取到的内容以文件的形式输出）

 

　　（1）准备所需库

 

　　我们需要准备一款名为BeautifulSoup（网页解析）的开源库，用于对下载的网页进行解析，我们是用的是PyCharm编译环境所以可以直接下载该开源库。

 

　　步骤如下：

 

　　选择File->Settings

 

　　打开Project:PythonProject下的Project interpreter

 

　　点击加号添加新的库

 

　　输入bs4选择bs4点击Install Packge进行下载

 

　　（2）编写爬虫调度程序

 

　　这里的bike_spider是项目名称引入的四个类分别对应下面的四段代码url管理器，url下载器，url解析器，url输出器。

 

　　(3)编写url管理器

 

　　我们把已经爬取过的url和未爬取的url分开存放以便我们不会重复爬取某些已经爬取过的网页。

 

　　（4）编写网页下载器

 

　　通过网络请求来下载页面

 

　　（5）编写网页解析器

 

　　对网页进行解析时我们需要知道我们要查询的内容都有哪些特征，我们可以打开一个网页点击右键审查元素来了解我们所查内容的共同之处。

 

　　（6）编写网页输出器

 

　　输出的格式有很多种，我们选择以html的形式输出，这样我们可以的到一个html页面。

 

　　注意：网页经常发生变化，我们需要根据网页的变化动态修改我们的代码来获得我们所需要的内容。