其中用到urllib2模块和正则表达式模块。下面直接上代码：

 

 1 用python批量抓取

 2  

 3 #!/usr/bin/env python

 4 #-*- coding: utf-8 -*-

 5 #通过urllib(2)模块下载网络内容

 6 import urllib,urllib2,gevent

 7 #引入正则表达式模块，时间模块

 8 import re,time

 9 from gevent import monkey

10  

11 '''

12 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun，934109170，群里有不错的学习教程、开发工具与电子书籍。

13 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。

14 '''

15 monkey.patch_all()

16  

17 def geturllist(url):

18     url_list=[]

19     print url       

20     s = urllib2.urlopen(url)

21     text = s.read()

22     #正则匹配，匹配其中的图片

23     html = re.search(r'<ol.*</ol>', text, re.S)

24     urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)

25     for i in urls:

26         url=i.group(1).strip()+str("jpg")

27         url_list.append(url)

28     return url_list

29  

30 def download(down_url):

31     name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)

32     print name

33     urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

34  

35 def getpageurl():

36     page_list = []

37     #进行列表页循环

38     for page in range(1,700):

39         url="http://jandan.net/ooxx/page-"+str(page)+"#comments"

40         #把生成的url加入到page_list中

41         page_list.append(url)

42     print page_list

43     return page_list

44 if __name__ == '__main__':

45     jobs = []

46     pageurl = getpageurl()[::-1]

47     #进行图片下载

48     for i in pageurl:

49         for (downurl) in geturllist(i):

50             jobs.append(gevent.spawn(download, downurl))

51     gevent.joinall(jobs)