因为进程也不是越多越好，我们计划分3个进程执行。意思就是：把总共要抓取的28页分成三部分。

 

　　怎么分呢？

 

　　#初始range

 

　　r=range(1,29)

 

　　#步长

 

　　step=10

 

　　myList=[r[x:x+step]forxinrange(0,len(r),step)]

 

　　print(myList)#[range(1,11),range(11,21),range(21,29)]

 

　　看上面代码，我们就把1~29分成了三部分，list里三个range。

 

　　2、还记得我们抓取基金网站内容的getData()函数？

 

　　defgetData(start,end):

 

　　forxinrange(start,end+1):

 

　　#去第几页输入框

 

　　tonum=driver.find_element_by_id("tonum")

 

　　#去第几页提交按钮

 

　　jumpBtn=driver.find_element_by_id("btn_jump")

 

　　tonum.clear()#第x页输入框

 

　　tonum.send_keys(str(x))#去第x页

 

　　jumpBtn.click()#点击按钮

 

　　WebDriverWait(driver,20).until(lambdadriver:driver.find_element_by_id("pager")\

 

　　.find_element_by_xpath("span[@value={0}and@class!='endpage']".format(x))\

 

　　.get_attribute("class").find("at")!=-1)

 

　　#保存抓取到的html内容

 

　　#保存到html目录下

 

　　withopen("./htmls/{0}.txt".format(x),"wb")asf:

 

　　f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

 

　　f.close()

 

　　函数是有2个参数：一个开始页码，一个结束页码，也就是从第start页，到第end页。

 

　　这2个参数实际上也是range。

 

　　改造getData()函数如下（参数不同了）：

 

　　#循环抓取网页内容的函数

 

　　defgetData(myrange):

 

　　forxinmyrange:

 

　　#去第几页输入框

 

　　tonum=driver.find_element_by_id("tonum")

 

　　#去第几页提交按钮

 

　　jumpBtn=driver.find_element_by_id("btn_jump")

 

　　tonum.clear()#第x页输入框

 

　　tonum.send_keys(str(x))#去第x页

 

　　jumpBtn.click()#点击按钮

 

　　WebDriverWait(driver,20).until(lambdadriver:driver.find_element_by_id("pager")\

 

　　.find_element_by_xpath("span[@value={0}and@class!='endpage']".format(x))\

 

　　.get_attribute("class").find("at")!=-1)

 

　　#保存抓取到的html内容

 

　　#保存到html目录下

 

　　withopen("./htmls/{0}.txt".format(x),"wb")asf:

 

　　f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

 

　　f.close()

 

　　3、创建进程，把target设置为上面的getData()：

 

　　#初始range

 

　　r=range(1,int(total_page)+1)

 

　　#步长

 

　　step=10

 

　　myList=[r[x:x+step]forxinrange(0,len(r),step)]#把页面分段

 

　　#创建进程

 

　　processList=[]

 

　　if__name__=="__main__":

 

　　forrinmyList:

 

　　p=Process(target=getData,args=(r,))

 

　　processList.append(p)

 

　　#开始执行进程

 

　　forpinprocessList:

 

　　p.start()

 

　　这样就有三个进程分别抓取。

 

　　4、多进程抓取基金网站多页内容完全代码：

 

　　fromseleniumimportwebdriver

 

　　fromselenium.webdriver.support.uiimportWebDriverWait

 

　　fromselenium.webdriver.supportimportexpected_conditions

 

　　frommultiprocessingimportProcess

 

　　driver=webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径")

 

　　#请求一个网址

 

　　driver.get("http://fund.eastmoney.com/fund.html")

 

　　page_text=driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text

 

　　total_page=''.join(filter(str.isdigit,page_text))#得到总共有多少页

 

　　#循环抓取网页内容的函数

 

　　defgetData(myrange):

 

　　forxinmyrange:

 

　　#去第几页输入框

 

　　tonum=driver.find_element_by_id("tonum")

 

　　#去第几页提交按钮

 

　　jumpBtn=driver.find_element_by_id("btn_jump")

 

　　tonum.clear()#第x页输入框

 

　　tonum.send_keys(str(x))#去第x页

 

　　jumpBtn.click()#点击按钮

 

　　WebDriverWait(driver,20).until(lambdadriver:driver.find_element_by_id("pager")\

 

　　.find_element_by_xpath("span[@value={0}and@class!='endpage']".format(x))\

 

　　.get_attribute("class").find("at")!=-1)

 

　　#保存抓取到的html内容

 

　　#保存到html目录下

 

　　withopen("./htmls/{0}.txt".format(x),"wb")asf:

 

　　f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

 

　　f.close()

 

　　#初始range

 

　　r=range(1,int(total_page)+1)

 

　　#步长

 

　　step=10

 

　　myList=[r[x:x+step]forxinrange(0,len(r),step)]#把页面分段

 

　　#创建进程

 

　　processList=[]

 

　　if__name__=="__main__":

 

　　forrinmyList:

 

　　p=Process(target=getData,args=(r,))

 

　　processList.append(p)

 

　　#开始执行进程

 

　　forpinprocessList:

 

　　p.start()