|
|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
写一个爬糗事百科图片的爬虫,刚写到一半,测试的时候一运行就死机,请大神帮忙看看吧,谢谢运行结果为:
当前操作:开始下载第2页源代码...
执行状态:第2s页源代码下载完成!
当前操作:开始下载第2s页图片地址...
到这儿之后就没有反映了,电脑就吐突然卡住,显示,内存用尽
请教各位是什么原因造成了
我用的是python 3.4.2
源代码见附件
感谢
import urllib.request
import os
#定义获取网页源代码的函数,返回类型:字符串
def getHttp(pagenum=1):
print('当前操作:开始下载第%s页源代码...'%str(pagenum))
url='http://www.qiushibaike.com/imgrank/page/'+str(pagenum)+'/?s=4914244'
user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
headers={'User-Agent':user_agent}
request=urllib.request.Request(url,headers=headers)
response=urllib.request.urlopen(request)
page=response.read().decode()
print('执行状态:第%s页源代码下载完成!'%str(pagenum))
return page
#定义获取网页图片地址的函数,返回包含图片地址的列表
def getImgAddress(pagenum):
page=getHttp(pagenum)
print('当前操作:开始下载第%s页图片地址...'%str(pagenum))
ImgAddressList=[]
while True:
start=page.find('<img src="')
end=page.find('.jpg"',start)
ImgAddressList.append(page[start+10:end+4])
start=end
if start==-1:
break
print('执行状态:第%s页图片地址下载完成!'%str(pagenum))
return ImgAddressList
print(getImgAddress(2))
|
|