鱼C论坛

 找回密码
 立即注册
查看: 3106|回复: 1

糗事百科爬虫,运行即死机,求助

[复制链接]
发表于 2016-9-19 18:07:39 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
写一个爬糗事百科图片的爬虫,刚写到一半,测试的时候一运行就死机,请大神帮忙看看吧,谢谢运行结果为:
当前操作:开始下载第2页源代码...
执行状态:第2s页源代码下载完成!
当前操作:开始下载第2s页图片地址...
到这儿之后就没有反映了,电脑就吐突然卡住,显示,内存用尽

请教各位是什么原因造成了
我用的是python 3.4.2  
源代码见附件
感谢


import urllib.request
import os

#定义获取网页源代码的函数,返回类型:字符串
def getHttp(pagenum=1):
    print('当前操作:开始下载第%s页源代码...'%str(pagenum))
    url='http://www.qiushibaike.com/imgrank/page/'+str(pagenum)+'/?s=4914244'
    user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
    headers={'User-Agent':user_agent}
    request=urllib.request.Request(url,headers=headers)
    response=urllib.request.urlopen(request)
    page=response.read().decode()
    print('执行状态:第%s页源代码下载完成!'%str(pagenum))
    return page

#定义获取网页图片地址的函数,返回包含图片地址的列表
def getImgAddress(pagenum):
    page=getHttp(pagenum)
    print('当前操作:开始下载第%s页图片地址...'%str(pagenum))
    ImgAddressList=[]
    while True:
            start=page.find('<img src="')
            end=page.find('.jpg"',start)
            ImgAddressList.append(page[start+10:end+4])
            start=end
            if start==-1:
                break
    print('执行状态:第%s页图片地址下载完成!'%str(pagenum))
    return ImgAddressList

print(getImgAddress(2))

QQ截图20160919180127.png

downpig - 糗事百科.rar

1.12 KB, 下载次数: 0

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-9-19 18:34:13 | 显示全部楼层
额 有个缩进错了  打扰大家了

评分

参与人数 1荣誉 +3 鱼币 +5 收起 理由
~风介~ + 3 + 5 支持楼主!

查看全部评分

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-22 21:35

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表