~~~~(>_<)~~~~新手帮别人解答问题，但是被新的问题难到了

文明的读书人

我是一个新手，今天在论坛上看到一个求助帖，本着助人为乐的心态，去帮他把程序改了改，结果产生新的问题，下载的图片有时候是正常的，但更多的是1KB大小。 原贴链接：这个爬虫总是报错，请大神帮帮忙
http://bbs.fishc.com/thread-84061-1-1.html
(出处: 鱼C论坛)
下面是我的代码，在pycharm上运行的：

#coding=utf-8
import urllib
import re
url = 'http://jandan.net/ooxx'
page = urllib.urlopen(url)
html = page.read()
#print html
req = r'<img src="//(.*?)" />'
reg = re.compile(req)
img_addrs = re.findall(reg,html)
print img_addrs
for i in xrange(0,len(img_addrs)):
    img_addrs[i] = "http://"+img_addrs[i]
print img_addrs
t = len(img_addrs)
print t
x = 1
for img_url in img_addrs:
    try:
        urllib.urlretrieve(img_url,'%s.jpg' %x)
        x+=1
        print "下载完成第%d张图片:%s" %(x,img_url)
    except Exception, e:
        print "下载图片失败:%s" %(img_url)
print '报告:下载完成!'

新手求大神帮忙。。。

文明的读书人

@猥琐不是错

文明的读书人

╮(╯▽╰)╭，我重新用request模块写了个，urlli模块不太会用。

#coding=utf-8
import re
import requests
url = 'http://jandan.net/ooxx'
html = requests.get(url).text
pic_url = re.findall(r'<img src="//(.*?)" />',html,re.S)
print pic_url #测试正则表达式是否成功
for i in xrange(0,len(pic_url)):
    pic_url[i] = "http://"+pic_url[i]
print pic_url #测试是否获取到图片链接
t = len(pic_url)
print t #图片的数量
i = 0
for each in pic_url:
    try:
        pic= requests.get(each, timeout=10)
    except requests.exceptions.ConnectionError:
        print '【错误】当前图片无法下载'
        continue
    string = '%s.jpg' %i
    fp = open(string,'wb')
    fp.write(pic._content)
    fp.close()
    i += 1
print '下载完成'

这个是成功的。但是为嘛urllib下载的是1KB。。。

lumber2388779

文明的读书人 发表于 2017-3-12 20:45
╮(╯▽╰)╭，我重新用request模块写了个，urlli模块不太会用。

这个是成功的。但是为嘛urll ...

复制你的代码测了下
发现xrange(0,len(pic_url)):这里写错了range吧
去掉后我下载是正常的 图片基本都正常可以访问，你是不是网速问题，还是防火墙的问题
我是直接用python本身的idle运行的

文明的读书人

lumber2388779 发表于 2017-3-13 10:14
复制你的代码测了下
发现xrange(0,len(pic_url)):这里写错了range吧
去掉后我下载是正常的 图片基本 ...

xrange与range没啥区别。。。

lumber2388779

文明的读书人 发表于 2017-3-13 13:40
xrange与range没啥区别。。。

我用的是3.6版本xrange被取消了 我运行是没有问题的 下载一切正常
你试下用python原生的idle试下下载正常否

文明的读书人

估计是我的网络有问题 我用3.6的idle运行了一下。。。

deadofpeople

是不是你ip被jandan封了，试试设置user-agent，设置间隔时间下载看看

文明的读书人

deadofpeople 发表于 2017-3-13 16:16
是不是你ip被jandan封了，试试价格user-agent，设置间隔时间下载看看

ip被封了，不可能吧，我用另外一个程序，也就是二楼的那个程序，能爬取，同一台电脑。。。

deadofpeople

正常，python2.7

文明的读书人

deadofpeople 发表于 2017-3-13 16:30
正常，python2.7

哪种方法，用没用user-agent

deadofpeople

文明的读书人 发表于 2017-3-13 16:44
哪种方法，用没用user-agent

就是你贴的程序，urllib

文明的读书人

为嘛我只能下载1KB，早知道我就用python2的idle试试，上面那位仁兄用python3的idle试的，我也用3，为了兼容，又重新修改程序。。。心累，还是下载不了。。。
我估计是我网络问题，但具体是什么，由什么产生还是不懂。

lumber2388779

文明的读书人 发表于 2017-3-13 16:55
为嘛我只能下载1KB，早知道我就用python2的idle试试，上面那位仁 ...

你检查下你的电脑防火墙是不是打开了 或者是不是有什么杀毒软件给管控了
我在家在公司都可以 中间貌似有一张只有1.69K其他都是正常