[已解决]这个爬虫总是报错，请大神帮帮忙

猥琐不是错

import urllib
import re,os


url = 'http://jandan.net/ooxx'
page = urllib.urlopen(url)
html = page.read()
req = r'src="(.*?.jpg)"'
reg = re.compile(req)
img_addrs = re.findall(reg,html)

for each in img_addrs:
    filename = each.split('/')[-1]
    with open(filename, 'wb') as f:
        img = urllib.urlopen(each).read()
        f.write(img)

最佳答案

月排行榜 / 总排行榜

文明的读书人

2017-3-12 20:46:34

1. #coding=utf-8
   
2. import re
   
3. import requests
   
4. url = 'http://jandan.net/ooxx'
   
5. html = requests.get(url).text
   
6. pic_url = re.findall(r'<img src="//(.*?)" />',html,re.S)
   
7. print pic_url #测试正则表达式是否成功
   
8. for i in xrange(0,len(pic_url)):
   
9.     pic_url[i] = "http://"+pic_url[i]
   
10. print pic_url #测试是否获取到图片链接
    
11. t = len(pic_url)
    
12. print t #图片的数量
    
13. i = 0
    
14. for each in pic_url:
    
15.     try:
    
16.         pic= requests.get(each, timeout=10)
    
17.     except requests.exceptions.ConnectionError:
    
18.         print '当前图片无法下载'
    
19.         continue
    
20.     string = '%s.jpg' %i
    
21.     fp = open(string,'wb')
    
22.     fp.write(pic._content)
    
23.     fp.close()
    
24.     i += 1
    
25. print '下载完成'

复制代码

跳转到最佳答案楼层

新手·ing

代码不全
撤退

hldh214

jandan 爬到的图片要加 http: 前缀

文明的读书人

1. #coding=utf-8
   
2. import urllib
   
3. import re
   
4. url = 'http://jandan.net/ooxx'
   
5. page = urllib.urlopen(url)
   
6. html = page.read()
   
7. #print html
   
8. req = r'<img src="//(.*?)" />'
   
9. reg = re.compile(req)
   
10. img_addrs = re.findall(reg,html)
    
11. print img_addrs
    
12. for i in xrange(0,len(img_addrs)):
    
13.     img_addrs[i] = "http://"+img_addrs[i]
    
14. print img_addrs
    
15. t = len(img_addrs)
    
16. print t
    
17. x = 1
    
18. for img_url in img_addrs:
    
19.     try:
    
20.         urllib.urlretrieve(img_url,'%s.jpg' %x)
    
21.         x+=1
    
22.         print "下载完成第%d张图片:%s" %(x,img_url)
    
23.     except Exception, e:
    
24.         print "下载图片失败:%s" %(img_url)
    
25. print '报告:下载完成!'
    

复制代码

为嘛我改进了，但是有时候能下载图片成功，但有时候下载图片的大小为1KB。。。

文明的读书人

1. #coding=utf-8
   
2. import re
   
3. import requests
   
4. url = 'http://jandan.net/ooxx'
   
5. html = requests.get(url).text
   
6. pic_url = re.findall(r'<img src="//(.*?)" />',html,re.S)
   
7. print pic_url #测试正则表达式是否成功
   
8. for i in xrange(0,len(pic_url)):
   
9.     pic_url[i] = "http://"+pic_url[i]
   
10. print pic_url #测试是否获取到图片链接
    
11. t = len(pic_url)
    
12. print t #图片的数量
    
13. i = 0
    
14. for each in pic_url:
    
15.     try:
    
16.         pic= requests.get(each, timeout=10)
    
17.     except requests.exceptions.ConnectionError:
    
18.         print '当前图片无法下载'
    
19.         continue
    
20.     string = '%s.jpg' %i
    
21.     fp = open(string,'wb')
    
22.     fp.write(pic._content)
    
23.     fp.close()
    
24.     i += 1
    
25. print '下载完成'

复制代码