关于爬虫出错问题

喜欢散步

1. #!/usr/bin/env python3
   
2. #getcode()为获取到的状态码, 200, 403(这里只获取到这两种状态页面), 返回值为int
   
3. #把目录加在后面再扫描， 获取状态码得到目录是否存在
   
4. '一个简单的目录扫描， 还没有加到错错处理， 当出现不存在目录时， 也会记录不存在目录为200， 但存在目录时， 差不多会正确扫描得到'
   
5. import urllib.request
   
6. import os
   
7. import urllib.parse
   
8. 
   
9. #headers = {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.0"}#防禁
   
10. newline = os.linesep#换行符
    
11. 
    
12. targeturl = input('请输入目标网页(以http://开头):').strip()
    
13. #targeturl = urllib.parse.urlencode(targeturl).encode("utf-8")#转为网络编码
    
14. print('开始扫器.......')
    
15. #用一个文件保存结果
    
16. filename = "dirscanresult.txt"
    
17. targetdata = open(filename, "w+")
    
18. #下面打开一个文件， 把目录加到上面去
    
19. dirdata = open('./dirdata.txt', 'r')
    
20. for eachling in dirdata:
    
21.         targeturl_test = targeturl + eachling.strip()
    
22.         print(targeturl_test)
    
23.         #把目录路径保存
    
24.         #try:
    
25.         targeturl_test = urllib.request.urlopen(targeturl_test, timeout=10)#timeout=10设置10秒超时
    
26.         #        print(targeturl_test.geturl())
    
27.         #except urllib.error.URLError as ERR:
    
28.         #        print("%s\t%s" % (targeturl_test, ERR.getcode))
    
29.         #except:
    
30.         #        print('targeturl：％s无法打开' % (targeturl_test))
    
31.         #        print('结束扫描')
    
32.         #        break
    
33.         targeturl_status = targeturl_test.getcode()       
    
34.         print("%s\t%s" % (targeturl_test.geturl(), targeturl_status))
    
35.         #打开指定目录
    
36.         if(targeturl_status == 200 or targeturl_status == 403):
    
37.                 targetdata.write("%s\t%s%s" % (targeturl_test.geturl(), targeturl_status, newline))
    
38. targetdata.close()
    
39. print('扫描完成')
    

复制代码

写了个简单的目录扫描
问题就是， 如果链接不存在， 会直接报错退出程序。。。。
请问， 怎么解决？
是不是模块选错了？
刚学PY不久， 请大家指点一下。。。
谢谢。

小人

1. try:                
   
2.     img=urllib.request.urlopen(imgurl[0].strip()).read()
   
3.     filename=imgurl[0].split('/')[-1]
   
4.     with open(filename,'wb') as file:
   
5.         file.write(img)
   
6.     count+=1
   
7.     print('thread0: 已下载%d张图片'%count,pageing)
   
8.                            
   
9.                             except:
   
10.     print('thread0: error:1')

复制代码

把网页打开这些操作用  try except:包起来  

wei_Y

试试requests模块。第三方，需下载。
里面的status_code可以查看当前的状态码，且不报错。

http://bbs.fishc.com/thread-59850-1-1.html

Reed

1. rqst = urllib.request.urlopen('https://www.baidu.com/')
   
2. rqst.code
   
3. >>>200

复制代码

戴宇轩

wei_Y 发表于 2015-5-17 12:02
试试requests模块。第三方，需下载。
里面的status_code可以查看当前的状态码，且不报错。

urllib.request.Request对象的code方法就好了。。。

wei_Y

戴宇轩 发表于 2015-5-17 16:56
urllib.request.Request对象的code方法就好了。。。

报错呀。404报错，403报错。呃，捕获错误也行。。

喜欢散步

wei_Y 发表于 2015-5-17 17:03
报错呀。404报错，403报错。呃，捕获错误也行。。

1. In [6]: rqst = urllib.request.urlopen('http://www.baidu.com/asfeaw')
   
2. 
   
3. In [7]: rqst.status
   
4. Out[7]: 200
   
5. 
   
6. In [8]:
   

复制代码

喜欢散步

wei_Y 发表于 2015-5-17 17:03
报错呀。404报错，403报错。呃，捕获错误也行。。

1. In [6]: rqst = urllib.request.urlopen('http://www.baidu.com/asfeaw')
   
2. 
   
3. In [7]: rqst.status
   
4. Out[7]: 200
   
5. 
   
6. In [8]:
   

复制代码

这里， 明显不存在， 但是200， 在IE上打开后， 百度会自动转到ERROR页面，
要怎么处理才能知道这个页面不存在？

喜欢散步

Reed 发表于 2015-5-17 14:18

这是可行， 但我在一个循环里使用时， 当得到404时， 会错误终止程序