用python写的网络爬虫，打开链接地址的时候老是出<urlopen error [WinError 10061]

小山童鞋

这要怎么解决啊

戴宇轩

ip.rand_ip()是什么?真的有这个代理服务器吗?

小山童鞋

戴宇轩 发表于 2015-7-27 17:06
ip.rand_ip()是什么?真的有这个代理服务器吗?

1. import urllib.request as ur
   
2. import re
   
3. import random
   
4. def open_url(url):
   
5.         response = ur.Request(url)
   
6.         response = response.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36')
   
7.         response = ur.urlopen(url)
   
8.         return response.read()
   
9. 
   
10. #def find_ip(text_html):
    
11. #        str1 = r'((?:(?:(?:[0,1]?\d?\d)|(?:2[0-4]\d)|(?:25[0-5]))\.){3}(?:[0,1]?\d?\d)|(?:2[0-4]\d)|(?:25[0-5]))'
    
12. #        return re.findall(str1,text_html)
    
13. 
    
14. #def deals(ips):
    
15. #        ip_list = []
    
16. #        for each in ips:
    
17. #                if -1 != each.find('.'):
    
18. #                        ip_list.append(each)
    
19. #        return ip_list
    
20. 
    
21. #def get_ip():
    
22. #        url = 'http://www.xici.net.co/nn'
    
23. #        text_html = open_url(url).decode('utf-8')
    
24. #        ips = find_ip(text_html)
    
25. #        ip_list = deals(ips)
    
26. #        return ip_list
    
27. 
    
28. def _random_ip():
    
29.         url = 'http://www.xici.net.co/nn'
    
30.         str1 = r'((?:(?:(?:[0,1]?\d?\d)|(?:2[0-4]\d)|(?:25[0-5]))\.){3}(?:[0,1]?\d?\d)|(?:2[0-4]\d)|(?:25[0-5]))'
    
31.         text_html = open_url(url).decode('utf-8')
    
32.         ips = re.findall(str1,text_html)
    
33.         ip_list = []
    
34.         for each in ips:
    
35.                 if -1 != each.find('.'):
    
36.                         ip_list.append(each)
    
37.         while True:
    
38.                 yield ip_list[(random.randint(0,len(ip_list)))]
    
39. def rand_ip():
    
40.         return next(_random_ip())

复制代码

ip.rand_ip()是我写的一个获得代理IP地址的模块，原文定义如上。
获得随机获得代理IP地址这个是没有问题的。我测试过了的。

戴宇轩

小山童鞋 发表于 2015-7-27 17:57
ip.rand_ip()是我写的一个获得代理IP地址的模块，原文定义如上。
获得随机获得代理IP地址这个是没有 ...

那应该是百度不给爬虫怕爬，你可以试试改user-agent，小甲鱼老师的视频里介绍过:-)

小山童鞋

戴宇轩 发表于 2015-7-27 20:04
那应该是百度不给爬虫怕爬，你可以试试改user-agent，小甲鱼老师的视频里介绍过:-)

我觉得应该是我写的代码有问题，但是我也搞不懂，同样的函数为什放在这段代码里面就不行

戴宇轩

小山童鞋 发表于 2015-7-27 20:49
我觉得应该是我写的代码有问题，但是我也搞不懂，同样的函数为什放在这段代码里面就不行

是不是http和https的问题?

小山童鞋

戴宇轩 发表于 2015-7-27 21:01
是不是http和https的问题?

我明天把整个程序再重写试试。

无所谓无的

其实你 那个IP  是不能用 ··或很慢的·！！

小山童鞋

无所谓无的 发表于 2015-7-28 09:58
其实你 那个IP  是不能用 ··或很慢的·！！

你试过了？我第一次写出来的时候是可以用的，但是修改了一下代码，就没办法用了。

Ricky24

楼上正解，可能random到的ip不能用也是可能的原因。

a717763229

ddddddddddddddddddddddddddddddddddddddddddd

Reed

遇到过，是IP的问题，太慢或者不能用

解决办法是 if error: 再执行一遍；else: 继续访问

用变量来控制上一步 if error 执行的遍数

williamH

真的有可能是那个代理ip有问题。我一开始用了一个ip一直出错，然后学着视频random的时候发现其中有一个正常，然后用那个ip一直测试，发现没有出现10061等问题了。。。